TWI559749B - 層間移動資料繼承之技術 - Google Patents

層間移動資料繼承之技術 Download PDF

Info

Publication number
TWI559749B
TWI559749B TW102148247A TW102148247A TWI559749B TW I559749 B TWI559749 B TW I559749B TW 102148247 A TW102148247 A TW 102148247A TW 102148247 A TW102148247 A TW 102148247A TW I559749 B TWI559749 B TW I559749B
Authority
TW
Taiwan
Prior art keywords
layer
block
video
inter
mobile data
Prior art date
Application number
TW102148247A
Other languages
English (en)
Other versions
TW201436537A (zh
Inventor
鄧志平
邱易仁
徐立東
張文浩
韓宇
蔡曉霞
江宏
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201436537A publication Critical patent/TW201436537A/zh
Application granted granted Critical
Publication of TWI559749B publication Critical patent/TWI559749B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

層間移動資料繼承之技術 發明領域
本發明係有關於層間移動資料繼承之技術。
發明背景
一視訊編碼器壓縮視訊資訊,以便更多資訊可經一所給予的帶寬之上被傳送。該被壓縮的信號接著可被發送至一接收器以便在顯示之前先解碼或解壓縮該信號。
高效能視訊寫碼(HEVC),目前在藉由ISO/IEC移動圖像專家群組(MPEG)及ITU-T視訊寫碼專家群組(VCEG)所形成之視訊寫碼聯合協作小組(JCT-VC)的發展之下,是預計在2013年最終確定的視訊壓縮標準。相似於先前的視訊寫碼標準,HEVC包含基本功能模組,例如,訊框內/訊框間預測、轉換、量化、迴路中過濾、以及熵寫碼。HEVC界定用於一圖像之一最大寫碼單元(LCU),其接著被劃分成為採取具有可變尺度之矩形區塊形式的寫碼單元(CU)。在各LCU之內,一個四叉樹形為基礎之切割機構指定CU劃分樣型。HECV同時界定預測單元(PU)以及轉換單元(TU)以指定一給予的CU是將如何為了預測以及 轉換目的而分別地被劃分。一CU通常包含與關聯的語法一起之一個亮度寫碼區塊(CB)及二個色度CB,並且一PU可進一步地被分割成為自64x64向下取樣至4x4取樣之尺度範圍的預測區塊(PB)。在訊框內或訊框間預測之後,轉換操作被應用至殘餘區塊以產生係數。該等係數接著被量化、被掃瞄成為一維序列並且,最後,被熵編碼。
HEVC同時被預計包含一可調尺度視訊寫碼(SVC)擴展。一HEVC SVC位元流包含許多子集位元流,其代表在不同空間解析度、訊框率、品質、位元深度、以及其它者的源視訊內容。可調尺度性接著使用一多層寫碼結構被達成,通常,該多層寫碼結構包含一基底層(BL)及至少一增強層(EL)。這允許一圖像、或一圖像之部份,例如,屬於一EL的一PU,將自較低層圖像(例如,一BL圖像)或自相同層中之先前被寫碼的圖像被預測。
發明概要
依據本發明之一實施例,係特地提出一種用以寫碼視訊之設備,其包含:存取關聯至少一參考層圖像之參考移動資料的電路,該參考層圖像包括多層視訊內容之一第一層的複數個圖像之一者,該解碼器電路至少部分地基於該參考移動資料而進行對於一目前圖像之層間預測,其中該目前圖像包含該多層視訊內容之一第二層的複數個圖像之一者,其中該第二層是不同於該第一層。
100‧‧‧系統
101‧‧‧編碼器子系統
102‧‧‧基底層編碼器
103‧‧‧解碼器子系統
104‧‧‧第一增強層編碼器
106‧‧‧第二增強層編碼器
108‧‧‧層0基底層解碼器
110‧‧‧層1增強層解碼器
112‧‧‧層2增強層解碼器
114‧‧‧移動資料
118‧‧‧移動資料
124‧‧‧熵編碼器
126‧‧‧壓縮位元流
128‧‧‧熵解碼器
130‧‧‧移動資料
132‧‧‧移動資料
200‧‧‧SVC編碼系統
202‧‧‧BL編碼器
204‧‧‧EL編碼器
206‧‧‧EL輸入訊框
208‧‧‧BL輸入訊框
210‧‧‧移動資料
212‧‧‧轉換及量化模組
214‧‧‧反向轉換及反向量化模組
216‧‧‧迴路中過濾模組
218‧‧‧參考緩衝器
220‧‧‧移動補償模組
222‧‧‧移動估計模組
224‧‧‧框內預測模組
226‧‧‧移動補償模組
228‧‧‧轉換及量化模組
230‧‧‧反向轉換及反向量化模組
232‧‧‧迴路中過濾
234‧‧‧參考緩衝器
236‧‧‧移動估計模組
238‧‧‧框內預測模組
240‧‧‧熵編碼器模組
242‧‧‧多工化SVC位元流
250‧‧‧視訊資料
300‧‧‧SVC解碼系統
301‧‧‧位元流
302‧‧‧BL解碼器
304‧‧‧目標EL解碼器
306‧‧‧EL輸出訊框
308‧‧‧BL輸出訊框
310‧‧‧移動資料
312‧‧‧層間預測模組
314‧‧‧反向轉換及反向量化模組
316‧‧‧層間預測模組
318‧‧‧迴路中過濾模組
320‧‧‧框內預測模組
322‧‧‧反向轉換及反向量化模組
324‧‧‧層間預測模組
326‧‧‧迴路中過濾模組
400‧‧‧處理程序
401-410‧‧‧處理步驟
500‧‧‧寫碼系統
502‧‧‧處理器
506‧‧‧SVC寫碼模組
508‧‧‧記憶體
602‧‧‧預測單元(PU)
604‧‧‧同位置區塊
700‧‧‧位元流
702‧‧‧標頭部份
704‧‧‧資料部份
706‧‧‧指示符
708‧‧‧旗標
710‧‧‧適應性尺度係數
800‧‧‧處理程序
802-816‧‧‧處理步驟
900‧‧‧系統
902‧‧‧平臺
905‧‧‧晶片組
910‧‧‧處理器
912‧‧‧記憶體
913‧‧‧天線
914‧‧‧儲存器
915‧‧‧圖形子系統
916‧‧‧應用
918‧‧‧無線電
920‧‧‧顯示器
922‧‧‧使用者介面
930‧‧‧內容服務裝置
940‧‧‧內容傳送裝置
950‧‧‧導航控制器
960‧‧‧網路
1000‧‧‧小型式裝置
1002‧‧‧外罩
1004‧‧‧顯示器
1006‧‧‧輸入/輸出(I/O)裝置
1008‧‧‧天線
1010‧‧‧顯示單元
1012‧‧‧導航特點
1100‧‧‧視訊寫碼處理程序
1102、1104‧‧‧視訊寫碼步驟
1200‧‧‧視訊寫碼處理程序
1201-1214‧‧‧視訊寫碼步驟
1220‧‧‧邏輯模組
1230‧‧‧編碼器
1240‧‧‧解碼器
1250‧‧‧層間移動資料繼承模組
1260‧‧‧層間移動資料繼承模組
1300‧‧‧視訊寫碼系統
1301‧‧‧成像裝置
1302‧‧‧視訊編碼器
1303‧‧‧天線
1304‧‧‧視訊解碼器
1306‧‧‧處理器
1308‧‧‧記憶體儲存器
1310‧‧‧顯示器
1340‧‧‧邏輯模組
於此處被說明之素材是藉由附圖中之範例被例示並且不是作為限制。為了例示之簡明以及清晰之故,於圖形中被例示之元件是不必定得按比例被繪製。例如,為清楚起見,一些元件之尺度可相對於其他元件而被放大。進一步地,其中在認為適當時,在圖形之間參考標記被重複以指示對應的或類似的元件。於圖形中:圖1是一視訊寫碼系統範例之例示圖;圖2是一視訊編碼系統範例之例示圖;圖3是一解碼系統範例之例示圖;圖4是例示處理程序範例之流程圖;圖5是一系統範例之例示圖;圖6是一寫碼機構範例之例示圖;圖7是一位元流範例之例示圖;圖8是例示一處理程序範例之流程圖;圖9是一系統範例之例示圖;以及圖10是例示一裝置之範例;圖11是例示一視訊寫碼處理程序範例之流程圖;圖12是操作中之視訊寫碼處理程序範例的例示圖;以及圖13是依據本揭示至少一些實作例而被配置之一視訊寫碼系統範例的例示圖。
較佳實施例之詳細說明
一個或多個實施例或實作例接著將參考隨附的 圖形被說明。當特定組態以及配置被討論時,應了解,這僅是為了例示之目的。熟習本技術者應明白,其他組態以及配置也可被採用而不脫離說明書之精神以及範疇。那些熟習本技術者應明白,於此處被說明之有關的技術及/或配置除了被採用於此處被說明者的系統以及應用之外,也可被採用於多種其他系統以及應用中。
雖然下面的說明提及可被顯示於結構,例如,系統單晶片(SoC)結構中之各種實作例,但於此處被說明之技術及/或配置的實作例是不被限定於特定的結構及/或電腦系統中,並且可藉由用於相似用途之任何結構及/或電腦系統被實作。例如,採用下列各種結構,例如,複數個積體電路(IC)晶片及/或封裝、及/或各種電腦裝置及/或消費者電子(CE)裝置,例如,機頂盒、智慧型手機、等等之各種結構可實作於此處被說明之技術及/或配置。進一步地,雖然下面的說明可提出許多特定的細節,例如,邏輯實作、系統構件之型式以及相互關係、邏輯分割/整合選擇等等,但所申請主題可被實施而不需此等特定細節。於其他實例中,例如,為了不混淆此處所揭示之素材,一些素材,例如,控制結構以及全部軟體指令序列,可能不依序地詳細被展示。
於此處被揭示之素材可以硬體、韌體、軟體或其任何組合被實作。於此處被揭示之素材也可作為被儲存在一機器可讀取媒體上之指令而被實作,該等指令可利用一個或多個處理器被讀取以及被執行。一機器可讀取媒體 可包含任何媒體及/或機構,其用以儲存或發送可利用一機器(例如,一電腦裝置)被讀取的形式之資訊。例如,一機器可讀取媒體可包含唯讀記憶體(ROM);隨機存取記憶體(RAM);磁碟儲存媒體;光學儲存媒體;快閃記憶體裝置;電氣、光學、聲學或其他形成的傳輸信號(例如,載波、紅外線信號、數位信號等等)、以及其他者。
於說明文中提及的“一實作例”、“一個實作例”、“一實作範例”等等,指示上述之實作例可包含一特定的特點、結構、或特性,但是每個實作例可以不必定得包含該等特定之特點、結構、或特性。此外,此等片語不必定得是關連相同實作例。進一步地,當一特定的特點、結構、或特性配合一實作例被說明時,不論是否於此處明確地被說明,其被認為應是在熟習本技術者所了解的知識範圍內以配合其他實作例而實現此等特點、結構、或特性。
可調尺度視訊寫碼系統、設備、物件、以及方法在下面被說明。於可調尺度視訊寫碼系統中,多層化寫碼被使用以支援包含空間可調尺度性、時間可調尺度性、品質可調尺度性、位元深度可調尺度性以及其它者之多種可調尺度性。依據本揭示,各種層間移動資料繼承機構可被使用以增加可調尺度視訊寫碼系統中之可調尺度視訊寫碼效率及/或彈性。於各種實作例中,層間移動資料繼承可被一視訊寫碼器、一視訊編碼器、一視訊處理器、一媒體處理器、或其類似者之一者或多者所採用,以致能,例 如,可調尺度視訊寫碼中之層間預測。
關於包含層間移動資料繼承技術之視訊寫碼的系統、設備、物件、以及方法在下面被說明。
如上所述地,高效能視訊寫碼(HEVC)被預期包含一可調尺度視訊寫碼(SVC)擴展。一HECV SVC位元流可包含代表在不同空間解析度、訊框率、品質、位元深度、以及其它者之源視訊內容的許多子集位元流。可調尺度性接著可使用一多層寫碼結構被達成,該多層寫碼結構通常包含一基底層(BL)以及至少一增強層(EL),其可允許一圖像、或一圖像之部份,例如,屬於一EL的一預測單元(PU),將自較低層圖像(例如,一BL圖像)或自相同層中而先前被寫碼的圖像被預測。此等技術可配合於現代視訊服務環境中之網路以及裝置的異質性。例如,一SVC位元流可包含自身可被解碼的許多子集位元流,以至於子訊流可代表具有不同解析度、訊框率、品質、位元深度、以及其它者之源視訊內容。因此,於各種網路以及裝置情節中,不同的視訊品質,例如,可依據帶寬或裝置限制而被達成。
如將在下面更詳細之說明,移動資料可經由一視訊寫碼器(例如,一編碼器或解碼器)在視訊資料之一參考層(亦即,一基底層或較低位準增強層)而被決定。依據移動資料、或部份地依據該移動資料,移動補償可在一增強層(亦即,在較高於該參考層之一層的任何增強層)被進行。因而,在該增強層之移動補償可被簡化並且電腦資源 可被節省。於一些範例中,該移動補償可在一編碼器上被進行,並且一位元流可部份地依據在該增強層之移動補償而被編碼。於其他範例中,該移動補償可在一解碼器上被進行,並且一增強層輸出訊框可部份地依據在該增強層之移動補償而被產生,以供用於,例如,經由一顯示裝置之呈現。
如此處之使用,詞語“寫碼器(coder)”可以是涉及一編碼器及/或一解碼器。同樣地,如此處之使用,詞語“寫碼(coding)”可以是涉及經由一編碼器而進行視訊編碼及/或經由一解碼器而進行視訊解碼。例如,一視訊編碼器以及視訊解碼器皆可以是可寫碼視訊資料之寫碼器範例。此外,如此處之使用,詞語“寫碼器”可以是,例如,涉及任何處理程序、程式或操作集,例如,可實作一編碼器及/或一解碼器軟體、韌體、及/或硬體之任何組合。進一步地,如此處之使用,詞組“移動資料”可以是涉及關聯訊框間預測之任何類型的資料,其包含,但是不受限定於,一個或多個移動向量、參考指標、及/或方向間資訊。
圖1例示依據本揭示至少一些實作例被配置之可調尺度視訊寫碼(SVC)寫碼系統100的範例。通常,系統100可提供用以進行可調尺度視訊寫碼之一電腦實作方法。於各種實作例中,系統100,例如,可依據一個或多個標準或規格而進行視訊壓縮以及解壓縮及/或實作視訊寫碼器,例如,高效能視訊寫碼(HEVC)標準(參看ISO/IEC JTC/SC29/WG11及ITU-T SG16 WP3,“高效能視訊寫碼(HEVC)文本規範草案8”(JCTVC-J1003_d7),2012年7月)以及其任何可調尺度視訊寫碼(SVC)擴展。雖然系統100及/或其他系統、機構或處理程序可以HEVC標準之一SVC擴展的本文於此處被說明,本揭示是不受限定於任何特定視訊編碼標準或規格或其擴展。
該HEVC標準指定用於一圖像之一最大寫碼單元(LCU),其接著可被劃分成為採用具有可變尺度之矩形區塊形式的寫碼單元(CU)。在各LCU之內,一依據四叉樹形為基礎之切割機構可指定該CU劃分樣型。HECV同時界定預測單元(PU)以及轉換單元(TU)以指定一給予的CU是將如何為了預測以及轉換目的而分別地被劃分。一CU通常可包含與關聯的語法一起之一亮度寫碼區塊(CB)及二個色度CB,並且一PU可進一步被分割成為自64x64向下取樣至4x4取樣之尺度範圍的預測區塊(PB)。如此處之使用,詞語“區塊”可以是涉及一視訊圖像之任何劃分或子劃分。例如,一區塊可以是涉及一PU、一PB、一TU、一CU、或一CB、或其類似者。
如所例示,系統100可包含可具有複數個視訊編碼器之一編碼器子系統101,該等複數個視訊編碼器包含一層0或基底層(BL)編碼器102、一層1或第一增強層(EL)編碼器104、以及一層2或第二EL編碼器106。系統100也可包含解碼器子系統103之對應的視訊解碼器,該解碼器子系統103包含一層0(BL)解碼器108、一層1(EL)解碼器 110、以及一層2(EL)解碼器112。通常,該BL可以是HEVC可兼容性被寫碼。當寫碼具有一層辨識(ID)等於N的一EL時,例如,SVC寫碼機構提供具有小於N的一層ID之所有的寫碼層以供使用於層間預測機構中,因而屬於一特定EL的一圖像可自較低層圖像(例如,於一BL中或一個或多個較低層EL中)或自相同EL中且先前被寫碼的圖像而被預測。
依據本揭示,如將在下面更詳細地被說明,EL編碼器104以及106之任一者或兩者可使用移動資料,例如,但是不受限定於,自編碼器102或104之任一者所得到的一個或多個移動向量、參考指標、及/或方向間資訊,以進行移動補償。例如,於一些實作例中,編碼器104可至少部份地使用自編碼器102所得到的移動資料114,而進行移動補償。此外,於一些實作例中,編碼器106可至少部份地使用分別地自編碼器102及/或編碼器104所得到的移動資料114及/或移動資料118,而進行移動補償。
如此處之使用,詞語“層間預測”是涉及當從事對於一EL區塊之一部份(例如,一預測單元(PU))的層間預測時,至少部份地使用關聯一較低層圖像(例如,一BL之一個或多個PU或一較低EL層圖像)的一個或多個對應區塊之移動資料以進行移動補償。於EL層間預測中之繼承移動資料的使用,藉由允許一寫碼系統重複使用移動資料以代替於提供對於各種EL區塊之分別的移動資料,而可改進一SVC系統(例如,系統100)之壓縮效能及寫碼彈性。於依據 本揭示之各種實作例中,層間預測可被應用於時間、空間、位元深度、及/或品質可調尺度視訊寫碼應用之任何組合中。
如所討論地,一EL可使用繼承移動資料以進行移動補償。同時如所討論地,該移動資料可自一BL或一較低位準EL(或兩者)在EL被接收。如此處之使用,詞語“參考層”(RL)是涉及可提供移動資料至EL的一BL或一EL之任一者,而接收以及使用該移動資料以進行移動補償。通常,接收以及使用該移動資料以進行移動補償之EL可被視為是一“目標EL”或簡單地稱為一EL。
採用編碼器102、104以及106之任何一者或多者,編碼器子系統101可提供分別的位元流至一熵編碼器124。熵編碼器124接著可提供包含可調尺度視訊內容之複數個層之一被壓縮的位元流126,至解碼器子系統103之一熵解碼器128。依據本揭示,如將同時在下面更詳細地被說明,當解碼視訊資料時,EL解碼器110以及112之任一者或兩者可使用自任一之解碼器108或110所得到的移動資料以進行層間預測。例如,於一些實作例中,解碼器110可使用自解碼器108所得到的移動資料130以進行移動補償。此外,於一些實作例中,解碼器112可使用分別地自解碼器108及/或解碼器110之任一者或兩者所得到的移動資料130及/或移動資料132,而進行移動補償。
雖然圖1例示系統100如採用三層的可調尺度視訊內容以及三個編碼器於子系統101中且三個解碼器於子 系統103中之對應組集,任何數量之可調尺度視訊寫碼層以及對應的編碼器和解碼器可依據本揭示被採用。進一步地,本揭示是不受限定於圖1中所例示之特定構件及/或不受限定於系統100的各種構件被配置之方式。
進一步地,可被認為編碼器子系統101可以是關聯於及/或被提供自一內容提供器系統,該內容提供器系統包含,例如,一視訊內容伺服器系統,並且位元流126可利用各種通訊構件及/或系統,諸如收發器、天線、網路系統以及未被展示於圖1中之類似者,而被發送或被傳送至解碼器子系統103。同時解碼器子系統103也可被認為可以是關聯於一客戶系統,例如,經由各種通訊構件及/或系統,諸如收發器、天線、網路系統以及未被展示於圖1中之類似者,而接收位元流126之一電腦裝置(例如,一桌上型電腦、膝上型電腦、平板電腦、移動式電話或其類似者)。因此,於各種實作例中,編碼器子系統101以及解碼器子系統103可一起或彼此無關地被實作。進一步地,雖然此處所說明之系統、裝置以及方法可以是涉及進行對於一區塊(例如,一EL圖像之一PU)的層間預測,本揭示是不受限定於這方面並且層間預測可對於一EL圖像(例如,包含,對於一PU之一PB子劃分或如此處所討論之任何其他區塊)之任何劃分而被進行。
圖2例示依據本揭示至少一些實作例而被配置的SVC編碼系統200之範例。如所展示,系統200可包含一BL編碼器202和一EL編碼器204,於一範例中,其可分別地, 對應至系統100之編碼器102和編碼器104。雖然系統200可能僅包含,舉例來說對應至諸如一基底層編碼器和一增強層編碼器之兩個SVC寫碼層的兩個編碼器202和204,除了被展示於圖2中的那些之外,任何數量的SVC寫碼層和對應的編碼器可依據本揭示被採用。例如,對應至另外增強層之另外的編碼器可被包含於系統200中並且可以將在下面被說明之有關編碼器204的一相似方式而與編碼器202互動。例如,為清楚呈現起見,雖然相對於BL編碼器202和EL編碼器204地被說明,系統200可包含關聯如此處所討論的一參考層和增強層之任何參考層編碼器和增強層編碼器。通常,一參考層編碼器可以是對於一基底層(如所展示地)或對於在一關聯EL編碼器204的增強層之較低位準的任何增強層之一編碼器。
如所展示地,BL編碼器202可接收BL輸入訊框208並且EL編碼器204可接收EL輸入訊框206。通常,輸入訊框208可以是關聯視訊資料250之一BL且EL輸入訊框206可以是關聯視訊資料之一EL(例如,一目標EL)。於其他範例中,視訊資料250可如所討論地包含一參考層和一增強層。
當採用系統200以進行SVC寫碼時,EL輸入訊框206之至少一些區塊可利用EL編碼器204如利用BL編碼器202被處理地自BL輸入訊框208之一個或多個區塊或自相同增強層中利用EL編碼器204先前被編碼的其他圖像被預測。如將在下面更詳細地被說明,當使用系統200從事層 間預測操作時,EL輸入訊框206之一個或多個區塊,可以是至少部份地使用自BL編碼器202以及利用BL編碼器202被提供之繼承的移動資料210而被移動補償。於各種範例中,移動資料210可以包含一個或多個移動向量、參考指標、及/或方向間資訊或其類似者。進一步地,繼承的移動資料之使用以進行如此處所說明之EL移動補償可以被應用在一片段、圖像、或層位準上。
移動資料210可使用一寫碼迴路以依據BL輸入訊框208之處理而被決定,其中該寫碼迴路可包含一轉換及量化模組212、一反向轉換及反向量化模組214、一迴路中過濾模組216、一參考緩衝器218、一移動補償模組220、或一移動估計模組222、或其類似者。如於圖2之展示,移動資料210可以自移動估計模組222被得到。於一些範例中,BL編碼器202也可包含一框內預測模組224。模組212、214、216、218、220以及224之功能是眾所周知的技術並且將不在此處有任何更詳細說明。
如所展示地,在EL編碼器204,利用BL編碼器202被提供之移動資料210可在一移動補償模組226被接收,並且可至少部份地被使用,以使用一寫碼迴路而進行對於EL輸入訊框206之區塊的移動補償,其中該寫碼迴路可包含一轉換及量化模組228、一反向轉換及反向量化模組230、一參考緩衝器234、或一移動補償模組226、或其類似者。EL編碼器204同時可包含一框內預測模組238。模組228、230、233、以及234之功能係眾所周知的技術,並 且將不在此處有任何更詳細之說明。如所展示地,依據本揭示,EL編碼器204可使用移動資料210以進行對於EL輸入訊框206之區塊的移動補償。例如,EL編碼器204可使用移動資料210而不是採用移動估計模組236以進行對於EL輸入訊框206之區塊的移動補償。例如,EL編碼器204可至少部份地依據移動資料210為基礎而在移動補償模組226進行對於視訊資料250之一增強層的一區塊之移動補償。如將了解地,移動補償可被進行於一些EL輸入訊框(例如,EL輸入訊框206)之任何數量的區塊。
於各種實作例中,BL編碼器202及EL編碼器204之任一者或兩者可分別地提供對應至BL輸入訊框208的至少一些以及EL輸入訊框206的至少一些的被寫碼殘餘之壓縮係數至一熵編碼器模組240。熵編碼器模組240可進行該等殘餘之無損壓縮(例如,經由脈絡適應性二進制算術寫碼(CABAC))並且提供包含該被編碼殘餘之一多工化SVC位元流242作為自系統200之輸出。進一步地,如將在下面更詳細地被說明,位元流242可包含一指示符,例如,一旗標,其指定是否使用繼承的移動資料以進行對於一所給予的EL區塊之移動補償。如將在下面更詳細地被說明,依據此一指示符之數值,一解碼系統可能使用或可能不使用如此處所說明之繼承移動資料而進行層間預測。進一步地,且如將同時在下面更詳細地被說明,位元流242可包含關聯在基底層(例如,參考層)及增強層之間的一空間可調尺度性之一尺度係數。依據此一尺度係數之數值,一解 碼系統可調整移動資料(例如,移動向量或其類似者)以補償空間可調尺度性。
如所討論地,關聯視訊資料250之一參考層(於例示之範例中,是一基底層)的移動資料210可被決定,並且對於視訊資料250之一增強層的一區塊之移動補償可至少部份地依據移動資料210為基礎而被進行。如此處之進一步的討論,於一些範例中,為了決定移動資料210,關聯增強層之區塊之參考層之一同位置區塊可被決定。於一些範例中,在參考層及增強層之間的一空間可調尺度被致能並且增強層圖像尺度可以是較大於參考層圖像尺度,以至於決定該同位置區塊可包含使用增強層之區塊的一頂部左方位置、一中心位置、或一底部右方位置之至少一者,以決定該同位置區塊。進一步地,進行該移動補償前,移動資料210可藉由施加一尺度係數至移動資料210之一個或多個移動向量而被調尺度。該尺度係數可以是預先定義式或適應式,如此處之進一步的討論。進一步地,如所展示地,位元流242可至少部份地依據被進行之移動補償為基礎而被編碼。
圖3例示依據本揭示至少一些實作例而被配置的SVC解碼系統300之範例。系統300包含一BL解碼器302及一目標EL解碼器304,其可分別地對應,例如,至系統100之解碼器108及解碼器110。雖然系統300僅包含對應至二個SVC寫碼層的兩個解碼器302及304,除了被展示於圖3中的那些之外,任何數量的SVC寫碼層及對應的解碼器可 依據本揭示被採用。例如,對應至另外的增強層之另外的解碼器可被包含於系統300中並且可以將在下面有關於EL解碼器304而被說明之一相似方式與BL解碼器302互動。例如,為了表示清楚起見,雖然關於BL解碼器302及EL解碼器304被說明,系統300可包含關聯如此處討論之一參考層以及增強層的任何參考層解碼器及增強層解碼器。通常,一參考層解碼器可以是對於一基底層(如所展示地)或對於在一較低於關聯EL解碼器304之增強層的位準之任何增強層的一解碼器。
當採用系統300以進行SVC寫碼時,EL輸出訊框306中之各種區塊可利用EL解碼器304自如利用BL解碼器302被處理的BL輸出訊框308之區塊或自先前地利用EL解碼器304被解碼的相同EL中之其他圖像而被框間預測。如將在下面更詳細地被說明,EL輸出訊框306中的區塊之此框間預測可採用利用BL解碼器302被提供之移動資料310。移動資料310可自BL解碼器302之一框間預測模組316(具有,例如,一移動估計模組)而被得到。BL解碼器302同時可包含一反向轉換及反向量化模組314、一框內預測模組312、及/或一迴路中過濾模組318。
如將在下面更詳細地被說明,移動資料310可被提供至EL解碼器304之一框間預測模組324。EL解碼器304同時可包含一反向轉換及反向量化模組322、一框內預測模組320、以及一迴路中過濾模組326。當操作以進行框間預測時,EL解碼器304可採用框間預測模組324(具有,例 如,一移動補償模組)以及繼承的移動資料310以重建用於EL輸出訊框306之各種區塊的像素資料。進一步地,EL解碼器304可依據於位元流301中被提供的一指示符數值為基礎而如此處理,其中位元流301可對應至圖1之位元流126、圖2之位元流242、或其類似者。例如,位元流201可包含指明是否進行移動補償的一指示符(例如,一位元流旗標)。該位元流可被存取以決定該指示符,並且,如果該指示符指定移動補償是將被進行,則框間預測模組324可至少部份地依據移動資料310為基礎而進行對於視訊資料之一增強層的一區塊之移動補償。
如所討論地,關聯視訊資料(亦即,關聯位元流301之視訊資料)之一參考層(於所例示之範例中,是一基底層)的移動資料310可被決定,並且對於該視訊資料之一增強層的一區塊之移動補償可至少部份地依據移動資料310為基礎而被進行。如於此處之進一步的討論,於一些範例中,為了決定移動資料310,關聯該增強層之區塊的參考層之一同位置區塊可被決定。於一些範例中,在參考層及增強層之間的一空間可調尺度性被致能並且增強層圖像尺度可以是較大於參考層圖像尺度,以至於決定該同位置的區塊可包含使用增強層之區塊的一頂部左方位置、一中心位置、或一底部右方位置之至少一者,以決定該同位置區塊。進一步地,進行該移動補償之前,移動資料310可藉由施加一尺度係數至移動資料310之一個或多個移動向量而被尺度調整。該尺度係數可以是預先定義式或適應性, 如將於此處之進一步的討論。於一些範例中,該尺度係數可被包含於位元流301中。於其他範例中,該尺度係數可利用系統300被決定。進一步地,如所展示地,EL輸出訊框306可至少部份地依據移動補償為基礎而被產生。
此處所說明之系統的各種構件可以軟體、韌體、及/或硬體及/或其任何組合而被實作例。例如,系統300之各種構件可至少部份地,利用一電腦系統單晶片(SoC)之硬體被提供,例如,可被發現於例如,一電腦系統(例如,一智慧型手機)中。那些熟習本技術者可明白,此處所說明之系統可包含未被展示於對應的圖形中之另外的構件。例如,系統100、200以及300可包含另外的構件,例如,位元流多工器或解多工器模組以及類似者,為了清楚起見,未被展示於圖1、2及3中。
圖11是例示依據本揭示至少一些實作例被配置的視訊寫碼處理程序1100之範例的流程圖。於例示之實作例中,處理程序1100可包含如利用區塊1102及/或1104之一者或多者而被例示的一個或多個操作、功能或動作。藉由非限定性之範例,處理程序1100將藉由參考範例視訊寫碼系統200或視訊寫碼系統200於此處被說明。雖然處理程序1100,如所例示地,是針對於編碼,所述之概念及/或操作可以相同或相似方式被應用至通常包含於解碼中之寫碼。
處理程序1100可被採用作為用以進行可調尺度視訊寫碼之一電腦實作方法。處理程序1100可開始於操作 1102,“決定關聯視訊資料之一參考層的移動資料”,於其中關聯視訊資料之一參考層的移動資料可被決定。例如,移動資料210可被決定於BL編碼器202或移動資料310可被決定於一BL解碼器302。如所討論地,該移動資料可包含,例如,一個或多個移動向量、參考指標、及/或方向間資訊。同時如所討論地,該參考層也可以是一基底層或是在一較低於目標增強層的位準之一增強層(亦即,移動資料將被傳送至之增強層)。
處理程序可以自操作1102繼續至操作1104,“至少部份地依據該移動資料而進行對於視訊資料的一增強層之一區塊的移動補償”,其中對於視訊資料的一增強層之一區塊的移動補償可至少部份地依據該移動資料為基礎而被進行。例如,EL編碼器204可至少部份地依據移動資料210為基礎而進行移動補償或EL解碼器304可至少部份地依據移動資料310為基礎而進行移動補償。如於此處之進一步的討論,參考層之一同位置區塊可以被決定,以至於該同位置區塊是關聯該增強層之區塊。同時如於此處之進一步的討論,一尺度係數也是可以在進行該移動補償之前被應用至該移動資料。
通常,處理程序1100可對於任何數量之增強層的區塊及/或對於任何數量的資料訊框、或其類似者,以串列地或平行地方式被重複任何的次數。所得到的移動補償可以被使用以編碼一位元流或產生一增強層訊框或,例如,用以經由一顯示裝置而呈現的訊框。關於處理程序 1100之一些另外的及/或不同的詳細說明可以被例示於如此處討論的一個或多個實作範例中,並且尤其是,關於下面之圖12。
圖4例示一流程圖,其例示依據本揭示至少一些實作例而被編排的處理程序400之範例。處理程序400可以包含如利用圖4的區塊401、402、404、406、408、以及410之一者或多者所例示的一個或多個操作、功能或動作。處理程序400可形成一可調尺度視訊寫碼處理程序的至少部份。藉由非限定性之範例,處理程序400可形成用於一個或多個EL層區塊之一可調尺度視訊解碼處理程序的至少部份,如利用圖3之解碼器系統300被進行者,雖然處理程序400或其部份可被進行以形成如此處討論之一可調尺度視訊編碼處理程序的至少部份。
進一步地,處理程序400將參考使用圖5之可調尺度視訊寫碼系統500而寫碼一EL PU於此處被說明。圖5是依據本揭示至少一些實作例被配置之系統500範例的例示圖。如於圖5之展示,系統500可包含處理器502、SVC寫碼模組506、以及記憶體508。處理器502可依據本揭示而實例化SVC寫碼模組506以提供層間預測。於系統500之範例中,記憶體508可儲存包含至少一些的BL輸出訊框308及/或至少一些的EL輸出訊框306之視訊內容,以及如將在下面更詳細地被說明之其他項目,例如,移動資料(包含移動向量、參考指標、及/或方向間資訊)。SVC寫碼模組506可以藉由軟體、韌體、及/或硬體之任何組合而被提 供。如於此處之進一步的討論,於一些範例中,SVC寫碼模組506,或更通常地,一邏輯模組,可包含一層間移動資料繼承模組,其可被組態以決定關聯視訊資料之一參考層的移動資料,並且至少部份地依據該移動資料而進行,例如,對於該視訊資料之一增強層的一區塊之移動補償。記憶體508可以是任何類型之記憶體,例如,依電性記憶體(例如,靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、等等)或非依電性記憶體(例如,快閃記憶體,等等)、以及其它者。於一非限定之範例中,記憶體508可利用快取記憶體被實作。
返回至圖4之討論,處理程序400可開始於決定區塊401,“進行對於EL區塊之層間預測?”,於其中可決定關於對一目前之EL區塊的層間預測是否應該被進行。如果層間預測是將被進行,則處理程序400可在區塊402繼續,但是,如果層間預測是將不被進行,則處理程序400可以結束。於一些範例中,例如,解碼器實作例,決定層間預測是否將被進行之步驟可包含存取一位元流以決定一指示符(例如,一位元流旗標)以至於該指示符指定是否進行該移動補償。
處理程序400可以繼續於區塊402,“決定對應至EL區塊之同位置基底層(BL)區塊”,其中,對於一目前)EL區塊,對應至EL區塊的一BL之一個或多個同位置區塊可被決定。例如,圖6是依據本揭示至少一些實作例被配置的寫碼機構範例之例示圖。圖6例示EL輸出訊框306之一目 前區塊(於這範例中是一PU)602,其中PU 602空間地對應至BL輸出訊框308之多於一個同位置區塊。於這範例中,PU 602對應至BL輸出訊框308之四個同位置區塊604。但是,於各種實作例中,取決於依據在一EL及一BL或較低的位準EL之間的空間尺度調整,任何數量的BL或較低位準EL區塊可相對於一特定的EL PU而為同位置。於其他實作例中,僅一BL或較低位準EL區塊之一部份可以與一EL PU同位置。如此處之使用,詞語“同位置(collocated)”是涉及在一EL的一個或多個區塊以及一EL層的一區塊之間的空間相關性並且應被考慮是同義於詞語“位於同一位置(co-located)”。
進一步地,於一些可調尺度寫碼實作例中,其中空間尺度調整不被應用在EL及較低EL或BL層之間,其可能有在一EL中的區塊及一較低的EL中或一BL中的區塊之間的一個空間地一對一之對應。相對於圖6之範例,在區塊402,決定同位置區塊可包含標記或以不同方式標註區塊604,作為相對於該目前PU 602而為同位置。
於各種實作例中,其中空間尺度調整是被應用,因而在一EL以及一BL之間的空間比率是較大於1,一EL區塊之不同的位置可被使用以推導出該等同位置BL區塊。例如,於各種範例中,PU 602之一左方頂部位置、一中心位置、或一右方底部位置可被使用以決定在BL輸出訊框308中之同位置區塊604。於一些範例中,在參考層及增強層之間的一空間可調尺度性可被致能並且該增強層之增 強層圖像尺度可以是較大於該參考層之一參考層圖像尺度。於此等範例中,決定該同位置區塊步驟可包含使用增強層之區塊的一頂部左方位置、一中心位置、或一底部右方位置之一者以決定參考層之同位置區塊。
處理程序400可繼續於區塊404,“存取同位置BL區塊之移動資料”,其中對應至該等同位置區塊之移動資料可被存取。例如,參看至圖5和6,區塊404可以包含使用處理器502之SVC寫碼模組506以自記憶體508得到對應至一個或多個同位置區塊604之移動資料。例如,記憶體508可作用如同一訊框緩衝器以供暫時地儲存視訊內容,例如,BL輸出訊框308之部份以及關聯區塊604之移動資料。
於各種範例中,在區塊404,被存取或被繼承的移動資料可包含移動向量、參考指標、及/或方向間資訊之任何組合。於一些範例中,同位置BL區塊之所有移動向量、參考指標、以及方向間資訊可被存取或被繼承;於其他範例中,僅BL區塊之移動向量可被繼承;再於其他範例中,僅BL區塊之參考指標及方向間資訊可以被繼承至EL區塊;並且依此類推。
於一些實作例中,同位置BL區塊可包含所有框間寫碼區塊。於其他實作例中,同位置BL區塊可包含混合寫碼區塊,以至於該等同位置BL區塊之一些部份是框間寫碼,而其他部份則是框內寫碼。於此等實作例中,區塊404可包含指明供用於同位置BL區塊之框內寫碼部份的移 動資料。例如,同位置BL區塊之框內寫碼部份可以是關聯鄰近框間寫碼的部份之移動資料,例如,頂部左方、頂部右方空間地鄰近部份或時間地同位置區塊。於其他實作例中,同位置BL區塊之框內寫碼部份可以是關聯等於(0,0)之一移動向量、等於0之一參考指標、及/或等於一片型的一方向間資訊(單向預測或雙向預測)、或其類似者。
於一些範例中,其中同位置BL區塊是混合寫碼,以至於同位置BL區塊之一些部份是框間寫碼,而其他部份則是框內寫碼,區塊404可包含指明用於同位置BL區塊之框內寫碼的部份之補償像素。例如,同位置BL區塊之框內寫碼部份可以框間同位置區塊之重建像素被充填。並且於空間可調尺度性之情況中,框間區塊之重建像素可以是被向上取樣。
於各種實作例中,在區塊404,被存取的或被繼承的移動資料可以利用各種粒度被繼承。例如,對於一16x16 PU,移動向量可以利用4x4、8x8、或16x16之粒度被繼承;而對於一8x16 PU,移動向量可以利用4x4、或8x8之粒度被繼承;並且依此類推。
處理程序400可以繼續於決定區塊406,“調整移動資料尺度?”,於其中可決定是否調整在區塊404被存取的移動資料尺度。如果該決定是肯定的,則處理程序400可前進至區塊408,“施加尺度係數至移動資料”,其中一尺度係數可被施加至該移動資料。例如,當空間尺度施加以至於在EL和BL之間的空間比率是大於1時,在區塊404 被存取的一個或多個移動向量可以藉由施加對應至空間比率的一尺度係數而在區塊408被向上取樣。於各種實作例中,被施加在區塊408之一向上取樣尺度係數可以是一固定的尺度係數或可以是一適應性尺度係數。對於一固定尺度係數,該尺度係數可以利用一編碼器及一解碼器被預先定義並且被使用。於具有適應性尺度之實作例中,該尺度係數可以在編碼器端被訓練並且接著於一位元流中被通訊至一解碼器。例如,參看至圖1,編碼器子系統101可使用位元流126以通訊一適應性尺度係數至解碼器子系統103。例如,一解碼器可存取關聯該視訊資料之位元流以決定該尺度係數。
處理程序400接著可結束於區塊410,“至少部份地使用移動資料,而進行對於EL區塊之移動補償”,其中對於該EL區塊之移動補償可至少部份地使用在區塊404被存取的移動資料而被進行,並且,如果需要的話,則在區塊408被向上取樣或被尺度調整。於各種實作例中,區塊410,例如,可包含使用自一同位置BL區塊所繼承的一移動向量以移動補償該EL區塊。例如,對於視訊資料之一增強層的一區塊之移動補償可至少部份地依據移動資料為基礎而被進行。通常,該移動資料可包含一移動向量、一參考指標、或一方向間資訊、或其類似者。
如所討論地,於各種實作例中,當同位置BL區塊之參考圖像是不同於EL區塊之參考圖像時,在區塊404被存取之同位置BL區塊之移動向量可另外地被調整尺度以 便對齊於EL區塊之參考圖像。例如,固定或適應性尺度係數可被施加。對於固定尺度係數,這另外的尺度係數可以利用一編碼器以及一解碼器被預先定義並且被使用。對於適應性尺度係數,另外的尺度係數可在編碼器端被訓練並且於一位元流中被傳送至一解碼器。
如所討論地,於各種實作例中,處理程序400之部份,例如,是否在區塊401進行層間預測之決定,可回應於被提供至一解碼器之一指示(例如,於一位元流中)而被進行。例如,圖7是依據本揭示至少一些實作例被配置的位元流700範例之例示圖,例如,位元流126、242、或301。如於圖7之展示,位元流700可以包含一標頭部份702以及一資料部份704。標頭部份702可包含一個或多個指示符706。例如,指示符706可包含一指示符或旗標708,其之數值指定是否使用繼承的移動資料而進行層間預測,如於此處之說明,對於一目前的EL區塊。此外,位元流700可包含其他資訊,例如,如上所述之一個或多個適應性尺度係數710。
圖8例示依據本揭示至少一些實作例被配置之處理程序800範例的流程圖。處理程序800可包含一個或多個操作、功能或動作,如利用圖8的區塊802、804、806、808、810、812、814、以及816之一者或多者所例示。藉由非限定性之範例,當藉由解碼器系統300被進行時,處理程序800可形成一可調尺度視訊寫碼處理程序之至少部份以供用於一EL層之部份(例如,於這實作例中之一PU)。 進一步地,同時處理程序800將參照此處之說明以解碼一EL PU,雖然處理程序800也可使用圖5之可調尺度視訊寫碼系統500(於其中SVC寫碼模組506可實例化解碼器系統300)而被施加至此處討論之任何區塊,並且可被施加至圖7之範例位元流700。
處理程序800可開始於決定區塊802,“跳過模式?”,於其中可決定關於是否對於正被解碼之一目前EL PU進行跳過模式,於其中該目前PU將依據一個或多個先前被解碼的PU為基礎被解碼。於各種實作例中,SVC寫碼506可回應於在位元流700之標頭部份702中被接收的一指示符之數值而進行區塊802。例如,如果指示符具有一第一數值(例如,1),則SVC寫碼506可以決定對於該目前PU進行跳過模式。如果,另一方面,該指示符具有一第二數值(例如,零),則SVC寫碼506可決定對於該目前PU不進行跳過模式。
如果區塊802導致一否定決定,則處理程序800可前進至決定區塊804“框間/框內”,於其中可決定關於是否進行對於該PU之框內或框間寫碼。如果框內預測被選擇,則處理程序800可前進至區塊806,“進行習見的框內預測”,其中框內預測可使用已知的框內預測技術被進行。如果層間預測被選擇,則處理程序800可前進至決定區塊808,“IL_MDI旗標=真?”,於其中可決定關於是否使用習見的技術以進行層間預測或層間預測是否將使用如此處所說明之繼承的移動資料而被進行。於這範例中,區塊 808可依據被提供至位元流700中之解碼器的一層間移動資料繼承(IL_MDI)指示符(例如,旗標708)之數值為基礎而被進行。
如果指示符之數值是否定的(指示使用繼承的移動資料之層間預測是將不被進行),則處理程序800可前進至區塊810,“進行習見的層間預測”,其中層間預測可使用習見的層間預測技術被進行。如果,另一方面,指示符之數值是肯定的(例如,IL_MDI旗標具有一為真之數值),則處理程序800可前進至區塊812,“使用繼承的移動資料以進行層間預測”,其中層間預測可使用如此處所說明之繼承的移動資料被進行。處理程序800接著可繼續在區塊814,“進行殘餘解碼”,其中殘餘解碼可使用已知的殘餘解碼技術以及任一區塊810、812或806的結果被進行。最後,處理程序800可結束於區塊816,“重建PU中之像素”,其中已知的技術可被使用以重建對於該PU之像素數值。
雖然處理程序800於此處所說明如用於一EL PU之一解碼處理程序,本揭示是不受限定於以PU位準而使用繼承的移動資料之層間預測的性能。因此,於各種實作例中,處理程序800可同時被應用至一CU或至一TU或如於此處討論之任何區塊。進一步地,如先前所指出,使用於此處所說明而包含處理程序800之繼承的移動資料處理程序之所有層間預測可被應用於時間、空間、及/或品質可調尺度視訊寫碼之任何組合的脈絡中。
圖12是依據本揭示至少一些實作例被配置,而 在操作中之視訊寫碼系統100以及視訊寫碼處理程序1200的範例之例示圖。於例示之實作例中,處理程序1200可包含一個或多個操作、功能或動作,如藉由動作1201、1202、1203、1204、1205、1206、1207、1208、1209、1210、1211、1212、1213、及/或1214之一者或多者所例示。藉由非限定性之範例,處理程序1200將參考圖1之視訊寫碼系統100範例於此處被說明。
於所例示之實作例中,視訊寫碼系統100可包含邏輯模組1220、類似者、及/或其組合。例如,邏輯模組1220,可包含編碼器1230(例如,其可對應至編碼器101或200),其可包含層間移動資料繼承模組1250及解碼器1240,其可包含層間移動資料繼承模組1260。雖然視訊寫碼系統100,如於圖12之展示,可包含一個特定的區塊組集或關聯特定模組之動作,這些區塊或動作可以是關聯於除了在此例示的特定模組之外的不同模組。雖然處理程序1200,如所例示地,是針對編碼以及解碼,上述之概念及/或操作可分別地被應用至編碼及/或解碼,並且,通常地,更被應用至視訊寫碼。
處理程序1200可開始於區塊1201,“決定關聯參考層之移動資料”,其中關聯視訊資料之一參考層的移動資料可被決定。例如,移動資料210可被決定於BL編碼器202,以至於該移動資料可包含,例如,一個或多個的移動向量、參考指標、及/或方向間資訊。如所討論地,該參考層可以是一基底層或在一較低於目標增強層的位準之 一增強層(亦即,移動資料將被傳送之增強層)。
處理程序1200可自區塊1201繼續至區塊1202,“決定關聯增強層之區塊的參考層之同位置區塊”,其中關聯增強層之一目前區塊的參考層之一同位置區塊可被決定。於一些範例中,在參考層以及增強層之間的一空間可調尺度性被致能並且增強層之一增強層圖像尺度可以是較大於參考層之一參考層圖像尺度,而且決定同位置區塊可包含使用增強層之區塊的一頂部左方位置、一中心位置、或一底部右方位置之至少一者,以便決定同位置區塊。於各種範例中,同位置區塊可包含一框間寫碼區塊或一混合區塊之至少一者。依據同位置區塊為基礎,關聯同位置區塊之移動資料可如此處所討論地被決定或被存取。
處理程序1200可自區塊1202繼續至區塊1203,“施加尺度係數至移動資料”,其中一尺度係數可被施加至該移動資料。例如,該移動資料可包含至少一個的移動向量且該尺度係數之施加可包含施加該尺度係數至該移動向量。例如,該移動向量可以是關聯同位置區塊。於各種範例中,該尺度係數可包含一預先定義的尺度係數或一適應性尺度係數或其類似者。
如所討論地,於一些範例中(例如,其中沒有空間可調尺度性施加在參考層及增強層之間),處理程序1200可以跳過區塊1203。於任何情況中,處理程序1200可繼續於區塊1204,“進行移動補償”,其中對於視訊資料之一增強層的一區塊之移動補償可至少部份地依據該移動資 料為基礎而被進行。例如,EL編碼器204可至少部份地依據移動資料210為基礎而進行移動補償。
處理程序1200可以自區塊1204繼續至區塊1205,“編碼位元流”,其中一位元流可至少部份地依據該移動補償為基礎而被編碼。於一些範例中,該位元流可藉由殘餘寫碼而被編碼。
處理程序1200可以自區塊1205繼續至區塊1206,“傳送位元流”,其中該被編碼之位元流可被傳送。如所展示地,該被編碼之位元流可以被傳送至一解碼器1240。如所討論地,編碼器1230可以是關聯一內容提供器系統及/或藉由該內容提供器系統被提供,並且解碼器1240可以是關聯一客戶系統。因此,於各種實作例中,編碼器1230以及解碼器1240實質上可彼此無關地被實作。於各種範例中,該位元流可經由網際網路、經由一記憶體裝置、或其類似者而被傳送。如將了解地,於一些實作例中,該位元流可串列地或平行地被傳送至複數個裝置。
處理程序1200可自區塊1206繼續或開始於區塊1207,“存取位元流以決定指明是否進行移動補償之指示符”,其中關聯視訊資料之一位元流可被存取以決定可指定是否進行該移動補償之一指示符。該指示符可以,例如,利用解碼器300被存取。於一些範例中,該指示符可包含一位元流旗標。如在上之討論,如果層間預測是將不被進行,則處理程序1200可跳至區塊1213。
如果層間預測是將被進行,處理程序1200可繼 續於區塊1208(如果空間可調尺度性被致能並且一尺度係數已經由位元流被被提供),“存取位元流以決定尺度係數”,其中關聯該視訊資料之一位元流可被存取以決定一尺度係數。如所討論地,於一些範例中,一尺度係數可被編碼於一位元流中以供解碼。例如,位元流700可包含一個或多個適應性尺度係數710。如果空間可調尺度性被致能並且一尺度係數不經由位元流被提供,則一尺度係數可在區塊1211如此處討論地被決定。於其他範例中,空間可調尺度性可能不被致能並且可能沒有尺度係數是所需的(經由位元流或利用在解碼器1240之決定)。
處理程序1200可繼續於區塊1209,“決定關聯參考層之移動資料”,其中關聯視訊資料之一參考層的移動資料可被決定。例如,移動資料310可在一BL解碼器302被決定。如所討論地,該移動資料可包含,例如,一個或多個移動向量、參考指標、及/或方向間資訊。通常,該參考層可以是一基底層或是在一較低於目標增強層的位準之一增強層(亦即,移動資料將被傳送之增強層)。
處理程序1200可自區塊1209繼續至區塊1210,“決定關聯增強層之區塊的參考層之同位置區塊”,其中關聯增強層之一目前區塊的參考層之一同位置區塊可被決定。如所討論地,於一些範例中,在參考層及增強層之間的一空間可調尺度性可被致能並且增強層之一增強層圖像尺度可以是大於參考層之一參考層圖像尺度,並且決定該同位置區塊可包含使用增強層之區塊的一頂部左方位置、 一中心位置、或一底部右方位置之至少一者,以便決定同位置區塊。於各種範例中,該同位置區塊可包含一框間寫碼區塊或一混合區塊之至少一者。依據同位置區塊為基礎,關聯該同位置區塊之移動資料可如此處所討論地被決定或被存取。
如果無尺度係數是將被施加,則處理程序1200可跳至區塊1212。如果一尺度係數是將被施加,則處理程序1200可自區塊1210繼續至區塊1211,“施加尺度係數至移動資料”,其中一尺度係數可被施加至該移動資料。例如,該移動資料可包含至少一個移動向量並且該尺度係數之施加可包含施加該尺度係數至該移動向量。例如,該移動向量可以是關聯該同位置區塊。於各種範例中,該尺度係數可包含經由解碼器1240被實作之一預先定義的尺度係數或經由一位元流被接收的一適應性尺度係數。
處理程序1200可以繼續於區塊1212(例如,自區塊1207、1211、或1209),“進行移動補償”,其中用於視訊資料一增強層之一區塊的移動補償可至少部份地依據該移動資料為基礎而被進行。例如,EL解碼器304可至少部份地依據移動資料310為基礎而進行移動補償。
處理程序1200可自區塊1212繼續至區塊1213,“產生增強層輸出訊框”,其中關聯增強層之一增強層輸出訊框可以至少部份地依據該移動補償為基礎而被產生。例如,EL解碼器304可產生EL輸出訊框306。
處理程序1200可自區塊1213繼續至區塊1214, “傳送輸出訊框以供呈現”,其中該輸出訊框可以被傳送以供呈現。例如,一輸出訊框可經由一顯示裝置而被呈現至一使用者。
雖然此處之處理程序的實作範例可包含以圖解之展現順序被例示的所有區塊之工作,本揭示是不受限定於此,並且,於各種範例中,此處之處理程序的實作範例可包含僅被展示的該等區塊之一子集及/或以一不同順序而被例示之工作。
此外,此處討論的任何一個或多個區塊可回應於利用一個或多個電腦程式產品被提供的指令而被進行。此等程式產品可包含提供指令之信號承載媒體,其當該等指令利用,例如,一處理器被執行時,可提供此處所說明之功能。該等電腦程式產品可以一個或多個機器可讀取媒體之任何形式被提供。因此,例如,包含一個或多個處理器核心的一處理器可以回應於藉由一個或多個機器可讀取媒體被傳送至該處理器的程式碼及/或指令或指令組,而進行此處之處理程序範例的一個或多個區塊。通常,一機器可讀取媒體可以程式碼及/或指令或指令組之形式而傳送軟體,其可導致此處所說明之任何的裝置及/或系統以實作視訊系統100、200、及300、SVC寫碼模組506、層間移動資料繼承模組1250或1260、或其類似者之至少部份。
如被使用於此處所說明之任何實作例中,詞語“模組”是涉及被組態以提供此處所說明之功能的軟體邏輯、韌體邏輯及/或硬體邏輯之任何組合。該軟體可作為 一軟體封裝、數碼及/或指令組或指令而實施,以及“硬體”,如被使用於此處所說明之任何實作例中,可包含,例如,單獨地或以任何組合方式之硬線電路、可程控電路、狀態機器電路、及/或儲存利用可程控電路被執行之指令的韌體。該等模組可以,整體地或分別地,作為形成一較大系統(例如,一積體電路(IC)、系統晶片(SoC)、以及其它者)之部份的電路而被實施。
圖13是依據本揭示至少一些實作例被配置之視訊寫碼系統1300範例的例示圖。於該例示之實作例中,視訊寫碼系統1300可包含成像裝置1301、一視訊編碼器1302、一天線1303、一視訊解碼器1304、一個或多個處理器1306、一個或多個記憶體儲存器1308、一顯示器1310、及/或邏輯模組1340。邏輯模組1340可包含層間移動資料繼承模組1260、其類似者、及/或其組合。於一些範例中,視訊編碼器1302可實作包含,例如,一層間移動資料繼承模組(例如,層間移動資料繼承模組1240)的一個或多個邏輯模組。
如所例示地,天線1303、視訊解碼器1304、處理器1306、記憶體儲存器1308、及/或顯示1310可以是能夠彼此通訊及/或通訊於邏輯模組1340之部份。同樣地,成像裝置1301以及視訊編碼器1302可以是能夠彼此通訊及/或通訊於邏輯模組1340之部份。因此,視訊解碼器1304可包含所有的邏輯模組1340或其之部份,而視訊編碼器1302可包含相似的邏輯模組。雖然視訊寫碼系統1300,如 於圖13之展示,可包含一個特定組集的區塊或關聯特定模組的動作,這些區塊或動作可以是關聯除了此處例示的特定模組之外的不同模組。
於一些範例中,視訊寫碼系統1300可包含天線1303、視訊解碼器1304、其類似者、及/或其組合。天線1303可以被組態以接收視訊資料之一被編碼的位元流。視訊解碼器1304可通訊地被耦合至天線1303,並且可被組態以解碼該被編碼的位元流。視訊解碼器1304可被組態以決定關聯視訊資料之一參考層的移動資料,並且如此處討論地至少部份地依據該移動資料以進行對於視訊資料一增強層之一區塊的移動補償。
於其他範例中,視訊寫碼系統1300可包含顯示裝置1310、一個或多個處理器1306、一個或多個記憶體儲存器1308、層間移動資料繼承模組1260、其類似者、及/或其組合。顯示裝置1310可被組態以呈現視訊資料。處理器1306可通訊地被耦合至顯示器1310。記憶體儲存器1308可通訊地被耦合至該等一個或多個處理器1306。視訊解碼器1304(於其他範例中,或視訊編碼器1302)之層間移動資料繼承模組1260可通訊地被耦合至該等一個或多個處理器1306並且可被組態以決定關聯視訊資料之一參考層的移動資料,而且至少部份地依據該移動資料而進行對於視訊資料一增強層之一區塊的移動補償,以至於經由顯示裝置1310之影像資料的呈現可以是至少部份地依據該移動補償為基礎。
於各種實施例中,層間移動資料繼承模組1260可以硬體被實作,而軟體可實作其他邏輯模組。例如,於一些實施例中,層間移動資料繼承模組1260可利用特定應用積體電路(ASIC)邏輯被實作,而其他邏輯模組則可以藉由利用邏輯(例如,處理器1306)被執行的軟體指令被提供。但是,本揭示是不受限於這方面,並且層間移動資料繼承模組1260及/或其他邏輯模組可利用硬體、韌體及/或軟體之任何組合而被實作。此外,記憶體儲存器1308可以是任何類型之記憶體,例如,依電性記憶體(例如,靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、等等)或非依電性記憶體(例如,快閃記憶體、等等)、以及其它者。於一非限定性之範例中,記憶體儲存器1308可利用快取記憶體被實作。
於各種範例中,層間移動資料繼承模組1260可包含一基底層編碼器(例如,BL編碼器202)之一移動估計模組(例如,移動估計模組222)、及一增強層編碼器(例如,EL編碼器204)之一移動補償模組(例如,移動補償模組226)。進一步地,層間移動資料繼承模組1260可至少部份地經由硬體被實作。進一步地,雖然未被展示於圖13中,經由一視訊編碼器(例如,編碼器1230或1302)被實作的一層間移動資料繼承模組(例如,層間移動資料繼承模組1250)可包含一基底層解碼器(例如,BL解碼器302)之一移動估計模組(例如,具有一移動估計模組之層間預測模組316)以及一增強層解碼器(例如,EL解碼器304)之一移動 補償模組(例如,具有一移動補償模組之層間預測模組324)。進一步地,經由一視訊編碼器被實作的一層間移動資料繼承模組可至少部份地經由硬體被實作。
圖9例示依據本揭示之至少一些實作例被配置的範例系統900。於各種實作例中,系統900可以是一媒體系統,雖然系統900是不受限定於本文脈絡。例如,系統900可被併入一個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦、觸控墊、輕便型電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合行動電話/PDA、電視、智慧型裝置(例如,智慧型手機、智慧型平板電腦或智慧型電視)、移動網際網路裝置(MID)、通聯裝置、資料通訊裝置、攝影機(例如,指示及拍攝攝影機、超級變焦攝影機、數位單鏡頭反光(DSLR)攝影機)、以及其它者。
於各種實作例中,系統900包含被耦合至一顯示器920的平臺902。平臺902可接收來自一內容裝置(例如,內容服務裝置930或內容傳送裝置940或其他相似內容來源)之內容。一導航控制器950包括一個或多個導航特點,其可被使用以互動於,例如,平臺902及/或顯示器920。這些構件之各者將在下面更詳細地被說明。
於各種實作例中,平臺902可包含一晶片組905、處理器910、記憶體912、天線913、儲存器914、圖形子系統915、應用916及/或無線電918之任何組合。晶片組905可提供在處理器910、記憶體912、儲存器914、圖形 子系統915、應用916及/或無線電918之間的互聯通訊。例如,晶片組905可包含可提供與儲存器914層間通訊的一儲存轉接器(未被展示於圖形中)。
處理器910可被實作如一複雜指令集電腦(CISC)或簡化指令集電腦(RISC)處理器;x86指令集相容處理器、多核心、或任何其他微處理器或中央處理單元(CPU)。於各種實作例中,處理器910可以是雙核心處理器、雙核心移動式處理器、以及其它者。
記憶體912可被實作如一依電性記憶體裝置,例如,但是不受限定於,一隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。
儲存器914可被實作如一非依電性儲存裝置,例如,但是不受限定於,一磁碟驅動器、光碟驅動器、卡帶驅動器、一內部儲存裝置、一附帶儲存裝置、快閃記憶體、電池支援SDRAM(同步DRAM)、及/或一網路可存取儲存裝置。於各種實作例中,例如,當複數個硬碟驅動器被包含時,儲存器914可包含增加對於貴重數位媒體之儲存性能提高保護之技術。
圖形子系統915可進行用以顯示之影像(例如,靜態或視訊)之處理。圖形子系統915可以是,例如,一圖形處理單元(GPU)或一視訊處理單元(VPU)。一類比或數位介面可被使用以通訊地耦合圖形子系統915以及顯示器920。例如,該介面可以是高清晰度多媒體介面、顯示埠、無線HDMI、及/或無線HD遵循技術之任何一者。圖 形子系統915可被整合進入處理器910或晶片組905中。於一些實作例中,圖形子系統915可以是通訊地被耦合至晶片組905之一獨立裝置。
於此處被說明之圖形及/或視訊處理技術可以各種硬體結構被實作。例如,圖形及/或視訊功能性可被整合在一晶片組之內。另外地,一離散圖形及/或視訊處理器也可被使用。如仍然之另一實作例,圖形及/或視訊功能可利用包括多核心處理器的一般用途處理器被提供。於進一步的實施例中,該等功能可被實作於消費者電子裝置中。
無線電918可包含能夠使用各種適當的無線通訊技術發送以及接收信號之一個或多個無線電。此等技術可包含跨越一個或多個無線網路之通訊。無線網路之範例包含(但是不受限定於)無線局域性網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、行動電話網路、以及衛星網路。於跨越此等網路之通訊中,無線電918可依據任何版本之一個或多個可應用標準而操作。
於各種實作例中,顯示器920可包含任何電視型式之監視器或顯示器。顯示器920可包含,例如,一電腦顯示屏幕、觸控螢幕顯示器、視訊監視器、類似電視之裝置、及/或電視。顯示器920可以是數位及/或類比式。於各種實作例中,顯示器920可以是一全像顯示器。同時,顯示器920也可以是可接收一視覺投射之一穿透性表面。此等投射可傳送各種形式的資訊、影像、及/或物件。例 如,此等投射可以是用於一移動增強實境(MAR)應用之一視覺重疊。在一個或多個軟體應用916的控制之下,平臺902可能顯示使用者介面922於顯示器920上。
於各種實作例中,內容服務裝置930可以利用任何的國家、國際及/或獨立服務機構被主持,並且因此可以,例如,經由網際網路而存取至平臺902。內容服務裝置930可被耦合至平臺902及/或至顯示器920。平臺902及/或內容服務裝置930可被耦合至一網路960,以通訊(例如,傳送及/或接收)媒體資訊至以及自網路960。內容傳送裝置940也可被耦合至平臺902及/或至顯示器920。
於各種實作例中,內容服務裝置930可包含一有線電視盒、個人電腦、網路、電話、網際網路致能裝置或能夠傳送數位資訊及/或內容之設備、以及可經由網路960或直接地,在內容提供者以及平臺902以及/顯示器920之間單向地或雙向地通訊內容之任何其他相似裝置。應了解,該內容可經由網路960單向地及/或雙向地被通訊至以及自系統900中之構件的任何一者以及一內容提供者。內容範例可包含任何媒體資訊,例如,包括視訊、音樂、醫學與遊戲資訊、以及其它者。
內容服務裝置930可接收內容,例如,包括媒體資訊、數位資訊之有線電視節目及/或其他內容。內容提供者範例可包含任何有線或衛星電視或無線電或網際網路之內容提供者。所提供的範例是不欲以任何方式限制依據本揭示之實作例。
於各種實作例中,平臺902可自具有一個或多個導航特點之導航控制器950接收控制信號。例如,控制器950之導航特點可被使用以互動於使用者介面922。於實施例中,導航控制器950可以是一指示裝置,其可以是一電腦硬體構件(明確地說,是一人類介面裝置),其允許一使用者輸入空間(例如,連續的以及多維度)資料進入一電腦中。許多系統,例如,圖形使用者介面(GUI),以及電視與監視器允許使用者使用實際手勢以控制以及提供資料至電腦或電視。
控制器950之導航特點的移動可藉由被顯示在顯示器上之指針、游標、對焦環、或其他視覺指示器的移動而被複製在一顯示器(例如,顯示器920)上。例如,在軟體應用916控制之下,被安置於導航控制器950上之導航特點可被映製至,例如,被顯示在使用者介面922上之虛擬導航特點。於實施例中,控制器950可以不是一分離構件,而是可被整合進入平臺902及/或顯示器920中。但是,本揭示是不受限定於此處所展示或所說明之元件或本文脈絡中。
於各種實作例中,例如,當被致能時,驅動器(未被展示於圖形中)可包含讓使用者能立即導通以及關閉平臺902之技術,類似於在啟始開機後之按鈕觸控的電視。即使當平臺被“關閉”時,程式邏輯也可允許平臺902湧送內容至媒體轉接器或其他內容服務裝置930或內容傳送裝置940。此外,晶片組905可包含,例如,對於5.1環 繞音效音訊及/或高清晰度7.1環繞音效音訊之硬體及/或軟體支援。驅動器可包含供用於整合圖形平臺之一圖形驅動器。於實施例中,該圖形驅動器可包含一週邊構件互連(PCI)快速圖形卡。
於各種實作例中,任何被展示於系統900中之一個或多個構件可被整合。例如,平臺902以及內容服務裝置930可被整合,或平臺902以及內容傳送裝置940可被整合,或,例如,平臺902、內容服務裝置930、以及內容傳送裝置940可被整合。於各種實施例中,平臺902以及顯示器920可以是一整合單元。顯示器920以及內容服務裝置930可被整合,或,例如,顯示器920以及內容傳送裝置940可被整合。這些範例並不欲限制本揭示。
於各種實施例中,系統900可被實作如一無線系統、一有線系統、或二者之組合。當被實作如一無線系統時,系統900可包含適用於在一無線共享媒體上通訊之構件以及介面,例如,一個或多個天線、發送器、接收器、收發器、放大器、濾波器、控制邏輯、以及其它者。無線共享媒體之範例可包含一無線頻譜之部份,例如,RF頻譜以及其它者。當被實作如一有線系統時,系統900可包含適用於在有線通訊媒體上通訊之構件以及介面,例如,輸入/輸出(I/O)轉接器、連接I/O轉接器與一對應的有線通訊媒體之實體連接器、一網路介面卡(NIC)、碟盤控制器、視訊控制器、音訊控制器、以及其類似者。有線通訊媒體範例可包含一電線、電纜線、金屬導線、印刷電路板 (PCB)、基板、切換結構、半導體材料、雙絞線、同軸電纜,光纖、以及其它者。
平臺902可建立一個或多個邏輯或實體通道以通訊資訊。該資訊可包含媒體資訊以及控制資訊。媒體資訊可以是涉及表示對於一使用者之內容的任何資料。內容範例可包含,例如,來自下列者之資料,如聲音會話、視訊會議、串流視訊、電子郵件(“email”)訊息、聲音郵件訊息、文數字符號、圖形、影像、視訊、文字以及其它者。來自一聲音會話之資料可以是,例如,語音資訊、靜音週期、背景雜訊、舒適雜訊、音調以及其它者。控制資訊可以涉及表示命令、指令或一自動化系統之控制字組之任何資料。例如,控制資訊可被使用以引導媒體資訊經由一系統,或指示一節點以一預先定義方式而處理該媒體資訊。但是,該等實施例是不受限定於所展示或被說明於圖9中之元件或本文脈絡中。
如上所述,系統900可以變化的實體樣式或形式因素被實施。圖10例示於其中系統1000可被實施之一小的形式因素裝置1000之實作例。於實施例中,例如,裝置1000可被實作如具有無線功能之一移動式電腦裝置。一移動式電腦裝置可涉及具有,例如,一處理系統以及一移動式電源或供應電源(例如,一個或多個電池)之任何裝置。
如上所述,移動式電腦裝置之範例可包含一個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦、觸控墊、輕便型電腦、手持電腦、掌上型電腦、個人數位 助理(PDA)、行動電話、組合式行動電話/PDA、電視、智慧型裝置(例如,智慧型手機、智慧型平板電腦或智慧型電視)、移動式網際網路裝置(MID)、通聯裝置、資料通訊裝置、攝影機(例如,指示及拍攝攝影機、超級變焦攝影機、數位單鏡頭反光(DSLR)攝影機)、以及其它者。
移動式電腦裝置之範例也可包含被配置而將被一人員所穿戴之電腦,例如,一手腕式電腦、手指式電腦、戒指式電腦、眼鏡式電腦、皮帶式電腦、臂帶式電腦、鞋式電腦、服裝式電腦、以及其他可穿戴式電腦。於各種實施例中,例如,一移動式電腦裝置可被實作如能夠執行電腦應用、以及聲音通訊及/或資料通訊之一智慧型手機。雖然一些實施例可藉由被實作如一智慧型手機之移動式電腦裝置的範例被說明,應了解,其它實施例同樣也可使用其他無線移動電腦裝置被實作。該等實施例是不受限定於本文脈絡中。
如於圖10之展示,裝置1000可包含一外罩1002、一顯示器1004、一輸入/輸出(I/O)裝置1006、以及一天線1008。裝置1000也可包含導航特點1012。顯示器1004可包含用以顯示適用於一移動式電腦裝置的資訊之任何適當的顯示單元。I/O裝置1006可包含用以輸入資訊進入一移動式電腦裝置之任何適當的I/O裝置。用於I/O裝置1006之範例可包含一文數字鍵盤、一數字小鍵盤、一觸控墊、輸入鍵、按鈕、開關、搖桿切換器、麥克風、擴音機、聲音辨識裝置以及軟體、以及其它者。資訊也可經由 麥克風(未被展示於圖形中)被輸進入裝置1000中。此等資訊可藉由一聲音辨識裝置(未被展示於圖形中)被數位化。該等實施例是不受限定於本文脈絡中。
各種實施例可使用硬體元件、軟體元件、或其兩者之組合而被實作。硬體元件範例可包含處理器、微處理器、電路、電路元件(例如,電晶體、電阻器、電容器、電感器、以及其它者)、積體電路、特定應用積體電路(ASIC)、可程控邏輯裝置(PLD)、數位信號處理器(DSP)、場式可程控閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組、以及其它者。軟體範例可包含軟體構件、程式、應用、電腦程式、應用程式、系統程式、機器程式、操作系統軟體、中介軟體、韌體、軟體模組、例行程式、子例行程式、函數、方法、步驟、軟體介面、應用程式介面(API)指令組、計算程式碼、電腦程式碼、程式碼段、電腦程式碼段、字組、數值、符號、或其任何組合。決定一實施例是否使用硬體元件及/或軟體元件被實作可依據任何數量的因素而變化,例如,所需的計算率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速率以及其他設計或功能的限制。
至少一實施例之一個或多個論點可藉由被儲存在一機器可讀取媒體上之代表在處理器內的各種邏輯之表示指令被實作,其中該等指令當利用一機器被讀取時,將導致該機器製造邏輯以進行此處說明之技術。此等表示, 熟知如“IP核心”,可被儲存在一有形機器可讀取媒體上並且被供應至各種客製或製造設施以裝載進入實際上形成邏輯或處理器之製造機器。
雖然此處提出之某些特點已參考各種實作例被說明,這說明不欲銓釋為一限定的意義。因此,熟習本技術者應明白,此處被說明之本揭示相關的實作例、以及其他實作例的各種修改,皆被認為是在本揭示之精神以及範疇內。
下面的範例是有關進一步之實施例。
於一範例中,用以進行可調尺度視訊寫碼之一電腦實作方法可包含決定關聯視訊資料之一參考層的移動資料,並且至少部份地依據該移動資料而進行對於該視訊資料之一增強層的一區塊之移動補償。
於另一範例中,用以進行可調尺度視訊寫碼之一電腦實作方法可進一步包含決定關聯該增強層之區塊的參考層之一同位置區塊,以至於在參考層以及增強層之間的一空間可調尺度性被致能,並且一增強層圖像尺度是大於一參考層圖像尺度。決定同位置區塊可包含使用該增強層之區塊的一頂部左方位置、一中心位置、或一底部右方位置之至少一者,以決定該同位置區塊。移動資料可包含關聯該參考層之同位置區塊之移動資料。同位置區塊可包含一層間被寫碼區塊或一混合區塊之至少一者。該電腦實作方法可進一步包含施加一尺度係數至先前地進行該移動補償之移動資料的至少一移動向量以至於該尺度係數包含 一預先定義尺度係數或一適應性尺度係數之至少一者;至少部份地依據該移動補償為基礎而編碼一位元流以至於該位元流藉由殘餘寫碼被編碼;存取關聯該視訊資料之一位元流以決定一指示符以至於該指示符指定是否進行該移動補償以及以至於該指示符包含一位元流旗標;存取關聯該視訊資料之該位元流以決定該尺度係數;並且至少部份地依據該移動補償為基礎而產生關聯該增強層的一增強層輸出訊框。該移動資料可包含一移動向量、一參考指標、或一方向間資訊之至少一者。該參考層可包含一基底層或一第二增強層之至少一者以至於該增強層是一較高於第二增強層的層。在參考層和增強層之間的一品質可調尺度性、一時間可調尺度性、或一位元深度可調尺度性之至少一者可被致能。對於一片段、一圖像、或一層位準之至少一者的移動補償可被進行。區塊可包含一預測單元、一預測區塊、一轉換單元、或一寫碼單元之至少一者。至少一移動向量可具有包括4x4、8x8、或16x16之至少一者的一粒度,以至於增強層之區塊是一16x16預測單元。參考層可包含一基底層並且該增強層可包含一位準1增強層。進行該移動補償可包含進行在一增強層解碼器之移動補償。該增強層解碼器可至少部份地經由硬體被實作。進行該移動補償可包含進行在一增強層編碼器之移動補償。
於其他範例中,在一電腦上用於視訊寫碼之一系統可包含一顯示裝置、一個或多個處理器、一個或多個記憶體儲存器、一層間移動資料繼承模組、其類似者、及 /或其組合。該顯示裝置可被組態以呈現視訊資料。該等一個或多個處理器可通訊地被耦合至該顯示裝置。該等一個或多個記憶體儲存器可通訊地被耦合至該等一個或多個處理器。該層間移動資料繼承模組可通訊地被耦合至該等一個或多個處理器,並且被組態以決定關聯視訊資料之一參考層之移動資料,而且至少部份地依據該移動資料而進行對於視訊資料之一增強層的一區塊之移動補償。經由顯示裝置的影像資料之呈現可以是至少部份地依據該移動補償為基礎。
於另一系統範例中,層間移動資料繼承模組可被組態以決定關聯增強層之區塊的參考層之一同位置區塊,施加一尺度係數至先前地進行該移動補償的移動資料之至少一移動向量,以至於該尺度係數包含一預先定義尺度係數或一適應性尺度係數之至少一者;至少部份地依據該移動補償為基礎而編碼一位元流,以至於該位元流藉由殘餘寫碼被編碼;存取關聯該視訊資料之一位元流以決定一指示符,以至於該指示符指定是否進行該移動補償並且該指示符包含一位元流旗標;存取關聯該視訊資料之位元流以決定一尺度係數,並且至少部份地依據該移動補償為基礎而產生關聯該增強層之一增強層輸出訊框。在參考層和增強層之間的一空間可調尺度性可被致能,並且一增強層圖像尺度可以是大於一參考層圖像尺度。決定該同位置區塊可包含使用增強層之區塊的一頂部左方位置、一中心位置、或一底部右方位置之至少一者,以決定該同位置區 塊。該移動資料可包含關聯參考層之同位置區塊之移動資料。該同位置區塊包含一層間寫碼區塊或一混合區塊之至少一者。該移動資料可包含一移動向量、一參考指標、或一方向間資訊之至少一者。該參考層可包含一基底層或一第二增強層之至少一者以至於該增強層是一較高於第二增強層的層。在參考層和增強層之間的一品質可調尺度性、一時間可調尺度性、或一位元深度可調尺度性之至少一者可被致能。對於一片段、一圖像、或一層位準之至少一者的移動補償可被進行。區塊可包含一預測單元、一預測區塊、轉換單元、或一寫碼單元之至少一者。至少一移動向量可具有包括4x4、8x8、或16x16之至少一者的一粒度,以至於增強層之區塊是一16x16預測單元。參考層可包含一基底層並且該增強層可包含一位準1增強層。該層間移動資料繼承模組可包含一基底層編碼器之一移動估計模組及一增強層編碼器之一移動補償模組。該層間移動資料繼承模組可至少部份地經由硬體被實作。該層間移動資料繼承模組可包含一基底層解碼器之一移動估計模組以及一增強層解碼器之一移動補償模組。
於一進一步的範例中,至少一機器可讀取媒體可包含複數個指令,回應於該等指令在一電腦裝置上被執行,導致該電腦裝置進行依據上面之任一範例的方法。
於再進一步的範例中,一設備可包含用以進行依據上面之任一範例的方法之構件。
上面範例可包含特點之特定組合。但是,此等 上面範例是不受限定於此,並且於各種實作例中,上面範例可包含僅此等特點之一子集的工作,此等特點之一不同順序的工作、此等特點之一不同組合的工作、及/或除了那些明確地被列出的特點外之另外特點的工作。例如,有關上述方法範例的所有特點可以有關之設備範例、系統範例、及/或物件範例被實作,並且反之亦然。
100‧‧‧系統
101‧‧‧編碼器子系統
102‧‧‧基底層編碼器
103‧‧‧解碼器子系統
104‧‧‧第一增強層編碼器
106‧‧‧第二增強層編碼器
108‧‧‧層0基底層解碼器
110‧‧‧層1增強層解碼器
112‧‧‧層2增強層解碼器
114‧‧‧移動資料
118‧‧‧移動資料
124‧‧‧熵編碼器
126‧‧‧壓縮位元流
128‧‧‧熵解碼器
130‧‧‧移動資料
132‧‧‧移動資料

Claims (17)

  1. 一種用以寫碼視訊之設備,其包含:用以存取參考移動資料的電路,該參考移動資料至少包括與至少一參考層圖像相關聯的移動向量及參考指標,該參考層圖像包含多層視訊內容之一第一層的複數個圖像之一者,該電路用以針對一目前圖像之一區塊判定該參考層圖像之同位置的混合寫碼區塊,其中該混合寫碼區塊包括至少一框內寫碼區塊與一框間寫碼區塊,其中該目前圖像包含該多層視訊內容之一第二層的複數個圖像之一者,該第二層係不同於該第一層,且該參考層圖像及該目前圖像之間具有一空間可調尺度性,該電路用以基於施加一尺度係數至與同位置的該等區塊相關聯之一移動向量而判定用於該區塊之一移動向量,該電路用以至少部分地基於用於該區塊之該移動向量而進行對於該目前圖像之層間預測,且該電路用以判定用於該區塊之補償像素,其中用以判定該補償像素,該電路係要重建並空間地調整該框內寫碼區塊之像素尺度。
  2. 如請求項1之設備,其中該電路係經組配以回應於以與該多層視訊內容相關聯之一位元流語法而被傳送至該電路的一位元流旗標而進行對於該目前圖像之層間預測。
  3. 如請求項1之設備,進一步包含用以儲存該參考層圖像 或該參考移動資料之至少一者的記憶體。
  4. 如請求項1之設備,其中該電路包含視訊解碼器電路或視訊編碼器電路之至少一者。
  5. 如請求項1之設備,其中該第一層包含一基底層,並且其中該第二層包含一增強層。
  6. 如請求項1之設備,其中該尺度係數包含一預先定義尺度係數或一適應性尺度係數之至少一者。
  7. 如請求項1之設備,該電路進一步經組配以至少部分地基於經進行之該層間預測而進行移動補償。
  8. 如請求項1之設備,其中該電路係進一步經組配以針對該目前圖像之一第二區塊而判定該參考層圖像之一第二同位置區塊係至少部分地框內寫碼且基於該第二同位置區塊係至少部分地框內寫碼而設定用於該第二區塊之一移動向量為一零移動向量。
  9. 一種寫碼視訊之方法,其包含:存取參考移動資料,該參考移動資料至少包括與至少一參考層圖像相關聯的移動向量及參考指標,該參考層圖像包含多層視訊內容之一第一層的複數個圖像之一者;針對一目前圖像之一區塊判定該參考層圖像之同位置的混合寫碼區塊,其中該混合寫碼區塊包括至少一框內寫碼區塊與一框間寫碼區塊,其中該目前圖像包含該多層視訊內容之一第二層的複數個圖像之一者,該第二層係不同於該第一層,且該參考層圖像及該目前圖像 之間具有一空間可調尺度性;基於施加一尺度係數至與同位置的該等區塊相關聯之一移動向量而判定用於該區塊之一移動向量;至少部分地基於用於該區塊之該移動向量而進行對於該目前圖像之層間預測;以及藉由重建並空間地調整該框內寫碼區塊之像素尺度來判定用於該區塊之補償像素。
  10. 如請求項9之方法,其中進行對於該目前圖像之層間預測包含回應於以與該多層視訊內容相關聯之一位元流語法而被傳送的一位元流旗標而進行對於該目前圖像之層間預測。
  11. 如請求項9之方法,進一步包含儲存該參考層圖像或該參考移動資料之至少一者。
  12. 如請求項9之方法,其中該第一層包含一基底層,以及其中該第二層包含一增強層。
  13. 如請求項9之方法,其中該尺度係數包含一預先定義尺度係數或一適應性尺度係數之至少一者。
  14. 如請求項9之方法,其進一步包含至少部分地基於經進行之層間預測而進行移動補償。
  15. 如請求項9之方法,其進一步包含:針對該目前圖像之一第二區塊而判定該參考層圖像之一第二同位置區塊係至少部分地框內寫碼;並且基於該第二同位置區塊係至少部分地框內寫碼而設定用於該第二區塊之一移動向量為一零移動向量。
  16. 一種包含程式碼之至少一機器可讀取媒體,當該等程式碼被執行時,導致一機器進行如請求項9至15之任一項的方法。
  17. 一種用以進行視訊寫碼之設備,其包含用以進行如請求項9至15之任一項的方法之構件。
TW102148247A 2013-01-04 2013-12-25 層間移動資料繼承之技術 TWI559749B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361748872P 2013-01-04 2013-01-04
US13/793,059 US20140192880A1 (en) 2013-01-04 2013-03-11 Inter layer motion data inheritance

Publications (2)

Publication Number Publication Date
TW201436537A TW201436537A (zh) 2014-09-16
TWI559749B true TWI559749B (zh) 2016-11-21

Family

ID=51060931

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102148247A TWI559749B (zh) 2013-01-04 2013-12-25 層間移動資料繼承之技術

Country Status (8)

Country Link
US (1) US20140192880A1 (zh)
EP (1) EP2941874A4 (zh)
JP (1) JP2016506165A (zh)
KR (1) KR20150082512A (zh)
CN (1) CN104838652A (zh)
SG (1) SG11201503953PA (zh)
TW (1) TWI559749B (zh)
WO (1) WO2014107577A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
US20180249176A1 (en) * 2015-03-11 2018-08-30 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal
WO2017154604A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 画像処理装置および方法
WO2017183751A1 (ko) * 2016-04-22 2017-10-26 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20190037223A1 (en) * 2017-07-25 2019-01-31 Mediatek Inc. Method and Apparatus of Multiple Pass Video Processing Systems
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208810A1 (en) * 2007-10-15 2010-08-19 Thomson Licensing Method and apparatus for inter-layer residue prediction for scalable video
WO2010095556A1 (ja) * 2009-02-19 2010-08-26 ソニー株式会社 画像処理装置および方法
US20120039387A1 (en) * 2004-03-31 2012-02-16 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
TWI375469B (en) * 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
TWI380697B (en) * 2007-04-17 2012-12-21 Qualcomm Inc Pixel-by-pixel weighting for intra-frame coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0413647A (pt) * 2003-08-26 2006-10-17 Thomson Licensing método e aparelho para codificar blocos intra-inter codificados hìbridos
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
WO2008056959A1 (en) * 2006-11-09 2008-05-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
BRPI1008372A2 (pt) * 2009-02-11 2018-03-06 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo escalável com profundidade de bit utilizando mapeamento de tons e mapeamento inverso de tons
EP2257073A1 (en) * 2009-05-25 2010-12-01 Canon Kabushiki Kaisha Method and device for transmitting video data
JP2014514833A (ja) * 2011-06-10 2014-06-19 メディアテック インコーポレイテッド スケーラブルビデオコーディングの方法及び装置
US9686543B2 (en) * 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
CN102595135B (zh) * 2012-02-24 2013-03-27 中国科学技术大学 一种可伸缩视频编码的方法及装置
US10097825B2 (en) * 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120039387A1 (en) * 2004-03-31 2012-02-16 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
TWI375469B (en) * 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
TWI380697B (en) * 2007-04-17 2012-12-21 Qualcomm Inc Pixel-by-pixel weighting for intra-frame coding
US20100208810A1 (en) * 2007-10-15 2010-08-19 Thomson Licensing Method and apparatus for inter-layer residue prediction for scalable video
WO2010095556A1 (ja) * 2009-02-19 2010-08-26 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
JP2016506165A (ja) 2016-02-25
EP2941874A1 (en) 2015-11-11
CN104838652A (zh) 2015-08-12
TW201436537A (zh) 2014-09-16
KR20150082512A (ko) 2015-07-15
US20140192880A1 (en) 2014-07-10
WO2014107577A1 (en) 2014-07-10
SG11201503953PA (en) 2015-06-29
EP2941874A4 (en) 2016-08-24

Similar Documents

Publication Publication Date Title
US10659777B2 (en) Cross-channel residual prediction
US10462467B2 (en) Refining filter for inter layer prediction of scalable video coding
US20150181216A1 (en) Inter-layer pixel sample prediction
US10764592B2 (en) Inter-layer residual prediction
US9860558B2 (en) Inter-layer intra mode prediction
TWI559749B (zh) 層間移動資料繼承之技術
US10536710B2 (en) Cross-layer cross-channel residual prediction
KR20150070313A (ko) 다수의 독립 코딩 스트림들 사이에서 공유된 모션 추정을 포함하는 비디오 코딩
US9860533B2 (en) Cross-layer cross-channel sample prediction
US20140192898A1 (en) Coding unit bit number limitation
EP2941866A1 (en) Coding unit bit number limitation
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees