TWI538481B - 於可擴展及多視角視訊寫碼之進階殘差預測 - Google Patents

於可擴展及多視角視訊寫碼之進階殘差預測 Download PDF

Info

Publication number
TWI538481B
TWI538481B TW102144969A TW102144969A TWI538481B TW I538481 B TWI538481 B TW I538481B TW 102144969 A TW102144969 A TW 102144969A TW 102144969 A TW102144969 A TW 102144969A TW I538481 B TWI538481 B TW I538481B
Authority
TW
Taiwan
Prior art keywords
block
video
disparity
reference block
temporal
Prior art date
Application number
TW102144969A
Other languages
English (en)
Other versions
TW201440492A (zh
Inventor
章立
陳盈
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201440492A publication Critical patent/TW201440492A/zh
Application granted granted Critical
Publication of TWI538481B publication Critical patent/TWI538481B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

於可擴展及多視角視訊寫碼之進階殘差預測
本申請案主張2012年12月7日申請之美國臨時申請案第61/734,874號的權利，該臨時申請案之全部內容的全文係以引用方式併入本文中。
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(personal digital assistant,PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂「智慧型手機(smart phone)」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分之進階視訊寫碼(Advanced Video Coding,AVC)定義之標準、目前在開發中之高效率視訊寫碼(High Efficiency Video Coding,HEVC)標準及此類標準之延伸中描述的視訊壓縮技術。視訊器件可藉由實施此類視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以縮 減或移除為視訊序列所固有之冗餘。對於以區塊為基礎之視訊寫碼，可將視訊截塊(亦即，圖像或圖像之部分)分割成視訊區塊，視訊區塊亦可被稱作樹狀結構區塊(treeblock)、寫碼單元(coding unit,CU)及/或寫碼節點(coding node)。圖像之經框內寫碼(I)截塊中之視訊區塊係可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測，或關於其他參考圖像中之參考樣本的時間預測。
空間預測或時間預測引起用於待寫碼區塊之預測性區塊。殘差資料表示原始待寫碼區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本區塊之運動向量及指示經寫碼區塊與預測性區塊之間的差之殘差資料而編碼經框間寫碼區塊。根據框內寫碼模式及殘差資料而編碼經框內寫碼區塊。出於進一步壓縮起見，可將殘差資料自空間域變換至變換域，從而引起殘差變換係數，殘差變換係數接著可被量化。可掃描最初以二維陣列而配置之經量化變換係數以便產生一維變換係數向量，且可應用熵寫碼以達成甚至更多之壓縮。
可藉由編碼視角(例如，來自多個檢視方塊)而產生多視角寫碼位元串流。已開發使用多視角寫碼態樣之一些三維(3D)視訊標準。舉例而言，不同視角可傳輸左眼視角及右眼視角以支援3D視訊。替代地，一些3D視訊寫碼程序可應用所謂多視角加深度寫碼(multiview plus depth coding)。在多視角加深度寫碼中，3D視訊位元串流可不僅含有紋理視角分量，而且含有深度視角分量。舉例而言，每一視角可包含一個紋理視角分量及一個深度視角分量。
大體上，本發明係關於基於諸如高效率視訊寫碼(HEVC)之二維編碼器-解碼器(編碼解碼器)而進行的用於多層編碼解碼器及三維視訊 (3DV)編碼解碼器之視角間殘差預測。在一些例子中，本發明之技術可用以改進進階框間殘差預測(advanced inter-residual prediction,ARP)程序。舉例而言，本發明之態樣可關於啟用/停用ARP、ARP中之內插，及ARP中之加權因數。
在一項實例中，一種寫碼多層視訊資料之方法包括：針對一第一時間位點處的視訊資料之一第一區塊來判定用於寫碼該第一區塊之一或多個參考圖像清單在一第二不同時間位點處是否含有至少一參考圖像；及相對於該一或多個參考圖像清單中之一參考圖像的視訊資料之至少一參考區塊來寫碼視訊資料之該第一區塊，其中寫碼包括當該一或多個參考圖像清單在該第二時間位點處不包括至少一參考圖像時停用一視角間殘差預測程序。
在另一實例中，一種用於寫碼多層視訊資料之裝置包括一或多個處理器，該一或多個處理器經組態以：針對一第一時間位點處的視訊資料之一第一區塊來判定用於寫碼該第一區塊之一或多個參考圖像清單在一第二不同時間位點處是否含有至少一參考圖像；及相對於該一或多個參考圖像清單中之一參考圖像的視訊資料之至少一參考區塊來寫碼視訊資料之該第一區塊，其中寫碼包括當該一或多個參考圖像清單在該第二時間位點處不包括至少一參考圖像時停用一視角間殘差預測程序。
在另一實例中，一種用於寫碼多層視訊資料之裝置包括：用於針對一第一時間位點處的視訊資料之一第一區塊來判定用於寫碼該第一區塊之一或多個參考圖像清單在一第二不同時間位點處是否含有至少一參考圖像的構件；及用於相對於該一或多個參考圖像清單中之一參考圖像的視訊資料之至少一參考區塊來寫碼視訊資料之該第一區塊的構件，其中寫碼包括當該一或多個參考圖像清單在該第二時間位點處不包括至少一參考圖像時停用一視角間殘差預測程序。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在執行時使一或多個處理器：針對一第一時間位點處的視訊資料之一第一區塊來判定用於寫碼該第一區塊之一或多個參考圖像清單在一第二不同時間位點處是否含有至少一參考圖像；及相對於該一或多個參考圖像清單中之一參考圖像的視訊資料之至少一參考區塊來寫碼視訊資料之該第一區塊，其中寫碼包括當該一或多個參考圖像清單在該第二時間位點處不包括至少一參考圖像時停用一視角間殘差預測程序。
在另一實例中，一種寫碼視訊資料之方法包括：判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；運用一第一類型之內插來內插由該當前區塊之一視差向量指示之一視差參考區塊之一位點，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊；及基於該時間參考區塊、該視差參考區塊及該時間視差參考區塊而寫碼該當前區塊。
在另一實例中，一種用於寫碼視訊資料之裝置包括一或多個處理器，該一或多個處理器經組態以：判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；運用一第一類型之內插來內插由該當前區塊之一視差向量指示之一視差參考區塊之一位點，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊；及基於該時間參考區塊、該視差參考區塊及該時間視差參考區塊而寫碼該當前區塊。
在另一實例中，一種用於寫碼視訊資料之裝置包括：用於判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點的構件，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；用於運用一第一類型之內插來內插由該當前區塊之一視差向量指示之一視差參考區塊之一位點的構件，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；用於判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊的構件；及用於基於該時間參考區塊、該視差參考區塊及該時間視差參考區塊而寫碼該當前區塊的構件。
在另一實例中，一種非暫時性電腦可讀媒體使指令儲存於其上，該等指令在執行時使一或多個處理器：判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；運用一第一類型之內插來內插由該當前區塊之一視差向量指示之一視差參考區塊之一位點，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊；及基於該時間參考區塊、該視差參考區塊及該時間視差參考區塊而寫碼該當前區塊。
在另一實例中，一種寫碼視訊資料之方法包括：判定用於寫碼一視訊資料區塊之一分割模式，其中該分割模式指示用於預測性寫碼的該視訊資料區塊之一劃分；基於該分割模式而判定是否針對一視角間殘差預測程序來寫碼一加權因數，其中當不寫碼該加權因數時，不應用該視角間殘差預測程序以預測用於該當前區塊之一殘差；及運用該經判定分割模式來寫碼該視訊資料區塊。
在另一實例中，一種用於寫碼視訊資料之裝置包括一或多個處 理器，該一或多個處理器經組態以：判定用於寫碼一視訊資料區塊之一分割模式，其中該分割模式指示用於預測性寫碼的該視訊資料區塊之一劃分；基於該分割模式而判定是否針對一視角間殘差預測程序來寫碼一加權因數，其中當不寫碼該加權因數時，不應用該視角間殘差預測程序以預測用於該當前區塊之一殘差；及運用該經判定分割模式來寫碼該視訊資料區塊。
在另一實例中，一種用於寫碼視訊資料之裝置包括：用於判定用於寫碼一視訊資料區塊之一分割模式的構件，其中該分割模式指示用於預測性寫碼的該視訊資料區塊之一劃分；用於基於該分割模式而判定是否針對一視角間殘差預測程序來寫碼一加權因數的構件，其中當不寫碼該加權因數時，不應用該視角間殘差預測程序以預測用於該當前區塊之一殘差；及用於運用該經判定分割模式來寫碼該視訊資料區塊的構件。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在執行時使一或多個處理器：判定用於寫碼一視訊資料區塊之一分割模式，其中該分割模式指示用於預測性寫碼的該視訊資料區塊之一劃分；基於該分割模式而判定是否針對一視角間殘差預測程序來寫碼一加權因數，其中當不寫碼該加權因數時，不應用該視角間殘差預測程序以預測用於該當前區塊之一殘差；及運用該經判定分割模式來寫碼該視訊資料區塊。
在另一實例中，一種寫碼視訊資料之方法包括：針對視訊資料之一第一層中的視訊資料之一第一區塊來判定用於預測該第一區塊之一時間運動向量及關聯時間參考圖像，其中該時間參考圖像具有一圖像次序計數值；在由與該第一區塊相關聯之一視差向量指示之一視差參考圖像中判定一視差參考區塊，其中該視差參考圖像包括於一存取單元中，該存取單元包括含有該第一區塊及不同於該第一區塊之一第 二視角之一圖像；判定一經解碼圖像緩衝器是否含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像，其中該時間視差參考圖像係基於該時間運動向量及該視差向量之一組合而定位；當該經解碼圖像緩衝器不含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像時，修改一視角間殘差預測程序以用於預測該第一區塊之殘差資料；及運用該視角間殘差預測程序及該經修改視角間殘差預測程序中之一者來寫碼用於視訊資料之該第一區塊之殘差。
在另一實例中，一種用於寫碼視訊資料之裝置包括一或多個處理器，該一或多個處理器經組態以：針對視訊資料之一第一層中的視訊資料之一第一區塊來判定用於預測該第一區塊之一時間運動向量及關聯時間參考圖像，其中該時間參考圖像具有一圖像次序計數值；在由與該第一區塊相關聯之一視差向量指示之一視差參考圖像中判定一視差參考區塊，其中該視差參考圖像包括於一存取單元中，該存取單元包括含有該第一區塊及不同於該第一區塊之一第二視角之一圖像；判定一經解碼圖像緩衝器是否含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像，其中該時間視差參考圖像係基於該時間運動向量及該視差向量之一組合而定位；當該經解碼圖像緩衝器不含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像時，修改一視角間殘差預測程序以用於預測該第一區塊之殘差資料；及運用該視角間殘差預測程序及該經修改視角間殘差預測程序中之一者來寫碼用於視訊資料之該第一區塊之殘差。
在另一實例中，一種用於寫碼視訊資料之裝置包括：用於針對視訊資料之一第一層中的視訊資料之一第一區塊來判定用於預測該第一區塊之一時間運動向量及關聯時間參考圖像的構件，其中該時間參 考圖像具有一圖像次序計數值；用於在由與該第一區塊相關聯之一視差向量指示之一視差參考圖像中判定一視差參考區塊的構件，其中該視差參考圖像包括於一存取單元中，該存取單元包括含有該第一區塊及不同於該第一區塊之一第二視角之一圖像；用於判定一經解碼圖像緩衝器是否含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像的構件，其中該時間視差參考圖像係基於該時間運動向量及該視差向量之一組合而定位；當該經解碼圖像緩衝器不含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像時，用於修改一視角間殘差預測程序以用於預測該第一區塊之殘差資料的構件；及用於運用該視角間殘差預測程序及該經修改視角間殘差預測程序中之一者來寫碼用於視訊資料之該第一區塊之殘差的構件。
在另一實例中，一種非暫時性電腦可讀媒體具有儲存於其上之指令，該等指令在執行時使一或多個處理器：針對視訊資料之一第一層中的視訊資料之一第一區塊來判定用於預測該第一區塊之一時間運動向量及關聯時間參考圖像，其中該時間參考圖像具有一圖像次序計數值；在由與該第一區塊相關聯之一視差向量指示之一視差參考圖像中判定一視差參考區塊，其中該視差參考圖像包括於一存取單元中，該存取單元包括含有該第一區塊及不同於該第一區塊之一第二視角之一圖像；判定一經解碼圖像緩衝器是否含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像，其中該時間視差參考圖像係基於該時間運動向量及該視差向量之一組合而定位；當該經解碼圖像緩衝器不含有在該第二視角中且具有該時間參考圖像之該圖像次序計數值之一時間視差參考圖像時，修改一視角間殘差預測程序以用於預測該第一區塊之殘差資料；及運用該視角間殘差預測程序及該經修改視角間殘差預測程序中之一者來寫碼用於視訊資 料之該第一區塊之殘差。
隨附圖式及以下描述中闡述本發明之一或多項實例之細節。其他特徵、目標及優點將自該描述、該等圖式及申請專利範圍顯而易見。
10‧‧‧視訊編碼及解碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊來源
20‧‧‧視訊編碼器/視訊寫碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
43‧‧‧層間預測單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
83‧‧‧層間預測單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換處理單元
90‧‧‧求和器
92‧‧‧參考圖像記憶體
100‧‧‧當前預測單元(PU)
104‧‧‧視差向量
110‧‧‧當前圖像
112‧‧‧時間參考圖像
114‧‧‧視差參考圖像
116‧‧‧時間視差參考圖像
118‧‧‧展示再用運動向量VD以用於判定Br之箭頭
130‧‧‧當前預測單元(PU)
131‧‧‧當前圖像
132‧‧‧參考區塊
133‧‧‧參考圖像
134‧‧‧第一運動向量
136‧‧‧第二運動向量
138‧‧‧時間參考圖像
140‧‧‧時間參考圖像
142‧‧‧參考圖像
143‧‧‧時間視差參考區塊
144‧‧‧參考圖像
145‧‧‧時間視差參考區塊
160‧‧‧分割模式2N×2N
162‧‧‧分割模式N×N
164‧‧‧分割模式hN×2N
166‧‧‧分割模式2N×hN
168‧‧‧分割模式N×2N
170‧‧‧分割模式2N×N
172‧‧‧分割模式nL×2N
174‧‧‧分割模式nR×2N
176‧‧‧分割模式2N×nU
178‧‧‧分割模式2N×nD
A0‧‧‧預測單元(PU)
A1‧‧‧預測單元(PU)
B0‧‧‧預測單元(PU)
B1‧‧‧預測單元(PU)
B2‧‧‧預測單元(PU)
Bc‧‧‧視差參考區塊
Br‧‧‧時間預測區塊/時間視差參考區塊
Dc‧‧‧當前預測單元(PU)
Dr‧‧‧時間參考區塊
Ib‧‧‧參考區塊
Pb‧‧‧經預測樣本
Pe‧‧‧區塊
S0‧‧‧視角
S1‧‧‧視角
S2‧‧‧視角
S3‧‧‧視角
S4‧‧‧視角
S5‧‧‧視角
S6‧‧‧視角
S7‧‧‧視角
T0‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T1‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T2‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T3‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T4‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T5‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T6‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T7‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T8‧‧‧存取單元(圖4)/時間位點/圖像次序計數(POC)值(圖5)
T9‧‧‧時間位點/圖像次序計數(POC)值
T10‧‧‧時間位點/圖像次序計數(POC)值
T11‧‧‧時間位點/圖像次序計數(POC)值
Ti‧‧‧時間例項
Tj‧‧‧時間例項
V0‧‧‧視角
V1‧‧‧視角
VD‧‧‧時間運動向量
圖1為說明可利用本發明所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施本發明所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明所描述之技術之實例視訊解碼器的方塊圖。
圖4為說明寫碼多視角序列的概念圖。
圖5為說明實例多視角預測型樣的概念圖。
圖6為說明實例可擴展視訊資料層的概念圖。
圖7為說明相對於當前預測單元(PU)之實例空間相鄰PU的概念圖。
圖8為說明視角間殘差預測的方塊圖。
圖9為說明多視角視訊寫碼中之進階殘差預測(ARP)之實例預測結構的概念圖。
圖10為說明ARP中在當前區塊、參考區塊與運動補償式區塊之間的實例關係的概念圖。
圖11為說明用於四分之一樣本亮度內插之整數樣本及分數樣本位置的概念圖。
圖12為說明用於寫碼視訊資料區塊之分割模式的概念圖。
圖13為根據本發明之一或多種技術的說明視訊編碼器之實例操作的流程圖。
圖14為根據本發明之一或多種技術的說明視訊解碼器之實例操作的流程圖。
圖15為根據本發明之一或多種技術的說明視訊編碼器之實例操作的流程圖。
圖16為根據本發明之一或多種技術的說明視訊解碼器之實例操作的流程圖。
圖17為根據本發明之一或多種技術的說明視訊編碼器之實例操作的流程圖。
圖18為根據本發明之一或多種技術的說明視訊解碼器之實例操作的流程圖。
圖19為根據本發明之一或多種技術的說明視訊編碼器之實例操作的流程圖。
圖20為根據本發明之一或多種技術的說明視訊解碼器之實例操作的流程圖。
本發明之技術大體上係關於用以基於進階二維(2D)編碼解碼器而進一步改良用於多視角、3DV(例如，多視角加深度)或可擴展編碼解碼器之進階殘差預測(ARP)之寫碼效率的各種技術。舉例而言，高效率視訊寫碼(HEVC)標準正由ITU-T視訊寫碼專家團體(Video Coding Experts Group,VCEG)及ISO/IEC動畫專家團體(Motion Picture Experts Group,MPEG)之視訊寫碼聯合合作團隊(Joint Collaboration Team on Video Coding,JCT-VC)開發。被稱作「HEVC工作草案9」(在本文中亦被稱作WD9)的HEVC標準之草案在Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(2012年10月，中國上海，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作團隊(JCT-VC)第11次會議)中得以描述，且可得自http：//phenix.int- evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zip。
HEVC之一種使用狀況可在高及超高清晰度(ultra-high definition,UHD)視訊之領域中。許多高清晰度(high definition,HD)顯示器已經能夠轉譯立體視訊，且UHD顯示器之解析度及顯示大小之增加可使此類顯示器較適合於立體視訊。除此之外，HEVC之壓縮能力之改良(例如，相比於H.264/AVC高設定檔，在具有相同品質之情況下預期一半的位元率)可使HEVC為用於寫碼立體視訊之良好候選者。舉例而言，在使用利用視角之間的冗餘之機制的情況下，視訊寫碼器(例如，視訊編碼器或視訊解碼器)可能夠使用HEVC以相比於使用H.264/AVV標準而寫碼的具有相同品質及解析度之單視角(單像(monoscopic))視訊在甚至更低之速率下寫碼完全解析度立體視訊。
相似於以AVC為基礎之專案，VCEG及MPEG之3D視訊寫碼聯合合作團隊(Joint Collaboration Team on 3D Video Coding,JCT-3V)正研究正使用HEVC寫碼技術之兩種3DV解決方案。第一3DV解決方案為HEVC之多視角延伸(被稱作MV-HEVC)，且另一3DV解決方案為以深度增強型HEVC為基礎之完全3DV編碼解碼器(3D-HEVC)。標準化努力之部分包括基於HEVC而進行的多視角/3D視訊寫碼之標準化。在https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.0/處可電子地得到最新軟體3D-HTM版本5.0。下文所描述之技術可結合以上兩種所提議3DV解決方案而實施。
在一些例子中，該等技術可又(或替代地)運用對HEVC之可擴展延伸而實施。在可擴展視訊寫碼中，可寫碼多個視訊資料層。在一些例子中，每一層可對應於一特定視角。此處，視角可擴展性及空間可擴展性之應用被認為在3D服務之演進中高度地有益，此係因為其允許用於較多視角之回溯相容延伸，及/或以由舊版器件進行之解碼係 可能的方式來增強視角之解析度。
在二維視訊寫碼中，逐圖像地寫碼而未必以顯示次序來寫碼視訊資料(亦即，圖像序列)。視訊寫碼器件將每一圖像劃分成若干區塊，且個別地寫碼每一區塊。以區塊為基礎之預測模式包括空間預測(亦被稱作框內預測)及時間預測(亦被稱作框間預測)。
對於諸如多視角或可擴展經寫碼資料之三維視訊資料，區塊亦可被視角間及/或層間預測。如本文所描述，視訊「層」通常可指具有至少一共同特性(諸如，視角、圖框率、解析度或其類似者)之圖像序列。舉例而言，層可包括與特定多視角視訊資料視角(例如，檢視方塊)相關聯之視訊資料。作為另一實例，層可包括與特定可擴展視訊資料層相關聯之視訊資料。
因此，本發明可互換式地提及視訊資料層及視訊資料視角。亦即，視訊資料視角可被稱作視訊資料層，且反之亦然。此外，術語視角間預測及層間預測可互換式地指多個視訊資料層及/或視角之間的預測。另外，多層編碼解碼器(或多層視訊寫碼器)可聯合地指多視角編碼解碼器或可擴展編碼解碼器。
在多視角或可擴展視訊寫碼中，可自另一視訊資料視角或層之圖像預測區塊。以此方式，可啟用基於來自不同視角之經重新建構視角分量之視角間預測。本發明使用術語「視角分量」以係指特定視角或層之經編碼圖像。亦即，視角分量可包含在特定時間用於特定視角之經編碼圖像(在顯示次序或輸出次序方面)。視角分量(或視角分量之截塊)可具有圖像次序計數(picture order count,POC)值，其通常指示視角分量之顯示次序(或輸出次序)。
通常，兩個視角之相同或對應物件不為共置型。術語「視差向量」可用以係指指示一視角之圖像中之物件相對於不同視角中之對應物件的位移之向量。此類向量亦可被稱作「位移向量(displacement vector)」。視差向量亦可適用於圖像之視訊資料像素或區塊。舉例而言，可使第一視角之圖像中之像素相對於第二視角之圖像中之對應像素位移與供俘獲第一視角及第二視角之不同攝影機位點相關之特定視差向量。在一些實例中，可使用視差向量以預測自一個視角至另一視角之運動資訊(具有或沒有參考圖像索引之運動向量)。
因此，為了進一步改良寫碼效率，視訊寫碼器亦可應用視角間運動預測及/或視角間殘差預測。關於視角間運動預測，視訊寫碼器可相對於與第二不同視角之區塊相關聯之運動向量來寫碼與一個視角之區塊相關聯之運動向量。同樣地，如下文更詳細地所描述，在視角間殘差預測中，視訊寫碼器可相對於第二不同視角之殘差來寫碼一個視角之殘差資料。在一些例子中，特別是在3D-HEVC之上下文中，視角間殘差預測可被稱作進階殘差預測(ARP)。
在ARP中，視訊寫碼器判定用於預測當前區塊之預測性區塊。用於當前區塊之預測性區塊可基於與由當前區塊之運動向量指示之位點相關聯的時間參考圖像之樣本。時間參考圖像係與相同於當前圖像之視角相關聯，但與不同於當前圖像之時間例項(time instance)相關聯。在一些例子中，當區塊之樣本係基於特定圖像之樣本時，該等樣本可基於特定圖像之實際或內插式樣本。
另外，在ARP中，視訊寫碼器基於由當前區塊之視差向量指示之位點處的視差參考圖像之樣本而判定視差參考區塊。視差參考圖像係與不同於當前圖像之視角(亦即，參考視角)相關聯，但與相同於當前圖像之時間例項相關聯。
視訊寫碼器亦判定用於當前區塊之時間視差參考區塊。時間參考區塊係基於與由當前區塊之運動向量以及視差向量指示之位點相關聯的時間視差參考圖像之樣本。舉例而言，可藉由將時間運動向量應用(例如，將時間運動向量再用)於視差參考區塊而定位時間視差參考 區塊。因此，時間視差參考圖像係與相同於視差參考圖像之視角相關聯，且與相同於當前區塊之時間參考圖像之存取單元相關聯。
雖然本文出於說明之目的而將時間視差參考區塊描述為藉由將時間運動向量應用於視差參考區塊予以定位，但在一些例子中，時間運動向量實際上可不直接地應用於視差參考圖像。實情為，時間運動向量可與視差向量進行組合以(例如)相對於當前區塊來定位時間視差參考區塊。舉例而言，出於說明之目的而假定到，視差向量被表示為DV[0]及DV[1]，且時間運動向量被表示為TMV[0]及TMV[1]。在此實例中，視訊寫碼器(諸如，視訊編碼器或視訊解碼器)可藉由組合視差向量與時間運動向量(例如，DV[0]+TMV[0]、DV[1]+TMV[1])而判定時間視差參考圖像中之時間視差區塊相對於當前區塊之位點。因此，本文中對「將時間運動向量應用於視差參考區塊」之參考未必要求時間運動向量直接地應用於視差參考區塊之位點。
視訊寫碼器接著判定用於預測與當前區塊相關聯之殘差之殘差預測值，例如，當前區塊與時間參考區塊之間的差。用於當前區塊之殘差預測值之每一樣本指示視差參考區塊之樣本與時間視差參考區塊之對應樣本之間的差。在一些例子中，視訊寫碼器可將加權因數(例如，0、0.5、1或其類似者)應用於殘差預測值以增加殘差預測值之準確度。
在視訊寫碼器為視訊編碼器之例子中，視訊編碼器可判定用於當前區塊之最終殘差區塊。最終殘差區塊包含指示當前區塊之樣本、時間預測性區塊中之樣本與殘差預測值中之樣本之間的差之樣本。視訊編碼器可在位元串流中包括表示最終殘差區塊之資料。在視訊寫碼器為視訊解碼器之例子中，視訊解碼器可基於最終殘差區塊、殘差預測值及時間預測性區塊而重新建構當前區塊。
雖然ARP可改良視角間(或層間)殘差預測之寫碼效率，但進一步 改進係可能的。舉例而言，本發明之某些技術係關於ARP加權因數。如上文所提及，視訊寫碼器可將加權因數應用於殘差預測值。一般而言，總是在位元串流中傳信加權因數，而不管在用於寫碼當前區塊之參考圖像清單中是否存在時間參考圖像。然而，當不存在時間參考圖像時傳信加權因數可不必要地增加複雜性且減低效率，此係因為：若不存在時間參考圖像，則不存在用於應用ARP之時間預測及關聯殘差。
在參考圖像清單中可不存在(例如，在清單0及清單1中可皆不存在)時間參考圖像之一個例子係當寫碼隨機存取圖像時。如下文更詳細地所描述，隨機存取圖像未被時間上預測。隨機存取圖像通常僅被框內預測或視角間預測(僅視角間參考圖像包括於參考圖像清單中)。因此，如上文所提及，加權因數之傳信係不必要且無效率，此係因為不存在判定預測值所針對之殘差。
根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器或視訊解碼器)可基於用於當前正被寫碼之區塊之參考圖像清單中的參考圖像而啟用或停用ARP(包括相對於第二不同層之殘差來寫碼一個層之殘差)。在一實例中，視訊寫碼器可基於用於當前正被寫碼之區塊之參考圖像清單(例如，清單0或清單1)是否包括任何時間參考圖像而啟用或停用ARP。根據本發明之態樣，若用於經框間預測截塊之參考圖像清單僅包括視角間參考圖像，則視訊寫碼器可在寫碼該截塊之區塊時停用ARP。在此類實例中，當視訊寫碼器包含視訊編碼器時，視訊編碼器可不在位元串流中傳信用於截塊內之所有區塊(例如，在高效率視訊寫碼(HEVC)之上下文中為寫碼單元或預測單元，如下文更詳細地所描述)之加權因數(跳過加權因數之傳信)。同樣地，當視訊寫碼器包含視訊解碼器時，視訊解碼器可同樣地跳過加權因數之解碼且自動地判定(亦即，推斷)出加權因數等於零。
上文所描述之技術可應用於隨機存取圖像之上下文中。舉例而言，根據本發明之態樣，視訊寫碼器可基於當前正被寫碼之視訊分量是否為隨機存取視角分量而啟用或停用ARP。如上文所提及，隨機存取視角分量不具有時間參考圖像，此係因為隨機存取圖像被框內預測或視角間預測。因此，視訊寫碼器可針對隨機存取視角分量之每一區塊來停用ARP。同樣地，視訊編碼器可不在位元串流中傳信加權因數(跳過加權因數之傳信)。同樣地，當視訊寫碼器包含視訊解碼器時，視訊解碼器可同樣地跳過加權因數之解碼且推斷出加權因數等於零。
在另一實例中，根據本發明之態樣，若至少一參考圖像來自相同於當前正被寫碼之區塊的視角，則視訊寫碼器可啟用ARP。另外或替代地，僅當兩個參考圖像(對應於RefPicList0中之參考圖像及RefPicList1中之參考圖像)(若可得到)屬於相同於當前正被寫碼之區塊的視角時，視訊寫碼器才可啟用ARP。另外或替代地，若一區塊係運用視角間參考圖像而被視角間寫碼，則視訊寫碼器可針對該區塊來停用ARP。如上文所提及，當停用ARP時，不傳信加權因數。
本發明之技術亦係關於ARP中之內插。舉例而言，當執行ARP(例如，加權因數不為零)時，視訊編碼器及視訊解碼器兩者可在殘差預測值產生程序期間使用額外運動補償程序。因此，若運動向量指示分數像素位點，則視訊寫碼器執行兩種分數像素內插程序，例如，一種內插程序用以定位時間參考區塊，且另一內插程序用以定位視差時間參考區塊。另外，視訊寫碼器可在判定視差參考區塊時應用又一分數像素內插程序。在HEVC中，針對亮度分量來指定8分接頭濾波器(8-tap filter)，而針對色度分量來指定4分接頭濾波器(4-tap filter)。此類內插程序可增加與ARP相關聯之計算複雜性。
根據本發明之態樣，可特別相對於參考區塊之子像素內插而簡化ARP之運動補償程序。舉例而言，視訊寫碼器可以相似於或相同於 用以在運動補償期間產生預測信號之程序(例如，用以判定時間參考區塊之程序)的方式來判定視差參考區塊。亦即，視訊寫碼器可使用具有當前區塊之視差向量之經重新建構參考視角圖像來判定視差參考區塊。
在一些例子中，根據本發明之態樣，視訊寫碼器可使用一或多種類型之內插以用於在ARP中判定參考區塊之位點。舉例而言，視訊寫碼器可使用諸如雙線性濾波器之低通濾波器以內插視差參考區塊之位點。另外或替代地，視訊寫碼器可使用低通濾波器以內插時間視差參考區塊之位點。在又一實例中，視訊寫碼器可使用低通濾波器以內插時間參考區塊之位點。因此，根據本發明之態樣，視訊寫碼器可使用雙線性濾波器以在ARP中內插一或多個參考區塊之位點，其相比於應用由HEVC指定之較高分接頭濾波器在計算上更有效率。雖然本文中對雙線性濾波器進行參考，但應理解，又或替代地可使用一或多個其他低通濾波器。根據本發明之態樣，視訊寫碼器可將上文所描述之低通濾波器應用於亮度分量、色度分量或亮度分量及色度分量兩者之任何組合。
本發明之技術亦係關於針對特定寫碼模式及/或分割模式來傳信ARP加權因數。舉例而言，一般而言，可針對包括PART_2N×2N、PART_2N×N、PART_N×2N或其類似者之所有分割模式(如(例如)關於圖12所展示之實例更詳細地所描述)及包括跳過、合併、進階運動向量預測(AMVP)之所有框間寫碼模式來傳信加權因數。針對所有分割模式及框間模式來傳信加權因數可不必要地增加複雜性且減低效率，此係因為在運用某些分割模式或框間模式的情況下可能不會有效率地應用ARP。
根據本發明之態樣，可基於當前正被寫碼之區塊之分割模式及/或寫碼模式而啟用或停用ARP。舉例而言，可僅針對僅某些分割模式 及/或某些寫碼模式來傳信加權因數。若加權因數不包括於位元串流中，則視訊解碼器可跳過加權因數之解碼且推斷出加權因數為零值(藉此停用ARP)。根據本發明之態樣，在一些實例中，可不傳信用於具有不等於PART_2N×2N之分割模式之任何經框間寫碼區塊的加權因數。在另一實例中，可不傳信用於具有除了PART_2N×2N、PART_2N×N及PART_N×2N以外之分割模式之經框間寫碼區塊的加權因數。在又一實例中，另外或替代地，可不傳信用於具有不等於跳過模式及/或合併模式之寫碼模式之任何經框間寫碼區塊的加權因數。
本發明之技術亦係關於改進在位元串流中傳信加權因數之方式。舉例而言，一般而言，視訊寫碼器可自三個固定加權因數(例如，0、0.5及1)之固定集合選擇加權因數。然而，在一些例子中，歸因於當前視角與其參考視角之間的品質差，三個靜態加權因數可不提供足以達成足夠預測效率之靈活性。當前視角與參考視角之間的品質差可為動態的，關於可擴展視訊寫碼係特定的。相反地，三個加權因數可超過一些截塊或圖像之需要。亦即，一些截塊或圖像可無需自三個加權因數進行選擇以達成複雜性與寫碼效率改良之間的最佳平衡。
根據本發明之態樣，可實施對加權因數之更靈活途徑。舉例而言，可在序列層級處(例如，在諸如序列參數集(sequence parameter set,SPS)之參數集中)變更可用加權因數之數目。在出於說明之目的之實例中，可在SPS中傳信指示符以停用一或多個加權因數，例如，0.5及/或1。在另一實例中，可在視訊參數集(video parameter set,VPS)中傳信此類指示符，且此類指示符可適用於所有非基礎視角。在又一實例中，可針對每一非基礎視角而在VPS延伸中傳信此類指示符。在另一實例中，可在圖像參數集(picture parameter set,PPS)、截塊標頭或視角參數集中提供此類指示符以停用一或多個加權因數。當已停用加權因數時，可使用較少位元以表示彼等剩餘加權因數，藉此提供位元節 省。
根據其他態樣，可提供指示符以修改及/或替換一或多個加權因數。在一實例中，視訊寫碼器可運用0.75加權因數來替換0.5加權因數。可在截塊標頭、SPS、圖像參數集(PPS)或VPS中傳信此指示符。
本發明之技術亦係關於基於經解碼圖像緩衝器(其亦可被互換式地稱作參考圖像記憶體，如下文關於圖2及圖3更詳細地所描述)及/或參考圖像清單之參考圖像而判定啟用抑或停用ARP程序。舉例而言，如上文所提及，通常藉由將時間運動向量應用於視差參考區塊而定位用於判定殘差預測值之時間視差參考區塊。然而，在一些例子中，經解碼圖像緩衝器可不含有藉由將時間運動向量應用於視差參考區塊而指示之圖像。亦即，經解碼圖像緩衝器可不含有相同於視差參考區塊之視角中之圖像，該圖像亦具有相同於當前區塊之時間參考圖像之圖像次序計數(POC)值。
在一些實例中，即使圖像包括於經解碼圖像緩衝器中，含有視差參考區塊之截塊之該或該等參考圖像清單亦可不含有藉由將時間運動向量應用於視差參考區塊而指示之圖像，例如，潛在時間視差參考圖像。在此類例子中，定位時間視差參考區塊可將誤差及/或延遲引入至寫碼程序中。
根據本發明之態樣，視訊寫碼器可基於經解碼圖像緩衝器及/或參考圖像清單之圖像而啟用或停用ARP。舉例而言，當用於寫碼當前區塊之經解碼圖像緩衝器不包括具有相同於當前區塊之時間參考圖像之POC的在相同於視差參考圖像之視角中之圖像時，視訊寫碼器可修改ARP程序。
在另一實例中，另外或替代地，當視差參考區塊之參考圖像清單不包括具有相同於當前區塊之時間參考圖像之POC的在相同於視差參考圖像之視角中之圖像時，視訊寫碼器可修改ARP程序。亦即，在 給出當前參考圖像清單索引X(其中X為0或1)的情況下，在一項實例中，若具有等於視差參考區塊之X之清單索引的參考圖像清單不包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則視訊寫碼器可修改ARP程序。在另一實例中，若視差參考區塊之參考圖像清單中任一者皆不(例如，清單0及清單1皆不)包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則視訊寫碼器可修改ARP程序。
在一些實例中，視訊寫碼器可藉由停用ARP程序以使得不使用ARP來寫碼當前區塊而修改ARP程序。亦即，不產生殘差預測值或總是將殘差預測值設定至0。在其他實例中，視訊寫碼器可藉由擴展時間運動向量以識別另一時間視差參考圖像而修改ARP程序。舉例而言，視訊寫碼器可擴展時間運動向量，使得當應用於視差參考圖像時，經擴展運動向量識別包括於參考圖像清單中且位於時間上最接近於視差參考圖像之位點中之時間視差參考圖像。上文所描述之技術可防止視訊寫碼器試圖在不包括於參考圖像清單中之圖像中定位視差參考區塊。
圖1為說明可利用用於進階殘差預測(ARP)的本發明之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1所展示，系統10包括來源器件12，來源器件12提供稍後待由目的地器件14解碼之經編碼視訊資料。詳言之，來源器件12經由電腦可讀媒體16而將視訊資料提供至目的地器件14。來源器件12及目的地器件14可包含廣泛範圍之器件中任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」手機之電話手機、所謂「智慧型」鍵台、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件，或其類似者。在一些狀況下，來源器件12及目的地器件14可經裝備以供無線通信。
目的地器件14可經由電腦可讀媒體16而接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14的任何類型之媒體或器件。在一項實例中，電腦可讀媒體16可包含用以使來源器件12能夠將經編碼視訊資料直接地即時傳輸至目的地器件14之通信媒體。
可根據諸如無線通信協定之通信標準而調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(radio frequency,RF)頻譜或一或多個實體傳輸線。通信媒體可形成以封包為基礎之網路之部分，諸如，區域網路、廣域網路，或諸如網際網路之全域網路。通信媒體可包括路由器、交換器、基地台，或可有用於促進自來源器件12至目的地器件14之通信之任何其他設備。
在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。相似地，可由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中任一者，諸如，硬碟、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一另外實例中，儲存器件可對應於可儲存由來源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。
目的地器件14可經由串流或下載而自儲存器件存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，對於網站)、FTP伺服器、網路附接儲存(network attached storage,NAS)器件，或本機磁碟(local disk drive)。目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視 訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)，或此兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援諸如以下各者之多種多媒體應用中任一者之視訊寫碼：空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態調適性串流(dynamic adaptive streaming over HTTP,DASH)之網際網路串流視訊傳輸、編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，來源器件12之視訊編碼器20可經組態以應用用於多視角寫碼中之運動向量預測之技術。在其他實例中，來源器件及目的地器件可包括其他組件或配置。舉例而言，來源器件12可自外部視訊來源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所說明系統10僅僅為一項實例。用於進階殘差預測之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術通常係由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「CODEC」)執行。此外，本發明之技術亦可由視訊預處理器執行。來源器件12及目的地器件14僅僅為此類寫碼器件之實例，其中來源器件12產生經寫碼視訊資料以供傳輸至目的地器件14。在一些實例中，器件12、14可以實質上對稱方式而操作，使得器件12、14中每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14 之間的單向或雙向視訊傳輸，例如，用於視訊串流、視訊播放、視訊廣播或視訊電話。
來源器件12之視訊來源18可包括諸如視訊攝影機之視訊俘獲器件、含有經先前俘獲視訊之視訊封存檔，及/或用以自視訊內容提供者接收視訊之視訊饋送介面。作為一另外替代例，視訊來源18可產生以電腦圖形為基礎之資料作為來源視訊，或產生實況視訊、經封存視訊及經電腦產生視訊之組合。在一些狀況下，若視訊來源18為視訊攝影機，則來源器件12及目的地器件14可形成所謂攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術大體上可適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，經俘獲視訊、經預俘獲視訊或經電腦產生視訊可由視訊編碼器20編碼。經編碼視訊資訊接著可由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括：暫時性媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如，硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自來源器件12接收經編碼視訊資料，且(例如)經由網路傳輸而將經編碼視訊資料提供至目的地器件14。相似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自來源器件12接收經編碼視訊資料且產生含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可被理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦係由視訊解碼器30使用，其包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理之語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中任一者，諸如，陰極射線管 (cathode ray tube,CRT)、液晶顯示器(liquid crystal display,LCD)、電漿顯示器、有機發光二極體(organic light emitting diode,OLED)顯示器，或另一類型之顯示器件。
儘管圖1中未圖示，但在一些態樣中，視訊編碼器20及視訊解碼器30各自可與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或分離資料串流中之音訊及視訊兩者之編碼。在適用時，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(user datagram protocol,UDP)之其他協定。
在適用時，視訊編碼器20及視訊解碼器30各自可被實施為多種合適編碼器或解碼器電路系統中任一者，諸如，一或多個微處理器、數位信號處理器(digital signal processor,DSP)、特殊應用積體電路(application specific integrated circuit,ASIC)、場可程式化閘陣列(field programmable gate array,FPGA)、離散邏輯電路系統、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可被整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器，及/或無線通信器件，諸如，蜂巢式電話。
本發明通常可涉及視訊編碼器20將某些資訊「傳信」至諸如視訊解碼器30之另一器件。然而，應理解，視訊編碼器20可藉由使某些語法元素與視訊資料之各種經編碼部分相關聯而傳信資訊。亦即，視訊編碼器20可藉由將某些語法元素儲存至視訊資料之各種經編碼部分之標頭而「傳信」資料。在一些狀況下，此類語法元素可在由視訊解碼器30接收及解碼之前被編碼及儲存(例如，儲存至儲存器件24)。因此，術語「傳信」通常可指用於解碼經壓縮視訊資料之語法或其他資 料之傳達，而無論此類通信即時或近即時發生抑或遍及一時間範圍而發生，諸如，可能在編碼時將語法元素儲存至一媒體時發生，語法元素接著可在儲存至此媒體之後的任何時間由解碼器件擷取。
在一些例子中，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準(被替代地稱作MPEG-4第10部分之進階視訊寫碼(AVC)之專屬或工業標準或此類標準之延伸而操作。ITU-T H.264/MPEG-4(AVC)標準係由ITU-T視訊寫碼專家團體(VCEG)連同ISO/IEC動畫專家團體(MPEG)一起制訂為被稱為聯合視訊團隊(Joint Video Team,JVT)之集體合作夥伴之產品。
另外或替代地，視訊編碼器20及視訊解碼器30可根據諸如高效率視訊寫碼(HEVC)標準之另一視訊寫碼標準而操作。被稱作「HEVC工作草案9」的HEVC標準之草案在Bross等人之「High Efficiency Video Coding(HEVC)text specification draft 9」(2012年10月，中國上海，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合合作團隊(JCT-VC)第11次會議)中得以描述。
此外，如上文所提及，正在努力產生可擴展視訊寫碼、多視角寫碼，及用於HEVC之3DV延伸。因此，在一些例子中，視訊編碼器20及視訊解碼器30可執行多視角視訊寫碼。舉例而言，視訊編碼器20及視訊解碼器30可實施HEVC之多視角延伸(被稱作MV-HEVC)、以深度增強型HEVC為基礎之完全3DV編碼解碼器(被稱作3D-HEVC)，或HEVC之可擴展視訊寫碼延伸(被稱作SHEVC(可擴展HEVC)或HSVC(高效率可擴展視訊寫碼))。
下文所描述之技術可結合上文所提及之HEVC延伸中之一或多者而實施。對於3D-HEVC，可包括及支援用於紋理視角及深度視角兩者之新寫碼工具，包括寫碼單元/預測單元層級中之寫碼工具。自2013年11月21日起，可自以下連結下載用於3D-HEVC之軟體(亦即，3D-HTM版本 5.0)：https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.0/。
一般而言，HEVC之運動補償迴路相同於H.264/AVC中之運動補償迴路。舉例而言，運動補償迴路中之當前圖框Î之重新建構可等於經解量化係數r加時間預測P：Î=r+P。
在以上公式中，P指示用於P圖框之單向預測性框間預測或用於B圖框之雙向預測性框間預測。
然而，HEVC中之運動補償之單位不同於先前視訊寫碼標準中之運動補償之單位。舉例而言，先前視訊寫碼標準中之巨集區塊之概念不存在於HEVC中。實情為，巨集區塊係由基於泛型四元樹狀結構方案(generic quadtree scheme)之靈活階層式結構替換。在此方案內，定義三種類型之區塊，亦即，寫碼單元(CU)、預測單元(PU)及變換單元(TU)。CU為區分裂之基本單位。CU之概念類似於巨集區塊之概念，但CU不限於最大大小，且CU允許遞歸式地分裂成四個相等大小之CU以改良內容調適性。PU為框間/框內預測之基本單位。在一些實例中，PU可在單一PU中含有多個任意形狀之分割區以有效地寫碼不規則影像型樣。TU為變換之基本單位。可獨立於CU之PU來定義CU之TU。然而，TU之大小限於TU所屬之CU。區塊結構成為三種不同概念之此分離可允許每一概念根據其角色而最佳化，此情形可引起寫碼效率改良。
在HEVC及其他視訊寫碼規格中，一視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。一圖像可包括被表示為SL、SCb及SCr之三個樣本陣列。SL為二維亮度樣本陣列(亦即，區塊)。SCb為二維Cb彩度樣本陣列。SCr為二維Cr彩度樣本陣列。彩度樣本亦可在本文中被稱作「色度」樣本。在其他例子中，圖像可為單色，且可僅包括亮 度樣本陣列。
為了產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹狀結構單元(coding tree unit,CTU)集合。該等CTU中每一者可包含一亮度樣本寫碼樹狀結構區塊、兩個對應色度樣本寫碼樹狀結構區塊，及用以寫碼該等寫碼樹狀結構區塊之樣本之語法結構。在單色圖像或具有三個分離色彩平面之圖像中，CTU可包含單一寫碼樹狀結構區塊，及用以寫碼該寫碼樹狀結構區塊之樣本之語法結構。寫碼樹狀結構區塊可為N×N樣本區塊。CTU亦可被稱作「樹狀結構區塊」或「最大寫碼單元」(largest coding unit,LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他標準之巨集區塊。然而，CTU未必限於特定大小且可包括一或多個CU。截塊可包括以光柵掃描次序連續地排序之整數個CTU。
經寫碼截塊可包含截塊標頭及截塊資料。截塊之截塊標頭可為包括提供關於截塊之資訊之語法元素的語法結構。截塊資料可包括截塊之經寫碼CTU。
本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以係指一或多個樣本區塊及用以寫碼該一或多個樣本區塊之樣本之語法結構。實例類型之視訊單元或區塊可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分割區等等。在一些上下文中，PU之論述可與巨集區塊分割區之巨集區塊之論述進行互換。
為了產生經寫碼CTU，視訊編碼器20可對CTU之寫碼樹狀結構區塊遞歸式地執行四元樹狀結構分割，以將該等寫碼樹狀結構區塊劃分成若干寫碼區塊，因此，名稱為「寫碼樹狀結構單元」。寫碼區塊為N×N樣本區塊。CU可包含具有亮度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像之一亮度樣本寫碼區塊及兩個對應色度樣本寫碼區塊，以及用以寫碼該等寫碼區塊之樣本之語法結構。在單色圖像或具有三個 分離色彩平面之圖像中，CU可包含單一寫碼區塊，及用以寫碼該寫碼樹區塊之樣本之語法結構。
視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為相同預測被應用之矩形(亦即，正方形或非正方形)樣本區塊。CU之PU可包含一亮度樣本預測區塊、兩個對應色度樣本預測區塊，及用以預測該等預測區塊之語法結構。在單色圖像或具有三個分離色彩平面之圖像中，PU可包含單一預測區塊，及用以預測該預測區塊之語法結構。視訊編碼器20可產生用於CU之每一PU之亮度預測區塊、Cb預測區塊及Cr預測區塊的預測性亮度區塊、Cb區塊及Cr區塊。因此，在本發明中，CU可據稱為分割成一或多個PU。出於解釋簡易起見，本發明可將PU之預測區塊之大小簡單地稱作PU之大小。
視訊編碼器20可使用框內預測或框間預測以產生用於PU之預測性區塊。若視訊編碼器20使用框內預測以產生PU之預測性區塊，則視訊編碼器20可基於與PU相關聯之圖像之樣本而產生PU之預測性區塊。在本發明中，片語「基於」可指示「至少部分地基於」。
若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於除了與PU相關聯之圖像以外之一或多個圖像的經解碼樣本而產生PU之預測性區塊。當使用框間預測以產生一區塊(例如，PU)之預測性區塊時，本發明可將該區塊稱作「經框間寫碼」或「經框間預測」。框間預測可為單向預測性的(亦即，單向預測)或雙向預測性的(亦即，雙向預測)。為了執行單向預測或雙向預測，視訊編碼器20可產生用於當前圖像之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。該等參考圖像清單中每一者可包括一或多個參考圖像。在建構參考圖像清單(即，RefPicList0及RefPicList1(若可得到))之後，可使用至參考圖像清單之參考索引以識別包括於參考圖像清單中之任何參考圖像。
當使用單向預測時，視訊編碼器20可在RefPicList0及RefPicList1中任一者或兩者中搜尋參考圖像以判定參考圖像內之參考位點。此外，當使用單向預測時，視訊編碼器20可至少部分地基於對應於參考位點之樣本而產生用於PU之預測性區塊。此外，當使用單向預測時，視訊編碼器20可產生指示PU之預測區塊與參考位點之間的空間位移之單一運動向量。該運動向量可包括指定PU之預測區塊與參考位點之間的水平位移之水平分量，且可包括指定PU之預測區塊與參考位點之間的垂直位移之垂直分量。
當使用雙向預測以編碼PU時，視訊編碼器20可判定RefPicList0中之參考圖像中之第一參考位點及RefPicList1中之參考圖像中之第二參考位點。視訊編碼器20可至少部分地基於對應於第一參考位點及第二參考位點之樣本而產生用於PU之預測性區塊。此外，當使用雙向預測以編碼PU時，視訊編碼器20可產生指示PU之預測區塊與第一參考位點之間的空間位移之第一運動向量，及指示PU之預測區塊與第二參考位點之間的空間位移之第二運動向量。
若視訊編碼器20使用框間預測以產生PU之預測性區塊，則視訊編碼器20可基於除了與PU相關聯之圖像以外之一或多個圖像的樣本而產生PU之預測性區塊。舉例而言，視訊編碼器20可對PU執行單向預測性框間預測(亦即，單向預測)或雙向預測性框間預測(亦即，雙向預測)。
在視訊編碼器20對PU執行單向預測之例子中，視訊編碼器20可基於PU之運動向量而判定參考圖像中之參考位點。視訊編碼器20接著可判定用於PU之預測性區塊。用於PU之預測性區塊中之每一樣本可與參考位點相關聯。在一些實例中，當用於PU之預測性區塊中之樣本位於具有相同於PU之大小且左上隅角為參考位點的樣本區塊內時，該樣本可與參考位點相關聯。預測性區塊中之每一樣本可為參考 圖像之實際或內插式樣本。
在預測性區塊之亮度樣本係基於參考圖像之內插式亮度樣本的例子中，視訊編碼器20可藉由將8分接頭內插濾波器應用於參考圖像之實際亮度樣本而產生內插式亮度樣本。在預測性區塊之色度樣本係基於參考圖像之內插式色度樣本的例子中，視訊編碼器20可藉由將4分接頭內插濾波器應用於參考圖像之實際色度樣本而產生內插式色度樣本。一般而言，濾波器之分接頭之數目指示數學地表示濾波器所需要之係數之數目。具有較高分接頭數目之濾波器通常比具有較低分接頭數目之濾波器更複雜。
在視訊編碼器20對PU執行雙向預測之例子中，PU具有兩個運動向量。視訊編碼器20可基於PU之運動向量而判定兩個參考圖像中之兩個參考位點。視訊編碼器20接著可以上文所描述之方式來判定與兩個參考位點相關聯之參考區塊。視訊編碼器20接著可判定用於PU之預測區塊。預測區塊中之每一樣本可為參考區塊中之對應樣本之加權平均值。樣本之加權可基於參考圖像與含有PU之圖像相隔之時間距離。
視訊編碼器20可根據各種分割模式而將一CU分割成一或多個PU。舉例而言，若使用框內預測以產生用於CU之PU之預測性區塊，則可根據PART_2N×2N模式或PART_N×N模式而分割CU。在PART_2N×2N模式中，CU僅具有一個PU。在PART_N×N模式中，CU具有四個相等大小之PU，其具有矩形預測區塊。若使用框間預測以產生用於CU之PU之預測性區塊，則可根據PART_2N×2N模式、PART_N×N模式、PART_2N×N模式、PART_N×2N模式、PART_2N×nU模式、PART_2N×uD模式、PART_nL×2N模式或PART_nR×2N模式而分割CU。在PART_2N×N模式及PART_N×2N模式中，將CU分割成具有矩形預測區塊之兩個相等大小之PU。在 PART_2N×nU模式、PART_2N×uD模式、PART_nL×2N模式及PART_nR×2N模式中每一者中，將CU分割成具有矩形預測區塊之兩個不等大小之PU。
在視訊編碼器20產生用於CU之一或多個PU之預測性亮度區塊、Cb區塊及Cr區塊之後，視訊編碼器20可產生用於CU之亮度殘差區塊。CU之亮度殘差區塊中之每一樣本指示CU之預測性亮度區塊中之一者中之亮度樣本與CU之原始亮度寫碼區塊中之對應樣本之間的差。另外，視訊編碼器20可產生用於CU之Cb殘差區塊。CU之Cb殘差區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生用於CU之Cr殘差區塊。CU之Cr殘差區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中之Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。
此外，視訊編碼器20可使用四元樹狀結構分割以將一CU之亮度殘差區塊、Cb殘差區塊及Cr殘差區塊分解成一或多個亮度變換區塊、Cb變換區塊及Cr變換區塊。變換區塊為相同變換被應用之矩形(例如，正方形或非正方形)樣本區塊。CU之TU可包含一亮度樣本變換區塊、兩個對應色度樣本變換區塊，及用以變換該等變換區塊樣本之語法結構。因此，CU之每一TU可與一亮度變換區塊、一Cb變換區塊及一Cr變換區塊相關聯。與TU相關聯之亮度變換區塊可為CU之亮度殘差區塊之子區塊。Cb變換區塊可為CU之Cb殘差區塊之子區塊。Cr變換區塊可為CU之Cr殘差區塊之子區塊。在單色圖像或具有三個分離色彩平面之圖像中，TU可包含單一變換區塊，及用以變換該變換區塊之樣本之語法結構。
視訊編碼器20可將一或多個變換應用於TU之亮度變換區塊以產生用於TU之亮度係數區塊。係數區塊可為二維變換係數陣列。變換 係數可為純量。視訊編碼器20可將一或多個變換應用於TU之Cb變換區塊以產生用於TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊以產生用於TU之Cr係數區塊。
在產生係數區塊(例如，亮度係數區塊、Cb係數區塊，或Cr係數區塊)之後，視訊編碼器20可量化係數區塊。量化通常係指如下程序：其中量化變換係數以可能地縮減用以表示變換係數之資料的量，從而提供進一步壓縮。視訊編碼器20可基於與CU相關聯之量化參數(QP)值而量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用於與CU相關聯之係數區塊之量化的程度。在一些實例中，與CU相關聯之QP值可整體上與當前圖像或截塊相關聯。在視訊編碼器20量化係數區塊之後，視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文調適性二進位算術寫碼(Context-Adaptive Binary Arithmetic Coding,CABAC)。
視訊編碼器20可輸出包括形成視訊資料(亦即，經寫碼圖像及關聯資料)之表示之位元序列的位元串流。該位元串流可包含網路抽象層(network abstraction layer,NAL)單元序列。NAL單元為含有NAL單元中之資料類型之指示的語法結構，及含有彼資料之呈原始位元組序列有效負載(raw byte sequence payload,RBSP)之形式的位元組，其在必要時穿插有模擬防止位元(emulation prevention bit)。該等NAL單元中每一者包括一NAL單元標頭且囊封一RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定之NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封於NAL單元內之整數個位元組之語法結構。在一些例子中，RBSP包括零位元。
不同類型之NAL單元可囊封不同類型之RBSP。舉例而言，不同 類型之NAL單元可囊封用於視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、經寫碼截塊、SEI等等之不同RBSP。囊封用於視訊寫碼資料之RBSP(相對於用於參數集及SEI訊息之RBSP)之NAL單元可被稱作視訊寫碼層(video coding layer,VCL)NAL單元。
在HEVC中，SPS可含有應用於經寫碼視訊序列(CVS)之所有截塊之資訊。在HEVC中，CVS可開始於瞬時解碼再新(instantaneous decoding refresh,IDR)圖像，或斷鏈存取(broken link access,BLA)圖像，或為位元串流中之第一圖像之清潔隨機存取(clean random access,CRA)圖像，包括不為IDR或BLA圖像之所有後續圖像。亦即，在HEVC中，CVS可包含可按解碼次序由如下各者組成之存取單元序列：為位元串流中之第一存取單元之CRA存取單元、IDR存取單元或BLA存取單元，繼之以零或零個以上非IDR及非BLA存取單元，包括所有後續存取單元直至但不包括任何後續IDR或BLA存取單元。
VPS為包含應用於零或零個以上全部CVS之語法元素之語法結構。SPS可包括識別在SPS為作用中時為作用中之VPS之語法元素。因此，VPS之語法元素相比於SPS之語法元素通常可更適用。PPS為包含應用於零或零個以上經寫碼圖像之語法元素之語法結構。PPS可包括識別在PPS為作用中時為作用中之SPS之語法元素。截塊之截塊標頭可包括指示在截塊正被寫碼時為作用中之PPS之語法元素。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。另外，視訊解碼器30可剖析位元串流以自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重新建構視訊資料之圖像。用以重新建構視訊資料之程序可與由視訊編碼器20執行之程序大體上互逆。舉例而言，視訊解碼器30可使用PU之運動向量以判定用於當前CU之PU之預測性區塊。另外，視訊解碼器30可反量化與當前CU之TU相關聯之係數區塊。視訊解碼器30可對係數區塊執行 反變換以重新建構與當前CU之TU相關聯之變換區塊。視訊解碼器30可藉由將用於當前CU之PU之預測性區塊的樣本加至當前CU之TU之變換區塊的對應樣本而重新建構當前CU之寫碼區塊。藉由重新建構用於一圖像之每一CU之寫碼區塊，視訊解碼器30可重新建構該圖像。
在一些實例中，視訊編碼器20可使用合併模式或進階運動向量預測(AMVP)模式來傳信PU之運動資訊。換言之，在HEVC中，存在用於運動參數之預測之兩種模式，一種模式為合併/跳過模式，且另一模式為AMVP。運動預測可包含基於一或多個其他視訊單元(例如，PU)之運動資訊而判定一視訊單元之運動資訊。PU之運動資訊(亦即，運動參數)可包括PU之運動向量、PU之參考索引，及一或多個預測方向指示符。
當視訊編碼器20使用合併模式來傳信當前PU之運動資訊時，視訊編碼器20產生合併候選者清單。換言之，視訊編碼器20可執行運動向量預測值清單建構程序。合併候選者清單包括指示空間上或時間上相鄰於當前PU之PU之運動資訊的合併候選者集合。亦即，在合併模式中，建構運動參數(例如，參考索引、運動向量等等)之候選者清單，其中候選者可來自空間及時間相鄰區塊。
此外，在合併模式中，視訊編碼器20可自合併候選者清單選擇合併候選者，且可使用藉由選定合併候選者指示之運動資訊作為當前PU之運動資訊。視訊編碼器20可傳信選定合併候選者在合併候選者清單中之位置。舉例而言，視訊編碼器20可藉由傳輸指示選定合併候選者在候選者清單內之位置之索引(亦即，合併候選者索引)而傳信選定運動向量參數。
視訊解碼器30可自位元串流獲得至候選者清單中之索引(亦即，合併候選者索引)。另外，視訊解碼器30可產生相同合併候選者清 單，且可基於合併候選者索引而判定選定合併候選者。視訊解碼器30接著可使用選定合併候選者之運動資訊以產生用於當前PU之預測性區塊。亦即，視訊解碼器30可至少部分地基於候選者清單索引而判定候選者清單中之選定候選者，其中選定候選者指定用於當前PU之運動資訊(例如，運動向量)。以此方式，在解碼器側處，一旦解碼索引，索引所指向之對應區塊之所有運動參數就可由當前PU繼承。
跳過模式相似於合併模式。在跳過模式中，視訊編碼器20及視訊解碼器30以視訊編碼器20及視訊解碼器30在合併模式中使用合併候選者清單之相同方式來產生及使用合併候選者清單。然而，當視訊編碼器20使用跳過模式來傳信當前PU之運動資訊時，視訊編碼器20不傳信用於當前PU之任何殘差資料。因此，視訊解碼器30可在不使用殘差資料的情況下基於由合併候選者清單中之選定候選者之運動資訊指示的參考區塊而判定用於PU之預測區塊。因為跳過模式具有相同於合併模式之運動向量導出程序，所以此文件所描述之技術可應用於合併模式及跳過模式兩者。
AMVP模式相似於合併模式之處在於：視訊編碼器20可產生候選者清單，且可自候選者清單選擇候選者。然而，當視訊編碼器20使用AMVP模式來傳信當前PU之RefPicListX(其中X為0或1)運動資訊時，視訊編碼器20除了傳信用於當前PU之RefPicListX運動向量預測值(MVP)旗標以外亦可傳信用於當前PU之RefPicListX運動向量差(MVD)及用於當前PU之RefPicListX參考索引。用於當前PU之RefPicListXMVP旗標可指示AMVP候選者清單中之選定AMVP候選者之位置。用於當前PU之RefPicListX MVD可指示當前PU之RefPicListX運動向量與選定AMVP候選者之運動向量之間的差。以此方式，視訊編碼器20可藉由傳信RefPicListX MVP旗標、RefPicListX參考索引值及RefPicListX MVD而傳信當前PU之RefPicListX運動資訊。換言之，位 元串流中表示用於當前PU之運動向量之資料可包括表示參考索引、至候選者清單之索引及MVD之資料。因此，可藉由傳輸至候選者清單中之索引而傳信選定運動向量。另外，亦可傳信參考索引值及運動向量差。
此外，當使用AMVP模式來傳信當前PU之運動資訊時，視訊解碼器30可自位元串流獲得用於當前PU之MVD以及MVP旗標。視訊解碼器30可產生相同AMVP候選者清單，且可基於MVP旗標而判定選定AMVP候選者。視訊解碼器30可藉由將MVD加至由選定AMVP候選者指示之運動向量而恢復當前PU之運動向量。亦即，視訊解碼器30可基於由選定AMVP候選者指示之運動向量以及MVD而判定當前PU之運動向量。視訊解碼器30接著可使用當前PU之該或該等經恢復運動向量以產生用於當前PU之預測性區塊。
當視訊寫碼器產生用於當前PU之AMVP候選者清單時，視訊寫碼器可基於涵蓋空間上相鄰於當前PU之位點之PU(亦即，空間相鄰PU)的運動資訊而導出一或多個AMVP候選者，且基於時間上相鄰於當前PU之PU(亦即，時間相鄰PU)的運動資訊而導出一或多個AMVP候選者。在AMVP中，可基於經寫碼參考索引而導出用於每一運動假設之運動向量預測值之候選者清單。在本發明中，PU(或其他類型之視訊單元)可在與該PU相關聯之預測區塊(或與該視訊單元相關聯的其他類型之樣本區塊)包括一位點時據稱為在「涵蓋」該位點。候選者清單包括與相同參考索引相關聯之相鄰區塊之運動向量，以及基於時間參考圖像中之共置型區塊之相鄰區塊之運動參數(亦即，運動資訊)而導出的時間運動向量預測值。
為了進一步改良寫碼效率，視訊寫碼器亦可應用視角間運動預測及/或視角間殘差預測。關於視角間運動預測，視訊寫碼器可(例如)使用上文所描述之合併模式/跳過模式或AMVP模式而相對於與第二不 同視角之區塊相關聯之運動向量來寫碼與一個視角之區塊相關聯之運動向量。同樣地，如在視角間殘差預測中，視訊寫碼器可相對於第二不同視角之殘差來寫碼一個視角之殘差資料。在一些例子中，可藉由應用進階殘差預測(ARP)程序而達成視角間殘差預測，如下文更詳細地所描述。
在視角間殘差預測中，視訊編碼器20及/或視訊解碼器30可判定用於預測當前區塊之預測性區塊。用於當前區塊之預測性區塊可基於與由當前區塊之運動向量指示之位點相關聯的時間參考圖像之樣本。時間參考圖像係與相同於當前圖像之視角相關聯，但與不同於當前圖像之時間例項相關聯。在一些例子中，當區塊之樣本係基於特定圖像之樣本時，該等樣本可基於特定圖像之實際或內插式樣本。
視訊編碼器20及/或視訊解碼器30亦基於由當前區塊之視差向量指示之位點處的視差參考圖像之樣本而判定視差參考區塊。視差參考圖像係與不同於當前圖像之視角(亦即，參考視角)相關聯，但與相同於當前圖像之時間例項相關聯。
視訊編碼器20及/或視訊解碼器30亦判定用於當前區塊之時間視差參考區塊。時間參考區塊係基於與由當前區塊之運動向量以及視差向量(例如，由運動向量與視差向量之組合)指示之位點相關聯的時間視差參考圖像之樣本。亦即，視訊編碼器20及/或視訊解碼器30可組合運動向量與視差向量，且將組合式向量應用於當前區塊以在時間視差參考圖像中定位時間視差參考區塊。因此，時間視差參考圖像係與相同於視差參考圖像之視角相關聯，且與相同於時間參考圖像之存取單元相關聯。
視訊編碼器20及/或視訊解碼器30接著判定用於預測與當前區塊相關聯之殘差之殘差預測值，例如，當前區塊與時間參考區塊之間的差。用於當前區塊之殘差預測值之每一樣本指示視差參考區塊之樣本 與時間視差參考區塊之對應樣本之間的差。在一些例子中，視訊編碼器20及/或視訊解碼器30可將加權因數(例如，0、0.5、1或其類似者)應用於殘差預測值以增加殘差預測值之準確度。
視訊編碼器20可判定用於當前區塊之最終殘差區塊。最終殘差區塊包含指示當前區塊之樣本、時間預測性區塊中之樣本與殘差預測值中之樣本之間的差之樣本。視訊編碼器20可在位元串流中包括表示最終殘差區塊之資料。視訊解碼器可基於最終殘差區塊(如(例如)自經編碼位元串流獲得)、殘差預測值及時間預測性區塊而重新建構當前區塊。
雖然ARP可改良視角間(或層間)殘差預測之寫碼效率，但進一步改進係可能的。舉例而言，本發明之某些技術係關於ARP加權因數。如上文所提及，視訊寫碼器可將加權因數應用於殘差預測值。一般而言，總是在位元串流中傳信加權因數，而不管在用於寫碼當前區塊之參考圖像清單中是否存在時間參考圖像。然而，當不存在時間參考圖像時傳信加權因數可不必要地增加複雜性且減低效率，此係因為：若不存在時間參考圖像，則不存在用於應用ARP之時間預測及關聯殘差。
根據本發明之態樣，視訊編碼器20及/或視訊解碼器30可針對第一時間位點處的視訊資料之第一區塊來判定用於寫碼第一區塊之參考圖像清單(例如，RefPicList0及RefPicList1)在第二不同時間位點處是否含有至少一參考圖像。視訊編碼器20及/或視訊解碼器30亦可相對於參考圖像清單中之參考圖像的視訊資料之至少一參考區塊來寫碼視訊資料之第一區塊。然而，當參考圖像清單在第二時間位點處不包括至少一參考圖像時，視訊編碼器20及/或視訊解碼器30可停用視角間殘差預測程序。
視訊編碼器20可不在位元串流中傳信加權因數(跳過加權因數之 傳信)，藉此指示不使用視角間殘差預測。在此類例子中，視訊編碼器20可在不預測殘差的情況下寫碼殘差。同樣地，當停用視角間預測時，視訊解碼器30可自動地判定(亦即，推斷)出加權因數等於零，且跳過加權因數之解碼。以此方式，視訊編碼器20及/或視訊解碼器30可基於用於當前正被寫碼之區塊之參考圖像清單中之參考圖像而啟用或停用視角間殘差預測(例如，ARP)。
上文所描述之技術可應用於隨機存取圖像之上下文中。舉例而言，根據本發明之態樣，視訊編碼器20及/或視訊解碼器30可基於當前正被寫碼之視訊分量是否為隨機存取視角分量而啟用或停用視角間殘差預測。亦即，舉例而言，當對於不具有關聯時間參考圖像的隨機存取圖像之所有區塊時，視訊編碼器20及/或視訊解碼器30可停用視角間殘差預測。
本發明之技術亦係關於視角間殘差預測中之內插。舉例而言，當執行視角間殘差預測時，視訊編碼器20及視訊解碼器30兩者可在寫碼期間使用額外運動補償程序。因此，若運動向量指示分數像素位點，則視訊寫碼器執行兩種分數像素內插程序，例如，一種內插程序用以定位時間參考區塊，且另一內插程序用以定位視差時間參考區塊。另外，視訊編碼器20及/或視訊解碼器30可在判定視差參考區塊時應用又一分數像素內插程序。在HEVC中，作為一實例，針對亮度分量來指定8分接頭濾波器，而針對色度分量來指定4分接頭濾波器。此類內插程序可增加與視角間殘差預測相關聯之計算複雜性。
根據本發明之態樣，可特別相對於參考區塊之子像素內插而簡化視角間殘差預測之運動補償程序。舉例而言，視訊編碼器20及/或視訊解碼器30可運用第一類型之內插來內插由時間運動向量指示之時間參考區塊至視訊資料之當前區塊之位點，其中當前區塊及時間參考區塊位於視訊資料之第一層中。另外，視訊編碼器20及/或視訊解碼 器30可運用第二類型之內插來內插由當前區塊之視差向量指示之視差參考區塊之位點，其中視差參考區塊位於第二不同層中，且其中第二類型之內插包含雙線性濾波器。視訊編碼器20及/或視訊解碼器30亦可判定藉由將時間運動向量應用於視差參考區塊而指示之視差參考區塊之時間視差參考區塊，且基於時間參考區塊、視差參考區塊及時間視差參考區塊而寫碼當前區塊(例如，使用視角間殘差預測來寫碼當前區塊之殘差)。
根據一些實例，第一類型之內插亦可包含諸如雙線性濾波器之低通濾波器。在另一實例中，可使用雙線性濾波器以內插時間視差參考區塊之位點。因此，根據本發明之態樣，視訊編碼器20及/或視訊解碼器30可使用諸如雙線性濾波器之低通濾波器以在視角間殘差預測中內插一或多個參考區塊之位點。同樣地，雖然對雙線性濾波器進行參考，但在其他實例中，視訊編碼器20及/或視訊解碼器30可應用相比於應用由HEVC指定之較高分接頭濾波器(詳言之，WD9中指定之濾波器)在計算上更有效率之數個其他低通濾波器。根據本發明之態樣，視訊編碼器20及/或視訊解碼器30可將上文所描述之低通濾波器應用於亮度分量、色度分量或亮度分量與色度分量兩者之任何組合。
本發明之技術亦係關於針對特定寫碼模式及/或分割模式來傳信ARP加權因數。舉例而言，一般而言，可針對包括PART_2N×2N、PART_2N×N、PART_N×2N或其類似者之所有分割模式(如(例如)關於圖12所展示之實例更詳細地所描述)及包括跳過、合併、進階運動向量預測(AMVP)之所有框間寫碼模式來傳信加權因數。針對所有分割模式及框間模式來傳信加權因數可不必要地增加複雜性且減低效率，此係因為在運用某些分割模式或框間模式的情況下可能不會有效率地應用ARP。
根據本發明之態樣，可基於當前正被寫碼之區塊之分割模式及/ 或寫碼模式而啟用或停用視角間殘差預測。舉例而言，視訊編碼器20及/或視訊解碼器30可判定用於寫碼視訊資料區塊之分割模式，其中分割模式指示用於預測性寫碼的視訊資料區塊之劃分。另外，視訊編碼器20及/或視訊解碼器30可基於分割模式而判定針對視角間殘差預測程序是否寫碼加權因數，其中當不寫碼加權因數時，不應用視角間殘差預測程序以預測用於當前區塊之殘差。視訊編碼器20及/或視訊解碼器30接著可使用經判定分割模式來寫碼視訊資料區塊。
根據本發明之態樣，在一些實例中，可不傳信用於具有不等於PART_2N×2N之分割模式之任何經框間寫碼區塊的加權因數。在另一實例中，另外或替代地，可不傳信用於具有不等於跳過模式及/或合併模式之寫碼模式之任何經框間寫碼區塊的加權因數。
本發明之技術亦係關於改進在位元串流中傳信加權因數之方式。舉例而言，一般而言，視訊編碼器20及/或視訊解碼器30可自三個固定加權因數(例如，0、0.5及1)之固定集合選擇加權因數。然而，在一些例子中，歸因於當前視角與其參考視角之間的品質差，三個靜態加權因數可不提供足以達成足夠預測效率之靈活性。當前視角與參考視角之間的品質差可為動態的，關於可擴展視訊寫碼係特定的。相反地，三個加權因數可超過一些截塊或圖像之需要。亦即，一些截塊或圖像可無需自三個加權因數進行選擇以達成複雜性與寫碼效率改良之間的最佳平衡。
根據本發明之態樣，可實施對加權因數之更靈活途徑。舉例而言，可在序列層級處(例如，在諸如序列參數集(SPS)之參數集中)變更可用加權因數之數目。在出於說明之目的之實例中，可在SPS中傳信指示符以停用一或多個加權因數，例如，0.5及/或1。在另一實例中，可在VPS中傳信此類指示符，且此類指示符可適用於所有非基礎視角。在又一實例中，可針對每一非基礎視角而在視訊參數集(VPS)延 伸中傳信此類指示符。在另一實例中，可在圖像參數集(PPS)、截塊標頭或視角參數集中提供此類指示符以停用一或多個加權因數。當已停用加權因數時，可使用較少位元以表示彼等剩餘加權因數，藉此提供位元節省。
根據其他態樣，可提供指示符以修改及/或替換一或多個加權因數。在一實例中，視訊寫碼器可運用0.75加權因數來替換0.5加權因數。可在截塊標頭、SPS、圖像參數集(PPS)或VPS中傳信此指示符。
如上文所提及，通常藉由將時間運動向量應用於視差參考區塊而定位用於判定殘差預測值之時間視差參考區塊。亦即，視訊寫碼器可組合時間運動向量與視差向量，且基於該組合而(例如)相對於當前區塊來定位時間視差參考區塊。然而，在一些例子中，用於寫碼當前區塊之經解碼圖像緩衝器及/或參考圖像清單可不含有藉由將時間運動向量應用於視差參考區塊而指示之圖像。
根據本發明之態樣，視訊寫碼器可基於經解碼圖像緩衝器及/或參考圖像清單之圖像而啟用或停用ARP。舉例而言，視訊編碼器20及/或視訊解碼器30可針對視訊資料之第一層中的視訊資料之第一區塊來判定用於預測第一區塊之時間運動向量及關聯時間參考圖像，其中時間參考圖像具有圖像次序計數值。另外，視訊編碼器20及/或視訊解碼器30可在包括含有第一區塊之圖像的存取單元之圖像中判定視差參考區塊。視訊編碼器20及/或視訊解碼器30可判定經解碼圖像緩衝器是否含有具有時間參考圖像之圖像次序計數值之時間視差參考圖像，其中時間視差參考圖像係基於時間運動向量及視差向量之組合而定位，且當經解碼圖像緩衝器不含有具有時間參考圖像之圖像次序計數值之時間視差參考圖像時，視訊編碼器20及/或視訊解碼器30可修改視角間殘差預測程序以用於預測第一區塊之殘差資料。
在一些實例中，視訊編碼器20及/或視訊解碼器30可藉由停用視 角間殘差預測程序以使得不使用視角間殘差預測來寫碼當前區塊而修改視角間殘差預測程序。在其他實例中，視訊編碼器20及/或視訊解碼器30可藉由擴展時間運動向量以識別另一時間視差參考圖像而修改視角間殘差預測程序。舉例而言，視訊編碼器20及/或視訊解碼器30可擴展時間運動向量，使得當應用於視差參考圖像(例如，或與視差向量進行組合)時，經擴展運動向量識別包括於參考圖像清單中且位於時間上最接近於視差參考圖像之位點中之時間視差參考圖像。上文所描述之技術可防止視訊編碼器20及/或視訊解碼器30試圖在不包括於參考圖像清單中之圖像中定位視差參考區塊。
圖2為說明可實施用於進階殘差預測的本發明所描述之技術的實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以縮減或移除鄰近圖像或視訊序列之圖像內之視訊的時間冗餘。框內模式(I模式)可指若干以空間為基礎之壓縮模式中任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干以時間為基礎之壓縮模式中任一者。
如上文所提及，視訊編碼器20可經調適以執行多視角視訊寫碼。舉例而言，視訊編碼器20可經組態以根據MVC、MV-HEC、3D-HEVC及/或HSVC視訊寫碼標準而編碼多個可擴展視訊資料層。因此，視訊編碼器20可經組態以寫碼MV-HEVC，使得時間例項中之每一視角可由諸如視訊解碼器30之解碼器處理。對於HEVC-3D，除了編碼用於每一視角之紋理圖(texture map)(亦即，亮度值及色度值)以外，視訊編碼器20亦可進一步編碼用於每一視角之深度圖(depth map)。
在任何狀況下，如圖2所展示，視訊編碼器20接收待編碼視訊資 料。在圖2之實例中，視訊編碼器20包括模式選擇單元40、求和器50、變換處理單元52、量化單元54、熵編碼單元56，及參考圖像記憶體64。模式選擇單元40又包括運動估計單元42、運動補償單元44、框內預測單元46，及分割單元48。出於視訊區塊重新建構起見，視訊編碼器20亦包括反量化單元58、反變換處理單元60，及求和器62。亦可包括解區塊濾波器(圖2中未圖示)以濾波區塊邊界，以自經重新建構視訊移除方塊效應假影(blockiness artifact)。視需要，解區塊濾波器通常將濾波求和器62之輸出。除瞭解區塊濾波器以外，亦可使用額外迴路濾波器(迴路內或迴路後)。出於簡潔起見而未展示此類濾波器，但視需要，此類濾波器可濾波求和器50之輸出(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待寫碼圖像或截塊。可將該圖像或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行經接收視訊區塊相對於一或多個參考圖像中之一或多個區塊之框間預測性寫碼以提供時間壓縮。替代地，框內預測單元46可執行經接收視訊區塊相對於相同於待寫碼區塊之圖像或截塊中之一或多個相鄰區塊之框內預測性寫碼以提供空間壓縮。視訊編碼器20可執行多個寫碼遍次，例如，以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案之評估而將視訊資料區塊分割成子區塊。舉例而言，分割單元48可最初基於速率-失真分析(例如，速率-失真最佳化)而將一圖像或截塊分割成若干LCU，且將該等LCU中每一者分割成若干子CU。模式選擇單元40可進一步產生指示LCU成為子CU之分割之四元樹狀結構資料結構。四元樹狀結構之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇該等寫碼模式中之一者(框內或框間)，且將所得的經框內或經框間寫碼區塊提供至求和器50以產生殘差區塊資料及提供至求和器62以重新建構經編碼區塊以 用作參考圖像。模式選擇單元40亦將諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊之語法元素提供至熵編碼單元56。
運動估計單元42、層間預測單元43及運動補償單元44可高度地整合，但出於概念目的而被分離地說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計用於視訊區塊之運動。舉例而言，運動向量可指示當前圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊(或其他經寫碼單元)的位移，該預測性區塊係與當前圖像內正被寫碼之當前區塊(或其他經寫碼單元)有關。
預測性區塊為被發現在像素差方面接近地匹配於待寫碼區塊之區塊，像素差可由絕對差總和(sum of absolute difference,SAD)、平方差總和(sum of square difference,SSD)或其他差度量判定。在一些實例中，視訊編碼器20可演算用於儲存於參考圖像記憶體64中之參考圖像之次整數像素位置(sub-integer pixel position)的值，參考圖像記憶體64亦可被稱作參考圖像緩衝器。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置的值。因此，運動估計單元42可執行相對於完全像素位置及分數像素位置之運動搜尋，且以分數像素精確度輸出運動向量。
運動估計單元42藉由比較經框間寫碼截塊中之視訊區塊之PU的位置與參考圖像之預測性區塊的位置而演算用於該PU之運動向量。因此，一般而言，用於運動向量之資料可包括參考圖像清單、至參考圖像清單中之索引(ref_idx)、水平分量，及垂直分量。參考圖像可選自第一參考圖像清單(清單0)、第二參考圖像清單(清單1)或組合式參考圖像清單(清單c)，該等清單中每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。
運動估計單元42可產生識別參考圖像之預測性區塊之運動向量，且將該運動向量發送至熵編碼單元56及運動補償單元44。亦即， 運動估計單元42可產生及發送識別如下各者之運動向量資料以在經識別圖像內定位預測性區塊：含有預測性區塊之參考圖像清單、至識別預測性區塊之圖像之參考圖像清單中的索引，以及水平分量及垂直分量。
在一些實例中，層間預測單元43可預測運動向量以進一步縮減傳達運動向量所需要之資料的量，而非發送用於當前PU之實際運動向量。在此狀況下，層間預測單元43可產生相對於已知(或可知)運動向量之運動向量差(motion vector difference,MVD)，而非編碼及傳達運動向量自身。可與MVD一起使用以定義當前運動向量之已知運動向量可由所謂運動向量預測值(MVP)定義。一般而言，為了成為有效MVP，正用於預測之運動向量必須指向相同於當前正被寫碼之運動向量的參考圖像。
層間預測單元43可在多視角寫碼中識別運動向量預測值，例如，用於產生MVD或合併。舉例而言，層間預測單元43可自不同於當前區塊之視角分量中之區塊識別視差運動向量，以預測用於當前區塊之運動向量。在其他實例中，層間預測單元43可自不同於當前區塊之視角分量中之區塊識別時間運動向量，以預測用於當前區塊之運動向量。
根據本發明之態樣，層間預測單元43可執行層間殘差預測。舉例而言，層間預測單元43可相對於第二不同層之殘差資料來寫碼一個層之殘差資料。在一些例子中，層間預測單元43可首先判定用於預測當前區塊之預測性區塊。用於當前區塊之預測性區塊可基於與由當前區塊之運動向量指示之位點相關聯的時間參考圖像之樣本。時間參考圖像係與相同於當前圖像之層相關聯，但與不同於當前圖像之時間例項相關聯。
層間預測單元43亦基於由當前區塊之視差向量指示之位點處的 視差參考圖像之樣本而判定視差參考區塊。視差參考圖像係與不同於當前圖像之層(亦即，參考層)相關聯，但與相同於當前圖像之時間例項相關聯。層間預測單元43亦判定用於當前區塊之時間視差參考區塊。時間參考區塊係基於與由當前區塊之運動向量以及視差向量(例如，由運動向量與視差向量之組合)指示之位點相關聯的時間視差參考圖像之樣本。因此，時間視差參考圖像係與相同於視差參考圖像之視角相關聯，且與相同於時間參考圖像之存取單元相關聯。
層間預測單元43接著判定用於預測與當前區塊相關聯之殘差之殘差預測值，例如，當前區塊與時間參考區塊之間的差。用於當前區塊之殘差預測值之每一樣本指示視差參考區塊之樣本與時間視差參考區塊之對應樣本之間的差。在一些例子中，層間預測單元43可將加權因數(例如，0、0.5、1或其類似者)應用於殘差預測值以增加殘差預測值之準確度。
層間預測單元43可判定用於當前區塊之最終殘差區塊。最終殘差區塊包含指示當前區塊之樣本、時間預測性區塊中之樣本與殘差預測值中之樣本之間的差之樣本。視訊編碼器20可在位元串流中包括表示最終殘差區塊之資料。
根據本發明之態樣，層間預測單元43可基於用於當前正被寫碼之區塊之參考圖像清單中的參考圖像而啟用或停用視角間殘差預測(包括相對於第二不同層之殘差來寫碼一個層之殘差)。在一實例中，層間預測單元43可基於用於當前正被寫碼之區塊之參考圖像清單(例如，RefPicList0及/或RefPicList1)是否包括任何時間參考圖像而啟用或停用視角間殘差預測。根據本發明之態樣，若用於經框間預測區塊之參考圖像清單僅包括視角間參考圖像，則層間預測單元43可停用層間預測單元43。在一些實例中，層間預測單元43可針對隨機存取視角分量之每一區塊來停用層間預測單元43。
在另一實例中，當視差參考區塊之參考圖像清單不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之參考圖像時，層間預測單元43可修改視角間殘差預測。是否修改視角間殘差預測之判定可基於參考圖像清單(例如，RefPicList0及/或RefPicList1)中之一者或兩者。亦即，在給出當前參考圖像清單索引X(其中X為0或1)的情況下，在一項實例中，若具有等於視差參考區塊之X之清單索引的參考圖像清單不包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則層間預測單元43可修改ARP程序。在另一實例中，若視差參考區塊之參考圖像清單中任一者皆不(例如，清單0及清單1皆不)包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則層間預測單元43可修改ARP程序。
在一些例子中，層間預測單元43可藉由停用視角間殘差預測而修改視角間殘差預測。在其他例子中，層間預測單元43可藉由擴展時間運動向量以識別另一時間視差參考圖像而修改視角間殘差預測程序。舉例而言，層間預測單元43可擴展時間運動向量，使得當應用於視差參考圖像時，運動向量與視差向量之經擴展組合識別包括於參考圖像清單中且位於時間上最接近於視差參考圖像之位點中之時間視差參考圖像。
雖然關於參考圖像清單進行描述，但另外或替代地，若參考圖像記憶體64(亦即，經解碼圖像緩衝器)不含有具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之圖像，則層間預測單元43可修改及/或停用視角間殘差預測。
在又一實例中，根據本發明之態樣，層間預測單元43可簡化參考區塊被定位之方式，特別是當內插子像素位置時。舉例而言，層間預測單元43可使用諸如雙線性濾波器之低通濾波器以內插視差參考區 塊之位點。另外或替代地，層間預測單元43可使用諸如雙線性濾波器之低通濾波器以內插時間視差參考區塊之位點。在又一實例中，根據本發明之態樣，運動估計單元42及/或運動補償單元44可使用諸如雙線性濾波器之低通濾波器以內插時間參考區塊之位點。
在又一實例中，根據本發明之態樣，對於特定寫碼模式及/或分割模式，層間預測單元43可僅應用視角間殘差預測，且因此可僅傳信加權因數。舉例而言，層間預測單元43可僅針對具有不等於PART_2N×2N之分割模式之任何經框間寫碼區塊來傳信加權因數。在另一實例中，另外或替代地，層間預測單元43可不針對具有不等於跳過模式及/或合併模式之寫碼模式之任何經框間寫碼區塊來傳信加權因數。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量及/或來自層間預測單元43之資訊而提取或產生預測性區塊。在一些例子中，運動補償單元44可應用視角間預測。同樣地，在一些實例中，運動估計單元42、層間預測單元43及運動補償單元44可功能上整合。在接收用於當前視訊區塊之PU之運動向量後，運動補償單元44即可在該等參考圖像清單中之一者中定位該運動向量所指向之預測性區塊。
求和器50藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值而形成像素差值來形成殘差視訊區塊，如下文所論述。一般而言，運動估計單元42執行相對於亮度分量之運動估計，且運動補償單元44針對色度分量及亮度分量兩者來使用基於亮度分量而演算之運動向量。模式選擇單元40亦可產生與視訊區塊及視訊截塊相關聯之語法元素以供視訊解碼器30用來解碼視訊截塊之視訊區塊。
作為對由運動估計單元42及運動補償單元44執行之框間預測(如上文所描述)之替代例，框內預測單元46可框內預測當前區塊。詳言 之，框內預測單元46可判定框內預測模式以進行使用以編碼當前區塊。在一些實例中，框內預測單元46可(例如)在分離編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自測試模式選擇適當框內預測模式以進行使用。
舉例而言，框內預測單元46可使用用於各種測試框內預測模式之速率-失真分析而演算速率-失真值，且在該等測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可自用於各種經編碼區塊之失真及速率演算比率以判定哪一框內預測模式展現用於該區塊之最佳速率-失真值。
在選擇用於區塊之框內預測模式之後，框內預測單元46可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)之經傳輸位元串流組態資料中包括編碼用於各種區塊之上下文之定義，及將用於該等上下文中每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘差視訊區塊。求和器50表示執行此減去運算之組件。變換處理單元52將諸如離散餘弦變換(discrete cosine transform,DCT)或概念上相似變換之變換應用於殘差區塊，從而產生包含殘差變換係數值之視訊區塊。變換處理單元52可執行概念上相似於DCT之其他變換。亦可使用小波變換、整數變換、次頻帶變換，或 其他類型之變換。在任何狀況下，變換處理單元52將該變換應用於殘差區塊，從而產生殘差變換係數區塊。該變換可將殘差資訊自像素值域轉換至諸如頻域之變換域。
變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元率。量化程序可縮減與該等係數中之一些或全部相關聯之位元深度。可藉由調整量化參數而修改量化的程度。在一些實例中，量化單元54接著可執行包括經量化變換係數之矩陣之掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵寫碼經量化變換係數。舉例而言，熵編碼單元56可執行上下文調適性可變長度寫碼(CAVLC)、上下文調適性二進位算術寫碼(CABAC)、以語法為基礎之上下文調適性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼，或另一熵寫碼技術。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以在像素域中重新建構殘差區塊，例如，以供稍後用作參考區塊。運動補償單元44可藉由將殘差區塊加至參考圖像記憶體64之圖像中之一者的預測性區塊而演算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重新建構殘差區塊以演算次整數像素值以供運動估計中使用。
求和器62將經重新建構殘差區塊加至由運動補償單元44產生之運動補償式預測區塊，以產生經重新建構視訊區塊以供儲存於參考圖像記憶體64中。經重新建構視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼後續圖像中之區塊。
圖3為說明可實施用於在多視角寫碼中預測運動向量的本發明所描述之技術的實例視訊解碼器30的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化單元86、反變換 處理單元88、求和器90，及參考圖像記憶體92。預測處理單元81包括運動補償單元82、層間預測單元83，及框內預測單元84。
如上文所提及，視訊解碼器30可經調適以執行多視角視訊寫碼。在一些例子中，視訊解碼器30可經組態以解碼多視角HEVC。對於HEVC-3D，除了解碼用於每一視角之紋理圖(亦即，亮度值及色度值)以外，視訊解碼器30亦可進一步解碼用於每一視角之深度圖。
在任何狀況下，在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊截塊之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級處接收語法元素。
舉例而言，作為背景，視訊解碼器30可接收已出於經由網路進行傳輸起見而壓縮成所謂「網路抽象層單元」或NAL單元之經壓縮視訊資料。每一NAL單元可包括識別儲存至該NAL單元之資料類型之標頭。存在通常儲存至NAL單元的兩種類型之資料。儲存至NAL單元的第一類型之資料為視訊寫碼層(VCL)資料，其包括經壓縮視訊資料。儲存至NAL單元的第二類型之資料被稱作非VCL資料，其包括諸如定義為大量NAL單元所共有之標頭資料之參數集及補充增強資訊(supplemental enhancement information,SEI)的額外資訊。
舉例而言，參數集可含有序列層級標頭資訊(例如，在序列參數集(SPS)中)及不頻繁改變圖像層級標頭資訊(例如，在圖像參數集(PPS)中)。無需針對每一序列或圖像來重複參數集中含有之不頻繁改變資訊，藉此改良寫碼效率。另外，參數集之使用實現標頭資訊之頻帶外傳輸，藉此避免針對用於誤差恢復(error resilience)之冗餘傳輸之需要。
當視訊截塊被寫碼為經框內寫碼(I)截塊時，預測處理單元81之框內預測單元84可基於傳信框內預測模式及來自當前圖像之經先前解碼區塊之資料而產生用於當前視訊截塊之視訊區塊之預測資料。當圖像被寫碼為經框間寫碼(亦即，B、P或GPB)截塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生用於當前視訊截塊之視訊區塊之預測性區塊。可自該等參考圖像清單中之一者內的該等參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像而使用預設建構技術來建構參考圖像清單：清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素而判定用於當前視訊截塊之視訊區塊之預測資訊，且使用該預測資訊以產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用該等經接收語法元素中之一些以判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、用於該截塊之參考圖像清單中之一或多者的建構資訊、用於該截塊之每一經框間編碼視訊區塊之運動向量、用於該截塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊之其他資訊。在一些實例中，運動補償單元82可自層間預測單元83接收某些運動資訊。
層間預測單元83可接收指示在何處擷取用於當前區塊之運動資訊之預測資料。舉例而言，層間預測單元83可接收諸如MVP索引(mvp_flag)、MVD、合併旗標(merge_flag)及/或合併索引(merge_idx)之運動向量預測資訊，且使用此類資訊以識別用以預測當前區塊之運動資訊。亦即，如上文關於視訊編碼器20所提及，根據本發明之態樣，層間預測單元83可接收MVP索引(mvp_flag)及MVD，且使用此類資訊以判定用以預測當前區塊之運動向量。層間預測單元83可產生 MVP或合併候選者清單。MVP及/或合併候選者可包括位於不同於當前正被解碼之視訊區塊之視角中的一或多個視訊區塊。
根據本發明之態樣，層間預測單元83可執行層間殘差預測。舉例而言，層間預測單元83可相對於第二不同層之殘差資料來寫碼一個層之殘差資料。在一些例子中，層間預測單元83可首先判定用於預測當前區塊之預測性區塊。用於當前區塊之預測性區塊可基於與由當前區塊之運動向量指示之位點相關聯的時間參考圖像之樣本。時間參考圖像係與相同於當前圖像之層相關聯，但與不同於當前圖像之時間例項相關聯。
層間預測單元83亦基於由當前區塊之視差向量指示之位點處的視差參考圖像之樣本而判定視差參考區塊。視差參考圖像係與不同於當前圖像之層(亦即，參考層)相關聯，但與相同於當前圖像之時間例項相關聯。層間預測單元83亦判定用於當前區塊之時間視差參考區塊。時間參考區塊係基於與由當前區塊之運動向量以及視差向量(例如，由運動向量與視差向量之組合)指示之位點相關聯的時間視差參考圖像之樣本。因此，時間視差參考圖像係與相同於視差參考圖像之視角相關聯，且與相同於時間參考圖像之存取單元相關聯。
層間預測單元83接著判定用於預測與當前區塊相關聯之殘差之殘差預測值，例如，當前區塊與時間參考區塊之間的差。用於當前區塊之殘差預測值之每一樣本指示視差參考區塊之樣本與時間視差參考區塊之對應樣本之間的差。在一些例子中，層間預測單元83可將加權因數(例如，0、0.5、1或其類似者)應用於殘差預測值以增加殘差預測值之準確度。
層間預測單元83可自經編碼位元串流獲得指示用於當前區塊之最終殘差區塊之資料。層間預測單元83可藉由組合最終殘差區塊、時間預測性區塊及殘差預測值中之樣本而重新建構當前區塊。
根據本發明之態樣，層間預測單元83可基於用於當前正被寫碼之區塊之參考圖像清單中的參考圖像而啟用或停用視角間殘差預測(包括相對於第二不同層之殘差來寫碼一個層之殘差)。在一實例中，層間預測單元83可基於用於當前正被寫碼之區塊之參考圖像清單是否包括任何時間參考圖像而啟用或停用視角間殘差預測。根據本發明之態樣，若用於經框間預測區塊之參考圖像清單僅包括視角間參考圖像，則層間預測單元83可停用層間預測單元83。在一些實例中，層間預測單元83可針對隨機存取視角分量之每一區塊來停用層間預測單元83。
在另一實例中，當視差參考區塊之參考圖像清單不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之參考圖像時，層間預測單元83可修改視角間殘差預測。是否修改視角間殘差預測之判定可基於參考圖像清單(例如，RefPicList0及/或RefPicList1)中之一者或兩者。亦即，在給出當前參考圖像清單索引X(其中X為0或1)的情況下，在一項實例中，若具有等於視差參考區塊之X之清單索引的參考圖像清單不包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則層間預測單元83可修改ARP程序。在另一實例中，若視差參考區塊之參考圖像清單中任一者皆不(例如，清單0及清單1皆不)包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則層間預測單元83可修改ARP程序。
在一些例子中，層間預測單元83可藉由停用視角間殘差預測而修改視角間殘差預測。在其他例子中，層間預測單元83可藉由擴展時間運動向量以識別另一時間視差參考圖像而修改視角間殘差預測程序。舉例而言，層間預測單元83可擴展時間運動向量，使得當應用於視差參考圖像時，運動向量與視差向量之經擴展組合識別包括於參考 圖像清單中且位於時間上最接近於視差參考圖像之位點中之時間視差參考圖像。
在又一實例中，根據本發明之態樣，層間預測單元83可簡化參考區塊被定位之方式，特別是當內插子像素位置時。舉例而言，層間預測單元83可使用諸如雙線性濾波器之低通濾波器以內插視差參考區塊之位點。另外或替代地，層間預測單元83可使用諸如雙線性濾波器之低通濾波器以內插時間視差參考區塊之位點。在又一實例中，根據本發明之態樣，運動補償單元82可使用諸如雙線性濾波器之低通濾波器以內插時間參考區塊之位點。
在又一實例中，根據本發明之態樣，對於特定寫碼模式及/或分割模式，層間預測單元83可僅應用視角間殘差預測，且因此可僅傳信加權因數。舉例而言，層間預測單元83可僅針對具有不等於PART_2N×2N之分割模式之任何經框間寫碼區塊來傳信加權因數。在另一實例中，另外或替代地，層間預測單元83可不針對具有不等於跳過模式及/或合併模式之寫碼模式之任何經框間寫碼區塊來傳信加權因數。
反量化單元86反量化(亦即，解量化)位元串流中提供且由熵解碼單元80解碼之經量化變換係數。反量化程序可包括使用由視訊編碼器20針對視訊截塊中之每一視訊區塊而演算之量化參數，以判定量化的程度且同樣地判定應被應用之反量化的程度。
反變換處理單元88將反轉換(例如，反DCT、反整數變換或概念上相似反變換程序)應用於變換係數，以便在像素域中產生殘差區塊。根據本發明之態樣，反變換處理單元88可判定將變換應用於殘差資料之方式。亦即，舉例而言，反變換處理單元88可判定表示將變換(例如，DCT、整數變換、小波變換或一或多個其他變換)應用於與經接收視訊資料區塊相關聯之殘差亮度樣本及殘差色度樣本之方式的 RQT。
在運動補償單元82基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由求和來自反變換處理單元88之殘差區塊與由運動補償單元82產生之對應預測性區塊而形成經解碼視訊區塊。求和器90表示執行此求和運算之組件。視需要，亦可應用解區塊濾波器以濾波經解碼區塊，以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著，將給定圖像中之經解碼視訊區塊儲存於參考圖像記憶體92中，參考圖像記憶體92儲存用於後續運動補償之參考圖像。參考圖像記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如，圖1之顯示器件32)上。
圖4為說明實例多視角解碼次序之概念圖。多視角解碼次序可為位元串流次序。在圖4之實例中，每一正方形對應於一視角分量。正方形之行對應於存取單元。每一存取單元可被定義為含有時間例項之所有視角之經寫碼圖像。正方形之列對應於視角。在圖4之實例中，存取單元被標註為T0……T11，且視角被標註為S0……S7。因為一存取單元之每一視角分量係在下一存取單元之任何視角分量之前被解碼，所以圖4之解碼次序可被稱作時間優先寫碼(time-first coding)。存取單元之解碼次序可不相同於輸出或顯示次序。
多視角寫碼可支援視角間預測。視角間預測相似於用於H.264/AVC、HEVC或其他視訊寫碼規格中之框間預測，且可使用相同語法元素。然而，當視訊寫碼器對當前視訊單元(諸如，巨集區塊或PU)執行視角間預測時，視訊寫碼器可使用位於相同於當前視訊單元之存取單元中但位於不同視角中之圖像作為參考圖像。與此對比，習知框間預測僅使用不同存取單元中之圖像作為參考圖像。
圖5為說明可與MVC、多視角HEVC及3D-HEVC(多視角加深度) 一起使用之實例MVC預測型樣的概念圖。下文對MVC之參考大體上應用於MVC，且不限於H.264/MVC。
在圖5之實例中，說明八個視角(S0至S7)，且針對每一視角來說明十二個時間位點(T0至T11)。一般而言，圖5中之每一列對應於一視角，而每一行指示一時間位點。可使用視角識別符(「view_id」)來識別該等視角中每一者，視角識別符可用以指示相對於其他視角之相對攝影機位點。在圖5所展示之實例中，視角ID被指示為「S0」至「S7」，但亦可使用數值視角ID。另外，可使用圖像次序計數(POC)值來識別該等時間位點中每一者，POC值指示圖像之顯示次序。在圖5所展示之實例中，POC值被指示為「T0」至「T11」。
儘管多視角經寫碼位元串流可具有可由特定解碼器解碼之所謂基礎視角，且可支援立體視角對，但一些多視角位元串流可支援兩個以上視角作為3D視訊輸入。因此，具有特定解碼器之用戶端之轉譯器可預期具有多個視角之3D視訊內容。
使用包括一字母之陰影區塊來指示圖5中之圖像，該字母指明對應圖像被框內寫碼(亦即，I圖框)，抑或在一個方向上被框間寫碼(亦即，作為P圖框)或在多個方向上被框間寫碼(亦即，作為B圖框)。一般而言，由箭頭指示預測，其中被指向圖像(pointed-to picture)使用指出物件(point-from object)以用於預測參考。舉例而言，自視角S0在時間位點T0處之I圖框預測視角S2在時間位點T0處之P圖框。
如同單視角視訊編碼，可關於不同時間位點處之圖像而預測性地編碼多視角視訊序列之圖像。舉例而言，視角S0在時間位點T1處之b圖框具有自視角S0在時間位點T0處之I圖框指向該b圖框的箭頭，從而指示出自該I圖框預測該b圖框。然而，另外，在多視角視訊編碼之上下文中，圖像可被視角間預測。亦即，一視角分量可使用其他視角中之視角分量以用於參考。舉例而言，可實現視角間預測，就好像 另一視角中之視角分量為框間預測參考一樣。可在序列參數集(SPS)MVC延伸中傳信潛在視角間參考，且可藉由參考圖像清單建構程序來修改潛在視角間參考，此情形實現框間預測或視角間預測參考之靈活排序。
圖5提供視角間預測之各種實例。在圖5之實例中，視角S1之圖像被說明為自視角S1在不同時間位點處之圖像被預測，以及自視角S0及S2在相同時間位點處之圖像被視角間預測。舉例而言，自視角S1在時間位點T0及T2處之B圖框中每一者以及視角S0及S2在時間位點T1處之b圖框預測視角S1在時間位點T1處之b圖框。
在圖5之實例中，大寫字母「B」及小寫字母「b」意欲指示圖像之間的不同階層式關係，而非不同編碼方法。一般而言，大寫字母「B」圖框相比於小寫字母「b」圖框在預測階層中相對較高。圖5亦使用不同位準之陰影來說明預測階層之變化，其中較大量之陰影(亦即，相對較深色)圖像相比於具有較少陰影(亦即，相對較淺色)之圖像在預測階層中較高。舉例而言，以完全陰影來說明圖5中之所有I圖框，而P圖框具有稍微較淺色之陰影，且B圖框(及小寫字母b圖框)相對於彼此具有各種位準之陰影，但相比於P圖框及I圖框之陰影總是為較淺色。
一般而言，預測階層係與視角次序索引相關，此在於：應在解碼在預測階層中相對較低之圖像之前解碼在該階層中相對較高之圖像，使得在該階層中相對較高之彼等圖像可在該階層中相對較低之圖像之解碼期間用作參考圖像。視角次序索引為指示存取單元中之視角分量之解碼次序的索引。可在諸如SPS之參數集中隱含視角次序索引。
以此方式，用作參考圖像之圖像可在參考該等參考圖像而編碼之圖像之解碼之前被解碼。視角次序索引為指示存取單元中之視角分 量之解碼次序的索引。對於每一視角次序索引i，傳信對應view_id。視角分量之解碼遵循視角次序索引之升序。若呈現所有視角，則視角次序索引集合包含自0至比視角之總數小1的連續排序集合。
可抽取整個位元串流之子集以形成合格子位元串流。存在特定應用基於(例如)如下各者而可需要之許多可能子位元串流：由伺服器提供之服務；一或多個用戶端之解碼器之容量、支援及能力；及/或一或多個用戶端之偏好。舉例而言，用戶端可能需要僅三個視角，且可能存在兩種情境。在一項實例中，一個用戶端可需要平滑檢視體驗且可能偏好具有view_id值S0、S1及S2之視角，而另一用戶端可需要視角可擴展性且偏好具有view_id值S0、S2及S4之視角。應注意，此等子位元串流兩者可被解碼為獨立位元串流，且可被同時地支援。
關於視角間預測，在同一存取單元(亦即，具有相同時間例項)中之圖像當中允許視角間預測。當寫碼該等非基礎視角中之一者中之圖像時，若一圖像位於不同視角中但具有相同時間例項，則可將該圖像添加至參考圖像清單中。可將視角間預測參考圖像放於參考圖像清單之任何位置中，正如任何框間預測參考圖像一樣。
因此，在多視角視訊寫碼之上下文中，存在兩種種類之運動向量。一種種類之運動向量為指向時間參考圖像之法向運動向量。對應於法向時間運動向量之框間預測類型可被稱作運動補償式預測(motion-compensated prediction,MCP)。當視角間預測參考圖像用於運動補償時，對應運動向量被稱作「視差運動向量」。換言之，視差運動向量指向不同視角中之圖像(亦即，視差參考圖像或視角間參考圖像)。對應於視差運動向量之框間預測類型可被稱作「視差補償式預測(disparity-compensated prediction)」或「DCP」。
如上文所提及，HEVC之多視角延伸(亦即，MV-HEVC)及HEVC之3DV延伸(亦即，3D-HEVC)正在開發中。MV-HEVC及3D-HEVC可 使用視角間運動預測及視角間殘差預測來改良寫碼效率。在視角間運動預測中，視訊寫碼器可基於不同於當前PU之視角中之PU的運動資訊而判定(亦即，預測)當前PU之運動資訊。在視角間殘差預測中，視訊寫碼器可使用圖5所展示之預測結構基於不同於當前CU之視角中之殘差資料而判定當前CU之殘差區塊。
為了實現視角間運動預測及視角間殘差預測，視訊寫碼器可判定用於區塊(例如，PU、CU等等)之視差向量。一般而言，視差向量用作兩個視角之間的位移之估計量。諸如視訊編碼器20或視訊解碼器30之視訊寫碼器可使用用於區塊之視差向量以在另一視角中定位參考區塊(其可在本文中被稱作視差參考區塊)以用於視角間運動或殘差預測，或視訊寫碼器可將視差向量轉換至視差運動向量以用於視角間運動預測。
圖6為說明可擴展視訊寫碼之概念圖。雖然關於H.264/AVC及SVC而描述圖6，但應理解，可使用其他多層視訊寫碼方案(包括HSVC)來寫碼相似層。在另一實例中，可使用多標準編碼解碼器來寫碼相似層。舉例而言，可使用H.264/AVC來寫碼基礎層，而可使用對HEVC之可擴展僅HLS延伸來寫碼增強層。因此，下文對SVC之參考可大體上應用於可擴展視訊寫碼，且不限於H.264/SVC。
在SVC中，可在包括(例如)空間、時間及品質(被表示為位元率或信雜比(SNR))之三個維度中實現可擴展性。一般而言，通常可藉由加至在任何維度中之表示而達成較佳表示。舉例而言，在圖6之實例中，以具有7.5Hz之圖框率及64千位元組/秒(KBPS)之位元率的四分之一共同中間格式(Quarter Common Intermediate Format,QCIF)來寫碼層0。另外，以具有15Hz之圖框率及64KBPS之位元率的QCIF來寫碼層1，以具有15Hz之圖框率及256KBPS之位元率的CIF來寫碼層2，以具有7.5Hz之圖框率及512KBPS之位元率的QCIF來寫碼層3， 且以具有30Hz之圖框率及百萬位元組/秒(MBPS)之位元率的4CIF來寫碼層4。應理解，圖5所展示之層之特定數目、內容及配置係僅出於實例之目的而提供。
在任何狀況下，一旦視訊編碼器(諸如，視訊編碼器20)已以此類可擴展方式來編碼內容，視訊解碼器(諸如，視訊解碼器30)就可使用抽取器工具以根據應用要求而調適實際經遞送內容，應用要求可取決於(例如)用戶端或傳輸頻道。
在SVC中，具有最低空間及品質層之圖像通常係與H.264/AVC相容。在圖6之實例中，具有最低空間及品質層之圖像(層0及層1中之圖像，具有QCIF解析度)可與H.264/AVC相容。在該等圖像當中，最低時間層級之彼等圖像形成時間基礎層(層0)。可運用較高時間層級(層1)之圖像來增強此時間基礎層(層0)。
除了H.264/AVC相容層以外，亦可添加若干空間及/或品質增強層以提供空間及/或品質可擴展性。每一空間或品質增強層自身可時間上可擴展，其具有相同於H.264/AVC相容層之時間可擴展性結構。
雖然可關於視訊資料「視角」而描述視角間殘差預測，但應理解，相似技術可應用於多個資料層，諸如，圖6所展示之可擴展結構之層。舉例而言，視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可使用另一層來預測一個層之殘差。在一些例子中，可運用HEVC之可擴展延伸(諸如，HSVC)來實施該等技術。
詳言之，如下文更詳細地所描述，視訊編碼器20可僅針對某些寫碼分割模式及/或針對某些寫碼模式來傳信用於CU之加權因數。當不傳信加權因數時，視訊解碼器30可跳過加權因數之解碼且自動地判定(亦即，推斷)出加權因數為零。
在一項實例中，可不傳信用於具有不等於PART_2N×2N之分割模式之經框間寫碼CU的加權因數。在一替代實例中，可不傳信用於具 有不等於PART_2N×2N、PART_2N×N及PART_N×2N之分割模式之經框間寫碼CU的加權因數。在又一實例中，另外或替代地，可不傳信用於具有不等於跳過及/或合併之寫碼模式之任何經框間寫碼CU的加權因數。
根據其他態樣，視訊寫碼器可修改加權因數。舉例而言，可在序列層級中傳信指示符以停用一或多個加權因數(例如，0.5及/或1)。在一些實例中，可針對每一非基礎視角而在VPS延伸中傳信指示符。在其他實例中，可在VPS中傳信指示符，且指示符可適用於所有非基礎視角。在又其他實例中，可在圖像參數集(PPS)、截塊標頭或視角參數集中傳信指示符。
在另一實例中，可傳信指示符以修改該等加權因數中之一或多者。舉例而言，指示符可使視訊解碼器30運用新加權因數(例如，0.75)來替換初始加權因數(例如，0.5)。可在PPS、截塊標頭或VPS中傳信此修改指示符。
根據又其他態樣，視訊寫碼器可基於用於寫碼圖6所展示之可擴展結構中之圖像的經解碼圖像緩衝器及/或參考圖像清單之圖像而啟用或停用ARP。舉例而言，當用於寫碼當前PU之經解碼圖像緩衝器不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之圖像時，視訊寫碼器可針對該PU來修改ARP程序。
在另一實例中，另外/替代地，當視差參考區塊之參考圖像清單中之一者或兩者不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之參考圖像時，視訊寫碼器可針對PU來修改ARP程序。
在一些實例中，視訊寫碼器可藉由停用ARP程序以使得不使用ARP來寫碼當前PU而修改ARP程序。在其他實例中，視訊寫碼器可藉由擴展時間運動向量以識別另一可用時間視差參考圖像而修改ARP程 序。
圖7為說明相對於當前PU 100之實例空間相鄰PU的概念圖，其可用以判定用於當前PU 100之視差向量。在圖7之實例中，空間相鄰PU可為涵蓋被指示為A0、A1、B0、B1及B2之位點的PU。
如上文所提及，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可執行視角間運動預測及/或視角間殘差預測。為了啟用此兩個寫碼工具，第一步驟係導出視差向量。
在一些實例中，視訊寫碼器可使用以相鄰區塊為基礎之視差向量(Neighboring Blocks Based Disparity Vector,NBDV)方法以導出用於區塊之視差向量。舉例而言，為了導出用於PU之視差向量，可在用於3D-HEVC之測試模型(亦即，3D-HTM)中使用被稱為NBDV之程序。NBDV程序使用來自空間及時間相鄰區塊(諸如，相鄰PU A0、A1、B0、B1及B2)之視差運動向量以導出用於當前區塊之視差向量。因為相鄰區塊(例如，空間上或時間上相鄰於當前區塊之區塊)很可能在視訊寫碼中共用幾乎相同運動及視差資訊，所以當前區塊可使用相鄰區塊中之運動向量資訊作為當前區塊之視差向量之預測值。
當視訊寫碼器執行NBDV程序時，視訊寫碼器可按固定檢查次序來檢查空間相鄰區塊及時間相鄰區塊之運動向量。當視訊寫碼器檢查空間相鄰區塊或時間相鄰區塊之運動向量時，視訊寫碼器可判定空間相鄰區塊或時間相鄰區塊之運動向量是否為視差運動向量。圖像之區塊之視差運動向量為指向圖像之視差參考圖像內之位點的運動向量。
給定圖像之視差參考圖像可為與相同於給定圖像之存取單元相關聯但與不同於給定圖像之視角相關聯的圖像。當視訊寫碼器識別視差運動向量時，視訊寫碼器可終止檢查程序。視訊寫碼器可將經傳回視差運動向量轉換至視差向量，且可使用視差向量以用於視角間運動預測及視角間殘差預測。舉例而言，視訊寫碼器可將用於當前區塊之 視差向量之水平分量設定為等於視差運動向量之水平分量，且可將視差向量之垂直分量設定至0。
若視訊寫碼器不能夠藉由執行NBDV程序而導出用於當前區塊之視差向量(亦即，若未找到視差向量)，則視訊寫碼器可使用零視差向量作為用於當前區塊之視差向量。零視差向量為具有等於0之水平分量及垂直分量兩者的視差向量。因此，即使當NBDV程序傳回不可用結果時，需要視差向量的視訊寫碼器之其他寫碼程序亦可針對當前區塊來使用零視差向量。
在一些實例中，若視訊寫碼器不能夠藉由執行NBDV程序而導出用於當前區塊之視差向量，則視訊寫碼器可針對當前區塊來停用視角間殘差預測。然而，不管視訊寫碼器是否能夠藉由執行NBDV程序而導出用於當前區塊之視差向量，視訊寫碼器皆可針對當前PU來使用視角間運動預測。亦即，若在檢查所有預定義相鄰區塊之後未找到視差向量，則可使用零視差向量以用於視角間運動預測，而可針對對應CU來停用視角間殘差預測。
如上文所提及，可使用五個空間相鄰區塊以用於視差向量導出，該等區塊包括(例如)由A0、A1、B0、B1或B2表示之PU。另外，可使用一或多個時間相鄰區塊以用於視差向量導出。在此狀況下，來自當前視角之所有參考圖像被視為候選圖像。候選圖像之數目可進一步約束至(例如)四個參考圖像。首先檢查共置型參考圖像，且按參考索引(refIdx)之升序來檢查其餘候選圖像。當可得到RefPicList0[refIdx]及RefPicList1[refIdx]兩者時，RefPicListX[refIdx]在另一圖像之前，其中X等於collocated_from_l0_flag。
對於每一候選圖像，判定三個候選區以用於導出時間相鄰區塊。當一區涵蓋一個以上16×16區塊時，按光柵掃描次序來檢查此類區中之所有16×16區塊。三個候選區被定義如下：CPU(當前PU或當前 CU之共置型區)、CLCU(涵蓋當前PU之共置型區之最大寫碼單元(LCU))，及BR(CPU之右下4×4區塊)。
視訊寫碼器可按特定次序來檢查空間及/或時間相鄰區塊以尋找視差向量。在一些例子中，視訊寫碼器可首先檢查空間相鄰區塊(A0、A1、B0、B1及B2)，繼之以時間相鄰區塊。若該等空間相鄰區塊中之一者具有視差運動向量，則視訊寫碼器可終止檢查程序，且視訊寫碼器可使用視差運動向量作為用於當前PU之最終視差向量。
視訊寫碼器可檢查候選圖像之候選區中每一者。在一項實例中，若候選圖像位於第一非基礎視角中，則視訊寫碼器可按CPU、CLCU及BR之次序來檢查候選區。在此實例中，若候選圖像位於第二非基礎視角中，則視訊寫碼器可按BR、CPU、CLCU之次序來檢查候選區。
在此實例中，與第一非基礎視角相關聯之圖像之解碼可取決於與基礎視角相關聯之圖像之解碼，但不取決於與其他視角相關聯之圖像之解碼。此外，在此實例中，與第二非基礎視角相關聯之圖像之解碼亦可僅取決於與基礎視角相關聯之圖像之解碼。在其他實例中，與第二非基礎視角相關聯之圖像之解碼可進一步取決於第一非基礎視角，但不取決於與其他視角相關聯之圖像(若存在)。
當候選區涵蓋一個以上16×16區塊時，視訊寫碼器可根據光柵掃描次序而檢查候選區中之所有16×16區塊。當視訊寫碼器檢查候選區(或候選區內之16×16區塊)時，視訊寫碼器可判定涵蓋候選區之PU是否指定視差運動向量。若涵蓋候選區之PU指定視差運動向量，則視訊寫碼器可基於該PU之視差運動向量而判定當前視訊單元之視差向量。
視角間運動預測可應用於AMVP模式及合併模式兩者。舉例而言，如上文所提及，AMVP模式已以將視角間運動向量預測值添加至 候選者清單之方式而延伸。基於自NBDV導出之視差向量，視訊寫碼器藉由使視差向量與當前區塊之中間樣本之位置相加而判定參考視角中之參考區塊。若用於當前區塊之參考索引係指視角間參考圖像，則視訊寫碼器可將視角間運動向量預測值設定為等於對應視差向量。若當前參考索引係指時間參考圖像且參考區塊使用涉及相同於當前參考索引之存取單元之運動假設，則視訊寫碼器可使用與此運動假設相關聯之運動向量作為視角間運動向量預測值。在其他狀況下，視訊寫碼器可將視角間運動向量預測值標記為無效，且視訊寫碼器可不在運動向量預測值候選者清單中包括運動向量。
關於合併/跳過模式，運動參數之候選者清單係由使用視角間運動預測而獲得之運動參數集延伸。舉例而言，視訊寫碼器可以相同於上文所提及之AMVP模式的方式來導出參考視角中之參考區塊之運動向量候選者。若所導出之運動向量有效且其參考圖像具有等於當前PU/CU之參考圖像清單中之一個條目之圖像次序計數(POC)值的POC值，則可在基於該POC而轉換參考索引之後將運動資訊(預測方向、參考圖像，及運動向量)添加至合併候選者清單。此類候選者可被稱作經視角間預測運動向量。否則，在相同於經視角間預測運動向量(在可得到時)之位點中，將視差向量轉換至視角間視差運動向量，視訊寫碼器可將視角間視差運動向量添加至合併候選者清單中。
以相似於用於視角間運動預測之方式的方式，視角間殘差預測係基於用於每一CU之視差向量，如下文關於圖8及圖9更詳細地所描述。
圖8為說明多視角視訊寫碼之實例預測結構的概念圖。作為一實例，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可藉由使用在時間T0時的視角V1中之區塊Pe來預測在時間T8時的視角V1中之區塊而寫碼該區塊。視訊寫碼器可自Pe減去當前區塊之原始像素值，藉此 獲得當前區塊之殘差樣本。
另外，視訊寫碼器可藉由視差向量104來定位參考視角(視角V0)處之參考區塊。參考區塊Ib之原始樣本值與其經預測樣本Pb的差被稱為參考區塊之殘差樣本，如由以下方程式中之rb所表示。在一些實例中，視訊寫碼器可自當前殘差減去rb且僅變換寫碼所得的差信號。因此，當使用視角間殘差預測時，可藉由以下方程式來表達運動補償迴路：Îe=re+Pe+rb
其中當前區塊Îe之重新建構等於經解量化係數re加預測Pe及量化正規化殘差係數rb。視訊寫碼器可將rb視為殘差預測值。因此，相似於運動補償，可自當前殘差減去rb，且僅變換寫碼所得的差信號。
視訊寫碼器可基於CU而有條件地傳信用以指示視角間殘差預測之使用狀況之旗標。舉例而言，視訊寫碼器可橫穿由殘差參考區涵蓋或部分地涵蓋之所有變換單元(TU)。若此等TU中任一者被框間寫碼且含有非零經寫碼區塊旗標(CBF)值(亮度CBF或色度CBF)，則視訊寫碼器可將相關殘差參考標記為可用，且視訊寫碼器可應用殘差預測。在此狀況下，視訊寫碼器可傳信指示視角間殘差預測之使用狀況之旗標作為CU語法之部分。若此旗標等於1，則使用潛在內插式參考殘差信號來預測當前殘差信號，且使用變換寫碼來僅傳輸差。否則，通常使用HEVC變換寫碼來寫碼當前區塊之殘差。
2012年7月10申請之美國臨時申請案第61/670,075號及2012年9月27日申請之美國臨時申請案第61/706,692號提議用於可擴展視訊寫碼之廣義殘差預測(generalized residual prediction,GRP)。儘管此等臨時專利申請案集中於可擴展視訊寫碼，但此等臨時專利申請案中描述之GRP技術可適用於多視角視訊寫碼(例如，MV-HEVC及3D-HEVC)。
在單向預測之上下文中，可將GRP之一般構思公式化為： Ic=rc+Pc+w * rr，在以上公式中，Ic表示當前層(或視角)中之當前圖框之重新建構，Pc表示自同一層(或視角)之時間預測，rc指示經傳信殘差，rr指示自參考層之殘差預測，且w為加權因數。在一些實例中，可需要在位元串流中寫碼加權因數，或基於經先前寫碼資訊而導出加權因數。可在單迴路解碼及多迴路解碼兩者之狀況下應用用於GRP之此構架。多迴路解碼涉及使用未經建構且經升取樣之較低解析度信號而進行的區塊之預測的未受限版本。為了解碼增強層中之一個區塊，需要存取先前層中之多個區塊。
舉例而言，當視訊解碼器30使用多迴路解碼時，可將GRP進一步公式化為：Ic=rc+Pc+w * (Ir-Pr)，在以上公式中，Pr指示用於參考層中之當前圖像之時間預測，Pc表示自同一層(或視角)之時間預測，rc指示經傳信殘差，w為加權因數，且Ir表示參考層中之當前圖像之完全重新建構。
以上公式包括可在位元串流中傳信或基於經先前寫碼資訊而導出之加權因數。在一些實例中，視訊編碼器20可逐CU地在位元串流中傳信用於GRP中之加權索引。每一加權索引可對應於大於或等於0之一個加權因數。當用於當前CU之加權因數等於0時，使用習知HEVC變換寫碼來寫碼當前CU之殘差區塊。否則，當用於當前CU之加權因數大於0時，可使用參考殘差信號乘以加權因數來預測當前殘差信號(亦即，用於當前CU之殘差區塊)，且使用變換寫碼來僅傳輸差。在一些實例中，內插參考殘差信號。
L.Zhang等人之「3D-CE5.h related：Advanced residual prediction for multiview coding」(2012年10月13日至19日，中國上海，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之3D視訊寫碼延伸開發聯合合 作團隊第2次會議，文件JCT3V-B0051(在下文中為「JCT3V-B0051」))提議一種用以進一步改良視角間殘差預測之寫碼效率之進階殘差預測(ARP)方法。在一些例子中，可在PU層級處而非在CU層級處執行ARP。為了區分上文所描述之殘差預測方案與ARP，可將上文所描述之殘差預測方案稱作「以CU為基礎之視角間殘差預測(CU-based inter-view residual prediction)」。
圖9為說明多視角視訊寫碼中之ARP之實例預測結構的概念圖。圖9包括四個圖像：當前圖像110、時間參考圖像112、視差參考圖像114，及時間視差參考圖像116。當前圖像110係與視角V1相關聯且與時間例項Tj相關聯。時間參考圖像112係與視角V1相關聯且與時間例項Ti相關聯。視差參考圖像114係與視角V0相關聯且與時間例項Tj相關聯。時間視差參考圖像116係與視角V0相關聯且與時間例項Ti相關聯。
當前圖像110包括被表示為「Dc」之當前PU。換言之，Dc表示當前視角(視角1)中之當前區塊。Dc具有指示時間參考圖像112中之位點之時間運動向量VD。視訊編碼器20可基於圖像112中與由時間運動向量VD指示之位點相關聯之樣本而判定時間參考區塊Dr。因此，Dr表示在時間Ti時的來自同一視角(視角1)之Dc之時間預測區塊，且VD表示自Dc至Dr之運動。
此外，視訊編碼器20可基於視差參考圖像114中與由Dc之視差向量指示之位點相關聯的樣本而判定視差參考區塊Bc。因此，Bc表示參考區塊(亦即，在時間Tj時的參考視角(視角0)中Dc之表示)。可藉由將所導出之視差向量加至Dc之左上位置而運用所導出之視差向量來演算Bc之左上位置。因為Dc及Bc可為同一物件在兩個不同視角中之投影，所以Dc及Bc應共用相同運動資訊。因此，可藉由應用VD之運動資訊而自Bc定位在時間Ti時的視角0中之Bc之時間預測區塊Br。
視訊編碼器20可判定時間視差圖像116中之時間視差參考區塊Br(Bc之預測性區塊)。如上文所指示，時間視差圖像116係與相同於Br之視角(亦即，視角V0)相關聯，且與相同於Dr之時間例項(亦即，時間例項Ti)相關聯。視訊編碼器20可基於由Dc之運動向量VD指示之位點處的樣本而判定Br。因此，可藉由將運動向量VD加至Bc之左上位置而運用所再用之運動向量VD來演算Br之左上位置。Bc之左上位置可等於Dc之左上位置與視差向量的總和。因此，Br之左上位置可等於Dc之左上位置之座標、視差向量與運動向量VD的總和。以此方式，如圖9中由箭頭118所展示，視訊編碼器20可再用運動向量VD以用於判定Br。
此外，在ARP中，第一殘差區塊中之每一樣本可指示Dc中之樣本與Dr之對應樣本之間的差。第一殘差區塊可被稱作用於Dc之原始殘差區塊。第二殘差區塊中之每一樣本可指示Bc中之樣本與Br中之對應樣本之間的差。第二殘差區塊可被稱作「殘差預測值」。因為視訊編碼器20使用運動向量VD以判定Br，所以殘差預測值可不同於Bc之實際殘差資料。
在視訊編碼器20判定殘差預測值之後，視訊編碼器20可將殘差預測值乘以加權因數。換言之，將具有VD之運動資訊的Bc之殘差乘以加權因數，且使用Bc之殘差作為用於當前殘差之殘差預測值。加權因數可等於0、0.5或1。因此，三個加權因數可用於ARP中(亦即，0、0.5及1)。
在視訊編碼器20將殘差預測值乘以加權因數之後，殘差預測值可被稱作加權殘差預測值。視訊編碼器20可選擇針對當前CU(亦即，含有當前PU之CU)導致最小速率-失真成本之加權因數作為最終加權因數。在CU層級處，視訊編碼器20可在位元串流中包括指示加權索引之資料。加權索引可指示用於當前CU之最終加權因數(亦即，用以 產生加權殘差預測值之加權因數)。在一些實例中，加權索引0、1及2分別對應於加權因數0、1及0.5。針對當前CU來選擇加權因數0等效於針對當前CU之PU中任一者不使用ARP。
視訊編碼器20接著可判定用於當前PU之最終殘差區塊。用於當前PU之最終殘差區塊中之每一樣本可指示原始殘差區塊中之樣本與加權殘差預測值中之對應樣本之間的差。當前CU(亦即，含有當前PU之CU)之殘差區塊可包括用於當前PU之最終殘差區塊，連同用於當前CU之其他PU之殘差區塊(若存在)。如本發明在別處所描述，視訊編碼器20可在一或多個變換區塊當中分割當前CU之殘差區塊。該等變換區塊中每一者可與當前CU之TU相關聯。對於每一變換區塊，視訊編碼器20可將一或多個變換應用於該變換區塊以產生一變換係數區塊。視訊編碼器20可在位元串流中包括表示變換係數區塊之經量化變換係數之資料。
因此，在ARP中，為了確保兩個視角之殘差之間的高相關性，視訊寫碼器20可將當前PU之運動應用於參考視角圖像中之對應區塊以在基礎視角中產生殘差以用於視角間殘差預測。以此方式，針對當前PU及參考視角中之對應參考區塊來使運動對準。此外，將調適性加權因數應用於殘差信號，使得進一步縮減預測誤差。
若當前PU被雙向預測，則當前PU具有RefPicList0運動向量、RefPicList1運動向量、RefPicList0參考索引，及RefPicList1參考索引。本發明可將由當前PU之RefPicList0參考索引指示之參考圖像稱作當前PU之RefPicList0目標參考圖像。當前PU之RefPicList1運動向量可指示當前PU之RefPicList1目標參考圖像中之參考位點。本發明可將由當前PU之RefPicList1參考索引指示之參考圖像稱作當前PU之RefPicList1目標參考圖像。當前PU之RefPicList1運動向量可指示當前PU之RefPicList1目標參考圖像中之參考位點。
因此，當視訊編碼器20對經雙向預測PU執行ARP時，視訊編碼器20可基於當前PU之RefPicList0運動向量而判定當前PU之RefPicList0目標參考圖像中之參考位點。本發明可將此參考位點稱作當前PU之RefPicList0參考位點。視訊編碼器20接著可判定包括當前PU之RefPicList0目標參考圖像之實際或內插式樣本的一參考區塊，該等樣本係與當前PU之RefPicList0參考位點相關聯。本發明可將此參考區塊稱作當前PU之RefPicList0參考區塊。
另外，視訊編碼器20可基於當前PU之RefPicList1運動向量而判定當前PU之RefPicList1目標參考圖像中之一參考位點。本發明可將此參考位點稱作當前PU之RefPicList1參考位點。視訊編碼器20接著可判定包括當前PU之RefPicList1目標參考圖像之實際或內插式樣本的一參考區塊，該等樣本係與當前PU之RefPicList1參考位點相關聯。本發明可將此參考區塊稱作當前PU之RefPicList1參考區塊。
視訊編碼器20可基於當前PU之RefPicList0參考區塊及當前PU之RefPicList1參考區塊而判定用於當前PU之時間預測性區塊。舉例而言，當前PU之時間預測性區塊中之每一樣本可指示當前PU之RefPicList0參考區塊及當前PU之RefPicList1參考區塊中之對應樣本的一加權平均值。
此外，當視訊編碼器20對一經雙向預測PU執行ARP時，視訊編碼器20可基於當前PU之RefPicList0運動向量及一視差參考區塊之一視差參考圖框內之一位點而判定一時間視差參考圖像中之一時間視差參考位點。本發明可將此時間視差參考位點及此時間視差參考圖像分別稱作RefPicList0時間視差參考位點及RefPicList0時間視差參考圖像。RefPicList0時間視差參考圖像可具有相同於當前PU之RefPicList0目標參考圖像的POC值。視訊編碼器20接著可判定包括RefPicList0時間視差參考圖像之實際或內插式樣本之樣本區塊，該等樣本係與 RefPicList0時間視差參考位點相關聯。本發明可將此樣本區塊稱作RefPicList0時間視差參考區塊。
另外，視訊編碼器20可基於當前PU之RefPicList1運動向量及視差參考區塊之視差參考圖框內之位點而判定一時間視差參考圖像中之一時間視差參考位點。本發明可將此時間視差參考位點及此時間視差參考圖像分別稱作RefPicList1時間視差參考位點及RefPicList1時間視差參考圖像。RefPicList1時間視差參考圖像可具有相同於當前PU之RefPicList1目標參考圖像的POC值。因為當前PU之RefPicList0目標參考圖像及當前PU之RefPicList1目標參考圖像可不同，所以RefPicList1時間視差參考圖像可不同於RefPicList0時間視差參考圖像。視訊編碼器20接著可判定包括RefPicList1時間視差參考圖像之實際或內插式樣本之樣本區塊，該等樣本係與RefPicList1時間視差參考位點相關聯。本發明可將此樣本區塊稱作RefPicList1時間視差參考區塊。
接下來，視訊編碼器20可基於RefPicList0時間視差參考區塊及RefPicList1時間視差參考區塊而判定視差預測性區塊。在一些實例中，視差預測性區塊中之每一樣本為RefPicList0時間視差參考區塊及RefPicList1時間視差參考區塊中之對應樣本之加權平均值。視訊編碼器20接著可判定殘差預測值。殘差預測值可為樣本區塊。殘差預測值中之每一樣本可指示視差參考區塊中之樣本與視差預測性區塊中之對應樣本之間的差。視訊編碼器20接著可藉由將加權因數應用於殘差預測值而產生加權殘差預測值。視訊編碼器20接著可判定用於當前PU之最終殘差區塊。當前PU之最終殘差區塊中之每一樣本可指示用於當前PU之原始預測區塊中之樣本與當前PU之時間預測性區塊中之對應樣本之間的差以及加權殘差預測值。視訊編碼器20可在位元串流中傳信當前PU之最終殘差區塊。
視訊解碼器30可在對PU及經雙向預測PU執行ARP時執行相似程 序。舉例而言，視訊解碼器30可以上文所描述之樣本方式來判定當前PU之時間預測性區塊及加權殘差預測值。視訊解碼器30可基於位元串流中傳信之資料而判定當前PU之最終殘差區塊。視訊解碼器30接著可藉由使當前PU之最終殘差區塊、當前PU之時間預測性區塊與加權殘差預測值相加而重新建構當前PU之預測區塊。
圖10說明上文所描述之當前區塊、對應區塊及運動補償式區塊之間的關係。換言之，圖10為說明在ARP中在當前區塊、參考區塊與運動補償式區塊之間的實例關係的概念圖。在圖10之實例中，視訊寫碼器當前正寫碼當前圖像131中之當前PU 130。當前圖像131係與視角V1及時間例項T1相關聯。
此外，在圖10之實例中，視訊寫碼器可判定包含參考圖像133之實際或內插式樣本之參考區塊132(亦即，對應區塊)，該等樣本係與由當前PU 130之視差向量指示之位點相關聯。舉例而言，參考區塊132之左上隅角可為由當前PU 130之視差向量指示之位點。時間視差參考區塊145可具有相同於當前PU 130之預測區塊的大小。
在圖10之實例中，當前PU 130具有第一運動向量134及第二運動向量136。運動向量134指示時間參考圖像138中之位點。時間參考圖像138係與視角V1(亦即，相同於當前圖像131之視角)及時間例項T0相關聯。運動向量136指示時間參考圖像140中之位點。時間參考圖像140係與視角V1及時間例項T3相關聯。
根據上文所描述之ARP方案，視訊寫碼器可判定與相同於參考圖像133之視角相關聯且與相同於時間參考圖像138之時間例項相關聯的參考圖像(亦即，參考圖像142)。另外，視訊寫碼器可將運動向量134加至參考區塊132之左上隅角之座標以導出時間視差參考位點。視訊寫碼器可判定時間視差參考區塊143(亦即，運動補償式區塊)。時間視差參考區塊143中之樣本可為參考圖像142之實際或內插式樣本，該 等樣本係與自運動向量134導出之時間視差參考位點相關聯。時間視差參考區塊143可具有相同於當前PU 130之預測區塊的大小。
相似地，視訊寫碼器可判定與相同於參考圖像134之視角相關聯且與相同於時間參考圖像140之時間例項相關聯的參考圖像(亦即，參考圖像144)。另外，視訊寫碼器可將運動向量136加至參考區塊132之左上隅角之座標以導出時間視差參考位點。視訊寫碼器接著可判定時間視差參考區塊145(亦即，運動補償式區塊)。時間視差參考區塊145中之樣本可為參考圖像144之實際或內插式樣本，該等樣本係與自運動向量136導出之時間視差參考位點相關聯。時間視差參考區塊145可具有相同於當前PU 130之預測區塊的大小。
此外，在圖10之實例中，視訊寫碼器可基於時間視差參考區塊143及時間視差參考區塊145而判定視差預測性區塊。視訊寫碼器接著可判定殘差預測值。殘差預測值中之每一樣本可指示參考區塊132中之樣本與視差預測性區塊中之對應樣本之間的差。
根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器或視訊解碼器)可基於用於當前正被寫碼之區塊之參考圖像清單中的參考圖像而啟用或停用ARP(包括相對於第二不同層之殘差來寫碼一個層之殘差)。在一實例中，視訊寫碼器可基於用於當前正被寫碼之區塊之參考圖像清單是否包括任何時間參考圖像而啟用或停用ARP。根據本發明之態樣，若用於經框間預測區塊之參考圖像清單僅包括視角間參考圖像，則視訊寫碼器可停用ARP。在此類實例中，當視訊寫碼器包含視訊編碼器時，視訊編碼器可不在位元串流中傳信加權因數(跳過加權因數之傳信)。同樣地，當視訊寫碼器包含視訊解碼器時，視訊解碼器可同樣地跳過加權因數之解碼且推斷出加權因數等於零。
上文所描述之技術可應用於隨機存取圖像之上下文中。舉例而言，根據本發明之態樣，視訊寫碼器可基於當前正被寫碼之視訊分量 是否為隨機存取視角分量而啟用或停用ARP。
關於隨機存取視角分量，在HEVC中，一般而言，存在可由NAL單元類型識別之四種圖像類型。四種圖像類型包括瞬時解碼再新(IDR)圖像、CRA圖像、時間層存取(TLA)圖像，及不為IDR、CRA或TLA圖像之經寫碼圖像。IDR圖像及經寫碼圖像為自H.264/AVC規格繼承之圖像類型。CRA圖像類型及TLA圖像類型為用於HEVC標準之新增添者。CRA圖像為促進自視訊序列中間之任何隨機存取點開始進行解碼的圖像類型，且相比於插入IDR圖像可更有效率。TLA圖像為可用以指示有效時間層切換點之圖像類型。
在諸如廣播及串流之視訊應用中，可在視訊資料之不同頻道之間發生切換，且可對視訊資料之特定部分發生跳躍。在此類例子中，可有益的是在切換及/或跳躍期間達成最小延遲。藉由在視訊位元串流中以規則間隔具有隨機存取圖像而實現此特徵。H.264/AVC及HEVC兩者中指定之IDR圖像可用於隨機存取。然而，IDR圖像開始經寫碼視訊序列且自經解碼圖像緩衝器(DPB)(其亦可被稱作參考圖像記憶體，如上文關於圖2及圖3所描述)移除圖像。因此，按解碼次序在IDR圖像之後的圖像不能使用在IDR圖像之前解碼之圖像作為參考。因此，依賴於IDR圖像以供隨機存取之位元串流可具有較低寫碼效率。為了改良寫碼效率，HEVC中之CRA圖像允許按解碼次序在CRA圖像之後但按輸出次序在CRA圖像之前的圖像使用在CRA圖像之前解碼之圖像作為參考。
在HEVC中，以CRA圖像開始之位元串流被認為是合格位元串流。當位元串流以CRA圖像開始時，CRA圖像之前置圖像可指不可用參考圖像，且因此可不被正確地解碼。然而，HEVC指定出不輸出開始CRA圖像之前置圖像，因此，名稱為「清潔隨機存取」。為了建立位元串流合格要求，HEVC指定解碼程序以產生用於解碼非輸出前置 圖像之不可用參考圖像。然而，合格解碼器實施不必遵循彼解碼程序，只要此等合格解碼器相比於在自位元串流之開始執行解碼程序時可產生相同輸出即可。在HEVC中，合格位元串流可根本不含有IDR圖像，且因此可含有經寫碼視訊序列之子集或不完整之經寫碼視訊序列。
除了IDR圖像及CRA圖像以外，亦存在其他類型之隨機存取點圖像，例如，斷鏈存取(BLA)圖像。對於主要類型之隨機存取點圖像中每一者，可存在子類型，此取決於隨機存取點圖像可如何由系統潛在地處理。每一子類型之隨機存取點圖像具有一不同NAL單元類型。
一般而言，關於HEVC之延伸(諸如，MV-HEVC、3D-HEVC，或SHVC)，視角分量是否為隨機存取點可取決於視角分量之NAL單元類型。若該類型屬於HEVC基礎規格中針對隨機存取點圖像所定義之類型，則當前視角分量為隨機存取點視角分量(或出於簡單起見，為當前視角之隨機存取點圖像)。
在一些例子中，隨機存取功能性僅以在時間維度中(因此在視角內部)之某些預測與在HEVC基礎規格中相似地被停用抑或受到約束的方式應用於時間預測。然而，用於隨機存取點視角分量之視角間預測仍係可能的，且通常被執行以改良寫碼效率，此相似於H.264/MVC中之錨定圖像。因此，若使用視角間預測，則隨機存取點(RAP)視角分量可為P或B圖像。
根據本發明之態樣，視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)可針對隨機存取視角分量之每一區塊來停用視角間殘差預測。在此類實例中，視訊編碼器20可不在位元串流中傳信加權因數(跳過加權因數之傳信)。視訊解碼器30可同樣地跳過加權因數之解碼且自動地判定出加權因數等於零。
在另一實例中，根據本發明之態樣，若至少一參考圖像來自相 同於當前正被寫碼之區塊的視角，則視訊寫碼器可啟用ARP。另外或替代地，僅當兩個參考圖像(對應於RefPicList0中之參考圖像及RefPicList1中之參考圖像)(若可得到)屬於相同於當前正被寫碼之區塊的視角時，視訊寫碼器才可啟用ARP。另外或替代地，若一區塊係運用視角間參考圖像而被視角間寫碼，則視訊寫碼器可針對該區塊來停用ARP。如上文所提及，當停用ARP時，不傳信加權因數。
在一些實例中，當用於寫碼當前區塊之經解碼圖像緩衝器不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之圖像時，視訊寫碼器可修改ARP程序。
在另一實例中，另外或替代地，當視差參考區塊之參考圖像清單中之一者或兩者不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之參考圖像時，視訊寫碼器可修改ARP程序。舉例而言，在給出用於含有視差參考區塊之截塊之當前參考圖像清單索引X(其中X為0或1)的情況下，在一項實例中，若具有等於視差參考區塊之X之清單索引的參考圖像清單不包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則視訊寫碼器可修改ARP程序。在另一實例中，若視差參考區塊之參考圖像清單中任一者皆不(例如，清單0及清單1皆不)包括相同於視差參考圖像之視角中且具有相同於當前區塊之時間參考圖像之POC的參考圖像，則視訊寫碼器可修改ARP程序。
在一些實例中，視訊寫碼器可藉由停用ARP程序以使得不使用ARP來寫碼當前區塊而修改ARP程序。在其他實例中，視訊寫碼器可藉由擴展時間運動向量以識別另一時間視差參考圖像而修改ARP程序。舉例而言，視訊寫碼器可擴展時間運動向量，使得當與視差向量進行組合時，經擴展組合為包括於參考圖像清單中且位於時間上最接近於視差參考圖像之位點中之時間視差參考圖像。上文所描述之技術 可防止視訊寫碼器試圖在不包括於經解碼圖像緩衝器或參考圖像清單中之一者或兩者中之圖像中定位視差參考區塊。
根據本發明之其他態樣，可基於當前正被寫碼之區塊之分割模式及/或寫碼模式而啟用或停用ARP。舉例而言，可僅針對某些分割模式及/或某些寫碼模式來僅傳信加權因數。若加權因數不包括於位元串流中，則視訊解碼器可跳過加權因數之解碼且推斷出加權因數為零值(藉此停用ARP)。根據本發明之態樣，在一些實例中，可不傳信用於具有不等於PART_2N×2N之分割模式之任何經框間寫碼區塊的加權因數。在另一實例中，可不傳信用於具有除了PART_2N×2N、PART_2N×N及PART_N×2N以外之分割模式之經框間寫碼區塊的加權因數。在又一實例中，另外或替代地，可不傳信用於具有不等於跳過模式及/或合併模式之寫碼模式之任何經框間寫碼區塊的加權因數。
根據本發明之又其他態樣，可實施對加權因數之更靈活途徑。舉例而言，可在序列層級中(例如，在諸如序列參數集(SPS)之參數集中)變更可用加權因數之數目。在出於說明之目的之實例中，可在SPS中傳信指示符以停用一或多個加權因數，例如，0.5及/或1。在另一實例中，可在VPS中傳信此類指示符，且此類指示符可適用於所有非基礎視角。在又一實例中，可針對每一非基礎視角而在視訊參數集(VPS)延伸中傳信此類指示符。在另一實例中，可在圖像參數集(PPS)、截塊標頭或視角參數集中提供此類指示符以停用一或多個加權因數。當已停用加權因數時，可使用較少位元以表示彼等剩餘加權因數，藉此提供位元節省。
根據其他態樣，可提供指示符以修改及/或替換一或多個加權因數。在一實例中，視訊寫碼器可運用0.75加權因數來替換0.5加權因數。可在截塊標頭、SPS、圖像參數集(PPS)或VPS中傳信此指示符。
根據本發明之態樣，在一項實例實施中，視訊寫碼器可使用經 修改視角間殘差預測程序作為3D-HTM版本5.0(上文所提及)中描述之視角間殘差預測程序。舉例而言，根據本發明之態樣，可使用一或多個語法元素以指示出應用視角間殘差預測。
在一實例中，可傳信指示加權因數之索引的一或多個語法元素(例如，weighting_factor_index語法元素)作為CU之部分。在此實例中，可修改CU語法(例如，相對於3D-HTM版本5.0)，且僅當滿足以下條件時才可傳信加權因數語法元素：當前視角為相依紋理視角，當前CU未被框內寫碼，且當前CU具有等於PART_2N×2N之分割模式。當位元串流中不存在此語法元素時，加權因數被推斷為等於0。下文展示一種實例CU語法表：
下文展示另一實例CU語法表：
在以上實例中，當自來自同一視角之至少一參考圖像預測當前CU時，可將TempMVAvai設定為等於1。否則，將其設定為等於0。另外，若可找到視差向量，則可將DispVectAvai設定為等於1。否則，將其設定為等於0。
在另一實例中，僅當滿足以下條件時才可傳信加權因數語法元素：當前視角為相依紋理視角，當前CU未被框內寫碼，且當前CU具有等於PART_2N×2N之分割模式，所導出之視差向量可用，且至少一分割區具有時間運動向量，例如，參考圖像來自同一視角。當位元串流中不存在此語法元素時，加權因數被推斷為等於0。
在又一實例中，僅當滿足以下條件時才可傳信加權因數語法元素：當前視角為相依紋理視角，當前CU未被框內寫碼，且當前CU具有等於PART_2N×2N之分割模式，所導出之視差向量可用，且當前CU之所有PU中之至少一分割區具有時間運動向量，例如，參考圖像來自同一視角。當位元串流中不存在此語法元素時，加權因數被推斷為等於0。
在又一實例中，僅當滿足以下條件時才可傳信加權因數語法元素：當前視角為相依紋理視角，且所導出之視差向量可用。
根據本發明之態樣，可以多種方式來傳信加權因數。舉例而言，如上文所提及，語法元素weighting_factor_index可指示至用於進階殘差預測之加權因數之索引。當不存在時，可針對當前CU來停用進階殘差預測。舉例而言，若加權因數等於0，則通常使用HEVC變換寫碼來寫碼當前區塊之殘差，且調用(諸如)HEVC規格(例如，如上文所識別之WD9)之子條項8.5.2.2中之規格以取得預測樣本。若存在加權因數索引，則使用潛在內插式參考殘差信號乘以加權因數來預測當前殘差信號，且僅傳輸差，且可針對時間參考圖像被利用之每一預測清單來調用下文關於HEVC規格(WD9)之經修改子條項8.5.2.2.1及8.5.2.2.2所描述之程序。
在一些例子中，可將加權因數索引映射至加權因數。以此方式，視訊寫碼器可在視角間殘差預測中實施對加權因數之更靈活途徑。舉例而言，出於說明之目的而假定到存在待傳信之N個不同加權因數，其中N等於2、3、4或其類似者。可最初將此等加權因數中每一者映射至一唯一加權索引，如以下表1之實例所展示，其中W0、W1、W2、……、WN-1為按值之升序之加權因數。
在另一實例中，W0、W1、W2、……、WN-1可表示按正被使用之加權因數之機率之降序的加權因數，其可在寫碼期間被演算。
以下表2中展示另一實例映射，其中等於0、1、0.5之加權因數係分別由0、1、2加索引。可基於值之升序或機率之降序而對所有剩餘加權因數加索引。
視訊解碼器30可自經編碼位元串流剖析加權因數索引以判定該索引之值。在一項實例中，每一加權因數可由一加權因數索引識別，且可使用截斷一元二進位化來傳信加權因數索引，如HEVC規格(例如，WD9)之章節9.3.2.2所描述。在另一實例中，可首先基於加權因數之機率之降序而將加權因數映射至唯一加權索引，且接著運用截斷一元二進位化來寫碼加權因數。
在又一實例中，可根據以下表3而定義二進位化程序：
此處，對應於值3至N-1之加權因數索引之二進位字串與一首碼「11」及一尾碼一致，該尾碼係藉由自weighting_factor_index之值減去3而加索引，其中使用截斷一元二進位化。
當存在總共四個加權因數時，可由以下表定義二進位化程序：
當存在總共三個加權因數(例如，0、0.5及1)時，可由以下表定義二進位化程序：
關於上下文初始化，可使用一個上下文集合以用於寫碼加權因數索引。進階視角間殘差預測模式可應用於P截塊及B截塊兩者。用於P截塊之加權索引之上下文的初始機率可不同於用於B截塊之加權索引之上下文的初始機率。替代地，針對不同二進位值(例如，0及1)而以相等機率來初始化所有上下文模型。
關於上下文選擇，出於說明之目的而假定到亮度位點(xC,yC)指定相對於當前圖像之左上樣本的當前亮度寫碼區塊之左上亮度樣本。進一步假定到藉由調用如HEVC規格之子條項6.4.1所指定的用於按z掃描次序之區塊之可用性導出程序而導出指定直接地定位至當前寫碼區塊之左側之寫碼區塊之可用性的變數availableL，其中在將輸入及輸出指派至availableL時，位點(xCurr,yCurr)被設定為等於(xC,yC)且相鄰位點(xN,yN)被設定為等於(xC-1,yC)。
在以上實例中，可藉由調用如HEVC規格(例如，WD9)之子條項6.4.1所指定的用於按z掃描次序之區塊之可用性導出程序而導出指定直接地定位於當前寫碼區塊上方之寫碼區塊之可用性的變數availableA，其中在將輸入及輸出指派至availableA時，位點(xCurr,yCurr)被設定為等於(xC,yC)且相鄰位點(xN,yN)被設定為等於(xC,yC-1)。
根據本發明之態樣，可如下導出condTermFlagN(N可為L或A)：
- 若mbPAddrN可用且用於區塊mbPAddrN之加權因數不等於0，則將condTermFlagN設定為等於1
- 否則(mbPAddrN不可用或用於區塊mbPAddrN之加權因數等於0)，將condTermFlagN設定為等於0。
另外，假定到ctxIdx為待用以寫碼加權因數索引之上下文索引。在此實例中，用於每一待寫碼二進位之ctxIdx增量(ctxIdxInc)係由ctxIdxInc=M*condTermFlagL+N*condTermFlagA導出。其中M或N可為1或2。替代地，ctxIdxInc可由ctxIdxInc=condTermFlagA導出。替代地，ctxIdxInc可由ctxIdxInc=condTermFlagL導出。替代地，ctxIdxInc可固定為0。
如上文所提及，在一些實例中，可修改加權因數。舉例而言，可在序列層級處(例如，在諸如序列參數集(SPS)之參數集中)變更可用 加權因數之數目。在出於說明之目的之實例中，可在SPS中傳信指示符以停用一或多個加權因數，例如，0.5及/或1。在另一實例中，可在VPS中傳信此類指示符，且此類指示符可適用於所有非基礎視角。在又一實例中，可針對每一非基礎視角而在視訊參數集(VPS)延伸中傳信此類指示符。在另一實例中，可在圖像參數集(PPS)、截塊標頭或視角參數集中提供此類指示符以停用一或多個加權因數。
根據其他態樣，可提供指示符以修改及/或替換一或多個加權因數。在一實例中，視訊寫碼器可運用0.75加權因數來替換0.5加權因數。可在截塊標頭、SPS、圖像參數集(PPS)或VPS中傳信此指示符。
在一項實例中，可如下修改視訊參數集(例如，相對於3D-HTM版本5.0)：
視訊參數集延伸
在以上實例中，等於1之advanced_residual_pred_flag[i]可指定出進階殘差預測(ARP)可用於具有等於i之layer_id之當前紋理視角。等 於0之advanced_residual_pred_flag[i]指定出ARP不用於具有等於i之layer_id之當前紋理視角。當不存在時，advanced_residual_pred_flag[i]可被推斷為等於0。
在另一實例中，可在VPS延伸中傳信一旗標(即，advanced_residual_pred_flag)一次，且該旗標可適用於所有非基礎紋理視角。在此實例中，等於1之weight_factor_change_flag[i]可指定出針對當前層改變對應於等於2之加權因數索引之加權因數。另外，等於0之weight_factor_change_flag[i]可指定出針對當前層不改變對應於等於2之加權因數索引之加權因數。另外，diff_weight[i]可指定用於等於2之加權因數索引之新加權因數與原始加權因數之間的差(具有可能擴展)。diff_weight[i]之範圍可為自-2至4(-2及4包括在內)。
在以上實例中，視訊寫碼器可如下導出新加權因數：W2=(W2*4+diff_weight[i])÷4。
在以上實例中，當加權因數W2等於W0或W1時，適用視角中之任何CU之加權因數索引總是小於2。
在又一實例中，可在序列參數集或序列參數集延伸中傳信上文所描述之語法元素作為advanced_residual_pred_flag、weight_factor_change_flag及diff_weight以針對參考序列參數集之非基礎紋理視角來達成相同功能性。
圖11說明視訊資料中之樣本位點。一般而言，樣本位點可在視訊寫碼中由運動向量或視差向量識別。視訊寫碼器(諸如，視訊編碼器20及/或視訊解碼器30)可出於預測性寫碼之目的而使用與經識別位點相關聯之樣本。在圖11之實例中，整數樣本係運用大寫字母進行指示，而分數樣本位點係運用小寫字母進行指示。雖然圖11之實例通常說明四分之一樣本亮度內插，但相似內插可應用於色度分量。
當視訊寫碼器(諸如，視訊編碼器20或視訊解碼器30)針對PU來執 行ARP時，視訊寫碼器可需要存取三個區塊(亦即，圖9中之Br、Bc及Dr)。如上文所提及，若運動向量指示分數像素位點，則視訊寫碼器執行兩種分數像素內插程序，例如，一種內插程序用以定位時間參考區塊，且另一內插程序用以定位視差時間參考區塊。另外，視訊寫碼器可在判定視差參考區塊時應用又一分數像素內插程序。HEVC可在判定運動補償式區塊時使用8/4分接頭亮度/色度內插濾波器以用於分數樣本內插程序。
根據本發明之態樣，可特別相對於參考區塊之子像素內插而簡化ARP之運動補償程序。在一些例子中，根據本發明之態樣，視訊寫碼器可使用一或多種類型之內插以用於在ARP中判定參考區塊之位點。舉例而言，視訊寫碼器可使用諸如雙線性濾波器之低通濾波器以內插參考區塊之位點。一般而言，雙線性濾波器(亦即，雙線性內插)為用於在規則二維柵格上內插兩個變數(例如，x及y)之函數的線性內插延伸。因此，雙線性濾波器可為2分接頭濾波器。
在一些實例中，視訊寫碼器可在產生視差參考區塊及時間視差參考區塊時使用雙線性濾波器。因此，可在產生殘差預測值(亦即，產生圖9所展示Br及Bc)時藉由雙線性濾波器來替換在HEVC中用於分數樣本內插程序之8/4分接頭亮度/色度內插濾波器。
另外，在一些實例中，視訊寫碼器可在產生當前PU之運動補償式區塊時使用雙線性濾波器。亦即，可在產生當前PU之運動補償式區塊(亦即，產生圖9所展示之Dr)時藉由雙線性濾波器來替換在HEVC中用於分數樣本內插程序之8/4分接頭亮度/色度內插濾波器。因此，當判定用於當前PU之預測性區塊時，視訊寫碼器可將雙線性濾波器應用於時間參考圖像之亮度分量及/或色度分量。
在一項替代實例中，視訊寫碼器可將上文所描述之雙線性濾波器僅應用於亮度分量或僅應用於色度分量。在另一實例中，視訊寫碼 器可將雙線性濾波器應用於亮度分量及色度分量兩者。
在圖11所展示之實例中，至亮度樣本內插程序之輸入可包括完全樣本單元(xIntL,yIntL)中之亮度位點、分數樣本單元(xFracL,yFracL)中之亮度位點，及亮度參考樣本陣列refPicLXL。另外，內插程序之輸出為經預測亮度樣本值predSampleLXL[xL,yL]。
在陰影區塊內運用大寫字母Ai,j標註之位置表示在給定二維亮度樣本陣列refPicLXL內部處於完全樣本位點之亮度樣本。此等樣本可用於產生經預測亮度樣本值predSampleLXL[xL,yL]。可如下導出用於給定亮度樣本陣列refPicLXL內部之對應亮度樣本Ai,j中每一者之位點(xAi，j,yAi,j)：xAi,j=Clip3(0,pic_width_in_luma_samples-1,xIntL+i) (6-1)
yAi,j=Clip3(0,pic_height_in_luma_samples-1,yIntL+j) (6-2)
在無陰影區塊內運用小寫字母標註之位置表示四分之一像素樣本分數位點處之亮度樣本。分數樣本單元(xFracL,yFracL)中之亮度位點位移指定完全樣本位點及分數樣本位點處所產生之亮度樣本中哪一者被指派至經預測亮度樣本值predSampleLXL[xL,yL]。此指派係可根據下文所展示之表6-1中指定之指派而執行。predSampleLXL[xL,yL]之值為輸出。
可以相同於HEVC子條項8.5.2.2.2.2之方式來導出變數shift1、shift2及shift3。在給出完全樣本位點(xAi,j,yAi,j)處之亮度樣本Ai,j的情況下，可由以下方程式導出分數樣本位置處之亮度樣本「a0,0」至「r0,0」。
- 可藉由將2分接頭濾波器應用於最近整數位置樣本而導出被標註為a0,0、b0,0、c0,0、d0,0、h0,0及n0,0之樣本：a0,0=(48*A0,0+16*A1,0)>>shift1 (6-3)
b0,0=(32*A0,0+32*A1,0)>>shift1 (6-4)
c0,0=(16*A0,0+48*A1,0)>>shift1 (6-5)
d0,0=(48*A0,0+16*A0,1)>>shift1 (6-6)
h0,0=(32*A0,0+32*A0,1)>>shift1 (6-7)
n0,0=(16*A0,0+48*A0,1)>>shift1 (6-8)
- 可藉由將8分接頭濾波器應用於樣本a0,i、b0,i及c0,i而導出被標註為e0,0、i0,0、p0,0、f0,0、j0,0、q0,0、g0,0、k0,0及r0,0之樣本，其中在垂直方向上i=-3..4：e0,0=(48*a0,0+16*a0,1)>>shift2 (6-9)
i0,0=(32*a0,0+32*a0,1>>shift2 (6-10)
p0,0=(16*a0,0+48*a0,1)>>shift2 (6-11)
f0,0=(48*b0,0+16*b0,1)>>shift2 (6-12)
j0,0=(32*b0,0+32*b0,1)>>shift2 (6-13)
q0,0=(16*b0,0+48*b0,1)>>shift2 (6-14)
g0,0=(48*c0,0+16*c0,1)>>shift2 (6-15)
k0,0=(32*c0,0+32*c0,1)>>shift2 (6-16)
r0,0=(16*c0,0+48*c0,1)>>shift2 (6-17)
如上文所提及，雖然關於亮度分量進行描述，但視訊寫碼器可以相似方式來定位色度區塊中之樣本。
在一些實例中，可在已應用如HEVC規格之子條項8.5.2.2.1及8.5.2.2.2中指定之運動補償之後判定視差參考區塊及時間視差參考區塊之位點。舉例而言，對於當前區塊，可將經預測亮度樣本陣列識別為predSampleLXL，且可將色度樣本陣列識別為predSampleLXcb及 predSampleLXcr。在此實例中，若加權因數不等於0，則視訊寫碼器可在程序結束時執行以下操作：
- 對於每一參考圖像清單X(X為0或1)，若參考圖像不為視角間參考圖像，則以下各者應用於進一步修改經預測樣本值：
1.調用視差向量導出程序以獲得視差向量，其指向目標參考視角。
2.在同一存取單元內之圖像目標參考視角中藉由視差向量來定位參考區塊。若視差向量指向分數位置(亦即，參考區塊(圖9中之B c )之左上位置為分數位置)，則應用雙線性濾波器以內插參考區塊。
3.再用當前區塊之運動資訊以導出用於參考區塊之運動資訊。基於參考區塊的所導出之運動向量及用於參考區塊之參考視角中的所導出之參考圖像而將運動補償應用於參考區塊，以導出殘差區塊。圖9中展示當前區塊、參考區塊及運動補償式區塊之間的關係。
˙將當前區塊之參考索引表示為ref_idx_lx。
˙在經解碼圖像緩衝器中選擇具有相同於refPicListX[ref_idx_lx]之POC且位於目標參考視角內之參考圖像。
˙將參考區塊之運動向量導出為相同於當前區塊之運動向量。
若運動向量指向分數位置，亦即，參考區塊之左上位置加運動向量為分數位置(圖9中之B r 之左上位置)，則應用雙線性內插。
4.將加權因數應用於殘差區塊以獲得加權殘差區塊，其被表示為predARPSampleLXL、predARPSampleLXcb及predARPSampleLXcr，
5.將加權殘差區塊之值加至經預測樣本：
˙predSampleLXL=predSampleLXL+predARPSampleLXL
˙predSampleLXcb=predSampleLXcb+predARPSampleLXcb
˙predSampleLXcr=predSampleLXcr+predARPSampleLXcr
應注意，以上運算為矩陣/向量相加運算。
不管是否應用進階視角間殘差預測，諸如HEVC規格(例如，WD9)之子條項8.5.2.2.3中指定之加權樣本預測程序皆應用於經雙向預測PU。
如上文所提及，根據本發明之一些態樣，當視差參考區塊之參考圖像清單不包括具有相同於時間參考圖像之POC的在相同於視差參考圖像之視角中之參考圖像時，視訊寫碼器可修改ARP程序。
在一些實例中，視訊寫碼器可藉由停用ARP程序以使得不使用ARP來寫碼當前區塊而修改ARP程序。在其他實例中，視訊寫碼器可藉由擴展時間運動向量以識別另一時間視差參考圖像而修改ARP程序。舉例而言，視訊寫碼器可擴展時間運動向量，使得當應用於視差參考圖像時，經擴展運動向量識別包括於參考圖像清單中且位於時間上最接近於視差參考圖像之位點中之時間視差參考圖像。
圖12大體上說明可與預測單元相關聯之分割模式(其可定義PU大小)。舉例而言，在假定到特定CU之大小為2N×2N的情況下，可使用分割模式2N×2N(160)、N×N(162)、hN×2N(164)、2N×hN(166)、N×2N(168)、2N×N(170)、nL×2N(172)、nR×2N(174)、2N×nU(176)及2N×nD(178)來預測該CU。僅出於說明之目的而呈現圖12之實例所展示之分割模式，且可使用其他分割模式以指示視訊資料被預測之方式。
在一些例子中，視訊寫碼器(例如，視訊編碼器20及/或視訊解碼器30)可使用分割模式160及162來執行框內預測或框間預測。舉例而言，視訊寫碼器可整體上使用2N×2N PU(分割模式160)來預測CU。在另一實例中，視訊寫碼器可使用四個N×N大小之PU(分割模式162)來預測CU，其中四個區段中每一者使應用一潛在不同預測技術。
另外，關於框內寫碼，視訊寫碼器可執行被稱作短距離框內預測(short distance intra-prediction,SDIP)之技術。若SDIP可用，則可使 用平行PU(分割模式164及166)來預測CU。亦即，SDIP通常允許將CU劃分成平行PU。藉由將寫碼單元(CU)分裂成非正方形預測單元(PU)，可縮短經預測像素與參考像素之間的距離。
關於框間寫碼，除了對稱分割模式160及162以外，視訊寫碼器亦可實施PU之並列配置(分割模式168及170)，或多種AMP(不對稱運動分割)模式。關於AMP模式，視訊寫碼器可使用分割模式nL×2N(172)、nR×2N(174)、2N×nU(176)及2N×nD(178)來不對稱地分割CU。在不對稱分割中，不分割CU之一個方向，而將另一方向分割成25%及75%。對應於25%分割區的CU之部分係由「n」繼之以「向上」、「向下」、「左側」或「右側」之指示進行指示。
根據本發明之其他態樣，可基於當前正被寫碼之區塊之分割模式及/或寫碼模式而啟用或停用ARP。舉例而言，可僅針對某些分割模式及/或某些寫碼模式來僅傳信加權因數。若加權因數不包括於位元串流中，則視訊解碼器可跳過加權因數之解碼且推斷出加權因數為零值(藉此停用ARP)。
在一實例中，如上文關於實例寫碼單元語法表所提及，根據本發明之一些態樣，可不傳信用於具有不等於PART_2N×2N(分割模式160)之分割模式之任何經框間寫碼區塊的加權因數。在另一實例中，可不傳信用於具有除了PART_2N×2N(分割模式160)、PART_2N×N(分割模式170)及PART_N×2N(分割模式168)以外之分割模式之經框間寫碼區塊的加權因數。在又一實例中，另外或替代地，可不傳信用於具有不等於跳過模式及/或合併模式之寫碼模式之任何經框間寫碼區塊的加權因數。
圖13為根據本發明之技術的說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分，例如，當前PU。儘管關於視訊編碼器20(圖1及圖2)進行描述，但應理解，可組態 其他器件以執行相似於圖13之方法的方法。
在此實例中，視訊編碼器20最初使用運動向量來預測當前區塊(190)。舉例而言，視訊編碼器20可演算用於當前區塊之一或多個預測單元(PU)。在此實例中，假定到視訊編碼器20框間預測當前區塊。舉例而言，運動估計單元42可藉由執行經先前寫碼圖像(例如，視角間圖像及時間圖像)之運動搜尋而演算用於當前區塊之運動向量。因此，運動估計單元42可產生時間運動向量或視差運動向量以編碼當前區塊。
視訊編碼器20接著可判定用於寫碼當前區塊之參考圖像清單(例如，在當前區塊被雙向預測時為RefPicList0及RefPicList1)在除了當前區塊之時間位點以外之時間位點處是否包括一或多個參考圖像(191)。在一些實例中，視訊編碼器20可藉由判定當前區塊是否包括於隨機存取圖像中而進行此類判定，如本發明在別處所描述。
若參考圖像清單在不同於當前區塊之時間位點的時間位點中確實包括參考圖像(步驟191之「是」分支)，則視訊編碼器20可啟用視角間殘差預測程序，諸如，上文所描述之ARP程序。在此實例中，視訊編碼器20可執行框間殘差預測以預測當前區塊之殘差資料(192)。舉例而言，如上文所提及，視訊編碼器20可判定由第一區塊之視差向量指示之視差參考區塊、藉由組合時間運動向量與視差運動向量而判定時間視差參考區塊，且基於時間視差參考區塊與視差參考區塊之間的差而判定殘差預測值。視訊編碼器20可將加權因數應用於殘差預測值。視訊編碼器20接著可演算用於當前區塊之殘差區塊(194)。
若參考圖像清單在不同於當前區塊之時間位點的時間位點中不包括參考圖像(步驟191之「否」分支)，則視訊編碼器20可停用視角間殘差預測程序，諸如，上文所描述之ARP程序，且可跳至演算用於當前區塊之殘差區塊(194)。在此實例中，視訊編碼器20可不針對視 角間殘差預測程序來傳信加權因數。亦即，在出於說明之目的之實例中，視訊編碼器20可不在位元串流中傳信weighting_factor_index語法元素。
在任一狀況下，視訊編碼器20演算用於當前區塊之殘差區塊，例如，以產生變換單元(TU)(194)。為了在不使用視角間殘差預測時演算殘差區塊，視訊編碼器20可演算用於當前區塊之原始未經寫碼區塊與經預測區塊之間的差以產生殘差。為了在使用視角間殘差預測時演算殘差區塊，視訊編碼器20可演算用於當前區塊之原始未經寫碼區塊與經預測區塊之間的差以產生第一殘差。視訊編碼器20接著可基於第一殘差與殘差預測值之間的差而演算最終殘差。
視訊編碼器20接著可變換及量化殘差區塊之係數(196)。接下來，視訊編碼器20可掃描殘差區塊之經量化變換係數(198)。在掃描期間，或在掃描之後，視訊編碼器20可熵編碼包括(例如)在啟用及應用視角間殘差預測之例子中之視角間殘差預測加權值的變換係數(200)。視訊編碼器20接著可輸出用於區塊之係數之經熵寫碼資料，及在啟用及應用視角間殘差預測之例子中之加權值(202)。
圖14為根據本發明之技術的說明用於解碼視訊資料之當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分(例如，PU)。儘管關於視訊解碼器30(圖1及圖3)進行描述，但應理解，可組態其他器件以執行相似於圖14之方法的方法。
最初，視訊解碼器30接收用於當前區塊之變換係數及運動向量之資料(210)。同樣地，此實例假定到當前區塊被框間預測。熵解碼單元80熵解碼用於區塊之係數及運動向量之資料(212)。
視訊解碼器30接著可判定用於寫碼當前區塊之參考圖像清單(例如，在當前區塊被雙向預測時為RefPicList0及RefPicList1)在除了當前區塊之時間位點以外之時間位點處是否包括一或多個參考圖像 (214)。在一些實例中，視訊解碼器30可藉由判定當前區塊是否包括於隨機存取圖像中而進行此類判定，如本發明在別處所描述。
若參考圖像清單在不同於當前區塊之時間位點的時間位點中確實包括參考圖像(步驟214之「是」分支)，則視訊解碼器30可啟用視角間殘差預測程序，諸如，上文所描述之ARP程序。在此實例中，視訊解碼器30可執行框間殘差預測以預測當前區塊之殘差資料(216)。舉例而言，如上文所提及，視訊解碼器30可判定由第一區塊之視差向量指示之視差參考區塊、藉由組合時間運動向量與視差運動向量而判定時間視差參考區塊，且基於時間視差參考區塊與視差參考區塊之間的差而判定殘差預測值。視訊解碼器30亦可將如位元串流中傳信之加權因數應用於殘差預測值。
若參考圖像清單在不同於當前區塊之時間位點的時間位點中不包括參考圖像(步驟214之「否」分支)，或在運用視角間殘差預測來預測殘差資料(216)之後，則視訊解碼器30可停用視角間殘差預測程序，諸如，上文所描述之ARP程序，且可跳至使用運動向量來預測當前區塊(218)。
在任一狀況下，視訊解碼器30接著可使用經解碼運動向量來預測當前區塊(218)。視訊解碼器30接著可反掃描所再生之係數(220)，以產生經量化變換係數區塊。視訊解碼器30接著可反量化及反變換係數以產生殘差區塊(222)。視訊解碼器30可最終藉由組合經預測區塊與殘差區塊而解碼當前區塊(224)。舉例而言，在不應用視角間殘差預測之例子中，視訊解碼器30可簡單地組合經預測區塊與經解碼殘差。在應用視角間殘差預測之例子中，視訊解碼器30可組合經預測區塊、經解碼殘差(表示最終殘差)與殘差預測值。
圖15為根據本發明之技術的說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分，例如，當前 PU。儘管關於視訊編碼器20(圖1及圖2)進行描述，但應理解，可組態其他器件以執行相似於圖15之方法的方法。
在此實例中，視訊編碼器20判定由用於當前區塊之時間運動向量指示之時間參考區塊之位點(240)。舉例而言，視訊編碼器20可演算用於當前區塊之一或多個預測單元(PU)。在此實例中，假定到視訊編碼器20框間預測當前區塊。舉例而言，運動估計單元42可藉由執行經先前寫碼圖像(例如，視角間圖像及時間圖像)之運動搜尋而演算用於當前區塊之運動向量。因此，運動估計單元42可產生時間運動向量或視差運動向量以編碼當前區塊。
視訊編碼器20亦可內插視差參考區塊之位點(242)。舉例而言，視訊編碼器20可判定視差向量以定位具有相同於當前區塊之POC值但位於第二不同視角中的視差參考區塊。在一些例子中，根據本發明之態樣，若視差向量識別不為整數位點的用於視差參考區塊之位點，則視訊編碼器20可應用雙線性濾波器以內插視差參考區塊之位點。
另外，視訊編碼器20可判定時間視差參考區塊之位點(244)。舉例而言，視訊編碼器20可組合時間運動向量與視差運動向量以判定時間視差參考區塊之位點。同樣地，在一些例子中，根據本發明之態樣，若組合識別不為整數位點的用於時間視差參考區塊之位點，則視訊編碼器20可應用雙線性濾波器以內插時間視差參考區塊之位點。
視訊編碼器20接著可判定用於當前區塊之殘差預測值(246)。視訊編碼器20可基於視差參考區塊與時間視差參考區塊之間的差而判定殘差預測值。視訊編碼器20可將加權因數應用於所得的殘差預測值。
視訊編碼器20接著可判定用於區塊之最終殘差(248)。舉例而言，視訊編碼器20可基於當前區塊與時間參考區塊之樣本之間的差而判定第一殘差。視訊編碼器20接著可基於第一殘差與殘差預測值之間的差而判定最終殘差。
視訊編碼器20接著可變換及量化殘差區塊之係數(250)。接下來，視訊編碼器20可掃描殘差區塊之經量化變換係數(252)。在掃描期間，或在掃描之後，視訊編碼器20可熵編碼包括(例如)視角間殘差預測加權值之變換係數(254)。視訊編碼器20接著可輸出用於區塊之係數之經熵寫碼資料及加權值(256)。
圖16為根據本發明之技術的說明用於解碼視訊資料之當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分(例如，PU)。儘管關於視訊解碼器30(圖1及圖3)進行描述，但應理解，可組態其他器件以執行相似於圖14之方法的方法。
最初，視訊解碼器30接收用於當前區塊之變換係數及運動向量之資料(260)。同樣地，此實例假定到當前區塊被框間預測。熵解碼單元80熵解碼用於區塊之係數及運動向量之資料(262)。
視訊解碼器30接著可使用經解碼運動向量來預測當前區塊(264)。視訊解碼器30亦可反掃描所再生之係數(266)，以產生經量化變換係數區塊。視訊解碼器30亦可反量化及反變換係數以產生殘差區塊(268)。
視訊解碼器30亦可內插視差參考區塊之位點(270)。舉例而言，視訊解碼器30可判定視差向量以定位具有相同於當前區塊之POC值但位於第二不同視角中的視差參考區塊。在一些例子中，根據本發明之態樣，若視差向量識別不為整數位點的用於視差參考區塊之位點，則視訊解碼器30可應用雙線性濾波器以內插視差參考區塊之位點。
另外，視訊解碼器30可判定時間視差參考區塊之位點(272)。舉例而言，視訊解碼器30可組合時間運動向量與視差運動向量以判定時間視差參考區塊之位點。同樣地，在一些例子中，根據本發明之態樣，若組合識別不為整數位點的用於時間視差參考區塊之位點，則視訊解碼器30可應用雙線性濾波器以內插時間視差參考區塊之位點。
視訊解碼器30接著可判定用於當前區塊之殘差預測值(274)。視訊解碼器30可基於視差參考區塊與時間視差參考區塊之間的差而判定殘差預測值。視訊解碼器30可將加權因數應用於所得的殘差預測值。
視訊解碼器30可最終藉由組合經預測區塊與殘差而解碼當前區塊(276)。舉例而言，視訊解碼器30可組合經預測區塊、經解碼殘差(表示最終殘差)與殘差預測值。
圖17為根據本發明之技術的說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分，例如，當前PU。儘管關於視訊編碼器20(圖1及圖2)進行描述，但應理解，可組態其他器件以執行相似於圖17之方法的方法。
在此實例中，視訊編碼器20最初判定用於預測當前區塊之分割模式(280)。舉例而言，視訊編碼器20可判定是演算用於當前區塊之一個PU(例如，2N×2N分割模式)抑或演算用於當前區塊之一個以上PU。在此實例中，假定到視訊編碼器20框間預測當前區塊。舉例而言，運動估計單元42可藉由執行經先前寫碼圖像(例如，視角間圖像及時間圖像)之運動搜尋而演算用於當前區塊之運動向量。因此，運動估計單元42可產生時間運動向量或視差運動向量以編碼當前區塊。
視訊編碼器20接著可基於經判定分割模式而判定是否編碼指示加權因數之資料(且判定是否執行視角間殘差預測)(282)。在一些實例中，若分割模式為除了2N×2N分割模式以外之模式，則視訊編碼器20可停用視角間殘差預測且跳過加權因數之編碼。
若視訊編碼器20確實編碼加權因數，則視訊編碼器20可執行視角間殘差預測以預測當前區塊之殘差資料(284)。舉例而言，如上文所提及，視訊編碼器20可判定由第一區塊之視差向量指示之視差參考區塊、藉由組合時間運動向量與視差運動向量而判定時間視差參考區塊，且基於時間視差參考區塊與視差參考區塊之間的差而判定殘差預 測值。視訊編碼器20可將加權因數應用於殘差預測值。視訊編碼器20接著可演算用於當前區塊之殘差區塊(286)。
若視訊編碼器20不編碼加權因數(步驟282之「否」分支)，則視訊編碼器20可停用視角間殘差預測且可跳至演算用於當前區塊之殘差區塊(286)。在此實例中，視訊編碼器20可不針對視角間殘差預測程序來傳信加權因數。亦即，在出於說明之目的之實例中，視訊編碼器20可不在位元串流中傳信weighting_factor_index語法元素。
在任一狀況下，視訊編碼器20演算用於當前區塊之殘差區塊，例如，以產生變換單元(TU)(286)。為了在不使用視角間殘差預測時演算殘差區塊，視訊編碼器20可演算用於當前區塊之原始未經寫碼區塊與經預測區塊之間的差以產生殘差。為了在使用視角間殘差預測時演算殘差區塊，視訊編碼器20可演算用於當前區塊之原始未經寫碼區塊與經預測區塊之間的差以產生第一殘差。視訊編碼器20接著可基於第一殘差與殘差預測值之間的差而演算最終殘差。
視訊編碼器20接著可變換及量化殘差區塊之係數(288)。接下來，視訊編碼器20可掃描殘差區塊之經量化變換係數(290)。在掃描期間，或在掃描之後，視訊編碼器20可熵編碼包括(例如)在啟用及應用視角間殘差預測之例子中之視角間殘差預測加權值的變換係數(292)。視訊編碼器20接著可輸出用於區塊之係數之經熵寫碼資料，及在啟用及應用視角間殘差預測之例子中之加權值(294)。
圖18為根據本發明之技術的說明用於解碼視訊資料之當前區塊之實例方法的流程圖。當前區塊可包含一當前CU或當前CU之一部分(例如，一PU)。儘管係關於視訊解碼器30進行描述(圖1及圖3)，但應理解，可組態其他器件以執行相似於圖14之方法的一方法。
在此實例中，視訊解碼器30最初判定用於預測當前區塊之一分割模式(300)。舉例而言，視訊解碼器30可判定是判定用於當前區塊 之一個PU(例如，一2N×2N分割模式)抑或判定用於當前區塊之一個以上之PU。可在經編碼位元串流中傳信用於該區塊之彼分割結構。視訊解碼器30亦熵解碼用於當前區塊之變換係數及一運動向量之資料(302)。同樣地，此實例假定當前區塊經框間預測。
視訊解碼器30接著可基於經判定分割模式而判定是否解碼(例如，自經編碼位元串流剖析)一加權因數(且執行視角間殘差預測)(304)。在一些實例中，若分割模式為不同於2N×2N分割模式之一模式，則視訊解碼器30可停用視角間殘差預測且跳過一加權因數之解碼。亦即，舉例而言，當分割模式為不同於2N×2N分割模式之一模式時，視訊解碼器30可自動地判定(亦即，推斷)加權因數為零。
若視訊解碼器30確實解碼一加權因數，則視訊解碼器30可執行視角間殘差預測以預測當前區塊之殘差資料(306)。舉例而言，如上文所提及，視訊解碼器30可判定由第一區塊之視差向量指示之一視差參考區塊、藉由將當前區塊之運動向量應用於視差參考區塊而判定一時間視差參考區塊，且基於時間視差參考區塊與視差參考區塊之間的差而判定一殘差預測值。視訊解碼器30亦可將如位元串流中傳信之一加權因數應用於殘差預測值。
若視訊解碼器30不解碼一加權因數(步驟304之「否」分支)，則視訊解碼器30可停用一視角間殘差預測程序。視訊解碼器30可跳至使用運動向量來預測當前區塊。
在任一狀況下，視訊解碼器30接著可使用經解碼運動向量來預測當前區塊(308)。視訊解碼器30接著可反掃描所再生之係數(310)，以產生經量化變換係數之一區塊。視訊解碼器30接著可反量化及反變換係數以產生一殘差區塊(312)。視訊解碼器30可最終藉由組合經預測區塊與殘差區塊而解碼當前區塊(314)。舉例而言，在不應用視角間殘差預測之例子中，視訊解碼器30可簡單地組合經預測區塊與經解 碼殘差。在應用視角間殘差預測之例子中，視訊解碼器30可組合經預測區塊、經解碼殘差(表示最終殘差)與殘差預測值。
圖19為根據本發明之技術的說明用於編碼當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分，例如，當前PU。儘管關於視訊編碼器20(圖1及圖2)進行描述，但應理解，可組態其他器件以執行相似於圖19之方法的方法。
在此實例中，視訊編碼器20判定用於當前區塊之時間運動向量及參考圖像(320)。舉例而言，視訊編碼器20可演算用於當前區塊之一或多個預測單元(PU)。在此實例中，假定到視訊編碼器20框間預測當前區塊。舉例而言，運動估計單元42可藉由執行經先前寫碼圖像(例如，視角間圖像及時間圖像)之運動搜尋而演算用於當前區塊之運動向量。因此，運動估計單元42可產生時間運動向量或視差運動向量以編碼當前區塊。
視訊編碼器20接著可判定相同於當前區塊之存取單元中之視差參考區塊(322)。舉例而言，視訊編碼器20可判定視差向量以定位具有相同於當前區塊之POC值但位於第二不同視角中的視差參考區塊。
視訊編碼器20可判定經解碼圖像緩衝器(在本文中亦被稱作參考圖像記憶體)是否含有具有等於時間參考圖像之POC值的POC值之圖像(324)。舉例而言，視訊編碼器20可判定由時間運動向量與視差運動向量之組合指示之圖像是否包括於經解碼圖像緩衝器中。在一些例子中，即使潛在時間視差參考圖像包括於經解碼圖像緩衝器中，視訊編碼器20亦可進一步判定該圖像是否包括於用於視差參考區塊之一或兩個參考圖像清單中。
若潛在時間視差參考圖像包括於經解碼圖像緩衝器(及/或視差參考區塊之一或兩個參考圖像清單)中(324)，則視訊編碼器20可執行視角間殘差預測程序以預測當前區塊之殘差資料(326)。舉例而言，如 上文所提及，視訊編碼器20可判定由第一區塊之視差向量指示之視差參考區塊、藉由將當前區塊之運動向量應用於視差參考區塊而判定時間視差參考區塊，且基於時間視差參考區塊與視差參考區塊之間的差而判定殘差預測值。視訊編碼器20可將加權因數應用於殘差預測值。視訊編碼器20接著可演算用於當前區塊之殘差區塊(330)。
若潛在時間視差參考圖像不包括於經解碼圖像緩衝器中(或不包括於視差參考區塊之一或兩個參考圖像清單中)(步驟324之「否」分支)，則視訊編碼器20可修改視角間殘差預測程序(328)。在一些實例中，視訊編碼器20可藉由停用該程序而修改該程序。在其他實例中，視訊編碼器20可選擇可用參考圖像(包括於經解碼圖像緩衝器及/或參考圖像清單中之參考圖像)且相應地擴展時間運動向量。
在任一狀況下，視訊編碼器20演算用於當前區塊之殘差區塊，例如，以產生變換單元(TU)(330)。為了在不使用視角間殘差預測時演算殘差區塊，視訊編碼器20可演算用於當前區塊之原始未經寫碼區塊與經預測區塊之間的差以產生殘差。為了在使用視角間殘差預測時演算殘差區塊，視訊編碼器20可演算用於當前區塊之原始未經寫碼區塊與經預測區塊之間的差以產生第一殘差。視訊編碼器20接著可基於第一殘差與殘差預測值之間的差而演算最終殘差。
視訊編碼器20接著可變換及量化殘差區塊之係數(332)。接下來，視訊編碼器20可掃描殘差區塊之經量化變換係數(334)。在掃描期間，或在掃描之後，視訊編碼器20可熵編碼包括(例如)在啟用及應用視角間殘差預測之例子中之視角間殘差預測加權值的變換係數(336)。視訊編碼器20接著可輸出用於區塊之係數之經熵寫碼資料，及在啟用及應用視角間殘差預測之例子中之加權值(338)。
圖20為根據本發明之技術的說明用於解碼視訊資料之當前區塊之實例方法的流程圖。當前區塊可包含當前CU或當前CU之部分(例 如，PU)。儘管關於視訊解碼器30(圖1及圖3)進行描述，但應理解，可組態其他器件以執行相似於圖14之方法的方法。
最初，視訊解碼器30接收用於當前區塊之變換係數及運動向量之資料(350)。同樣地，此實例假定到當前區塊被框間預測。視訊解碼器30可使用經接收運動向量來定位時間參考圖像。
視訊解碼器30接著可判定相同於當前區塊之存取單元中之視差參考區塊(352)。舉例而言，視訊解碼器30可判定視差向量以定位具有相同於當前區塊之POC值但位於第二不同視角中的視差參考區塊。在一些例子中，視訊解碼器30可基於包括於位元串流中之資料而判定視差向量。在其他例子中，視訊解碼器30可應用相同於視訊編碼器20之程序以判定視差向量。
視訊解碼器30可判定經解碼圖像緩衝器(在本文中亦被稱作參考圖像記憶體)是否含有具有等於時間參考圖像之POC值的POC值之圖像(354)。舉例而言，視訊解碼器30可判定由時間運動向量與視差運動向量之組合指示之圖像是否包括於經解碼圖像緩衝器中。在一些例子中，即使潛在時間視差參考圖像包括於經解碼圖像緩衝器中，視訊解碼器30亦可進一步判定該圖像是否包括於用於視差參考區塊之一或多個參考圖像清單中。
若潛在時間視差參考圖像包括於經解碼圖像緩衝器(及/或視差參考區塊之參考圖像清單)中，則視訊解碼器30可執行視角間殘差預測程序以預測當前區塊之殘差資料(356)。舉例而言，如上文所提及，視訊解碼器30可判定由第一區塊之視差向量指示之視差參考區塊、藉由將當前區塊之運動向量應用於視差參考區塊而判定時間視差參考區塊，且基於時間視差參考區塊與視差參考區塊之間的差而判定殘差預測值。視訊解碼器30亦可將如位元串流中傳信之加權因數應用於殘差預測值。
若潛在時間視差參考圖像不包括於經解碼圖像緩衝器(及/或視差參考區塊之參考圖像清單)中(步驟354之「否」分支)，則視訊解碼器30可修改視角間殘差預測程序(358)。在一些實例中，視訊解碼器30可藉由停用該程序而修改該程序。在其他實例中，視訊解碼器30可選擇可用參考圖像(包括於經解碼圖像緩衝器及/或參考圖像清單中之參考圖像)且相應地擴展時間運動向量。
在任一狀況下，視訊解碼器30接著可使用經解碼運動向量來預測當前區塊(360)。視訊解碼器30接著可反掃描所再生之係數(362)，以產生經量化變換係數區塊。視訊解碼器30接著可反量化及反變換係數以產生殘差區塊(364)。視訊解碼器30可最終藉由組合經預測區塊與殘差區塊而解碼當前區塊(366)。舉例而言，在不應用視角間殘差預測之例子中，視訊解碼器30可簡單地組合經預測區塊與經解碼殘差。在應用視角間殘差預測之例子中，視訊解碼器30可組合經預測區塊、經解碼殘差(表示最終殘差)與殘差預測值。
應認識到，取決於實例，可以不同序列來執行本文所描述之技術中任一者之某些動作或事件，可添加、合併或全部省去該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐係必要的)。此外，在某些實例中，可(例如)經由多線緒處理、中斷處理或多個處理器同時地而非循序地執行動作或事件。
已出於說明之目的而關於開發中HEVC標準來描述本發明之某些態樣。然而，本發明所描述之技術可有用於其他視訊寫碼程序，包括尚未開發之其他標準或專屬視訊寫碼程序。
上文所描述之技術可由視訊編碼器20(圖1及圖2)及/或視訊解碼器30(圖1及圖3)執行，視訊編碼器20及視訊解碼器30兩者通常可被稱作視訊寫碼器。同樣地，在適用時，視訊寫碼可指視訊編碼或視訊解碼。
應理解，取決於實例，可以不同序列來執行本文所描述之方法中任一者之某些動作或事件，可添加、合併或全部省去該等動作或事件(例如，並非所有所描述動作或事件對於該方法之實踐係必要的)。此外，在某些實例中，可(例如)經由多線緒處理、中斷處理或多個處理器同時地而非循序地執行動作或事件。另外，雖然出於清楚之目的而將本發明之某些態樣描述為由單一模組或單元執行，但應理解，本發明之技術可由與視訊寫碼器相關聯之單元或模組之組合執行。
雖然上文描述該等技術之各種態樣之特定組合，但提供此等組合以僅僅說明本發明所描述之技術之實例。因此，本發明之技術應不限於此等實例組合，且可涵蓋本發明所描述之技術之各種態樣的任何可設想組合。
在一或多項實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由以硬體為基礎之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)，或通信媒體，通信媒體包括(例如)根據通信協定而促進電腦程式自一處傳送至另一處之任何媒體。
以此方式，電腦可讀媒體通常可對應於(1)為非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形 式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。
然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由諸如以下各者之一或多個處理器執行：一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合式或離散邏輯電路系統。因此，本文所使用之術語「處理器」可指上述結構或適合於實施本文所描述之技術之任何其他結構中任一者。另外，在一些態樣中，本文所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於各種各樣之器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但其未必需要藉由不同硬體單元進行實現。實情為，如上文所描述，各種單元可組合於編碼解碼器硬體單元中，或由交互操作之硬體單元集合(包括如上文所描述之一或多個處理器)結合合適 軟體及/或韌體而提供。
已描述本發明之各種態樣。此等及其他態樣係在以下申請專利範圍之範疇內。
110‧‧‧當前圖像
112‧‧‧時間參考圖像
114‧‧‧視差參考圖像
116‧‧‧時間視差參考圖像
118‧‧‧展示再用運動向量VD以用於判定Br之箭頭
Bc‧‧‧視差參考區塊
Br‧‧‧時間預測區塊/時間視差參考區塊
Dc‧‧‧當前預測單元(PU)
Dr‧‧‧時間參考區塊
Ti‧‧‧時間例項
Tj‧‧‧時間例項
V0‧‧‧視角
V1‧‧‧視角
VD‧‧‧時間運動向量

Claims (26)

  1. 一種寫碼視訊資料之方法，該方法包含：判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；運用一第一類型之內插來內插由該當前區塊之一視差向量指示之經重新建構視訊資料之一視差參考區塊之一位點，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；在該第二不同層中判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊；基於該視差參考區塊及該時間視差參考區塊間之一差別而判定一殘差預測值；及基於該時間參考區塊及該殘差預測值而寫碼該當前區塊。
  2. 如請求項1之方法，其中該視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中運用該第一類型之內插來內插該視差參考區塊之該位點包含內插該亮度區塊及該兩個色度分量中每一者之位點。
  3. 如請求項1之方法，其中該視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中運用該第一類型之內插來內插該視差參考區塊之該位點包含內插該亮度分量及該兩個色度分量中之一者之位點，且進一步包含運用一第二類型之內插來內插該亮度分量及該兩個色度分量中之另一者之位點。
  4. 如請求項1之方法，其中判定該時間參考區塊之該位點包含運用一第二類型之內插來內插該時間參考區塊之該位點，其中該第 一類型之內插不同於該第二類型之內插，且其中運用該第二類型之內插來內插包含將一8分接頭濾波器應用於該時間參考區塊之一亮度分量且將一4分接頭濾波器應用於該時間參考區塊之色度分量。
  5. 如請求項1之方法，其中資料之該第一層包含視訊資料之一第一視角，且其中視訊資料之該第二層包含視訊資料之一第二視角。
  6. 如請求項1之方法，其中判定該時間視差參考區塊進一步包含運用該第一類型之內插來內插由該時間運動向量指示之該時間視差參考區塊相對於該視差參考區塊之一位點。
  7. 如請求項6之方法，其中該時間視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中運用該第一類型之內插來內插該視差參考區塊之該位點包含內插該亮度區塊及該兩個色度分量中每一者之位點。
  8. 如請求項6之方法，其中該時間視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中運用該第一類型之內插來內插該時間視差參考區塊之該位點包含內插該亮度分量及該兩個色度分量中之一者之位點，且進一步包含運用一第二類型之內插來內插該亮度分量及該兩個色度分量中之另一者之位點。
  9. 如請求項1之方法，其中判定該時間參考區塊之該位點包含運用該第一類型之內插來內插該時間參考區塊之該位點。
  10. 一種用於寫碼視訊資料之裝置，該裝置包含：一記憶體，其儲存視訊資料；及一或多個處理器，其經組態以：判定由一時間運動向量指示之一時間參考區塊至該視訊資料之一當前區塊之一位點，其中該當前區塊及該時間參考區 塊位於一第一層中；運用一第一類型之內插來內插由該當前區塊之一視差向量指示之經重新建構視訊資料之一視差參考區塊之一位點，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；在該第二不同層中判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊；基於該視差參考區塊及該時間視差參考區塊間之一差別而判定一殘差預測值；及基於該時間參考區塊及該殘差預測值而寫碼該當前區塊。
  11. 如請求項10之裝置，其中該視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中為了運用該第一類型之內插來內插該視差參考區塊之該位點，該一或多個處理器經組態以內插該亮度區塊及該兩個色度分量中每一者之位點。
  12. 如請求項10之裝置，其中該視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中為了運用該第一類型之內插來內插該視差參考區塊之該位點，該一或多個處理器經組態以內插該亮度分量及該兩個色度分量中之一者之位點，且其中該一或多個處理器經進一步組態以運用一第二類型之內插來內插該亮度分量及該兩個色度分量中之另一者之位點。
  13. 如請求項10之裝置，其中為了判定該時間參考區塊之該位點，該一或多個處理器經組態以運用一第二類型之內插來內插該時間參考區塊之該位點，其中該第一類型之內插不同於該第二類型之內插，且其中為了運用該第二類型之內插來內插，該一或多個處理器經組態以將一8分接頭濾波器應用於該時間參考區塊之一亮度分量且將一4分接頭濾波器應用於該時間參考區塊之色 度分量。
  14. 如請求項10之裝置，其中資料之該第一層包含視訊資料之一第一視角，且其中視訊資料之該第二層包含視訊資料之一第二視角。
  15. 如請求項10之裝置，其中為了進一步判定該時間視差參考區塊，該一或多個處理器經組態以運用該第一類型之內插來內插由該時間運動向量指示之該時間視差參考區塊相對於該視差參考區塊之一位點。
  16. 如請求項15之裝置，其中該時間視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中為了運用該第一類型之內插來內插該視差參考區塊之該位點，該一或多個處理器經組態以內插該亮度區塊及該兩個色度分量中每一者之位點。
  17. 如請求項15之裝置，其中該時間視差參考區塊係與一亮度分量及兩個色度分量相關聯，且其中為了運用該第一類型之內插來內插該時間視差參考區塊之該位點，該一或多個處理器經組態以內插該亮度分量及該兩個色度分量中之一者之位點，且其中該一或多個處理器經進一步組態以運用一第二類型之內插來內插該亮度分量及該兩個色度分量中之另一者之位點。
  18. 如請求項10之裝置，其中為了判定該時間參考區塊之該位點，該一或多個處理器經組態以運用該第一類型之內插來內插該時間參考區塊之該位點。
  19. 如請求項10之裝置，其中為了寫碼該第一區塊，該一或多個處理器經組態以解碼該第一區塊，且其中為了解碼該第一區塊，該一或多個處理器經組態以：自一經編碼位元串流獲得指示用於該第一區塊之一最終殘差之資料； 基於該視差參考區塊與該時間視差參考區塊之間的一差而判定一殘差預測值；基於該最終殘差、該殘差預測值及該時間參考區塊之一組合而重新建構該第一區塊。
  20. 如請求項10之裝置，其中為了寫碼該第一區塊，該一或多個處理器經組態以編碼該第一區塊，且其中為了編碼該第一區塊，該一或多個處理器經組態以：判定包含該第一區塊與該時間參考區塊之間的一差之一第一殘差；判定包含該視差參考區塊與該時間視差參考區塊之間的一差之一殘差預測值；基於該第一殘差與該殘差預測值之間的一差而判定一最終殘差；在一位元串流中編碼指示該最終殘差之資料。
  21. 一種用於寫碼視訊資料之裝置，該裝置包含：用於判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點的構件，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；用於運用一第一類型之內插來內插由該當前區塊之一視差向量指示之經重新建構視訊資料之一視差參考區塊之一位點的構件，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；用於在該第二不同層中判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊的構件；用於基於該視差參考區塊及該時間視差參考區塊間之一差別 而判定一殘差預測值的構件；及用於基於該時間參考區塊及該殘差預測值而寫碼該當前區塊的構件。
  22. 如請求項21之裝置，其中用於判定該時間視差參考區塊的該構件進一步包含用於運用該第一類型之內插來內插由該時間運動向量指示之該時間視差參考區塊相對於該視差參考區塊之一位點的構件。
  23. 如請求項21之裝置，其中用於判定該時間參考區塊之該位點的該構件包含用於運用該第一類型之內插來內插該時間參考區塊之該位點的構件。
  24. 一種非暫時性電腦可讀媒體，其使指令儲存於其上，該等指令在執行時使一或多個處理器：判定由一時間運動向量指示之一時間參考區塊至視訊資料之一當前區塊之一位點，其中該當前區塊及該時間參考區塊位於視訊資料之一第一層中；運用一第一類型之內插來內插由該當前區塊之一視差向量指示之經重新建構視訊資料之一視差參考區塊之一位點，其中該視差參考區塊位於一第二不同層中，且其中該第一類型之內插包含一雙線性濾波器；在該第二不同層中判定由該時間運動向量及該視差向量之一組合指示的該視差參考區塊之一時間視差參考區塊；基於該視差參考區塊及該時間視差參考區塊間之一差別而判定一殘差預測值；及基於該時間參考區塊及該殘差預測值而寫碼該當前區塊。
  25. 如請求項24之非暫時性電腦可讀媒體，其中為了判定該時間視差參考區塊，該等指令使該一或多個處理器運用該第一類型之 內插來內插由該時間運動向量指示之該時間視差參考區塊相對於該視差參考區塊之一位點。
  26. 如請求項24之非暫時性電腦可讀媒體，其中為了判定該時間參考區塊之該位點，該等指令使該一或多個處理器運用該第一類型之內插來內插該時間參考區塊之該位點。
TW102144969A 2012-12-07 2013-12-06 於可擴展及多視角視訊寫碼之進階殘差預測 TWI538481B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261734874P 2012-12-07 2012-12-07
US14/098,344 US9948939B2 (en) 2012-12-07 2013-12-05 Advanced residual prediction in scalable and multi-view video coding

Publications (2)

Publication Number Publication Date
TW201440492A TW201440492A (zh) 2014-10-16
TWI538481B true TWI538481B (zh) 2016-06-11

Family

ID=50880948

Family Applications (4)

Application Number Title Priority Date Filing Date
TW102144966A TWI538484B (zh) 2012-12-07 2013-12-06 寫碼視訊資料之方法、裝置及非暫時性電腦可讀媒體
TW102144965A TWI538482B (zh) 2012-12-07 2013-12-06 於可擴展及多視角視訊寫碼之進階殘差預測
TW102144964A TWI519137B (zh) 2012-12-07 2013-12-06 於可擴展及多視角視訊寫碼之進階殘差預測
TW102144969A TWI538481B (zh) 2012-12-07 2013-12-06 於可擴展及多視角視訊寫碼之進階殘差預測

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW102144966A TWI538484B (zh) 2012-12-07 2013-12-06 寫碼視訊資料之方法、裝置及非暫時性電腦可讀媒體
TW102144965A TWI538482B (zh) 2012-12-07 2013-12-06 於可擴展及多視角視訊寫碼之進階殘差預測
TW102144964A TWI519137B (zh) 2012-12-07 2013-12-06 於可擴展及多視角視訊寫碼之進階殘差預測

Country Status (9)

Country Link
US (4) US9948939B2 (zh)
EP (4) EP2929686B1 (zh)
JP (6) JP6367219B2 (zh)
KR (4) KR102210174B1 (zh)
CN (4) CN104969551B (zh)
ES (1) ES2901937T3 (zh)
HU (1) HUE056984T2 (zh)
TW (4) TWI538484B (zh)
WO (4) WO2014089445A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI749420B (zh) * 2018-12-18 2021-12-11 聯發科技股份有限公司 在區塊分割中條件式編碼或解碼視訊區塊的方法和裝置

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283237B (zh) * 2010-12-22 2017-03-22 Lg电子株式会社 帧内预测方法和使用该方法的设备
CN108337522B (zh) * 2011-06-15 2022-04-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9729884B2 (en) * 2012-01-18 2017-08-08 Lg Electronics Inc. Method and device for entropy coding/decoding
US10085024B2 (en) * 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
CN104604225B (zh) 2012-09-10 2018-01-26 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9948939B2 (en) 2012-12-07 2018-04-17 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
JP5952733B2 (ja) * 2012-12-28 2016-07-13 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US20140192881A1 (en) * 2013-01-07 2014-07-10 Sony Corporation Video processing system with temporal prediction mechanism and method of operation thereof
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
WO2014166328A1 (en) * 2013-04-08 2014-10-16 Mediatek Singapore Pte. Ltd. Method and apparatus for quantization matrix signaling and representation in scalable video coding
CN105052148B (zh) * 2013-04-12 2018-07-10 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及其记录介质
CN105122792B (zh) * 2013-06-11 2017-03-15 寰发股份有限公司 三维或多视图编码系统中残差预测的方法及其装置
US10051278B2 (en) * 2013-07-12 2018-08-14 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction
CN105723712B (zh) 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
CN105532006B (zh) * 2013-10-17 2019-06-25 日本电信电话株式会社 视频编码装置及方法以及视频解码装置及方法
CN105659605B (zh) * 2013-10-18 2019-05-21 Lg 电子株式会社 用于解码多视图视频的视频解码方法和装置
EP3059966B1 (en) * 2013-10-18 2021-01-13 LG Electronics Inc. Video decoding apparatus and method for decoding multi-view video
KR20160072104A (ko) * 2013-10-18 2016-06-22 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
WO2015093565A1 (ja) * 2013-12-19 2015-06-25 シャープ株式会社 画像復号装置、画像符号化装置および残差予測装置
US10110925B2 (en) * 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding
KR20160132862A (ko) * 2014-03-13 2016-11-21 퀄컴 인코포레이티드 3d-hevc 를 위한 단순화된 진보된 잔차 예측
WO2015196364A1 (en) * 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Methods for inter-view advanced residual prediction
CN105393535B (zh) * 2014-06-24 2018-10-12 寰发股份有限公司 3d视频编码中的视图间先进残差预测方法
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10820007B2 (en) * 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
EP3254465A1 (en) * 2015-02-05 2017-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view video codec supporting residual prediction
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US10506244B2 (en) 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10250904B2 (en) * 2015-05-05 2019-04-02 Avago Technologies International Sales Pte. Limited Apparatus and method for overlapped motion compensation for video coding
KR101780444B1 (ko) * 2015-10-29 2017-09-21 삼성에스디에스 주식회사 영상 신호의 노이즈 제거 방법
US9883137B2 (en) * 2015-11-03 2018-01-30 Qualcomm Incorporated Updating regions for display based on video decoding mode
CN109121465B (zh) * 2016-05-06 2023-06-06 交互数字麦迪逊专利控股公司 用于运动补偿残差预测的系统和方法
CN116708784A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116567217A (zh) * 2016-08-11 2023-08-08 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的发送方法
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
CN109690243B (zh) * 2016-09-16 2022-03-01 松下电器（美国）知识产权公司 三维数据制作方法以及三维数据制作装置
CN117768645A (zh) 2016-10-04 2024-03-26 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20200014945A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application acceleration
US20200014918A1 (en) * 2018-07-08 2020-01-09 Mellanox Technologies, Ltd. Application accelerator
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
EP3692722A1 (en) * 2017-10-02 2020-08-12 Fraunhofer Gesellschaft zur Förderung der Angewand Efficient immersive streaming
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US10931963B2 (en) 2017-12-07 2021-02-23 Tencent America LLC Method and apparatus for video coding
TWI820197B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 與擴展四叉樹相關的分割的二值化
US10904528B2 (en) * 2018-09-28 2021-01-26 Tencent America LLC Techniques for QP selection for 360 image and video coding
WO2020084465A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
WO2020084554A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Searching based motion candidate derivation for sub-block motion vector prediction
WO2020113074A1 (en) * 2018-11-27 2020-06-04 Op Solutions, Llc Adaptive temporal filter for an unavailable reference picture cross-reference to related applications
KR20210100183A (ko) * 2018-12-21 2021-08-13 후아웨이 테크놀러지 컴퍼니 리미티드 예측 코딩을 위한 보간 필터링 방법 및 장치
WO2020139169A1 (en) * 2018-12-28 2020-07-02 Huawei Technologies Co., Ltd. Method and apparatus of sharpening interpolation filtering for predictive coding
CN114173114B (zh) 2019-01-08 2022-09-23 华为技术有限公司 图像预测方法、装置、设备、系统及存储介质
WO2020145855A1 (en) * 2019-01-12 2020-07-16 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods of processing mmvd distance
CN113632464B (zh) * 2019-05-21 2023-04-28 华为技术有限公司 分量间预测的方法和设备
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
KR20220030995A (ko) 2019-07-14 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 변환 블록 크기 제한
CN114175657B (zh) 2019-07-26 2023-12-26 北京字节跳动网络技术有限公司 基于块尺寸的图片分割模式确定
WO2021057996A1 (en) * 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
US11451802B2 (en) * 2020-04-17 2022-09-20 Tencent America LLC Method and apparatus for point cloud coding
US11438628B2 (en) * 2020-06-03 2022-09-06 Tencent America LLC Hash-based accessing of geometry occupancy information for point cloud coding
US20210409706A1 (en) * 2020-06-30 2021-12-30 Tencent America LLC Low latency cross component intra prediction mode
US11941856B2 (en) 2020-08-18 2024-03-26 Tencent America LLC Predictive tree-based geometry coding for a point cloud
CN112950570B (zh) * 2021-02-25 2022-05-17 昆明理工大学 一种结合深度学习与密集连续中心点的裂纹检测方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006517364A (ja) 2003-01-07 2006-07-20 トムソン ライセンシング マクロブロック・パーティションのインター／イントラ混在ビデオ符号化
US7822281B2 (en) 2003-10-31 2010-10-26 Canon Kabushiki Kaisha Digital video compression
US7778474B2 (en) 2004-10-06 2010-08-17 Nippon Telegraph And Telephone Corporation Scalable encoding method and apparatus, scalable decoding method and apparatus, programs therefor, and storage media for storing the programs
KR20080006607A (ko) 2005-04-12 2008-01-16 노키아 코포레이션 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
KR100728009B1 (ko) 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
JP4528255B2 (ja) 2005-12-06 2010-08-18 日本放送協会 映像復号装置および映像復号プログラム
KR100959538B1 (ko) 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
JP2007336275A (ja) 2006-06-15 2007-12-27 Toshiba Corp 動画像再生装置
CN101473655B (zh) 2006-06-19 2011-06-08 Lg电子株式会社 用于处理多视点视频信号的方法和装置
CN101166282B (zh) 2006-10-16 2010-12-08 华为技术有限公司 摄像机参数编码传输的方法
JP2010507975A (ja) 2006-10-24 2010-03-11 トムソン ライセンシング 多視点映像符号化のための画像の管理
ZA200902051B (en) 2006-10-24 2010-07-28 Thomson Licensing Picture management for multi-view video coding
JP4999859B2 (ja) 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US20100135388A1 (en) 2007-06-28 2010-06-03 Thomson Licensing A Corporation SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO ( amended
CN101415115B (zh) 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
CN102055967B (zh) 2009-10-28 2012-07-04 中国移动通信集团公司 多视点视频的视角切换以及编码方法和装置
JP5321426B2 (ja) 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
US9451197B1 (en) * 2010-04-12 2016-09-20 UV Networks, Inc. Cloud-based system using video compression for interactive applications
HUE026534T2 (en) 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis
EP2675163A1 (en) 2010-07-21 2013-12-18 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
CN103155559B (zh) 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
CN102006480B (zh) 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
WO2012148139A2 (ko) 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
RU2583040C2 (ru) * 2011-08-30 2016-05-10 Нокиа Текнолоджиз Ой Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов
IN2014KN00990A (zh) * 2011-11-11 2015-10-09 Fraunhofer Ges Forschung
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US20130258052A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US9380289B2 (en) 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
CN104813669B (zh) 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US20140098883A1 (en) 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
WO2014075236A1 (en) 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
WO2014075625A1 (en) * 2012-11-16 2014-05-22 Mediatek Inc. Method and apparatus of constrained disparity vector derivation in 3d video coding
US9948939B2 (en) 2012-12-07 2018-04-17 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI749420B (zh) * 2018-12-18 2021-12-11 聯發科技股份有限公司 在區塊分割中條件式編碼或解碼視訊區塊的方法和裝置
US11589050B2 (en) 2018-12-18 2023-02-21 Hfi Innovation Inc. Method and apparatus of encoding or decoding video blocks with constraints during block partitioning
US11870991B2 (en) 2018-12-18 2024-01-09 Hfi Innovation Inc. Method and apparatus of encoding or decoding video blocks with constraints during block partitioning

Also Published As

Publication number Publication date
KR102126600B1 (ko) 2020-06-24
EP2929685A1 (en) 2015-10-14
JP6367219B2 (ja) 2018-08-01
CN104838651B (zh) 2018-11-09
CN104904213B (zh) 2018-06-01
EP2929687A1 (en) 2015-10-14
US20140161188A1 (en) 2014-06-12
KR20150093723A (ko) 2015-08-18
JP6275736B2 (ja) 2018-02-07
US9948939B2 (en) 2018-04-17
WO2014089453A1 (en) 2014-06-12
EP2929689B1 (en) 2021-03-24
KR20150093722A (ko) 2015-08-18
CN104838657B (zh) 2018-06-05
KR20150092223A (ko) 2015-08-12
JP2016504846A (ja) 2016-02-12
TW201440497A (zh) 2014-10-16
EP2929689A1 (en) 2015-10-14
US10136143B2 (en) 2018-11-20
TW201440492A (zh) 2014-10-16
TW201440496A (zh) 2014-10-16
JP2016504845A (ja) 2016-02-12
WO2014089469A1 (en) 2014-06-12
WO2014089461A1 (en) 2014-06-12
KR102085395B1 (ko) 2020-03-05
JP6333839B2 (ja) 2018-05-30
WO2014089445A1 (en) 2014-06-12
JP6552964B2 (ja) 2019-07-31
KR20150092222A (ko) 2015-08-12
JP2016503971A (ja) 2016-02-08
CN104838651A (zh) 2015-08-12
JP2016503972A (ja) 2016-02-08
JP6605565B2 (ja) 2019-11-13
TWI538484B (zh) 2016-06-11
CN104969551A (zh) 2015-10-07
CN104904213A (zh) 2015-09-09
US20140161175A1 (en) 2014-06-12
US10334259B2 (en) 2019-06-25
JP2018067940A (ja) 2018-04-26
EP2929686B1 (en) 2024-03-06
EP2929686A1 (en) 2015-10-14
TW201440494A (zh) 2014-10-16
JP2018129838A (ja) 2018-08-16
HUE056984T2 (hu) 2022-04-28
TWI538482B (zh) 2016-06-11
EP2929686C0 (en) 2024-03-06
KR102195668B1 (ko) 2020-12-28
TWI519137B (zh) 2016-01-21
CN104838657A (zh) 2015-08-12
US20140161189A1 (en) 2014-06-12
EP2929685B1 (en) 2021-03-31
ES2901937T3 (es) 2022-03-24
EP2929687B1 (en) 2021-12-01
KR102210174B1 (ko) 2021-01-29
JP6545852B2 (ja) 2019-07-17
CN104969551B (zh) 2018-11-23
US9357212B2 (en) 2016-05-31
US20140161187A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
TWI538481B (zh) 於可擴展及多視角視訊寫碼之進階殘差預測
JP6339116B2 (ja) マルチビュー又は３次元ビデオコード化におけるビュー間残差予測
TWI539796B (zh) 視差向量推導
TWI536812B (zh) 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束
JP2017510127A (ja) ３ｄビデオコード化のためのブロックベースの高度残差予測
US20150016502A1 (en) Device and method for scalable coding of video information