TWI568242B - 空間預測系統及方法 - Google Patents
空間預測系統及方法 Download PDFInfo
- Publication number
- TWI568242B TWI568242B TW101133923A TW101133923A TWI568242B TW I568242 B TWI568242 B TW I568242B TW 101133923 A TW101133923 A TW 101133923A TW 101133923 A TW101133923 A TW 101133923A TW I568242 B TWI568242 B TW I568242B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- sub
- subsampled
- blocks
- reconstructed
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本申請要求享有2011年9月15日提交的美國臨時專利申請No.61/535,043的權益，該申請的內容通過引用在此合併到本文。
數位視頻能力可以被引入到各種不同的裝置中，這些裝置包括但不限於數位電視、數位直接廣播系統、無線廣播系統、個人數位助理（PDA）、膝上型電腦或桌上型電腦、數位相機、數位錄音裝置、視頻遊戲裝置、視頻遊戲控制臺（console）、胞元或衛星無線電電話等等。數位視頻裝置可以實施視頻壓縮技術，例如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4、第10部分、高級視頻編碼（AVC）定義的標準、以及這些標準的擴展中所描述的那些，以更加有效地傳送和接收數位視頻資訊。
視頻壓縮技術可以執行空間預測和/或時間預測來降低或移除在視頻序列中固有的冗餘。針對基於塊的視頻編碼，視頻訊框或切片可以被分成塊。每個塊可以進一步被分割。根據各種編碼技術，內編碼（intra-coded）的（I）訊框或切片中的塊可以使用對於鄰近塊的空間預測來被編碼。之間編碼（inter-coded）的（P或B）訊框或切片中的塊可以使用對於在相同的訊框或切片中的鄰近塊的空間預測或對於在其他參考訊框中的塊的時間預測。
視頻壓縮技術可以執行空間預測和/或時間預測來降低或移除在視頻序列中固有的冗餘。針對基於塊的視頻編碼，視頻訊框或切片可以被分成塊。每個塊可以進一步被分割。根據各種編碼技術，內編碼（intra-coded）的（I）訊框或切片中的塊可以使用對於鄰近塊的空間預測來被編碼。之間編碼（inter-coded）的（P或B）訊框或切片中的塊可以使用對於在相同的訊框或切片中的鄰近塊的空間預測或對於在其他參考訊框中的塊的時間預測。
公開了涉及基於與模式有關的二次採樣（subsample）的視頻信號的內部預測的系統、方法以及裝置。處理器可以接收與視頻塊的第一子塊相關聯的塊係數、與所述視頻塊的一個或多個剩餘子塊相關聯的一個或多個塊係數、以及針對所述視頻塊的預測模式的指示。所述處理器可以基於所述預測模式確定一個或多個內插（interpolate）技術，以及基於所述預測模式、使用內部預測來確定預測的第一子塊。所述處理器可以添加所述預測的第一子塊以生成重建的第一子塊。所述處理器可以基於所述視頻塊的所述一個或多個內插技術來確定所述一個或多個剩餘子塊的所述預測的子塊。所述處理器可以添加所述一個或多個剩餘子塊的所述預測的子塊以生成一個或多個重建的剩餘子塊。所述處理器可以基於所述預測模式、所述重建的第一子塊、以及所述一個或多個重建的剩餘子塊來形成重建的視頻塊。所述視頻塊可以是視頻信號的亮度分量或色度分量。
所述重建的第一子塊通過使用第一組反量化和反變換參數來對與第一子塊相關聯的係數進行反量化和反變換而生成。所述第一組反變換和反量化參數可以與形狀自適應（shape-adaptive）離散餘弦變換相關聯。對與所述預測的第一子塊相關聯的係數進行反變換可以包括非方形變換。
所述一個或多個重建的剩餘子塊可以通過使用第二組反量化和反變換參數來對與所述一個或多個剩餘子塊相關聯的係數進行反量化和反變換而生成。所述第二組反變換和反量化參數與形狀自適應離散餘弦變換相關聯。對與所述一個或多個剩餘子塊相關聯的係數進行反變換可以包括非方形變換。所述第一組反量化和反變換參數可以與所述第二組反量化和反變換參數相同或不同。
所述一個或多個重建的剩餘子塊的第一部分可以被生成，並且在生成所述一個或多個重建的剩餘子塊的第一部分之後，至少部分地基於所生成的第一部分來生成所述一個或多個重建的剩餘子塊的第二部分。
視頻塊和預測模式可以被接收。視頻塊可以基於所述預測模式被二次採樣，以生成第一子塊和包括遺漏像素的一個或多個子塊。預測的第一子塊可以基於所述預測模式、使用內部預測被確定。第一子塊可以被重建以生成重建的第一子塊。所述預測模式和所述重建的第一子塊可以被內插以獲得包括遺漏像素的預測的一個或多個子塊。包括遺漏像素的一個或多個子塊可以被重建以生成重建的一個或多個子塊。重建的視頻塊可以基於所述重建的第一子塊、所述包括遺漏像素的重建的一個或多個子塊、以及所述預測模式而被形成。所述視頻塊可以是視頻信號的亮度分量或色度分量。
所述第一子塊可以基於第一組變換和量化參數來被重建以生成重建的第一子塊，以及所述包括遺漏像素的一個或多個子塊可以基於第二組變換和量化參數來被重建以生成重建的一個或多個子塊。所述第一組變換和量化參數可以與所述第二組變換和量化參數相同或不同。
包括遺漏像素的一個或多個子塊的第一部分可以基於所述第二組變換和量化參數來被重建，以及在重建所述包括遺漏像素的一個或多個子塊的第一部分之後，至少部分地基於所重建的第一部分來重建所述包括遺漏像素的一個或多個子塊的第二部分。對所述包括遺漏像素的一個或多個子塊的第二部分的重建可以使用第三組變換和量化參數，並且所述第三組變換和量化參數可以與所述第一組變換和量化參數或所述第二組變換和量化參數相同。
所述重建的第一子塊通過使用第一組反量化和反變換參數來對與第一子塊相關聯的係數進行反量化和反變換而生成。所述第一組反變換和反量化參數可以與形狀自適應（shape-adaptive）離散餘弦變換相關聯。對與所述預測的第一子塊相關聯的係數進行反變換可以包括非方形變換。
所述一個或多個重建的剩餘子塊可以通過使用第二組反量化和反變換參數來對與所述一個或多個剩餘子塊相關聯的係數進行反量化和反變換而生成。所述第二組反變換和反量化參數與形狀自適應離散餘弦變換相關聯。對與所述一個或多個剩餘子塊相關聯的係數進行反變換可以包括非方形變換。所述第一組反量化和反變換參數可以與所述第二組反量化和反變換參數相同或不同。
所述一個或多個重建的剩餘子塊的第一部分可以被生成，並且在生成所述一個或多個重建的剩餘子塊的第一部分之後，至少部分地基於所生成的第一部分來生成所述一個或多個重建的剩餘子塊的第二部分。
視頻塊和預測模式可以被接收。視頻塊可以基於所述預測模式被二次採樣，以生成第一子塊和包括遺漏像素的一個或多個子塊。預測的第一子塊可以基於所述預測模式、使用內部預測被確定。第一子塊可以被重建以生成重建的第一子塊。所述預測模式和所述重建的第一子塊可以被內插以獲得包括遺漏像素的預測的一個或多個子塊。包括遺漏像素的一個或多個子塊可以被重建以生成重建的一個或多個子塊。重建的視頻塊可以基於所述重建的第一子塊、所述包括遺漏像素的重建的一個或多個子塊、以及所述預測模式而被形成。所述視頻塊可以是視頻信號的亮度分量或色度分量。
所述第一子塊可以基於第一組變換和量化參數來被重建以生成重建的第一子塊，以及所述包括遺漏像素的一個或多個子塊可以基於第二組變換和量化參數來被重建以生成重建的一個或多個子塊。所述第一組變換和量化參數可以與所述第二組變換和量化參數相同或不同。
包括遺漏像素的一個或多個子塊的第一部分可以基於所述第二組變換和量化參數來被重建，以及在重建所述包括遺漏像素的一個或多個子塊的第一部分之後，至少部分地基於所重建的第一部分來重建所述包括遺漏像素的一個或多個子塊的第二部分。對所述包括遺漏像素的一個或多個子塊的第二部分的重建可以使用第三組變換和量化參數，並且所述第三組變換和量化參數可以與所述第一組變換和量化參數或所述第二組變換和量化參數相同。
第1圖是示出了基於塊的視頻編碼系統的示例的框圖。
第2圖是示出了基於塊的視頻解碼器系統的示例的框圖。
第3圖是示出了所支援的預測模式的示例的圖示。
第4圖是示出了4x4的塊的水準預測的示例的圖示。
第5圖是示出了34個定向內部預測模式的示例的圖示。
第6圖是示出了非定向內部預測模式的示例的圖示。
第7圖是示出了在32x32的塊上的短距離內部預測的示例的圖示。
第8圖是示出了實施與模式有關的二次採樣內部預測（MDS-IP）的編碼器的示例的框圖。
第9圖（A）是示出了水準預測模式的示例的圖示。
第9圖（B）至第9圖（D）是示出了水準預測模式內插和預測過程的示例的圖示。
第10圖（A）至第10圖（C）是示出了垂直預測模式內插和預測過程的示例的圖示。
第11圖（A）是示出了對角預測模式的示例的圖示。
第11圖（B）至第11圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第12圖（A）至第12圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第13圖（A）至第13圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第14圖（A）至第14圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第15圖（A）至第15圖（C）是示出了對角預測模式內插和預測過程的示例的圖示。
第16圖（A）是示出了非定向預測模式的示例的圖示。
第16圖（B）至第16圖（D）是示出了非定向預測模式內插和預測過程的示例的圖示。
第17圖（A）至第17圖（D）是示出了非定向預測模式內插和預測過程的示例的圖示。
第18圖是示出了通信系統的示例的圖示。
第19A圖是可以在其中實施所公開的一個或多個實施方式的示例通信系統的系統圖示。
第19B圖是可以在第19A圖所示的通信系統內使用的示例無線發射/接收單元（WTRU）的系統圖示。
第19C圖、第19D圖和第19E圖是可以在第19A圖所示的通信系統內使用的示例無線電存取網路以及示例核心網路的系統圖示。
第20圖是示出了實施與模式有關的二次採樣內部預測（MDS-IP）的解碼器的示例的框圖。
第2圖是示出了基於塊的視頻解碼器系統的示例的框圖。
第3圖是示出了所支援的預測模式的示例的圖示。
第4圖是示出了4x4的塊的水準預測的示例的圖示。
第5圖是示出了34個定向內部預測模式的示例的圖示。
第6圖是示出了非定向內部預測模式的示例的圖示。
第7圖是示出了在32x32的塊上的短距離內部預測的示例的圖示。
第8圖是示出了實施與模式有關的二次採樣內部預測（MDS-IP）的編碼器的示例的框圖。
第9圖（A）是示出了水準預測模式的示例的圖示。
第9圖（B）至第9圖（D）是示出了水準預測模式內插和預測過程的示例的圖示。
第10圖（A）至第10圖（C）是示出了垂直預測模式內插和預測過程的示例的圖示。
第11圖（A）是示出了對角預測模式的示例的圖示。
第11圖（B）至第11圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第12圖（A）至第12圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第13圖（A）至第13圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第14圖（A）至第14圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。
第15圖（A）至第15圖（C）是示出了對角預測模式內插和預測過程的示例的圖示。
第16圖（A）是示出了非定向預測模式的示例的圖示。
第16圖（B）至第16圖（D）是示出了非定向預測模式內插和預測過程的示例的圖示。
第17圖（A）至第17圖（D）是示出了非定向預測模式內插和預測過程的示例的圖示。
第18圖是示出了通信系統的示例的圖示。
第19A圖是可以在其中實施所公開的一個或多個實施方式的示例通信系統的系統圖示。
第19B圖是可以在第19A圖所示的通信系統內使用的示例無線發射/接收單元（WTRU）的系統圖示。
第19C圖、第19D圖和第19E圖是可以在第19A圖所示的通信系統內使用的示例無線電存取網路以及示例核心網路的系統圖示。
第20圖是示出了實施與模式有關的二次採樣內部預測（MDS-IP）的解碼器的示例的框圖。
視頻編碼系統可以用於壓縮數位視頻信號，以減少該信號的儲存空間和/或傳輸頻寬。各種類型的視頻編碼系統（例如，但不限於基於塊的、基於小波的、基於物件的系統）可以被部署。基於塊的視頻編碼系統的示例包括但不限於MPEG1/2/4部分2、H.264/MPEG-4部分10 AVC以及VC-1標準。
第1圖是示出了基於塊的視頻編碼系統100的示例的框圖。輸入視頻信號102可以逐塊被處理。例如，視頻塊單元可以是16像素×16像素的（例如，巨集塊（MB））。視頻編碼標準（例如高性能視頻編碼（HEVC））可以被使用。在HEVC中，擴展的塊尺寸（例如，其可以被稱為“編碼單元”或CU）可以用於壓縮高解析度（例如，1080p及更高）的視頻信號。例如，在HEVC中的CU可以多達64×64像素，以及低至4×4像素。CU可以被分割成預測單元（PU），以便可以針對該PU應用獨立的預測實施。每個輸入視頻塊（例如，MB、CU、PU等）可以通過使用空間預測單元160和/或時間預測單元162被處理。
空間預測（或內部預測）可以使用來自在相同視頻圖像/切片中的編碼的鄰近塊的像素來預測當前的視頻塊。空間預測可以減少視頻信號中固有的空間冗餘。時間預測（或之間預測或運動補償預測）可以使用來自已經被編碼的視頻圖像的像素來預測當前的視頻塊。時間預測可以減少視頻信號中固有的時間冗餘。對於給定的視頻塊的時間預測可以由一個或多個運動向量（MV）用信號發送，該運動向量可以指示在當前塊與一個或多個其參考塊之間的運動量和/或運動方向。
如果多個參考圖像被支援（如，可以像H.264/AVC和HEVC的情況），則針對每個視頻塊，其參考圖像索引可以被發送。參考索引可以用於標識時間預測信號是來自在參考圖像儲存164中的哪個參考圖像。在空間和/或時間預測之後，在編碼器中的模式決定和編碼器控制器180可以選擇預測模式。預測模式可以例如基於速率失真最佳化實施而被選擇。預測塊可以在加法器116處被從當前的視頻塊中減去。預測殘差（prediction residual）可以由變換單元104進行變換和由量化單元106進行量化。量化的殘差係數可以在反量化單元110被反量化，以及在反變換單元112被反變換，以形成重建的殘差。重建的塊可以在加法器126處被加回到預測塊，以形成重建的視頻塊。進一步地，環路（in-loop）濾波（例如但不限於解塊濾波器和/或自適應回路濾波器166）可以在所述重建的視頻塊被輸入到參考圖像儲存164和/或被用於對之後的視頻塊進行編碼之前被應用到重建的視頻塊。為了形成輸出視頻位元流120，編碼模式（如，之間或內部）資訊、預測模式資訊、運動資訊、和/或量化的殘差係數可以被發送到熵編碼單元108以被壓縮和被包裝來形成位元流120。例如，這裏描述的實施方式至少部分地可以在空間預測單元160內被實施。
第2圖是示出了基於塊的視頻解碼器200的示例的框圖。視頻位元流202可以在熵解碼單元208處被還原（unpack）和熵解碼。編碼模式和預測資訊可以被發送到空間預測單元260（例如，如果是內部編碼）或時間預測單元262（例如，如果是之間編碼）來形成預測塊。殘差變換係數可以被發送到反量化單元210和反變換單元212，以重建殘差塊。預測塊和殘差塊可以在226處被加在一起。重建的塊可以在其被儲存在參考圖像儲存264中之前通過環路濾波單元266。例如，重建的視頻220可以被發出，以驅動顯示裝置和/或用來預測之後的視頻塊。
這裏描述的實施方式可應用到空間預測單元160和260。這裏所描述的空間預測實施方式（如，單元）可以結合視頻編碼標準（如，H.264/AVC、HEVC等）使用。術語“空間預測”和“內部預測”在這裏可以被交替使用。
空間預測可以在視頻塊上或在各種尺寸和形狀的區域上被執行。例如，針對視頻信號的亮度分量的空間預測，4×4、8×8和16×16像素的塊尺寸可以被利用（如，在H.264/AVC中），以及針對視頻信號的色度分量，8×8像素的塊尺寸可以被利用（如，在H.264/AVC中）。對於大小為4×4或8×8的亮度塊，共9個預測模式可以被支援（如，8個定向預測模式和DC模式）。（如，在H.264/AVC中）可被支援的8個預測方向如第3圖所示。第3圖是示出了可以被支援的預測模式的示例的圖示。對於大小為16×16的亮度塊，共4個預測模式可以被支援（如，水準預測模式、垂直預測模式、DC預測模式和平面預測模式）。第4圖是示出了針對4×4的塊的水準預測的示例的圖示。在第4圖中，重建的像素402（P0、P1、P2和P3）可以用於預測在該4×4的視頻塊中的像素404。預測可以根據等式（1）被執行：
L(x,0)=P0
L(x,1)=P1 等式(1)
L(x,2)=P2
L(x,3)=P3
其中，L(x,y)可以是在(x,y)處將被預測的像素，其中x,y=0…3。
使用更大的塊尺寸的空間預測可以被支援（如，在HEVC測試模型HM3.0中）。例如，空間預測可以在4×4、8×8、16×16、32×32或64×64的方形塊大小上被執行。額外的內部預測模式可以被支援，例如，多達33個定向內部預測模式可以與DC預測模式和平面預測模式一起被支援。第5圖是示出了34個定向預測模式（包括DC預測模式和平面預測模式）（如，在HM3.0中）的示例的圖示。表1示出了針對每個塊大小（如，在HM3.0中）可以被支援的預測方向的數量的示例。定向內部預測可以以1/32的像素精度被執行（例如，在HEVC中）。
表1
第1圖是示出了基於塊的視頻編碼系統100的示例的框圖。輸入視頻信號102可以逐塊被處理。例如，視頻塊單元可以是16像素×16像素的（例如，巨集塊（MB））。視頻編碼標準（例如高性能視頻編碼（HEVC））可以被使用。在HEVC中，擴展的塊尺寸（例如，其可以被稱為“編碼單元”或CU）可以用於壓縮高解析度（例如，1080p及更高）的視頻信號。例如，在HEVC中的CU可以多達64×64像素，以及低至4×4像素。CU可以被分割成預測單元（PU），以便可以針對該PU應用獨立的預測實施。每個輸入視頻塊（例如，MB、CU、PU等）可以通過使用空間預測單元160和/或時間預測單元162被處理。
空間預測（或內部預測）可以使用來自在相同視頻圖像/切片中的編碼的鄰近塊的像素來預測當前的視頻塊。空間預測可以減少視頻信號中固有的空間冗餘。時間預測（或之間預測或運動補償預測）可以使用來自已經被編碼的視頻圖像的像素來預測當前的視頻塊。時間預測可以減少視頻信號中固有的時間冗餘。對於給定的視頻塊的時間預測可以由一個或多個運動向量（MV）用信號發送，該運動向量可以指示在當前塊與一個或多個其參考塊之間的運動量和/或運動方向。
如果多個參考圖像被支援（如，可以像H.264/AVC和HEVC的情況），則針對每個視頻塊，其參考圖像索引可以被發送。參考索引可以用於標識時間預測信號是來自在參考圖像儲存164中的哪個參考圖像。在空間和/或時間預測之後，在編碼器中的模式決定和編碼器控制器180可以選擇預測模式。預測模式可以例如基於速率失真最佳化實施而被選擇。預測塊可以在加法器116處被從當前的視頻塊中減去。預測殘差（prediction residual）可以由變換單元104進行變換和由量化單元106進行量化。量化的殘差係數可以在反量化單元110被反量化，以及在反變換單元112被反變換，以形成重建的殘差。重建的塊可以在加法器126處被加回到預測塊，以形成重建的視頻塊。進一步地，環路（in-loop）濾波（例如但不限於解塊濾波器和/或自適應回路濾波器166）可以在所述重建的視頻塊被輸入到參考圖像儲存164和/或被用於對之後的視頻塊進行編碼之前被應用到重建的視頻塊。為了形成輸出視頻位元流120，編碼模式（如，之間或內部）資訊、預測模式資訊、運動資訊、和/或量化的殘差係數可以被發送到熵編碼單元108以被壓縮和被包裝來形成位元流120。例如，這裏描述的實施方式至少部分地可以在空間預測單元160內被實施。
第2圖是示出了基於塊的視頻解碼器200的示例的框圖。視頻位元流202可以在熵解碼單元208處被還原（unpack）和熵解碼。編碼模式和預測資訊可以被發送到空間預測單元260（例如，如果是內部編碼）或時間預測單元262（例如，如果是之間編碼）來形成預測塊。殘差變換係數可以被發送到反量化單元210和反變換單元212，以重建殘差塊。預測塊和殘差塊可以在226處被加在一起。重建的塊可以在其被儲存在參考圖像儲存264中之前通過環路濾波單元266。例如，重建的視頻220可以被發出，以驅動顯示裝置和/或用來預測之後的視頻塊。
這裏描述的實施方式可應用到空間預測單元160和260。這裏所描述的空間預測實施方式（如，單元）可以結合視頻編碼標準（如，H.264/AVC、HEVC等）使用。術語“空間預測”和“內部預測”在這裏可以被交替使用。
空間預測可以在視頻塊上或在各種尺寸和形狀的區域上被執行。例如，針對視頻信號的亮度分量的空間預測，4×4、8×8和16×16像素的塊尺寸可以被利用（如，在H.264/AVC中），以及針對視頻信號的色度分量，8×8像素的塊尺寸可以被利用（如，在H.264/AVC中）。對於大小為4×4或8×8的亮度塊，共9個預測模式可以被支援（如，8個定向預測模式和DC模式）。（如，在H.264/AVC中）可被支援的8個預測方向如第3圖所示。第3圖是示出了可以被支援的預測模式的示例的圖示。對於大小為16×16的亮度塊，共4個預測模式可以被支援（如，水準預測模式、垂直預測模式、DC預測模式和平面預測模式）。第4圖是示出了針對4×4的塊的水準預測的示例的圖示。在第4圖中，重建的像素402（P0、P1、P2和P3）可以用於預測在該4×4的視頻塊中的像素404。預測可以根據等式（1）被執行：
L(x,0)=P0
L(x,1)=P1 等式(1)
L(x,2)=P2
L(x,3)=P3
其中，L(x,y)可以是在(x,y)處將被預測的像素，其中x,y=0…3。
使用更大的塊尺寸的空間預測可以被支援（如，在HEVC測試模型HM3.0中）。例如，空間預測可以在4×4、8×8、16×16、32×32或64×64的方形塊大小上被執行。額外的內部預測模式可以被支援，例如，多達33個定向內部預測模式可以與DC預測模式和平面預測模式一起被支援。第5圖是示出了34個定向預測模式（包括DC預測模式和平面預測模式）（如，在HM3.0中）的示例的圖示。表1示出了針對每個塊大小（如，在HM3.0中）可以被支援的預測方向的數量的示例。定向內部預測可以以1/32的像素精度被執行（例如，在HEVC中）。
表1
非定向內部預測模式也可以被支援（如，在H.264/AVC和HEVC中）。例如，DC預測模式和平面預測模式可以被支援。對於DC模式，預測值可以通過對可用的鄰近像素取平均並將該平均值均勻地應用到整個塊來獲得。對於平面模式，16×16的亮度塊和色度塊可以被使用（如，H.264/AVC），或者多個塊尺寸可以被使用（例如，HEVC HM3.0）。平面模式（例如，在HEVC HM3.0中）可以使用線性內插來預測具有緩慢變換的平滑區域。第6圖是示出了非定向內部預測模式的示例的圖示。如第6圖所示，平面模式（如，在HM3.0中）可以通過下列實施方式來被執行：
1、在最上列最右邊的像素602（如，標記為T）可以被複製以預測在最右邊行中的像素；
2、在左邊行的底部像素604（如，標記為L）可以被複製以預測在最底部列的像素；
3、在水準方向中的雙線性內插（如，塊606）可以被執行以產生中心像素的第一預測H(x,y)；
4、在垂直方向中的雙線性內插（如，塊608）可以被執行以產生中心像素的第二預測V(x,y)；以及
5、在水準預測與垂直預測之間的額外平均可以被執行以例如使用L(x,y) = ((H(x,y)+V(x,y))>>1)來獲得最終預測L(x,y)。
使用基於塊的內部預測的實施方式，整個塊可以根據在當前塊的左邊和/或右邊的重建的鄰近像素來被預測。對於位於朝向塊的右邊和底部的像素，可以用於預測的像素與像素之間的距離會增加。例如，由於預測像素與被預測的像素之間的距離增加，這些像素之間的相關性會降低，並且預測準確性會降低。準確性的降低可以因更大的塊尺寸而進一步被惡化（如，對於支持使用更大的塊尺寸（如16×16及以上）的內部預測的HEVC）。
實施方式（如，基於線的內部編碼）可以解決在像素距離增加時，有關於降低的預測準確性的問題。基於線的預測實施方式可以一次預測塊的一條線，而不是從頂部和左邊鄰區來將預測應用到整個塊。由於每條線都被預測和重建，因此其可以用於預測下一條線。基於線的內部預測實施方式可以逐列或逐行地被執行。基於線的內部編碼實施方式可以被引入到稱為短距離內部預測或SDIP的實施方式中。SDIP實施可以將每個大小為N×N的方形塊（例如，N×N可以是在4×4到64×64之間的任何值）分割成大小為M×K的矩形塊的組合。當M或K中的一者為1時，SDIP就可以等價於基於線的內部預測。像素可以被一個矩形一個矩形地預測和重建。第7圖是示出了在32×32的塊上的SDIP的示例的圖示。32×32的塊可以被分割成4個16×16的塊。例如注意左下方的16×16的塊，其可以被分割成4個4×16的矩形塊。最左邊的4×16的塊可以進一步被分割成4個1×16的垂直線，並且之後被逐線地預測和重建。剩餘的3個4×16的矩形塊可以一個矩形一個矩形地被預測和重建。SDIP可以提供分割視頻塊的靈活的方法。視頻編碼器可以搜索不同的組合來找到最佳的分割模式。
基於線的內部預測和SDIP可以縮短預測像素和那些被預測的像素之間的距離。基於線的內部預測和SDIP可以例如增加在編碼器一側和/或解碼器一側處的計算的複雜性和實施的複雜性。為了支持各種矩形塊大小，變換、量化、殘差係數掃描和熵編碼可以被改變。編碼器可以搜索很多例如這裏描述的額外的模式。
這裏描述的實施方式可以涉及被稱為與模式有關的二次採樣內部預測（MDS-IP）的內部預測技術。MDS-IP可以緩和以及減少當像素距離增加時預測準確性的降低。在實施MDS-IP時，變換、量化、殘差係數掃描和熵編碼過程可以被略微地修改。當選擇最佳預測模式時，編碼器可能不會考慮任何額外的模式，或當選擇最佳預測模式時，編碼器可以考慮一個或多個額外的模式。
術語“視頻塊”在這裏可以被用作擴展的通用術語。這裏描述的實施方式可以應用到各種視頻塊，例如，但不限於亮度分量的塊和色度分量的塊。術語“樣本”和“像素”可以交替使用。術語“二次採樣的塊”和“子塊”可以交替使用。
第8圖是示出了實施MDS-IP的編碼器800的示例的框圖。MDS-IP編碼器框圖可以被引入到編碼器中（例如，類似於第1圖中所示的編碼器100的編碼器）（如，在空間預測方框160處）。編碼器（如，經由處理器）可以接收包括一個或多個視頻塊的視頻流。編碼器可以在視頻塊上執行二次採樣，其可以將視頻塊分割成第一二次採樣的塊810和一個或多個剩餘的二次採樣的塊826。例如，在接收預測模式之後並基於該預測模式（例如，這裏所描述的預測模式中的一者），特定的二次採樣實施方式可以由與模式有關的二次採樣單元840執行。預測模式可以例如通過模式決定和編碼器控制器（如第1圖中的模式決定和編碼器控制器180）來被確定。因為二次採樣，輸入視頻塊的一部分（如，二分之一或四分之一）可以被保留作為二次採樣的塊810。二次採樣的塊810可以被稱為第一子塊。塊的其他部分（如，二次採樣期間“移除的”塊的部分）可以被稱為剩餘子塊826（如第8圖所示）。剩餘子塊826可以包括遺漏（missing）像素。
二次採樣實施方式可以是一個抽取（decimation）過程。二次採樣實施方式是涉及減採樣（downsample）濾波器的相對更加複雜的過程。預測的二次採樣的塊812可以由內部預測單元842基於預測模式確定（如，生成）。內部預測單元842可以接收鄰近像素，例如，如這裏所描述的那些（如，參考第9圖至第17圖）。預測模式可以例如是這裏所描述的定向或非定向內部預測模式中的任意一者。例如，定向預測模式可以是垂直預測模式、水準預測模式、對角預測模式、或非對角預測模式。例如，非定向預測模式可以是DC預測模式或平面預測模式。預測的二次採樣的塊812可以由加法器820從二次採樣的塊810中減去，以獲得二次採樣的塊殘差822。二次採樣的塊殘差822可以在變換和量化方框832處被變換和量化。變換和量化方框832可以生成與二次採樣的塊810相關聯的塊係數。二次採樣的塊殘差822（例如，與二次採樣的塊810相關聯的塊係數）可以在反量化和反變換方框834處被反量化和反變換，以獲得重建的二次採樣的塊殘差824。重建的二次採樣的塊殘差824可以在加法器848處被加入到預測的二次採樣的塊812，以形成重建的二次採樣的塊814。
例如，變換和量化方框832可以使用一組（如，第一組）變換和量化參數。由變換和量化方框832使用的該組變換和量化參數可以是基於非方形變換（non-square shaped transform）的。非方形變換可以包括多個方形變換。由變換和量化方框832使用的該組變換和量化參數可以與形狀自適應離散餘弦變換相關聯。
例如，反量化和反變換方框834可以使用一組（如，第一組）反量化和反變換參數。由反量化和反變換方框834使用的該組反量化和反變換參數可以是基於非方形變換的。非方形變換可以包括多個方形變換。由反量化和反變換方框834使用的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。
重建的二次採樣的塊814可以由與模式有關的內插單元844進行內插來生成對包括遺漏樣本的一個或多個二次採樣的塊816的預測，其可以基於預測模式。由與模式有關的內插單元844執行的特定的內插過程可以與模式有關。例如，由與模式有關的內插單元844執行的特定的內插過程可以是與模式有關的二次採樣過程的逆過程，該與模式有關的二次採樣過程由與模式有關的二次採樣單元840利用。由於預測像素與那些將被預測的像素之間的距離可以被減少（如，可以被顯著地減少），對包括遺漏樣本的一個或多個二次採樣的塊816的預測準確性可以相對地增加。
仍參考第8圖，對應於包括遺漏樣本的一個或多個二次採樣的塊816的預測殘差可以在變換和量化方框836處被變換和量化。變換和量化方框836可以生成與剩餘的子塊826相關聯的塊係數。與包括遺漏樣本的一個或多個二次採樣的塊816對應的預測殘差（如，與剩餘子塊826相關聯的塊係數）可以是在反量化和反變換方框838處之反量化和反變換。重建的殘差可以被加回至包括遺漏樣本的預測的一個或多個二次採樣的塊816，以形成包括遺漏樣本的重建的一個或多個二次採樣的塊818。重建的二次採樣的塊814和包括遺漏樣本的重建的一個或多個二次採樣的塊818可以形成輸入視頻塊的編碼表示（如，重建的視頻塊）。輸入視頻塊的編碼表示的形成可以基於預測模式。
例如，變換和量化方框836可以使用一組（如，第二組）變換和量化參數。由變換和量化方框836使用的該組變換和量化參數可以基於非方形變換。非方形變換可以包括多個方形變換。由變換和量化方框836使用的該組變換和量化參數可以與形狀自適應離散餘弦變換相關聯。
例如，反量化和反變換方框838可以使用一組（如，第二組）反量化和反變換參數。由反量化和反變換方框838使用的該組反量化和反變換參數可以基於非方形變換。非方形變換可以包括多個方形變換。由反量化和反變換方框838使用的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。
變換和量化方框836可以使用或不使用與變換和量化方框832所使用的參數相同的參數（如，第二組變換和量化參數可以與第一組變換和量化參數相同或不同）。反量化和反變換方框838可以使用或不使用與反量化和反變換方框834所使用的參數相同的參數（如，第二組反量化和反變換參數可以與第一組反量化和反變換參數相同或不同）。
使用二次採樣的塊810來預測包括遺漏樣本的一個或多個二次採樣的塊816可以通過減少預測像素與將被預測的那些像素之間的距離來改善預測準確性。較好的預測準確性可以使預測殘差能量減少，其可以使用於對這些殘差信號進行編碼的位元數量大幅減少。當在水準維度（dimension）和/或垂直維度中以因數2執行二次採樣時，所得到的二次採樣的塊的大小可以是規則的。例如，如果輸入視頻塊的大小為2N×2N，則二次採樣的塊的大小可以為2N×N、N×2N或N×N。為了處理大小為2N×N或N×2N的二次採樣的塊，例如，為方形塊設計的塊變換和係數掃描順序可以被應用，而不需要進一步改變。例如，對於大小為2N×N或N×2N的二次採樣的塊，二次採樣的塊可以通過按照為方形塊設計的係數掃描順序來應用兩次（2）N×N變換而被處理。為支援2N×N或N×2N的塊大小，對塊變換和係數掃描順序的修改可以被應用，以實現改進的編碼效率。
二次採樣可以在多於一個方向上被執行。每個方向上的二次採樣速率可以相同或不同。例如，二次採樣可以在第一方向上以第一二次採樣速率被執行，以及在第二維度上以第二二次採樣速率被執行。第一二次採樣速率可以與第二二次採樣速率相同或不同。
對於包括遺漏樣本的一個或多個二次採樣的塊816，變換和量化單元836以及反量化和反變換單元838可以例如被跳過（如，預測殘差可以不被編碼），因為使用與模式有關的內插單元844的預測過程可以足夠準確，因此殘差編碼可以被跳過。變換和量化單元836以及反變換和反量化單元838可以分成兩步或更多步驟，並且可以以級聯的方式被執行，如這裏所描述的。
關於是否執行MDS-IP實施方式的決定可以在編碼之前決定。例如，MDS-IP可以針對特定大小的塊和特定預測模式而被執行。在位元流中沒有額外的信令發送被需要。選擇可以由編碼器例如基於一個或多個參數（例如但不限於速率失真最佳化的考慮）來即時（on-the-fly）決定。額外的語法元素可以在位元流（如，位元流120）中被用信號發送，以轉達給可以使用實施方式（如，MDS-IP）的解碼器。決定可以例如基於塊的大小。取決於不同塊的大小，該不同塊可能或多或少存在距離導致的預測準確性的問題。
雖然參考第8圖描述了編碼器，但實施MDS-IP的解碼器可以包括參考第8圖所描述的一個或多個元素，和/或可以執行類似的實施方式（如，逆實施方式）以對所編碼的視頻流進行解碼。MDS-IP解碼器框圖可以被引入到解碼器（例如，與第2圖所示的解碼器200類似的解碼器）（如，在空間預測方框260處）。例如，雖然變換和量化以及反量化和反變換可以由編碼器在子塊810和剩餘子塊826上執行，但在根據與第一子塊810和剩餘子塊826相關聯的一個或多個塊係數來重建視頻塊時，解碼器可以執行反量化和反變換而不執行變換和量化。
第20圖是示出了實施與模式有關的二次採樣內部預測（MDS-IP）的解碼器的示例的框圖。MDS-IP解碼器2000可以被引入到解碼器（例如，與第2圖所示的解碼器200類似的解碼器）（如，在空間預測方框260處）。MDS-IP解碼器2000（如，經由處理器）可以接收編碼的視頻流。該編碼的視頻流可以包括表示一個或多個編碼的視頻塊的一個或多個塊係數。編碼的視頻塊可以是編碼的視頻流的亮度分量或色度分量。一個或多個編碼的視頻塊中的每個編碼的視頻塊可以被分割成第一子塊和一個或多個剩餘子塊。在接收與第一子塊相關聯的塊係數2010之後，解碼器可以在反量化和反變換單元2034處執行對塊係數2010的反量化和反變換，以生成對應於第一子塊的重建的殘差2024。在接收與一個或多個剩餘子塊相關聯的一個或多個塊係數2026之後，解碼器可以在反量化和反變換單元2038處執行對一個或多個塊係數2026的反量化和反變換，以生成對應於一個或多個剩餘子塊的重建的殘差2028。
解碼器可以接收對視頻塊的預測模式的指示，並基於該預測模式確定一個或多個內插技術。例如，內部預測單元2042可以接收對所述視頻塊的預測模式的指示。內部預測單元2042還可以接收鄰近像素，例如，如這裏所描述的那些（如，參考第9圖至第17圖）。解碼器可以基於預測模式、使用內部預測來確定預測的第一子塊2012。解碼器可以將該預測的第一子塊2012加入到對應於第一子塊的重建的殘差2024，以生成重建的第一子塊2014。解碼器可以基於一個或多個內插技術來為視頻塊確定一個或多個剩餘子塊的預測的子塊2016。一個或多個剩餘子塊的預測的子塊2016可以由與模式有關的內插單元2044確定。一個或多個內插技術可以基於預測模式。解碼器可以將一個或多個剩餘子塊的預測的子塊2016加入到對應於一個或多個剩餘子塊的重建的殘差2028，以生成一個或多個重建的剩餘子塊2018。解碼器可以基於預測模式、重建的第一子塊2014以及一個或多個重建的剩餘子塊2018來形成重建的視頻塊。
對應於第一子塊的重建的殘差2024可以使用一組（如，第一組）反量化和反變換參數來被生成。用於生成對應於第一子塊的重建的殘差2024的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。與預測的第一子塊相關聯的反變換係數可以包括非方形變換。該非方形變換可以包括多個方形變換。對應於一個或多個剩餘子塊的重建的殘差2028可以使用一組（如，第二組）反量化和反變換參數來被生成。用於生成對應於一個或多個剩餘子塊的重建的殘差2028的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。用於生成對應於第一子塊的重建的殘差2024的那組反量化和反變換參數可以與用於生成對應於一個或多個剩餘的子塊的重建的殘差2028的那組反量化和反變換參數相同或不同。
第9圖（A）是示出了使用水準模式對8×8的塊進行的示例預測過程的圖示。如第9圖（A）所示的箭頭，來自已經編碼的鄰區的預測像素902可以使用等式（1）來被從行0傳播到行7，以預測8×8的塊904。第9圖（B）至第9圖（C）是示出了針對8×8的塊的示例MDS-IP過程的圖示。雖然示出的是8×8的塊，但MDS-IP可以用於具有各種尺寸的塊。在MDS-IP過程中，8×8的塊可以在水準預測中被減採樣。第9圖（B）和第9圖（C）分別示出了減採樣前和減採樣後的8×8的塊。在二次採樣之後保留在子塊中的像素可以為第9圖（B）中的陰影。因為二次採樣，二次採樣的塊910可以包括行1、3、5和7（如第9圖（C）所示）。2:1的二次採樣速率可以被使用（例如，如第9圖（A）至第9圖（D）所示出的）。各種二次採樣速率可以被使用。行1、3、5和7可以在水準方向上被預測（例如，如可以由第9圖（C）中的箭頭所指示的）來形成預測的二次採樣的塊812（如，第8圖）。二次採樣的塊的殘差可以通過變換、量化、反變換、和反量化來形成重建的預測殘差824。重建的預測殘差824可以被加入到預測的二次採樣的塊812中來形成重建的二次採樣的塊814。為方形塊所設計的塊變換和係數掃描可以被使用。例如，兩個4×4的塊變換可以由單元832和834使用以完成變換和量化以及之後的反量化和反變換。可以做出對塊變換和係數掃描順序的修改，以支援矩形塊（例如，在第9圖（C）中的4×8的塊）。例如，可由單元832和834使用4×8的塊變換和恰當的係數掃描。
包括遺漏行0、2、4和6的4×8像素的第二二次採樣的塊可以通過根據已經編碼的鄰近行和在行1、3、5、7中重建的像素進行內插而被預測（如，第9圖（D）中所示）。多種內插濾波器可以被應用。例如，雙線性濾波器、係數為[1 -5 20 20 -5 1]/32的6抽頭（6-tap）濾波器、係數為[1 3 3 1]/8的4抽頭濾波器，和/或具有其他抽頭長度的其他內插濾波器可以被應用。第9圖（D）示出了在水準方向使用兩個鄰近像素的內插。在內插處理中可以涉及多個像素（例如，當更長抽頭長度的濾波器被使用時）。為水準預測模式執行水準減採樣可以基於從水準預測模式中獲益的塊可以在水準方向中具有很強的像素相關性的前提。其他預測模式可以使用其他減採樣處理。第二二次採樣的塊的殘差可以例如使用兩個方形塊變換或一個矩形塊變換和適合的係數掃描按照步驟836和836而被編碼（如，第8圖）。如果與模式有關的內插提供合適的結果，則對第二二次採樣的塊的殘差的確定可以被跳過（如，不編碼）。
MDS-IP實施方式可以被應用到垂直模式中（如，第9圖的調換版本），其中垂直減採樣可以被執行以保持一半的像素列，第一半像素列可以被預測和被編碼，以及基於重建的列的垂直內插可以被執行來預測第二半像素列。第10圖是示出了示例垂直模式減採樣和預測過程的圖示。第10圖（A）是示出了示例8×8的塊1002的圖示。在列3和列7中的像素用陰影來指示二次採樣之後可以保留的像素列。頂部像素列1004可以是預測像素列。第10圖（B）是示出了在減採樣之後產生包括列3和7的塊1006的示例的圖示。在這些列中的像素可以被預測和被編碼。第10圖（C）是示出了在列0、1、2、4、5和6中的加採樣（upsample）的像素的內插的示例的圖示。這些列可以從預測像素的頂列和重建的列3和7被內插。
與水準和垂直預測模式一起，MDS-IP可以被應用到多種非對角角度預測模式（如，具有0°到90°之間的角度的預測模式，以及具有90°到180°之間的角度的預測模式）。例如，對角（例如，沿45°或135°方向）預測模式可以包括對角向左下和對角向右下模式（如，第3圖中的模式3和4）。在對角方向中的預測模式可以包括VER-8、VER+8和HOR-8（例如，在第5圖中的模式3、6和9）。第11圖（A）-（D）是示出了使用對角向右下模式來預測的8×8的塊上的MDS-IP過程的示例的圖示。MDS-IP可以用於除8×8以外的塊尺寸（例如但不限於更大的塊尺寸）。在第11圖中，在左邊行中的像素和在頂部列中的像素可以是來自已經被編碼的鄰近塊的預測像素。剩餘的像素可以是將要被預測的像素。如第11圖（A）中的對角箭頭所示，陰影的預測像素可以沿著對角方向被傳播。
對於角度預測模式，塊可以在兩個維度中被減採樣。例如，如第11圖（B）和11（C）所示，8×8的塊1102可以在每個維度上以因數2和位於(2n+1,2m+1), n,m=0…3處的像素來被減採樣，以形成第11圖（C）中的減採樣的塊1104。這些剩餘的像素可以在對角方向上被預測，例如，如由第11圖（C）中的減採樣的塊1104中的箭頭所示。參考第8圖、第11圖（C）和第11圖（D），二次採樣的塊的預測殘差可以按照由單元832和834進行的處理來被編碼，並被加回到預測的二次採樣的塊812，以獲得重建的二次採樣的塊814。經由與模式有關的內插單元844，包括剩餘四分之三的像素的二次採樣的塊可以通過從已經編碼的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測。如上所述，與多種預測模式相關聯的多種內插技術可以被使用。
包括遺漏像素的二次採樣的塊可以在同一時刻通過內插而被預測，例如如第11圖（D）中所示的。例如，包括位於(2n,2m), n,m=0…3處的像素的子塊可以例如通過在對角方向上使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測，如第11圖（D）中的箭頭1140所示。箭頭的部分（例如，僅一部分）可以在第11圖（D）中示出。沿著對角方向的內插可以被使用，是因為較高的像素相關性存在於該方向上。其他預測模式可以使用不同的內插過程。包括位於(2n,2m+1), n,m=0…3處的像素的子塊可以例如通過在水準方向中使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測，如第11圖（D）中的箭頭1142所示。包括位於(2n+1,2m), n,m=0…3處的像素的子塊可以例如通過在垂直方向中使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測，如第11圖（D）中的箭頭1144所示。
可以作出對內插過程的修改，例如，但不限於在水準方向和/或垂直方向中的具有不同濾波器抽頭長度的不同內插濾波器可以被使用。在預測之後，包括分別位於(2n,2m)、(2n,2m+1)和(2n+1,2m)處的遺漏像素的三個子塊的預測殘差可以按照由單元836和838進行的處理被編碼（如，第8圖），並被加回到預測信號，以獲得包括遺漏像素的三個重建的子塊818。
第12圖（A）至第12圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。參考第12圖，包括遺漏像素的子塊可以以級聯的（如，多級的）方式被預測和重建。參考第12圖（A）和12（B），輸入塊1202可以在兩個維度（如，在兩個維度中均具有2:1的二次採樣速率）中減採樣，以產生減採樣的塊1204。在二次採樣後保留在塊中的像素在第12圖（A）中以陰影示出。塊1204中的像素可以使用任何適合的內部預測技術來被進行內部預測，例如，如由第12圖（B）中的箭頭所指示的。如由第12圖（C）中的塊1206所示，位於(2n,2m), n,m=0…3處的像素可以例如通過在對角方向上使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測（如，如箭頭1220所示）。包括位於(2n,2m), n,m=0…3處的樣本的子塊的預測殘差可以按照步驟836和838被編碼（如，第8圖）。重建的殘差可以被加回到預測，以獲得包括位於(2n,2m)處的像素的重建的子塊。例如，如第12圖（D）中的塊1208所示，包括位於(2n,2m+1)處的剩餘像素的子塊和包括位於(2n+1,2m)處的剩餘像素的子塊可以通過使用已經被重建的像素（例如，分別使用箭頭1222和使用箭頭1224）進行內插而被預測。
第13圖是示出了內插技術的示例的圖示。第13圖（A）中的輸入塊1302可以在兩個維度中被減採樣來產生減採樣的塊1304，如第13圖（B）所示。多個像素在第13圖（A）中可以被加陰影，以示出在減採樣後保留的像素。在減採樣的塊1304中的像素可以如第13圖（B）中的對角箭頭所指示的那樣被預測。在對預測的像素進行重建之後，位於(2n,2m)處的像素和位於(2n,2m+1)處的像素可以分別通過在對角方向（如，箭頭1320）和在水準方向（如，箭頭1324所示）中的內插而被預測，例如，如第13圖（C）所示。包括位於(2n,2m)處的樣本的子塊和包括位於(2n,2m+1)處的樣本的子塊的預測殘差可以按照由單元836和838進行的處理而被編碼。重建的殘差可以被加回，以分別獲得包括位於(2n,2m)處的像素的重建的子塊和包括位於(2n,2m+1)處的像素的重建的子塊。例如，如第13圖（D）中的塊1308所示，其中位於(2n,2m)處的像素、位於(2n,2m+1)處的像素、以及位於(2n+1,2m+1)處的像素已經被重建，包括位於(2n+1,2m)處的像素的剩餘子塊可以在對角方向被預測（如，箭頭1326），和/或殘差可以按照由單元836和838進行的處理被編碼。
例如，如果遺漏像素以級聯的方式被預測和被重建，如果預測足夠準確或計算的複雜度很高，則一個或多個殘差編碼步驟（如，由單元836和838所執行的）可以被跳過。一個或多個這樣的步驟是否可以被跳過是由編碼器所決定的，並且在位元流中被用信號發送到解碼器，例如，通過將編碼_塊_標誌（coded_block_flag）設置為0。編碼器和解碼器可以事先同意哪些（如果有的話）步驟可以跳過。如這裏所描述的（如，第12圖（D）），在使用箭頭1222和箭頭1224對位於(2n+1,2m)處和位於(2n,2m+1)處的像素進行預測之後，編碼器和解碼器可以完成對輸入塊的MDS-IP過程，並且在單元836和838中的操作可以被跳過。內插過程可以使用不同特性（如，不同抽頭長度和係數）的內插濾波器，例如但不限於雙線性濾波器、4抽頭或6抽頭的1D濾波器，和/或4×4或6×6的2D不可分離濾波器。
雖然這裏描述了MDS-IP處理，但相似的針對其他對角預測模式的處理技術可以被執行。例如，H.264/AVC和HEVC兩者可以支援其他定向預測模式。這些模式，由於他們的預測方向沿著更好的角度，子像素精度可以被考慮用於預測。這些預測模式的MDS-IP過程可以利用具有非矩形的像素塊的編碼。這些定向預測模式的MDS-IP過程可以被關閉，並使用這些模式的定向內部預測。非矩形的變換（如，形狀自適應DCT）和恰當的係數掃描可以被應用到對這些預測模式的MDS-IP處理。
第14圖（A）-（D）是示出了用於非對角角度預測模式的內插技術的示例的圖示。第14圖（A）中的輸入塊1402可以在多於一個的方向（如，兩個方向）上被減採樣，以產生如第14圖（B）所示的減採樣的塊1404。多個像素可以在第14圖（A）中被加陰影，以示出在減採樣後保留的像素。在減採樣的塊1404中的像素可以如第14圖（B）中的非對角角度箭頭所指示的那樣被預測。非對角角度箭頭可以對應於非45°/非135°角度對角預測模式。雖然4:1的二次採樣速率（如，在兩個方向為2:1）在第14圖中被示出，但是其他二次採樣速率可以被使用。例如，2:1的二次採樣速率、6:1的二次採樣速率、8:1的二次採樣速率、或其他各種適合的二次採樣速率可以被使用。如第14圖（C）中的塊1406所示，位於(2n,2m)，n,m=0…3處的像素可以通過在角度方向上使用位於(2n-1,2m-3)處的已經重建的鄰近像素和位於(2n+1,2m+3)處的重建的像素進行內插而被預測（如，箭頭1420所示）。包括位於(2n,2m)，n,m=0…3處的樣本的子塊的預測殘差可以按照836和838中的步驟來被編碼（如，第8圖）。重建的殘差可以被加回至預測，以獲得包括位於(2n,2m)處的像素的重建的子塊。如第14圖（D）中的塊1408所示，包括剩餘像素的子塊可以通過使用已經重建的像素（例如，位於(2n-1,2m-2)和(2n+1,2m+2)處，如箭頭1426所指示的）來進行內插而被預測。
第15圖（A）-（C）是示出了在8×8的塊上的MDS-IP過程的示例的圖示，其中該8×8的塊使用非對角角度預測模式（如，非45°/非135°）被預測。像素權重過程可以協助內插。在如第15圖（A）-（C）中所示的8×8的塊，MDS-IP可以用於具有不同大小的塊。在第15圖中，在左邊行的像素和在頂部列中的像素可以是來自已經編碼的鄰近塊的預測像素。塊1502可以在二維中被減採樣。例如，如第15圖（A）和第15圖（B）所示，8×8的塊1502可以在每個維度中以因數2來被減採樣，並且位於(2n+1,2m+1)，n,m=0…3處的像素可以形成第15圖（B）中的減採樣的塊1504。這些剩餘的像素可以在非對角角度方向上被預測，例如，如第15圖（B）中的減採樣的塊1504中的箭頭所示。參考第8圖、第15圖（B）和第15圖（C），二次採樣的塊的預測殘差可以按照由單元832和834進行的處理來被編碼，並被加回到預測的二次採樣的塊812，以獲得重建的二次採樣的塊814。經由與模式有關的內插單元844，包括剩餘四分之三的像素的二次採樣的塊可以通過從重建的二次採樣的塊814進行內插而被預測。包括遺漏像素的二次採樣的塊可以通過使用加權實施方式進行內插而同時被預測，例如，如第15圖（C）所示。例如，包括位於(2n,2m)，n,m=0…3處的像素的子塊可以通過在對角方向上使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，例如，由塊1506和箭頭1540所示。內插過程可以對不同的像素施加不同的權重。例如，內插過程可以對“左上角”像素施加比“右下角”像素更大的權重。特定的加權實施方式可以取決於使用的預測模式。例如，“左上角”像素可以被給定70%的加權因數，而“右下角”像素可以被給定30%的加權因數。包括位於(2n,2m+1)，n,m=0…3處的像素的子塊可以通過在水準方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，例如，如第15圖（C）中的箭頭1542所示。“左”像素和“右”像素可以被給定相同或不同的加權因數。例如，“左”像素可以被給定55%的權重而“右”像素可以被給定45%的權重。包括位於(2n+1,2m)，n,m=0…3處的像素的子塊可以通過在垂直方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，例如，如第15圖（C）中的箭頭1544所示。“頂部”像素和“底部”像素可以被給定相同或不同的加權因數。例如，“頂部”像素可以被給定60%的權重而“右”像素可以被給定40%的權重。
可以做出對內插過程的修改，例如但不限於基於預測模式的不同的加權因數。在預測後，包括分別位於(2n,2m)、(2n,2m+1)和(2n+1,2m)處的遺漏像素的三個子塊的預測殘差可以按照由單元836和838進行的處理而被編碼（第8圖），並且可以被加回到預測信號，以獲得三個包括遺漏像素的重建的子塊818。用於位於(2n,2m)、(2n,2m+1)和(2n+1,2m)處的遺漏像素的殘差編碼過程可以由編碼器和/或解碼器跳過。
雖然已經示出了用於水準、垂直、對角和非對角角度預測模式的示例性內插技術，但這裏描述的MDS-IP實施方式可以以各種視頻編碼和解碼預測模式使用。相同的內插技術或不同的內插技術可以被應用到一個或多個子塊。內插技術可以包括一個或多個濾波器，該一個或多個濾波器可以基於預測模式被選擇。例如，內插濾波器可以是4抽頭一維濾波器、6抽頭一維濾波器、4×4二維濾波器、6×6二維濾波器或其他。一個或多個內插濾波器可以沿一個或多個內插方向被應用，其可以基於預測模式。
非定向預測模式（例如但不限於DC模式和平面預測模式）可以被支援。DC預測可以通過對來自已經重建的鄰近塊的預測像素取平均（如，第16圖（A）中的最左行和頂部行，表示為“A”）、並將該平均值分配到將被預測的整個塊（如，第16圖（A）中的8×8的塊1602）來被執行。平面模式（例如，在HEVC HM 3.0中）可以在這裏被描述，例如，參考第6圖。非定向預測模式可適用於平坦區域或具有平緩/平滑梯度的區域。第16圖（A）-（D）和第17圖（A）-（D）是示出了在8×8的塊上應用的MDS-IP處理的示例的圖示，其中該8×8的塊使用DC預測模式來被預測。雖然8×8的塊被示出，但是MDS-IP可以用於處理更大的塊。第16圖（A）中的塊1602示出了DC預測實施方式的示例。第16圖（B）-（D）示出了根據這裏描述的實施方式的處理技術的示例。
例如，如第16圖（B）-（C）中所示，8×8的塊1604可以在每個維度上以因數2被減採樣，以生成4×4的塊1606。位於位置(2n+1,2m+1)，n,m=0…3處的像素可以通過對來自已經重建的鄰近塊的預測像素（例如，在第16圖（C）中的最左邊行和頂部行）取平均而被預測。二次採樣的塊822的預測殘差（如，第8圖）可以按照由單元832和834進行的處理來被編碼，並被加回到預測的二次採樣的塊812，以獲得重建的二次採樣的塊814。包括剩餘四分之三像素的子塊可以通過根據已經編碼的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測。
參考第16圖（D），遺漏像素可以通過內插同時被預測。例如，包括位於(2n,2m)，n,m=0…3處的像素的子塊可以通過使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插（例如，來自MDS-IP的第一步）而被預測，例如，由箭頭1620所示。一部分箭頭1620在第16圖（C）中被示出。由箭頭1620指示的內插可能不具有任何方向性（如，由於非定向預測模式）。對四個像素取平均是足夠的。包括位於(2n,2m+1)，n,m=0…3處的像素的子塊可以例如通過在水準方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，如第16圖（C）中的箭頭1622所示。包括位於(2n+1,2m)，n,m=0…3處的像素的子塊可以通過在垂直方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，如第16圖（C）中的箭頭1624所示。
可以做出對內插過程的修改，例如但不限於在水準方向和/或垂直方向上使用具有不同濾波器抽頭長度的不同的內插濾波器。在預測之後，包括遺漏像素的子塊的預測殘差可以按照由單元836和838進行的處理來被編碼，並被加回到包括遺漏像素的子塊的預測，以獲得包括遺漏像素的重建的子塊818。
第17圖A-D是示出了內插實施方式的示例的圖示。輸入塊1702可以在兩個方向上被減採樣以生成減採樣的塊1704（如，其可以與第16圖（C）中的塊1606相似）。包括遺漏像素的子塊可以以級聯（如，多級）的方式被預測和重建。如第17圖（C）中的箭頭1720所示，位於(2n,2m)，n,m=0…3處的像素可以通過使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插（如，使用簡單取平均）而被預測。包括位於(2n,2m)，n,m=0…3處的樣本的子塊的預測殘差可以按照由單元836和838進行的處理來被編碼。重建的殘差可以被加回到預測，以獲得包括位於(2n,2m)處的像素的重建的子塊。如第17圖（D）所示，包括位於(2n,2m+1)處的像素的剩餘子塊和包括位於(2n+1,2m)處的剩餘像素的子塊可以通過使用已經被重建的像素進行內插而被預測，例如，分別使用箭頭1722和箭頭1724。
第16圖（C）、第17圖（C）和第17圖（D）中的內插過程可以使用不同特性（如，不同抽頭長度和係數）的內插濾波器，例如但不限於雙線性濾波器（如，簡單取平均）、4抽頭或6抽頭1D濾波器、和/或4×4或6×6 2D非可分離濾波器。雖然這裏使用DC預測模式作為示例描述了MDS-IP實施方式，但對於其他非定向預測模式（如，平面預測模式）的MDS-IP實施方式可以基本上是相似的。
MDS-IP可以應用於各種預測模式。雖然對於不同預測模式的特定MDS-IP實施方式可能不同，但是他們通常包括兩個步驟過程。例如，在第一個步驟中，包括輸入視頻塊中的一部分像素（如，二分之一或四分之一）的二次採樣的塊可以通過應用與模式有關的二次採樣過程來生成。二次採樣的塊可以基於預測模式被預測，並且該二次採樣的塊的預測殘差可以被計算和被編碼，以獲得重建的殘差。重建的二次採樣的塊之後可以被生成。例如，在第二個步驟中，包括輸入視頻塊中的剩餘像素的一個或多個子塊可以通過根據已經編碼的鄰近像素和之前生成的重建的二次採樣的塊進行內插而被預測。特定的內插過程（如，內插濾波器、內插方向等）可取決於預測模式。包括輸入視頻塊中的剩餘像素的一個或多個子塊的預測殘差可以被編碼。
如這裏所描述的，包括遺漏像素的子塊可以以級聯（如，多級）的方式被預測和重建。例如，位於第一位置（如，參考第12圖中的位置(2n,2m)）處的像素可以被稱為重建的子塊的第一部分。位於第二位置（如，參考第12圖中的位置(2n,2m+1)處和/或位置(2n+1,2m)處）的像素可以被稱為重建的子塊的第二部分。重建的子塊的第二部分可以至少部分地基於生成的重建的子塊的第一部分（如第12圖（D）、第13圖（D）、第14圖（D）等中所示的）而被生成。用於生成重建的子塊的第二部分的變換和量化參數（如，第三組）可以與用於生成子塊的重建的殘差的那組變換和量化參數（如，第一組）、或用於生成重建的子塊的第一部分的變換和量化參數（如，第二組）相同。
實施方式可以利用各種方法來實現所期望的結果。例如，一個或多個二次採樣的塊（例如，在MDS-IP的第一個步驟和/或第二個步驟中生成的）可以不是方形的。針對非方形二次採樣的塊設計的2D變換、以及合適的係數掃描順序可以被設計和應用。方形2D變換、以及掃描順序可以被應用到非方形的矩形子塊中。
在MDS-IP的第一個步驟（如，單元832和834）中的殘差編碼過程和在MDS-IP的第二個步驟（如，單元836和838）中的殘差編碼過程可以相同或不同。相同的變換和量化參數或不同的變換和量化參數可以在這些步驟過程中被應用。一個或多個變換單元104、量化單元106、反量化單元110、以及反變換單元112（例如，如第1圖所示）可以由MDS-IP過程使用。
與模式有關的內插過程（如，由與模式有關的內插單元844執行）可以生成包括遺漏樣本的一個或多個二次採樣的塊的預測信號，接著是一個或多個包括正被重建的遺漏樣本的二次採樣的塊的殘差。預測和殘差生成可以以級聯的方式被執行，例如，其中包括遺漏樣本的一個或多個子塊的第一部分可以首先被編碼，並且之後可用於對該包括遺漏樣本的一個或多個子塊的第二部分進行預測和編碼。
在MDS-IP處理的第一個步驟期間和在MDS-IP處理的第二個步驟期間生成的預測殘差可以被編碼。在MDS-IP的第二個步驟期間生成的預測殘差中的至少一些預測殘差可以不被編碼。
第18圖是示出了通信系統1800的示例的圖示。編碼器1802可以經由連接1808與通信網路1804進行通信。編碼器1802可以使用如上所述的MDS-IP處理。連接1808可以是有線連接或無線連接。解碼器1806可以經由連接1810與通信網路1804進行通信。解碼器1806可以使用如上所述的MDS-IP處理。連接1810可以是有線連接或無線連接。通信網路1804可以例如是如這裏所描述的合適類型的通信系統。解碼器1806可以被引入到各種終端中的任意一者之中，這些終端例如但不限於數位電視、無線通信設備、無線廣播系統、個人數位助理（PDA）、膝上型電腦或桌上型電腦、平板電腦、數位相機、數位記錄裝置、視頻遊戲裝置、視頻遊戲控制臺、胞元或衛星無線電電話、數位媒體播放器等等。
第19A圖是可以實施所公開的一個或多個實施方式的示例通信系統1900的圖示。通信系統1900可以是向多個無線用戶提供諸如語音、資料、視頻、消息傳遞、廣播等內容的多重存取系統。該通信系統1900能使多個無線用戶通過包括無線頻寬在內的系統資源的共用來存取這些內容。例如，通信系統1900可以使用一種或多種通道存取方法，如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）等等。
如第19A圖所示，通信系統1900可以包括無線發射/接收單元（WTRU）1902a、1902b、1902c、1902d、無線電存取網路（RAN）1903/1904/1905、核心網路1906/1907/1909，公共交換電網路（PSTN）1908、網際網路1910以及其他網路1912，但是應該理解，所公開的實施方式考慮到了任何數量的WTRU、基地台、網路和/或網路元件。WTRU 1902a、1902b、1902c、1902d中的每個WTRU可以是被配置成在無線環境中操作和/或通信的任何類型的裝置。舉個例子，WTRU 1902a、1902b、1902c、1902d可以被配置成傳送和/或接收無線信號，並且可以包括用戶設備（UE）、移動站、固定或移動訂戶單元、傳呼機、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、上網本、個人電腦、無線感測器、消費類電子產品、或者能夠接收和處理被壓縮的視頻通信的任意其他的終端。
通信系統1900還可以包括基地台1914a和基地台1914b。基地台1914a和1914b中的每個基地台可以是被配置成與WTRU 1902a、1902b、1902c、1902d中的至少一個WTRU有無線介面以便促成對一個或多個通信網路（例如核心網路1906/1907/1909、網際網路1910和/或網路1912）的存取的任何類型的裝置。舉個例子，基地台1914a、1914b可以是基地台收發台（BTS）、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點（AP）、無線路由器等等。雖然基地台1914a、1914b都各自被描述成是單個元件，但是應該理解，基地台1914a、1914b可以包括任何數量的互連基地台和/或網路元件。
基地台1914a可以是RAN 1903/1904/1905的一部分，其中該RAN 1903/1904/1905還可以包括其他基地台和/或網路元件（未示出），如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等等。基地台1914a和/或基地台1914b可以被配置成在被稱為胞元（未示出）的特定地理區域內傳送和/或接收無線信號。該胞元還可以被劃分成胞元磁區。例如，與基地台1914a相關聯的胞元可以被分成三個磁區。因此在一個實施方式中，基地台1914a可以包括三個收發器，也就是說，胞元的每一個磁區都具有一個收發器。在另一實施方式中，基地台1914a可以使用多輸入多輸出（MIMO）技術，並且由此可以針對胞元中的每個磁區使用多個收發器。
基地台1914a、1914b可以通過空中介面1915/1916/1917與WTRU 1902a、1902b、1902c、1902d中的一個或多個WTRU進行通信，其中該空中介面1915/1916/1917可以是任何適當的無線通信鏈路（例如，射頻（RF）、微波、紅外線（IR）、紫外線（UV）、可見光等等）。該空中介面1915/1916/1917可以使用任何適當的無線電存取技術（RAT）來建立。
更具體地說，如上所述，通信系統1900可以是多重存取系統，並且可以使用一種或多種通道存取方案，如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 1903/1904/1905中的基地台1914a和WTRU 1902a、1902b、1902c可以實施如通用移動電信系統（UMTS）陸地無線電存取（UTRA）之類的無線電技術，該無線電技術可以使用寬頻CDMA（WCDMA）來建立空中介面1915/1916/1917。WCDMA可以包括如高速封包存取（HSPA）和/或演進型HSPA（HSPA+）之類的通信協定。HSPA則可以包括高速下行鏈路封包存取（HSDPA）和/或高速上行鏈路封包存取（HSUPA）。
在另一實施方式中，基地台1914a和WTRU 1902a、1902b、1902c可以實施如演進型UMTS陸地無線電存取（E-UTRA）之類的無線電技術，該無線電技術可以使用長期演進（LTE）和/或高級LTE（LTE-A）來建立空中介面1915/1916/1917。
在其他實施方式中，基地台1914a和WTRU 1902a、1902b、1902c可以實施如IEEE 802.16（即全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時（Interim）標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球移動通信系統（GSM）、用於GSM演進的增強型資料速率（EDGE）、GSM EDGE（GERAN）等之類的無線電存取技術。
第19A圖中的基地台1914b可以例如是無線路由器、家用節點B、家用e節點B或存取點，並且可以使用任何適當的RAT來促成局部區域（如營業場所、住宅、車輛、校園等等）中的無線連接。在一個實施方式中，基地台1914b和WTRU 1902c、1902d可以實施如IEEE 802.11之類的無線電技術來建立無線區域網路（WLAN）。在另一實施方式中，基地台1914b和WTRU 1902c、1902d可以實施如IEEE 802.15之類的無線電技術來建立無線個人區域網路（WPAN）。在另一實施方式中，基地台1914b和WTRU 1902c、1902d可以使用基於胞元的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等等）來建立微微胞元（picocell）或毫微微胞元（femtocell）。如第19A圖所示，基地台1914b可以具有到網際網路1910的直接連接。由此，基地台1914b可以不需要經由核心網路1906/1907/1909來存取網際網路1910。
RAN 1903/1904/1905可以與核心網路1906進行通信，其中該核心網路1906可以是被配置成向WTRU 1902a、1902b、1902c、1902d中的一個或多個WTRU提供語音、資料、應用和/或網際網路協定語音（VoIP）服務的任何類型的網路。例如，核心網路1906/1907/1909可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視頻分發等等，和/或執行高級安全功能，例如用戶認證。雖然沒有在第19A圖中示出，但是應該理解，RAN 1903/1904/1905和/或核心網路1906/1907/1909可以直接或間接地和其他那些使用了與RAN 1903/1904/1905相同的RAT或不同RAT的RAN進行通信。例如，除了與可以使用E-UTRA無線電技術的RAN 1903/1904/1905相連接之外，核心網路1906/1907/1909還可以與另一個使用GSM無線電技術的RAN（未示出）進行通信。
核心網路1906/1907/1909還可以充當供WTRU 1902a、1902b、1902c、1902d存取PSTN 1908、網際網路1910和/或其他網路1912的閘道。PSTN 1908可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路1910可以包括使用了公共通信協定的全球性互聯電腦網路裝置系統，該公共通信協定例如TCP/IP網際網路協定族中的傳輸控制協定（TCP）、用戶資料報協定（UDP）和網際網路協定（IP）。網路1912可以包括由其他服務供應商擁有和/或營運的有線或無線通信網路。例如，網路1912可以包括與一個或多個RAN相連的另一個核心網路，其中所述一個或多個RAN可以使用與RAN 1903/1904/1905相同的RAT或不同的RAT。
通信系統1900中的WTRU 1902a、1902b、1902c、1902d的一些或全部WTRU可以包括多模式能力，也就是說，WTRU 1902a、1902b、1902c、1902d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器。例如，第19A圖所示的WTRU 1902c可以被配置成與可以使用基於胞元的無線電技術的基地台1914a通信，以及與可以使用IEEE 802無線電技術的基地台1914b通信。
第19B圖是示例WTRU 1902的系統圖示。如第19B圖所示，WTRU 1902可以包括處理器1918、收發器1920、發射/接收元件1922、揚聲器/麥克風1924、數字鍵盤1926、顯示器/觸摸板1928、不可移動記憶體1930、可移動記憶體1932、電源1934、全球定位系統（GPS）晶片組1936以及其他週邊設備1938。應該理解的是，在保持符合實施方式的同時，WTRU 1902可以包括前述元件的任何子組合。此外，實施方式考慮了基地台1914a和1914b，和/或基地台1914a和1914b可以表示的節點(例如但不局限於基地台收發台（BTS）、節點B、站點控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道、以及代理節點等等)可以包括第19B圖中示出的和這裏所描述的元素中的一些或全部。
處理器1918可以是通用處理器、專用處理器、常規處理器、數位信號處理器（DSP）、圖形處理單元（GPU）、多個微處理器、與DSP核相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可編程閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等等。處理器1918可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、和/或任何其他能使WTRU 1902在無線環境中進行操作的功能。處理器1918可被耦合至收發器1920，該收發器1920可被耦合至發射/接收元件1922。雖然第19B圖將處理器1918和收發器1920描述成是分別的元件，但是應該理解，處理器1918和收發器1920可以被整合在一個電子封裝或晶片中。
發射/接收元件1922可以被配置成通過空中介面1915/1916/1917將信號傳送到基地台（例如，基地台1914a），或從基地台（例如，基地台1914a）接收信號。例如，在一個實施方式中，發射/接收元件1922可以是被配置成傳送和/或接收RF信號的天線。在另一實施方式中，發射/接收元件1922可以是被配置成傳送和/或接收例如IR、UV或可見光信號的發射器/檢測器。在另一實施方式中，發射/接收元件1922可以被配置成傳送和接收RF和光信號兩者。應該理解的是，發射/接收元件1922可以被配置成傳送和/或接收無線信號的任何組合。
此外，雖然在第19B圖中將發射/接收元件1922描述成是單個元件，但是WTRU 1902可以包括任何數量的發射/接收元件1922。更具體地說，WTRU 1902可以使用MIMO技術。因此在一個實施方式中，WTRU 1902可以包括兩個或多個通過空中介面1915/1916/1917來傳送和接收無線信號的發射/接收元件1922（例如，多個天線）。
收發器1920可以被配置成對發射/接收元件1922將要傳送的信號進行調變，以及對發射/接收元件1922接收到的信號進行解調。如上所述，WTRU 1902可以具有多模式能力。由此，收發器1920可以包括允許WTRU 1902經由如UTRA和IEEE 802.11之類的多種RAT來進行通信的多個收發器。
WTRU 1902的處理器1918可被耦合至下述設備，並且可以從下述設備中接收用戶輸入資料：揚聲器/麥克風1924、數字鍵盤1926和/或顯示器/觸摸板1928（例如，液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）。處理器1918還可以輸出用戶資料至揚聲器/麥克風1924、數字鍵盤1926和/或顯示器/觸摸板1928。此外，處理器1918可以從任何適當的記憶體（例如不可移動記憶體1930和/或可移動記憶體1932）中存取資訊，以及將資料存入這些記憶體。所述不可移動記憶體1930可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或是其他任何類型的記憶儲存裝置。可移動記憶體1932可以包括訂戶身份模組（SIM）卡、記憶棒、安全數字（SD）記憶卡等等。在其他實施方式中，處理器1918可以從那些並非實體地位於WTRU 1902上的記憶體（例如位於伺服器或家用電腦（未示出）的記憶體）上存取資訊，以及將資料存入這些記憶體。
處理器1918可以接收來自電源1934的電力，並且可以被配置成分發和/或控制給WTRU 1902中的其他組件的電力。電源1934可以是為WTRU 1902供電的任何適當的裝置。例如，電源1934可以包括一個或多個乾電池（例如，鎳鎘（NiCd）、鎳鋅（NiZn）、鎳金屬氫化物（NiMH）、鋰離子（Li-ion）等等）、太陽能電池、燃料電池等等。
處理器1918還可被耦合至GPS晶片組1936，該GPS晶片組1936可以被配置成提供與WTRU 1902的當前位置相關的位置資訊（例如，經度和緯度）。WTRU 1902可以通過空中介面1915/1916/1917接收來自基地台（例如，基地台1914a、1914b）的加上或取代GPS晶片組1936資訊之位置資訊，和/或根據從兩個或多個附近基地台接收到的信號定時來確定其位置。應該瞭解的是，在保持符合實施方式的同時，WTRU 1902可以藉由任何適當的位置確定方法來獲取位置資訊。
處理器1918還可被耦合至其他週邊設備1938，該週邊設備可以包括提供附加特徵、功能和/或有線或無線連接的一個或多個軟體和/或硬體模組。例如，週邊設備1938可以包括加速計、電子指南針、衛星收發器、數位相機（用於照片和視頻）、通用串列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視頻遊戲機模組、網際網路流覽器等等。
第19C圖是根據一個實施方式的RAN 1903和核心網路1906的系統圖示。如上所述，RAN 1903可以使用UTRA無線電技術通過空中介面1915來與WTRU 1902a、1902b、1902c進行通信。RAN 1904還可以與核心網路1906進行通信。如第19C圖所示，RAN 1903可以包括節點B 1940a、1940b、1940c，該節點B 1940a、1940b、1940c中的每個都可以包括一個或多個收發器，以便通過空中介面1915來與WTRU 1902a、1902b、1902c進行通信。節點B 1940a、1940b、1940c中的每個都可以與RAN 1903中的特定胞元（未示出）相關聯。RAN 1903還可以包括RNC 1942a和1942b。應該理解的是，在保持符合實施方式的同時，RAN 1903可以包括任意數量的節點B和RNC。
如第19C圖所示，節點B 1940a、1940b可以與RNC 1942a通信。此外，節點B 1940c可以與RNC 1942b通信。節點B 1940a、1940b、1940c可經由Iub介面與各自的RNC 1942a、1942b通信。RNC 1942a、1942b可經由Iur介面彼此通信。RNC 1942a、1942b中的每個可以被配置成控制其所連接之各自的節點B 1940a、1940b、1940c。此外，RNC 1942a、1942b中的每個可以被配置成執行或支援其他功能，如外環功率控制、負載控制、許可控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第19C圖中示出的核心網路1906可以包括媒體閘道（MGW）1944、移動交換中心（MSC）1946、服務GPRS支援節點（SGSN）1948和/或閘道GPRS支持節點（GGSN）1950。雖然前述的每個元件均被描述成是核心網路1906的一部分，但應該理解的是，這些元件中的任何一個都可被核心網路營運商之外的其他實體擁有和/或營運。
RAN 1903中的RNC 1942a可經由IuCS介面與核心網路1906中的MSC 1946相連接。MSC 1946可與MGW 1944相連接。MSC 1946和MGW 1944可以為WTRU 1902a、1902b、1902c提供針對如PSTN 1908的電路交換網路的存取，以便促成WTRU 1902a、1902b、1902c和傳統的陸線通信裝置之間的通信。
RAN 1903中的RNC 1942a還可以經由IuPS介面與核心網路1906中的SGSN 1948相連接。SGSN 1948可與GGSN 1950相連接。SGSN 1948和GGSN 1950可以為WTRU 1902a、1902b、1902c提供針對如網際網路1910的封包交換網路的存取，以便促成WTRU 1902a、1902b、1902c和IP致能裝置之間的通信。
如上所述，核心網路1906還可以與網路1912相連接，其中該網路1912可以包括由其他服務供應商擁有和/或營運的其他有線或無線網路。
第19D圖是根據一個實施方式的RAN 1904和核心網路1907的系統圖示。如上所述，RAN 1904可以使用E-UTRA無線電技術通過空中介面1916與WTRU 1902a、1902b、1902c進行通信。RAN 1904還可以與核心網路1907進行通信。
RAN 1904可以包括e節點B 1960a、1960b、1960c，但是應當理解的是，在保持符合實施方式的同時，RAN 1904可以包括任何數量的e節點B。e節點B 1960a、1960b、1960c都可以各自包括一個或多個收發器，用於通過空中介面1916與WTRU 1902a、1902b、1902c進行通信。在一個實施方式中，e節點B 1960a、1960b、1960c可以實施MIMO技術。因此，e節點B 1960a例如可以使用多個天線來向WTRU 1902a傳送無線信號，以及接收來自WTRU 1902a的無線信號。
e節點B 1960a、1960b、1960c中的每一個可以與特定胞元（未示出）相關聯，並且可以被配置成處理無線電資源管理決策、切換決策、上行鏈路和/或下行鏈路中的用戶排程等等。如第19D圖所示，e節點B 1960a、1960b、1960c可通過X2介面彼此通信。
第19D圖所示的核心網路1907可以包括移動性管理閘道（MME）1962、服務閘道1964和封包資料網路（PDN）閘道1966。雖然前述的每個元件均被描述成是核心網路1907的一部分，但應該理解的是，這些元件中的任何一個都可被核心網路營運商之外的其他實體擁有和/或營運。
MME 1962可經由S1介面與RAN 1904中的e節點B 1960a、1960b、1960c中的每一個相連接，並且可以充當控制節點。例如，MME 1962可以負責認證WTRU 1902a、1902b、1902c的用戶、承載啟動/去啟動、在WTRU 1902a、1902b、1902c的初始附著期間選擇特定的服務閘道等等。MME 1962還可以提供控制面功能，以便在RAN 1904和使用如GSM或WCDMA之類的其他無線電技術的其他RAN（未示出）之間進行交換。
服務閘道1964可經由S1介面與RAN 1904中的e節點B 1960a、1960b、1960c中的每一個相連接。服務閘道1964通常可以路由和轉發通往/來自WTRU 1902a、1902b、1902c的用戶資料封包。服務閘道1964還可以執行其他功能，如在e節點B間切換過程中錨定用戶面，在下行鏈路資料可用於WTRU 1902a、1902b、1902c的時候觸發傳呼，管理和儲存WTRU 1902a、1902b、1902c的上下文等等。
服務閘道1964還可以與PDN閘道1966相連接，該PDN閘道1966可以向WTRU 1902a、1902b、1902c提供到如網際網路1910之類的封包交換網路的存取，以便促成WTRU 1902a、1902b、1902c和IP致能裝置之間的通信。
核心網路1907可以促成與其他網路的通信。例如，核心網路1907可以向WTRU 1902a、1902b、1902c提供到如PSTN 1908之類的電路交換網路的存取，以便促成WTRU 1902a、1902b、1902c與傳統的陸線通信裝置之間的通信。例如，核心網路1907可以包括充當核心網路1907與PSTN 1908之間的介面的IP閘道（例如，IP多媒體子系統（IMS）伺服器），或與該IP閘道進行通信。此外，核心網路1907可以向WTRU 1902a、1902b、1902c提供針對網路1912的存取，其中該網路1912可以包括由其他服務供應商擁有和/或營運的其他有線或無線網路。
第19E圖是根據一個實施方式的RAN 1905和核心網路1909的系統圖示。RAN 1905可以是使用IEEE 802.16無線電技術通過空中介面1917與WTRU 1902a、1902b、1902c進行通信的存取服務網路（ASN）。如下面將要進一步討論的，WTRU 1902a、1902b、1902c的不同功能實體、RAN 1905以及核心網路1909之間的通信鏈路可以被定義為參考點。
如第19E圖所示，RAN 1905可以包括基地台1980a、1980b、1980c以及ASN閘道1982，但應該理解的是，在保持符合實施方式的同時，RAN 1905可以包括任意數量的基地台和ASN閘道。基地台1980a、1980b、1980c中的每一個都可以與RAN 1905中的特定胞元（未示出）相關聯，並且每一個都包括一個或多個收發器，以用於通過空中介面1917與WTRU 1902a、1902b、1902c進行通信。在一個實施方式中，基地台1980a、1980b、1980c可以實施MIMO技術。因此，基地台1980a例如可以使用多個天線來向WTRU 1902a傳送無線信號，以及接收來自WTRU 1902a的無線信號。基地台1980a、1980b、1980c還可以提供移動性管理功能，如交遞觸發、隧道（tunnel）建立、無線電資源管理、訊務分類、服務品質（QoS）策略增強等等。ASN閘道1982可以充當訊務彙聚點，並且可以負責傳呼、訂戶簡檔的快取、到核心網路1909的路由等等。
WTRU 1902a、1902b、1902c和RAN 1905之間的空中介面1917可以被定義為R1參考點，該R1參考點實施IEEE 802.16規範。此外，WTRU 1902a、1902b、1902c中的每一個可以與核心網路1909建立邏輯介面（未示出）。WTRU 1902a、1902b、1902c和核心網路1909之間的邏輯介面可以被定義為R2參考點，該R2參考點可以用於認證、授權、IP主機配置管理、和/或移動性管理。
基地台1980a、1980b、1980c中的每一個之間的通信鏈路可以被定義為R8參考點，該R8參考點包括促成WTRU切換和基地台間的資料傳送的協定。基地台1980a、1980b、1980c和ASN閘道1982之間的通信鏈路可以被定義為R6參考點。該R6參考點可以包括用於基於與WTRU 1902a、1902b、1902c中的每一個相關聯的移動性事件來促成移動性管理的協定。
如第19E圖所示，RAN 1905可以與核心網路1909相連接。RAN 1905和核心網路1909之間的通信鏈路可以被定義為R3參考點，該R3參考點包括例如促成資料傳送和移動性管理能力的協定。核心網路1909可以包括移動IP家庭代理（MIP-HA）1984，認證、授權、計費（AAA）伺服器1986以及閘道1988。雖然前述每個元件均被描述成是核心網路1909的一部分，但應該瞭解的是，這些元件中的任何一個都可被核心網路營運商之外的其他實體擁有和/或營運。
MIP-HA 1984可以負責IP位址管理，並且能使WTRU 1902a、1902b、1902c在不同的ASN和/或不同的核心網路之間漫遊。MIP-HA 1984可以為WTRU 1902a、1902b、1902c提供到如網際網路1910之類的封包交換網路的存取，以便促成WTRU 1902a、1902b、1902c和IP致能裝置之間的通信。AAA伺服器1986可以負責用戶認證和支援用戶服務。閘道1988可以促成與其他網路的交互工作。例如，閘道1988可以為WTRU 1902a、1902b、1902c提供到如PSTN 1908之類的電路交換網路的存取，以便促成WTRU 1902a、1902b、1902c與傳統的陸線通信裝置之間的通信。此外，閘道1988可以向WTRU 1902a、1902b、1902c提供針對網路1912的存取，其中該網路1912可以包括由其他服務供應商擁有和/或營運的其他有線或無線網路。
儘管沒有在第19E圖中顯示，但是應當理解的是，RAN 1905可以與其他ASN相連接，並且核心網路1909可以與其他核心網路相連接。RAN 1905和其他ASN之間的通信鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 1905和其他ASN之間的WTRU 1902a、1902b、1902c的移動性的協定。核心網路1909和其他核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括用於促成家庭核心網路和訪問的核心網路之間的交互工作的協定。
這裏描述的過程可以在引入到電腦可讀媒體中由電腦和/或處理器運行的電腦程式、軟體或韌體中實施。關於電腦可讀媒體的示例包括電信號（經由有線或無線連接傳送）以及電腦可讀儲存媒體。關於電腦可讀媒體的示例包括但不局限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶裝置、例如但不限於內部硬碟和可移動磁片之類的磁媒體、磁光媒體、以及如CD-ROM碟片和數位多用途碟片（DVD）之類的光媒體。與軟體相關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC和/或任何主電腦中使用的射頻收發器。
1、在最上列最右邊的像素602（如，標記為T）可以被複製以預測在最右邊行中的像素；
2、在左邊行的底部像素604（如，標記為L）可以被複製以預測在最底部列的像素；
3、在水準方向中的雙線性內插（如，塊606）可以被執行以產生中心像素的第一預測H(x,y)；
4、在垂直方向中的雙線性內插（如，塊608）可以被執行以產生中心像素的第二預測V(x,y)；以及
5、在水準預測與垂直預測之間的額外平均可以被執行以例如使用L(x,y) = ((H(x,y)+V(x,y))>>1)來獲得最終預測L(x,y)。
使用基於塊的內部預測的實施方式，整個塊可以根據在當前塊的左邊和/或右邊的重建的鄰近像素來被預測。對於位於朝向塊的右邊和底部的像素，可以用於預測的像素與像素之間的距離會增加。例如，由於預測像素與被預測的像素之間的距離增加，這些像素之間的相關性會降低，並且預測準確性會降低。準確性的降低可以因更大的塊尺寸而進一步被惡化（如，對於支持使用更大的塊尺寸（如16×16及以上）的內部預測的HEVC）。
實施方式（如，基於線的內部編碼）可以解決在像素距離增加時，有關於降低的預測準確性的問題。基於線的預測實施方式可以一次預測塊的一條線，而不是從頂部和左邊鄰區來將預測應用到整個塊。由於每條線都被預測和重建，因此其可以用於預測下一條線。基於線的內部預測實施方式可以逐列或逐行地被執行。基於線的內部編碼實施方式可以被引入到稱為短距離內部預測或SDIP的實施方式中。SDIP實施可以將每個大小為N×N的方形塊（例如，N×N可以是在4×4到64×64之間的任何值）分割成大小為M×K的矩形塊的組合。當M或K中的一者為1時，SDIP就可以等價於基於線的內部預測。像素可以被一個矩形一個矩形地預測和重建。第7圖是示出了在32×32的塊上的SDIP的示例的圖示。32×32的塊可以被分割成4個16×16的塊。例如注意左下方的16×16的塊，其可以被分割成4個4×16的矩形塊。最左邊的4×16的塊可以進一步被分割成4個1×16的垂直線，並且之後被逐線地預測和重建。剩餘的3個4×16的矩形塊可以一個矩形一個矩形地被預測和重建。SDIP可以提供分割視頻塊的靈活的方法。視頻編碼器可以搜索不同的組合來找到最佳的分割模式。
基於線的內部預測和SDIP可以縮短預測像素和那些被預測的像素之間的距離。基於線的內部預測和SDIP可以例如增加在編碼器一側和/或解碼器一側處的計算的複雜性和實施的複雜性。為了支持各種矩形塊大小，變換、量化、殘差係數掃描和熵編碼可以被改變。編碼器可以搜索很多例如這裏描述的額外的模式。
這裏描述的實施方式可以涉及被稱為與模式有關的二次採樣內部預測（MDS-IP）的內部預測技術。MDS-IP可以緩和以及減少當像素距離增加時預測準確性的降低。在實施MDS-IP時，變換、量化、殘差係數掃描和熵編碼過程可以被略微地修改。當選擇最佳預測模式時，編碼器可能不會考慮任何額外的模式，或當選擇最佳預測模式時，編碼器可以考慮一個或多個額外的模式。
術語“視頻塊”在這裏可以被用作擴展的通用術語。這裏描述的實施方式可以應用到各種視頻塊，例如，但不限於亮度分量的塊和色度分量的塊。術語“樣本”和“像素”可以交替使用。術語“二次採樣的塊”和“子塊”可以交替使用。
第8圖是示出了實施MDS-IP的編碼器800的示例的框圖。MDS-IP編碼器框圖可以被引入到編碼器中（例如，類似於第1圖中所示的編碼器100的編碼器）（如，在空間預測方框160處）。編碼器（如，經由處理器）可以接收包括一個或多個視頻塊的視頻流。編碼器可以在視頻塊上執行二次採樣，其可以將視頻塊分割成第一二次採樣的塊810和一個或多個剩餘的二次採樣的塊826。例如，在接收預測模式之後並基於該預測模式（例如，這裏所描述的預測模式中的一者），特定的二次採樣實施方式可以由與模式有關的二次採樣單元840執行。預測模式可以例如通過模式決定和編碼器控制器（如第1圖中的模式決定和編碼器控制器180）來被確定。因為二次採樣，輸入視頻塊的一部分（如，二分之一或四分之一）可以被保留作為二次採樣的塊810。二次採樣的塊810可以被稱為第一子塊。塊的其他部分（如，二次採樣期間“移除的”塊的部分）可以被稱為剩餘子塊826（如第8圖所示）。剩餘子塊826可以包括遺漏（missing）像素。
二次採樣實施方式可以是一個抽取（decimation）過程。二次採樣實施方式是涉及減採樣（downsample）濾波器的相對更加複雜的過程。預測的二次採樣的塊812可以由內部預測單元842基於預測模式確定（如，生成）。內部預測單元842可以接收鄰近像素，例如，如這裏所描述的那些（如，參考第9圖至第17圖）。預測模式可以例如是這裏所描述的定向或非定向內部預測模式中的任意一者。例如，定向預測模式可以是垂直預測模式、水準預測模式、對角預測模式、或非對角預測模式。例如，非定向預測模式可以是DC預測模式或平面預測模式。預測的二次採樣的塊812可以由加法器820從二次採樣的塊810中減去，以獲得二次採樣的塊殘差822。二次採樣的塊殘差822可以在變換和量化方框832處被變換和量化。變換和量化方框832可以生成與二次採樣的塊810相關聯的塊係數。二次採樣的塊殘差822（例如，與二次採樣的塊810相關聯的塊係數）可以在反量化和反變換方框834處被反量化和反變換，以獲得重建的二次採樣的塊殘差824。重建的二次採樣的塊殘差824可以在加法器848處被加入到預測的二次採樣的塊812，以形成重建的二次採樣的塊814。
例如，變換和量化方框832可以使用一組（如，第一組）變換和量化參數。由變換和量化方框832使用的該組變換和量化參數可以是基於非方形變換（non-square shaped transform）的。非方形變換可以包括多個方形變換。由變換和量化方框832使用的該組變換和量化參數可以與形狀自適應離散餘弦變換相關聯。
例如，反量化和反變換方框834可以使用一組（如，第一組）反量化和反變換參數。由反量化和反變換方框834使用的該組反量化和反變換參數可以是基於非方形變換的。非方形變換可以包括多個方形變換。由反量化和反變換方框834使用的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。
重建的二次採樣的塊814可以由與模式有關的內插單元844進行內插來生成對包括遺漏樣本的一個或多個二次採樣的塊816的預測，其可以基於預測模式。由與模式有關的內插單元844執行的特定的內插過程可以與模式有關。例如，由與模式有關的內插單元844執行的特定的內插過程可以是與模式有關的二次採樣過程的逆過程，該與模式有關的二次採樣過程由與模式有關的二次採樣單元840利用。由於預測像素與那些將被預測的像素之間的距離可以被減少（如，可以被顯著地減少），對包括遺漏樣本的一個或多個二次採樣的塊816的預測準確性可以相對地增加。
仍參考第8圖，對應於包括遺漏樣本的一個或多個二次採樣的塊816的預測殘差可以在變換和量化方框836處被變換和量化。變換和量化方框836可以生成與剩餘的子塊826相關聯的塊係數。與包括遺漏樣本的一個或多個二次採樣的塊816對應的預測殘差（如，與剩餘子塊826相關聯的塊係數）可以是在反量化和反變換方框838處之反量化和反變換。重建的殘差可以被加回至包括遺漏樣本的預測的一個或多個二次採樣的塊816，以形成包括遺漏樣本的重建的一個或多個二次採樣的塊818。重建的二次採樣的塊814和包括遺漏樣本的重建的一個或多個二次採樣的塊818可以形成輸入視頻塊的編碼表示（如，重建的視頻塊）。輸入視頻塊的編碼表示的形成可以基於預測模式。
例如，變換和量化方框836可以使用一組（如，第二組）變換和量化參數。由變換和量化方框836使用的該組變換和量化參數可以基於非方形變換。非方形變換可以包括多個方形變換。由變換和量化方框836使用的該組變換和量化參數可以與形狀自適應離散餘弦變換相關聯。
例如，反量化和反變換方框838可以使用一組（如，第二組）反量化和反變換參數。由反量化和反變換方框838使用的該組反量化和反變換參數可以基於非方形變換。非方形變換可以包括多個方形變換。由反量化和反變換方框838使用的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。
變換和量化方框836可以使用或不使用與變換和量化方框832所使用的參數相同的參數（如，第二組變換和量化參數可以與第一組變換和量化參數相同或不同）。反量化和反變換方框838可以使用或不使用與反量化和反變換方框834所使用的參數相同的參數（如，第二組反量化和反變換參數可以與第一組反量化和反變換參數相同或不同）。
使用二次採樣的塊810來預測包括遺漏樣本的一個或多個二次採樣的塊816可以通過減少預測像素與將被預測的那些像素之間的距離來改善預測準確性。較好的預測準確性可以使預測殘差能量減少，其可以使用於對這些殘差信號進行編碼的位元數量大幅減少。當在水準維度（dimension）和/或垂直維度中以因數2執行二次採樣時，所得到的二次採樣的塊的大小可以是規則的。例如，如果輸入視頻塊的大小為2N×2N，則二次採樣的塊的大小可以為2N×N、N×2N或N×N。為了處理大小為2N×N或N×2N的二次採樣的塊，例如，為方形塊設計的塊變換和係數掃描順序可以被應用，而不需要進一步改變。例如，對於大小為2N×N或N×2N的二次採樣的塊，二次採樣的塊可以通過按照為方形塊設計的係數掃描順序來應用兩次（2）N×N變換而被處理。為支援2N×N或N×2N的塊大小，對塊變換和係數掃描順序的修改可以被應用，以實現改進的編碼效率。
二次採樣可以在多於一個方向上被執行。每個方向上的二次採樣速率可以相同或不同。例如，二次採樣可以在第一方向上以第一二次採樣速率被執行，以及在第二維度上以第二二次採樣速率被執行。第一二次採樣速率可以與第二二次採樣速率相同或不同。
對於包括遺漏樣本的一個或多個二次採樣的塊816，變換和量化單元836以及反量化和反變換單元838可以例如被跳過（如，預測殘差可以不被編碼），因為使用與模式有關的內插單元844的預測過程可以足夠準確，因此殘差編碼可以被跳過。變換和量化單元836以及反變換和反量化單元838可以分成兩步或更多步驟，並且可以以級聯的方式被執行，如這裏所描述的。
關於是否執行MDS-IP實施方式的決定可以在編碼之前決定。例如，MDS-IP可以針對特定大小的塊和特定預測模式而被執行。在位元流中沒有額外的信令發送被需要。選擇可以由編碼器例如基於一個或多個參數（例如但不限於速率失真最佳化的考慮）來即時（on-the-fly）決定。額外的語法元素可以在位元流（如，位元流120）中被用信號發送，以轉達給可以使用實施方式（如，MDS-IP）的解碼器。決定可以例如基於塊的大小。取決於不同塊的大小，該不同塊可能或多或少存在距離導致的預測準確性的問題。
雖然參考第8圖描述了編碼器，但實施MDS-IP的解碼器可以包括參考第8圖所描述的一個或多個元素，和/或可以執行類似的實施方式（如，逆實施方式）以對所編碼的視頻流進行解碼。MDS-IP解碼器框圖可以被引入到解碼器（例如，與第2圖所示的解碼器200類似的解碼器）（如，在空間預測方框260處）。例如，雖然變換和量化以及反量化和反變換可以由編碼器在子塊810和剩餘子塊826上執行，但在根據與第一子塊810和剩餘子塊826相關聯的一個或多個塊係數來重建視頻塊時，解碼器可以執行反量化和反變換而不執行變換和量化。
第20圖是示出了實施與模式有關的二次採樣內部預測（MDS-IP）的解碼器的示例的框圖。MDS-IP解碼器2000可以被引入到解碼器（例如，與第2圖所示的解碼器200類似的解碼器）（如，在空間預測方框260處）。MDS-IP解碼器2000（如，經由處理器）可以接收編碼的視頻流。該編碼的視頻流可以包括表示一個或多個編碼的視頻塊的一個或多個塊係數。編碼的視頻塊可以是編碼的視頻流的亮度分量或色度分量。一個或多個編碼的視頻塊中的每個編碼的視頻塊可以被分割成第一子塊和一個或多個剩餘子塊。在接收與第一子塊相關聯的塊係數2010之後，解碼器可以在反量化和反變換單元2034處執行對塊係數2010的反量化和反變換，以生成對應於第一子塊的重建的殘差2024。在接收與一個或多個剩餘子塊相關聯的一個或多個塊係數2026之後，解碼器可以在反量化和反變換單元2038處執行對一個或多個塊係數2026的反量化和反變換，以生成對應於一個或多個剩餘子塊的重建的殘差2028。
解碼器可以接收對視頻塊的預測模式的指示，並基於該預測模式確定一個或多個內插技術。例如，內部預測單元2042可以接收對所述視頻塊的預測模式的指示。內部預測單元2042還可以接收鄰近像素，例如，如這裏所描述的那些（如，參考第9圖至第17圖）。解碼器可以基於預測模式、使用內部預測來確定預測的第一子塊2012。解碼器可以將該預測的第一子塊2012加入到對應於第一子塊的重建的殘差2024，以生成重建的第一子塊2014。解碼器可以基於一個或多個內插技術來為視頻塊確定一個或多個剩餘子塊的預測的子塊2016。一個或多個剩餘子塊的預測的子塊2016可以由與模式有關的內插單元2044確定。一個或多個內插技術可以基於預測模式。解碼器可以將一個或多個剩餘子塊的預測的子塊2016加入到對應於一個或多個剩餘子塊的重建的殘差2028，以生成一個或多個重建的剩餘子塊2018。解碼器可以基於預測模式、重建的第一子塊2014以及一個或多個重建的剩餘子塊2018來形成重建的視頻塊。
對應於第一子塊的重建的殘差2024可以使用一組（如，第一組）反量化和反變換參數來被生成。用於生成對應於第一子塊的重建的殘差2024的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。與預測的第一子塊相關聯的反變換係數可以包括非方形變換。該非方形變換可以包括多個方形變換。對應於一個或多個剩餘子塊的重建的殘差2028可以使用一組（如，第二組）反量化和反變換參數來被生成。用於生成對應於一個或多個剩餘子塊的重建的殘差2028的該組反量化和反變換參數可以與形狀自適應離散餘弦變換相關聯。用於生成對應於第一子塊的重建的殘差2024的那組反量化和反變換參數可以與用於生成對應於一個或多個剩餘的子塊的重建的殘差2028的那組反量化和反變換參數相同或不同。
第9圖（A）是示出了使用水準模式對8×8的塊進行的示例預測過程的圖示。如第9圖（A）所示的箭頭，來自已經編碼的鄰區的預測像素902可以使用等式（1）來被從行0傳播到行7，以預測8×8的塊904。第9圖（B）至第9圖（C）是示出了針對8×8的塊的示例MDS-IP過程的圖示。雖然示出的是8×8的塊，但MDS-IP可以用於具有各種尺寸的塊。在MDS-IP過程中，8×8的塊可以在水準預測中被減採樣。第9圖（B）和第9圖（C）分別示出了減採樣前和減採樣後的8×8的塊。在二次採樣之後保留在子塊中的像素可以為第9圖（B）中的陰影。因為二次採樣，二次採樣的塊910可以包括行1、3、5和7（如第9圖（C）所示）。2:1的二次採樣速率可以被使用（例如，如第9圖（A）至第9圖（D）所示出的）。各種二次採樣速率可以被使用。行1、3、5和7可以在水準方向上被預測（例如，如可以由第9圖（C）中的箭頭所指示的）來形成預測的二次採樣的塊812（如，第8圖）。二次採樣的塊的殘差可以通過變換、量化、反變換、和反量化來形成重建的預測殘差824。重建的預測殘差824可以被加入到預測的二次採樣的塊812中來形成重建的二次採樣的塊814。為方形塊所設計的塊變換和係數掃描可以被使用。例如，兩個4×4的塊變換可以由單元832和834使用以完成變換和量化以及之後的反量化和反變換。可以做出對塊變換和係數掃描順序的修改，以支援矩形塊（例如，在第9圖（C）中的4×8的塊）。例如，可由單元832和834使用4×8的塊變換和恰當的係數掃描。
包括遺漏行0、2、4和6的4×8像素的第二二次採樣的塊可以通過根據已經編碼的鄰近行和在行1、3、5、7中重建的像素進行內插而被預測（如，第9圖（D）中所示）。多種內插濾波器可以被應用。例如，雙線性濾波器、係數為[1 -5 20 20 -5 1]/32的6抽頭（6-tap）濾波器、係數為[1 3 3 1]/8的4抽頭濾波器，和/或具有其他抽頭長度的其他內插濾波器可以被應用。第9圖（D）示出了在水準方向使用兩個鄰近像素的內插。在內插處理中可以涉及多個像素（例如，當更長抽頭長度的濾波器被使用時）。為水準預測模式執行水準減採樣可以基於從水準預測模式中獲益的塊可以在水準方向中具有很強的像素相關性的前提。其他預測模式可以使用其他減採樣處理。第二二次採樣的塊的殘差可以例如使用兩個方形塊變換或一個矩形塊變換和適合的係數掃描按照步驟836和836而被編碼（如，第8圖）。如果與模式有關的內插提供合適的結果，則對第二二次採樣的塊的殘差的確定可以被跳過（如，不編碼）。
MDS-IP實施方式可以被應用到垂直模式中（如，第9圖的調換版本），其中垂直減採樣可以被執行以保持一半的像素列，第一半像素列可以被預測和被編碼，以及基於重建的列的垂直內插可以被執行來預測第二半像素列。第10圖是示出了示例垂直模式減採樣和預測過程的圖示。第10圖（A）是示出了示例8×8的塊1002的圖示。在列3和列7中的像素用陰影來指示二次採樣之後可以保留的像素列。頂部像素列1004可以是預測像素列。第10圖（B）是示出了在減採樣之後產生包括列3和7的塊1006的示例的圖示。在這些列中的像素可以被預測和被編碼。第10圖（C）是示出了在列0、1、2、4、5和6中的加採樣（upsample）的像素的內插的示例的圖示。這些列可以從預測像素的頂列和重建的列3和7被內插。
與水準和垂直預測模式一起，MDS-IP可以被應用到多種非對角角度預測模式（如，具有0°到90°之間的角度的預測模式，以及具有90°到180°之間的角度的預測模式）。例如，對角（例如，沿45°或135°方向）預測模式可以包括對角向左下和對角向右下模式（如，第3圖中的模式3和4）。在對角方向中的預測模式可以包括VER-8、VER+8和HOR-8（例如，在第5圖中的模式3、6和9）。第11圖（A）-（D）是示出了使用對角向右下模式來預測的8×8的塊上的MDS-IP過程的示例的圖示。MDS-IP可以用於除8×8以外的塊尺寸（例如但不限於更大的塊尺寸）。在第11圖中，在左邊行中的像素和在頂部列中的像素可以是來自已經被編碼的鄰近塊的預測像素。剩餘的像素可以是將要被預測的像素。如第11圖（A）中的對角箭頭所示，陰影的預測像素可以沿著對角方向被傳播。
對於角度預測模式，塊可以在兩個維度中被減採樣。例如，如第11圖（B）和11（C）所示，8×8的塊1102可以在每個維度上以因數2和位於(2n+1,2m+1), n,m=0…3處的像素來被減採樣，以形成第11圖（C）中的減採樣的塊1104。這些剩餘的像素可以在對角方向上被預測，例如，如由第11圖（C）中的減採樣的塊1104中的箭頭所示。參考第8圖、第11圖（C）和第11圖（D），二次採樣的塊的預測殘差可以按照由單元832和834進行的處理來被編碼，並被加回到預測的二次採樣的塊812，以獲得重建的二次採樣的塊814。經由與模式有關的內插單元844，包括剩餘四分之三的像素的二次採樣的塊可以通過從已經編碼的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測。如上所述，與多種預測模式相關聯的多種內插技術可以被使用。
包括遺漏像素的二次採樣的塊可以在同一時刻通過內插而被預測，例如如第11圖（D）中所示的。例如，包括位於(2n,2m), n,m=0…3處的像素的子塊可以例如通過在對角方向上使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測，如第11圖（D）中的箭頭1140所示。箭頭的部分（例如，僅一部分）可以在第11圖（D）中示出。沿著對角方向的內插可以被使用，是因為較高的像素相關性存在於該方向上。其他預測模式可以使用不同的內插過程。包括位於(2n,2m+1), n,m=0…3處的像素的子塊可以例如通過在水準方向中使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測，如第11圖（D）中的箭頭1142所示。包括位於(2n+1,2m), n,m=0…3處的像素的子塊可以例如通過在垂直方向中使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測，如第11圖（D）中的箭頭1144所示。
可以作出對內插過程的修改，例如，但不限於在水準方向和/或垂直方向中的具有不同濾波器抽頭長度的不同內插濾波器可以被使用。在預測之後，包括分別位於(2n,2m)、(2n,2m+1)和(2n+1,2m)處的遺漏像素的三個子塊的預測殘差可以按照由單元836和838進行的處理被編碼（如，第8圖），並被加回到預測信號，以獲得包括遺漏像素的三個重建的子塊818。
第12圖（A）至第12圖（D）是示出了對角預測模式內插和預測過程的示例的圖示。參考第12圖，包括遺漏像素的子塊可以以級聯的（如，多級的）方式被預測和重建。參考第12圖（A）和12（B），輸入塊1202可以在兩個維度（如，在兩個維度中均具有2:1的二次採樣速率）中減採樣，以產生減採樣的塊1204。在二次採樣後保留在塊中的像素在第12圖（A）中以陰影示出。塊1204中的像素可以使用任何適合的內部預測技術來被進行內部預測，例如，如由第12圖（B）中的箭頭所指示的。如由第12圖（C）中的塊1206所示，位於(2n,2m), n,m=0…3處的像素可以例如通過在對角方向上使用已經重建的鄰近像素和位於(2n+1,2m+1), n,m=0…3處的重建的像素進行內插而被預測（如，如箭頭1220所示）。包括位於(2n,2m), n,m=0…3處的樣本的子塊的預測殘差可以按照步驟836和838被編碼（如，第8圖）。重建的殘差可以被加回到預測，以獲得包括位於(2n,2m)處的像素的重建的子塊。例如，如第12圖（D）中的塊1208所示，包括位於(2n,2m+1)處的剩餘像素的子塊和包括位於(2n+1,2m)處的剩餘像素的子塊可以通過使用已經被重建的像素（例如，分別使用箭頭1222和使用箭頭1224）進行內插而被預測。
第13圖是示出了內插技術的示例的圖示。第13圖（A）中的輸入塊1302可以在兩個維度中被減採樣來產生減採樣的塊1304，如第13圖（B）所示。多個像素在第13圖（A）中可以被加陰影，以示出在減採樣後保留的像素。在減採樣的塊1304中的像素可以如第13圖（B）中的對角箭頭所指示的那樣被預測。在對預測的像素進行重建之後，位於(2n,2m)處的像素和位於(2n,2m+1)處的像素可以分別通過在對角方向（如，箭頭1320）和在水準方向（如，箭頭1324所示）中的內插而被預測，例如，如第13圖（C）所示。包括位於(2n,2m)處的樣本的子塊和包括位於(2n,2m+1)處的樣本的子塊的預測殘差可以按照由單元836和838進行的處理而被編碼。重建的殘差可以被加回，以分別獲得包括位於(2n,2m)處的像素的重建的子塊和包括位於(2n,2m+1)處的像素的重建的子塊。例如，如第13圖（D）中的塊1308所示，其中位於(2n,2m)處的像素、位於(2n,2m+1)處的像素、以及位於(2n+1,2m+1)處的像素已經被重建，包括位於(2n+1,2m)處的像素的剩餘子塊可以在對角方向被預測（如，箭頭1326），和/或殘差可以按照由單元836和838進行的處理被編碼。
例如，如果遺漏像素以級聯的方式被預測和被重建，如果預測足夠準確或計算的複雜度很高，則一個或多個殘差編碼步驟（如，由單元836和838所執行的）可以被跳過。一個或多個這樣的步驟是否可以被跳過是由編碼器所決定的，並且在位元流中被用信號發送到解碼器，例如，通過將編碼_塊_標誌（coded_block_flag）設置為0。編碼器和解碼器可以事先同意哪些（如果有的話）步驟可以跳過。如這裏所描述的（如，第12圖（D）），在使用箭頭1222和箭頭1224對位於(2n+1,2m)處和位於(2n,2m+1)處的像素進行預測之後，編碼器和解碼器可以完成對輸入塊的MDS-IP過程，並且在單元836和838中的操作可以被跳過。內插過程可以使用不同特性（如，不同抽頭長度和係數）的內插濾波器，例如但不限於雙線性濾波器、4抽頭或6抽頭的1D濾波器，和/或4×4或6×6的2D不可分離濾波器。
雖然這裏描述了MDS-IP處理，但相似的針對其他對角預測模式的處理技術可以被執行。例如，H.264/AVC和HEVC兩者可以支援其他定向預測模式。這些模式，由於他們的預測方向沿著更好的角度，子像素精度可以被考慮用於預測。這些預測模式的MDS-IP過程可以利用具有非矩形的像素塊的編碼。這些定向預測模式的MDS-IP過程可以被關閉，並使用這些模式的定向內部預測。非矩形的變換（如，形狀自適應DCT）和恰當的係數掃描可以被應用到對這些預測模式的MDS-IP處理。
第14圖（A）-（D）是示出了用於非對角角度預測模式的內插技術的示例的圖示。第14圖（A）中的輸入塊1402可以在多於一個的方向（如，兩個方向）上被減採樣，以產生如第14圖（B）所示的減採樣的塊1404。多個像素可以在第14圖（A）中被加陰影，以示出在減採樣後保留的像素。在減採樣的塊1404中的像素可以如第14圖（B）中的非對角角度箭頭所指示的那樣被預測。非對角角度箭頭可以對應於非45°/非135°角度對角預測模式。雖然4:1的二次採樣速率（如，在兩個方向為2:1）在第14圖中被示出，但是其他二次採樣速率可以被使用。例如，2:1的二次採樣速率、6:1的二次採樣速率、8:1的二次採樣速率、或其他各種適合的二次採樣速率可以被使用。如第14圖（C）中的塊1406所示，位於(2n,2m)，n,m=0…3處的像素可以通過在角度方向上使用位於(2n-1,2m-3)處的已經重建的鄰近像素和位於(2n+1,2m+3)處的重建的像素進行內插而被預測（如，箭頭1420所示）。包括位於(2n,2m)，n,m=0…3處的樣本的子塊的預測殘差可以按照836和838中的步驟來被編碼（如，第8圖）。重建的殘差可以被加回至預測，以獲得包括位於(2n,2m)處的像素的重建的子塊。如第14圖（D）中的塊1408所示，包括剩餘像素的子塊可以通過使用已經重建的像素（例如，位於(2n-1,2m-2)和(2n+1,2m+2)處，如箭頭1426所指示的）來進行內插而被預測。
第15圖（A）-（C）是示出了在8×8的塊上的MDS-IP過程的示例的圖示，其中該8×8的塊使用非對角角度預測模式（如，非45°/非135°）被預測。像素權重過程可以協助內插。在如第15圖（A）-（C）中所示的8×8的塊，MDS-IP可以用於具有不同大小的塊。在第15圖中，在左邊行的像素和在頂部列中的像素可以是來自已經編碼的鄰近塊的預測像素。塊1502可以在二維中被減採樣。例如，如第15圖（A）和第15圖（B）所示，8×8的塊1502可以在每個維度中以因數2來被減採樣，並且位於(2n+1,2m+1)，n,m=0…3處的像素可以形成第15圖（B）中的減採樣的塊1504。這些剩餘的像素可以在非對角角度方向上被預測，例如，如第15圖（B）中的減採樣的塊1504中的箭頭所示。參考第8圖、第15圖（B）和第15圖（C），二次採樣的塊的預測殘差可以按照由單元832和834進行的處理來被編碼，並被加回到預測的二次採樣的塊812，以獲得重建的二次採樣的塊814。經由與模式有關的內插單元844，包括剩餘四分之三的像素的二次採樣的塊可以通過從重建的二次採樣的塊814進行內插而被預測。包括遺漏像素的二次採樣的塊可以通過使用加權實施方式進行內插而同時被預測，例如，如第15圖（C）所示。例如，包括位於(2n,2m)，n,m=0…3處的像素的子塊可以通過在對角方向上使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，例如，由塊1506和箭頭1540所示。內插過程可以對不同的像素施加不同的權重。例如，內插過程可以對“左上角”像素施加比“右下角”像素更大的權重。特定的加權實施方式可以取決於使用的預測模式。例如，“左上角”像素可以被給定70%的加權因數，而“右下角”像素可以被給定30%的加權因數。包括位於(2n,2m+1)，n,m=0…3處的像素的子塊可以通過在水準方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，例如，如第15圖（C）中的箭頭1542所示。“左”像素和“右”像素可以被給定相同或不同的加權因數。例如，“左”像素可以被給定55%的權重而“右”像素可以被給定45%的權重。包括位於(2n+1,2m)，n,m=0…3處的像素的子塊可以通過在垂直方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，例如，如第15圖（C）中的箭頭1544所示。“頂部”像素和“底部”像素可以被給定相同或不同的加權因數。例如，“頂部”像素可以被給定60%的權重而“右”像素可以被給定40%的權重。
可以做出對內插過程的修改，例如但不限於基於預測模式的不同的加權因數。在預測後，包括分別位於(2n,2m)、(2n,2m+1)和(2n+1,2m)處的遺漏像素的三個子塊的預測殘差可以按照由單元836和838進行的處理而被編碼（第8圖），並且可以被加回到預測信號，以獲得三個包括遺漏像素的重建的子塊818。用於位於(2n,2m)、(2n,2m+1)和(2n+1,2m)處的遺漏像素的殘差編碼過程可以由編碼器和/或解碼器跳過。
雖然已經示出了用於水準、垂直、對角和非對角角度預測模式的示例性內插技術，但這裏描述的MDS-IP實施方式可以以各種視頻編碼和解碼預測模式使用。相同的內插技術或不同的內插技術可以被應用到一個或多個子塊。內插技術可以包括一個或多個濾波器，該一個或多個濾波器可以基於預測模式被選擇。例如，內插濾波器可以是4抽頭一維濾波器、6抽頭一維濾波器、4×4二維濾波器、6×6二維濾波器或其他。一個或多個內插濾波器可以沿一個或多個內插方向被應用，其可以基於預測模式。
非定向預測模式（例如但不限於DC模式和平面預測模式）可以被支援。DC預測可以通過對來自已經重建的鄰近塊的預測像素取平均（如，第16圖（A）中的最左行和頂部行，表示為“A”）、並將該平均值分配到將被預測的整個塊（如，第16圖（A）中的8×8的塊1602）來被執行。平面模式（例如，在HEVC HM 3.0中）可以在這裏被描述，例如，參考第6圖。非定向預測模式可適用於平坦區域或具有平緩/平滑梯度的區域。第16圖（A）-（D）和第17圖（A）-（D）是示出了在8×8的塊上應用的MDS-IP處理的示例的圖示，其中該8×8的塊使用DC預測模式來被預測。雖然8×8的塊被示出，但是MDS-IP可以用於處理更大的塊。第16圖（A）中的塊1602示出了DC預測實施方式的示例。第16圖（B）-（D）示出了根據這裏描述的實施方式的處理技術的示例。
例如，如第16圖（B）-（C）中所示，8×8的塊1604可以在每個維度上以因數2被減採樣，以生成4×4的塊1606。位於位置(2n+1,2m+1)，n,m=0…3處的像素可以通過對來自已經重建的鄰近塊的預測像素（例如，在第16圖（C）中的最左邊行和頂部行）取平均而被預測。二次採樣的塊822的預測殘差（如，第8圖）可以按照由單元832和834進行的處理來被編碼，並被加回到預測的二次採樣的塊812，以獲得重建的二次採樣的塊814。包括剩餘四分之三像素的子塊可以通過根據已經編碼的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測。
參考第16圖（D），遺漏像素可以通過內插同時被預測。例如，包括位於(2n,2m)，n,m=0…3處的像素的子塊可以通過使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插（例如，來自MDS-IP的第一步）而被預測，例如，由箭頭1620所示。一部分箭頭1620在第16圖（C）中被示出。由箭頭1620指示的內插可能不具有任何方向性（如，由於非定向預測模式）。對四個像素取平均是足夠的。包括位於(2n,2m+1)，n,m=0…3處的像素的子塊可以例如通過在水準方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，如第16圖（C）中的箭頭1622所示。包括位於(2n+1,2m)，n,m=0…3處的像素的子塊可以通過在垂直方向中使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插而被預測，如第16圖（C）中的箭頭1624所示。
可以做出對內插過程的修改，例如但不限於在水準方向和/或垂直方向上使用具有不同濾波器抽頭長度的不同的內插濾波器。在預測之後，包括遺漏像素的子塊的預測殘差可以按照由單元836和838進行的處理來被編碼，並被加回到包括遺漏像素的子塊的預測，以獲得包括遺漏像素的重建的子塊818。
第17圖A-D是示出了內插實施方式的示例的圖示。輸入塊1702可以在兩個方向上被減採樣以生成減採樣的塊1704（如，其可以與第16圖（C）中的塊1606相似）。包括遺漏像素的子塊可以以級聯（如，多級）的方式被預測和重建。如第17圖（C）中的箭頭1720所示，位於(2n,2m)，n,m=0…3處的像素可以通過使用已經重建的鄰近像素和位於(2n+1,2m+1)，n,m=0…3處的重建的像素進行內插（如，使用簡單取平均）而被預測。包括位於(2n,2m)，n,m=0…3處的樣本的子塊的預測殘差可以按照由單元836和838進行的處理來被編碼。重建的殘差可以被加回到預測，以獲得包括位於(2n,2m)處的像素的重建的子塊。如第17圖（D）所示，包括位於(2n,2m+1)處的像素的剩餘子塊和包括位於(2n+1,2m)處的剩餘像素的子塊可以通過使用已經被重建的像素進行內插而被預測，例如，分別使用箭頭1722和箭頭1724。
第16圖（C）、第17圖（C）和第17圖（D）中的內插過程可以使用不同特性（如，不同抽頭長度和係數）的內插濾波器，例如但不限於雙線性濾波器（如，簡單取平均）、4抽頭或6抽頭1D濾波器、和/或4×4或6×6 2D非可分離濾波器。雖然這裏使用DC預測模式作為示例描述了MDS-IP實施方式，但對於其他非定向預測模式（如，平面預測模式）的MDS-IP實施方式可以基本上是相似的。
MDS-IP可以應用於各種預測模式。雖然對於不同預測模式的特定MDS-IP實施方式可能不同，但是他們通常包括兩個步驟過程。例如，在第一個步驟中，包括輸入視頻塊中的一部分像素（如，二分之一或四分之一）的二次採樣的塊可以通過應用與模式有關的二次採樣過程來生成。二次採樣的塊可以基於預測模式被預測，並且該二次採樣的塊的預測殘差可以被計算和被編碼，以獲得重建的殘差。重建的二次採樣的塊之後可以被生成。例如，在第二個步驟中，包括輸入視頻塊中的剩餘像素的一個或多個子塊可以通過根據已經編碼的鄰近像素和之前生成的重建的二次採樣的塊進行內插而被預測。特定的內插過程（如，內插濾波器、內插方向等）可取決於預測模式。包括輸入視頻塊中的剩餘像素的一個或多個子塊的預測殘差可以被編碼。
如這裏所描述的，包括遺漏像素的子塊可以以級聯（如，多級）的方式被預測和重建。例如，位於第一位置（如，參考第12圖中的位置(2n,2m)）處的像素可以被稱為重建的子塊的第一部分。位於第二位置（如，參考第12圖中的位置(2n,2m+1)處和/或位置(2n+1,2m)處）的像素可以被稱為重建的子塊的第二部分。重建的子塊的第二部分可以至少部分地基於生成的重建的子塊的第一部分（如第12圖（D）、第13圖（D）、第14圖（D）等中所示的）而被生成。用於生成重建的子塊的第二部分的變換和量化參數（如，第三組）可以與用於生成子塊的重建的殘差的那組變換和量化參數（如，第一組）、或用於生成重建的子塊的第一部分的變換和量化參數（如，第二組）相同。
實施方式可以利用各種方法來實現所期望的結果。例如，一個或多個二次採樣的塊（例如，在MDS-IP的第一個步驟和/或第二個步驟中生成的）可以不是方形的。針對非方形二次採樣的塊設計的2D變換、以及合適的係數掃描順序可以被設計和應用。方形2D變換、以及掃描順序可以被應用到非方形的矩形子塊中。
在MDS-IP的第一個步驟（如，單元832和834）中的殘差編碼過程和在MDS-IP的第二個步驟（如，單元836和838）中的殘差編碼過程可以相同或不同。相同的變換和量化參數或不同的變換和量化參數可以在這些步驟過程中被應用。一個或多個變換單元104、量化單元106、反量化單元110、以及反變換單元112（例如，如第1圖所示）可以由MDS-IP過程使用。
與模式有關的內插過程（如，由與模式有關的內插單元844執行）可以生成包括遺漏樣本的一個或多個二次採樣的塊的預測信號，接著是一個或多個包括正被重建的遺漏樣本的二次採樣的塊的殘差。預測和殘差生成可以以級聯的方式被執行，例如，其中包括遺漏樣本的一個或多個子塊的第一部分可以首先被編碼，並且之後可用於對該包括遺漏樣本的一個或多個子塊的第二部分進行預測和編碼。
在MDS-IP處理的第一個步驟期間和在MDS-IP處理的第二個步驟期間生成的預測殘差可以被編碼。在MDS-IP的第二個步驟期間生成的預測殘差中的至少一些預測殘差可以不被編碼。
第18圖是示出了通信系統1800的示例的圖示。編碼器1802可以經由連接1808與通信網路1804進行通信。編碼器1802可以使用如上所述的MDS-IP處理。連接1808可以是有線連接或無線連接。解碼器1806可以經由連接1810與通信網路1804進行通信。解碼器1806可以使用如上所述的MDS-IP處理。連接1810可以是有線連接或無線連接。通信網路1804可以例如是如這裏所描述的合適類型的通信系統。解碼器1806可以被引入到各種終端中的任意一者之中，這些終端例如但不限於數位電視、無線通信設備、無線廣播系統、個人數位助理（PDA）、膝上型電腦或桌上型電腦、平板電腦、數位相機、數位記錄裝置、視頻遊戲裝置、視頻遊戲控制臺、胞元或衛星無線電電話、數位媒體播放器等等。
第19A圖是可以實施所公開的一個或多個實施方式的示例通信系統1900的圖示。通信系統1900可以是向多個無線用戶提供諸如語音、資料、視頻、消息傳遞、廣播等內容的多重存取系統。該通信系統1900能使多個無線用戶通過包括無線頻寬在內的系統資源的共用來存取這些內容。例如，通信系統1900可以使用一種或多種通道存取方法，如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）等等。
如第19A圖所示，通信系統1900可以包括無線發射/接收單元（WTRU）1902a、1902b、1902c、1902d、無線電存取網路（RAN）1903/1904/1905、核心網路1906/1907/1909，公共交換電網路（PSTN）1908、網際網路1910以及其他網路1912，但是應該理解，所公開的實施方式考慮到了任何數量的WTRU、基地台、網路和/或網路元件。WTRU 1902a、1902b、1902c、1902d中的每個WTRU可以是被配置成在無線環境中操作和/或通信的任何類型的裝置。舉個例子，WTRU 1902a、1902b、1902c、1902d可以被配置成傳送和/或接收無線信號，並且可以包括用戶設備（UE）、移動站、固定或移動訂戶單元、傳呼機、行動電話、個人數位助理（PDA）、智慧型電話、膝上型電腦、上網本、個人電腦、無線感測器、消費類電子產品、或者能夠接收和處理被壓縮的視頻通信的任意其他的終端。
通信系統1900還可以包括基地台1914a和基地台1914b。基地台1914a和1914b中的每個基地台可以是被配置成與WTRU 1902a、1902b、1902c、1902d中的至少一個WTRU有無線介面以便促成對一個或多個通信網路（例如核心網路1906/1907/1909、網際網路1910和/或網路1912）的存取的任何類型的裝置。舉個例子，基地台1914a、1914b可以是基地台收發台（BTS）、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點（AP）、無線路由器等等。雖然基地台1914a、1914b都各自被描述成是單個元件，但是應該理解，基地台1914a、1914b可以包括任何數量的互連基地台和/或網路元件。
基地台1914a可以是RAN 1903/1904/1905的一部分，其中該RAN 1903/1904/1905還可以包括其他基地台和/或網路元件（未示出），如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點等等。基地台1914a和/或基地台1914b可以被配置成在被稱為胞元（未示出）的特定地理區域內傳送和/或接收無線信號。該胞元還可以被劃分成胞元磁區。例如，與基地台1914a相關聯的胞元可以被分成三個磁區。因此在一個實施方式中，基地台1914a可以包括三個收發器，也就是說，胞元的每一個磁區都具有一個收發器。在另一實施方式中，基地台1914a可以使用多輸入多輸出（MIMO）技術，並且由此可以針對胞元中的每個磁區使用多個收發器。
基地台1914a、1914b可以通過空中介面1915/1916/1917與WTRU 1902a、1902b、1902c、1902d中的一個或多個WTRU進行通信，其中該空中介面1915/1916/1917可以是任何適當的無線通信鏈路（例如，射頻（RF）、微波、紅外線（IR）、紫外線（UV）、可見光等等）。該空中介面1915/1916/1917可以使用任何適當的無線電存取技術（RAT）來建立。
更具體地說，如上所述，通信系統1900可以是多重存取系統，並且可以使用一種或多種通道存取方案，如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 1903/1904/1905中的基地台1914a和WTRU 1902a、1902b、1902c可以實施如通用移動電信系統（UMTS）陸地無線電存取（UTRA）之類的無線電技術，該無線電技術可以使用寬頻CDMA（WCDMA）來建立空中介面1915/1916/1917。WCDMA可以包括如高速封包存取（HSPA）和/或演進型HSPA（HSPA+）之類的通信協定。HSPA則可以包括高速下行鏈路封包存取（HSDPA）和/或高速上行鏈路封包存取（HSUPA）。
在另一實施方式中，基地台1914a和WTRU 1902a、1902b、1902c可以實施如演進型UMTS陸地無線電存取（E-UTRA）之類的無線電技術，該無線電技術可以使用長期演進（LTE）和/或高級LTE（LTE-A）來建立空中介面1915/1916/1917。
在其他實施方式中，基地台1914a和WTRU 1902a、1902b、1902c可以實施如IEEE 802.16（即全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、臨時（Interim）標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球移動通信系統（GSM）、用於GSM演進的增強型資料速率（EDGE）、GSM EDGE（GERAN）等之類的無線電存取技術。
第19A圖中的基地台1914b可以例如是無線路由器、家用節點B、家用e節點B或存取點，並且可以使用任何適當的RAT來促成局部區域（如營業場所、住宅、車輛、校園等等）中的無線連接。在一個實施方式中，基地台1914b和WTRU 1902c、1902d可以實施如IEEE 802.11之類的無線電技術來建立無線區域網路（WLAN）。在另一實施方式中，基地台1914b和WTRU 1902c、1902d可以實施如IEEE 802.15之類的無線電技術來建立無線個人區域網路（WPAN）。在另一實施方式中，基地台1914b和WTRU 1902c、1902d可以使用基於胞元的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等等）來建立微微胞元（picocell）或毫微微胞元（femtocell）。如第19A圖所示，基地台1914b可以具有到網際網路1910的直接連接。由此，基地台1914b可以不需要經由核心網路1906/1907/1909來存取網際網路1910。
RAN 1903/1904/1905可以與核心網路1906進行通信，其中該核心網路1906可以是被配置成向WTRU 1902a、1902b、1902c、1902d中的一個或多個WTRU提供語音、資料、應用和/或網際網路協定語音（VoIP）服務的任何類型的網路。例如，核心網路1906/1907/1909可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視頻分發等等，和/或執行高級安全功能，例如用戶認證。雖然沒有在第19A圖中示出，但是應該理解，RAN 1903/1904/1905和/或核心網路1906/1907/1909可以直接或間接地和其他那些使用了與RAN 1903/1904/1905相同的RAT或不同RAT的RAN進行通信。例如，除了與可以使用E-UTRA無線電技術的RAN 1903/1904/1905相連接之外，核心網路1906/1907/1909還可以與另一個使用GSM無線電技術的RAN（未示出）進行通信。
核心網路1906/1907/1909還可以充當供WTRU 1902a、1902b、1902c、1902d存取PSTN 1908、網際網路1910和/或其他網路1912的閘道。PSTN 1908可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路1910可以包括使用了公共通信協定的全球性互聯電腦網路裝置系統，該公共通信協定例如TCP/IP網際網路協定族中的傳輸控制協定（TCP）、用戶資料報協定（UDP）和網際網路協定（IP）。網路1912可以包括由其他服務供應商擁有和/或營運的有線或無線通信網路。例如，網路1912可以包括與一個或多個RAN相連的另一個核心網路，其中所述一個或多個RAN可以使用與RAN 1903/1904/1905相同的RAT或不同的RAT。
通信系統1900中的WTRU 1902a、1902b、1902c、1902d的一些或全部WTRU可以包括多模式能力，也就是說，WTRU 1902a、1902b、1902c、1902d可以包括在不同無線鏈路上與不同無線網路通信的多個收發器。例如，第19A圖所示的WTRU 1902c可以被配置成與可以使用基於胞元的無線電技術的基地台1914a通信，以及與可以使用IEEE 802無線電技術的基地台1914b通信。
第19B圖是示例WTRU 1902的系統圖示。如第19B圖所示，WTRU 1902可以包括處理器1918、收發器1920、發射/接收元件1922、揚聲器/麥克風1924、數字鍵盤1926、顯示器/觸摸板1928、不可移動記憶體1930、可移動記憶體1932、電源1934、全球定位系統（GPS）晶片組1936以及其他週邊設備1938。應該理解的是，在保持符合實施方式的同時，WTRU 1902可以包括前述元件的任何子組合。此外，實施方式考慮了基地台1914a和1914b，和/或基地台1914a和1914b可以表示的節點(例如但不局限於基地台收發台（BTS）、節點B、站點控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道、以及代理節點等等)可以包括第19B圖中示出的和這裏所描述的元素中的一些或全部。
處理器1918可以是通用處理器、專用處理器、常規處理器、數位信號處理器（DSP）、圖形處理單元（GPU）、多個微處理器、與DSP核相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可編程閘陣列（FPGA）電路、任何其他類型的積體電路（IC）、狀態機等等。處理器1918可以執行信號編碼、資料處理、功率控制、輸入/輸出處理、和/或任何其他能使WTRU 1902在無線環境中進行操作的功能。處理器1918可被耦合至收發器1920，該收發器1920可被耦合至發射/接收元件1922。雖然第19B圖將處理器1918和收發器1920描述成是分別的元件，但是應該理解，處理器1918和收發器1920可以被整合在一個電子封裝或晶片中。
發射/接收元件1922可以被配置成通過空中介面1915/1916/1917將信號傳送到基地台（例如，基地台1914a），或從基地台（例如，基地台1914a）接收信號。例如，在一個實施方式中，發射/接收元件1922可以是被配置成傳送和/或接收RF信號的天線。在另一實施方式中，發射/接收元件1922可以是被配置成傳送和/或接收例如IR、UV或可見光信號的發射器/檢測器。在另一實施方式中，發射/接收元件1922可以被配置成傳送和接收RF和光信號兩者。應該理解的是，發射/接收元件1922可以被配置成傳送和/或接收無線信號的任何組合。
此外，雖然在第19B圖中將發射/接收元件1922描述成是單個元件，但是WTRU 1902可以包括任何數量的發射/接收元件1922。更具體地說，WTRU 1902可以使用MIMO技術。因此在一個實施方式中，WTRU 1902可以包括兩個或多個通過空中介面1915/1916/1917來傳送和接收無線信號的發射/接收元件1922（例如，多個天線）。
收發器1920可以被配置成對發射/接收元件1922將要傳送的信號進行調變，以及對發射/接收元件1922接收到的信號進行解調。如上所述，WTRU 1902可以具有多模式能力。由此，收發器1920可以包括允許WTRU 1902經由如UTRA和IEEE 802.11之類的多種RAT來進行通信的多個收發器。
WTRU 1902的處理器1918可被耦合至下述設備，並且可以從下述設備中接收用戶輸入資料：揚聲器/麥克風1924、數字鍵盤1926和/或顯示器/觸摸板1928（例如，液晶顯示器（LCD）顯示單元或有機發光二極體（OLED）顯示單元）。處理器1918還可以輸出用戶資料至揚聲器/麥克風1924、數字鍵盤1926和/或顯示器/觸摸板1928。此外，處理器1918可以從任何適當的記憶體（例如不可移動記憶體1930和/或可移動記憶體1932）中存取資訊，以及將資料存入這些記憶體。所述不可移動記憶體1930可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟或是其他任何類型的記憶儲存裝置。可移動記憶體1932可以包括訂戶身份模組（SIM）卡、記憶棒、安全數字（SD）記憶卡等等。在其他實施方式中，處理器1918可以從那些並非實體地位於WTRU 1902上的記憶體（例如位於伺服器或家用電腦（未示出）的記憶體）上存取資訊，以及將資料存入這些記憶體。
處理器1918可以接收來自電源1934的電力，並且可以被配置成分發和/或控制給WTRU 1902中的其他組件的電力。電源1934可以是為WTRU 1902供電的任何適當的裝置。例如，電源1934可以包括一個或多個乾電池（例如，鎳鎘（NiCd）、鎳鋅（NiZn）、鎳金屬氫化物（NiMH）、鋰離子（Li-ion）等等）、太陽能電池、燃料電池等等。
處理器1918還可被耦合至GPS晶片組1936，該GPS晶片組1936可以被配置成提供與WTRU 1902的當前位置相關的位置資訊（例如，經度和緯度）。WTRU 1902可以通過空中介面1915/1916/1917接收來自基地台（例如，基地台1914a、1914b）的加上或取代GPS晶片組1936資訊之位置資訊，和/或根據從兩個或多個附近基地台接收到的信號定時來確定其位置。應該瞭解的是，在保持符合實施方式的同時，WTRU 1902可以藉由任何適當的位置確定方法來獲取位置資訊。
處理器1918還可被耦合至其他週邊設備1938，該週邊設備可以包括提供附加特徵、功能和/或有線或無線連接的一個或多個軟體和/或硬體模組。例如，週邊設備1938可以包括加速計、電子指南針、衛星收發器、數位相機（用於照片和視頻）、通用串列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視頻遊戲機模組、網際網路流覽器等等。
第19C圖是根據一個實施方式的RAN 1903和核心網路1906的系統圖示。如上所述，RAN 1903可以使用UTRA無線電技術通過空中介面1915來與WTRU 1902a、1902b、1902c進行通信。RAN 1904還可以與核心網路1906進行通信。如第19C圖所示，RAN 1903可以包括節點B 1940a、1940b、1940c，該節點B 1940a、1940b、1940c中的每個都可以包括一個或多個收發器，以便通過空中介面1915來與WTRU 1902a、1902b、1902c進行通信。節點B 1940a、1940b、1940c中的每個都可以與RAN 1903中的特定胞元（未示出）相關聯。RAN 1903還可以包括RNC 1942a和1942b。應該理解的是，在保持符合實施方式的同時，RAN 1903可以包括任意數量的節點B和RNC。
如第19C圖所示，節點B 1940a、1940b可以與RNC 1942a通信。此外，節點B 1940c可以與RNC 1942b通信。節點B 1940a、1940b、1940c可經由Iub介面與各自的RNC 1942a、1942b通信。RNC 1942a、1942b可經由Iur介面彼此通信。RNC 1942a、1942b中的每個可以被配置成控制其所連接之各自的節點B 1940a、1940b、1940c。此外，RNC 1942a、1942b中的每個可以被配置成執行或支援其他功能，如外環功率控制、負載控制、許可控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第19C圖中示出的核心網路1906可以包括媒體閘道（MGW）1944、移動交換中心（MSC）1946、服務GPRS支援節點（SGSN）1948和/或閘道GPRS支持節點（GGSN）1950。雖然前述的每個元件均被描述成是核心網路1906的一部分，但應該理解的是，這些元件中的任何一個都可被核心網路營運商之外的其他實體擁有和/或營運。
RAN 1903中的RNC 1942a可經由IuCS介面與核心網路1906中的MSC 1946相連接。MSC 1946可與MGW 1944相連接。MSC 1946和MGW 1944可以為WTRU 1902a、1902b、1902c提供針對如PSTN 1908的電路交換網路的存取，以便促成WTRU 1902a、1902b、1902c和傳統的陸線通信裝置之間的通信。
RAN 1903中的RNC 1942a還可以經由IuPS介面與核心網路1906中的SGSN 1948相連接。SGSN 1948可與GGSN 1950相連接。SGSN 1948和GGSN 1950可以為WTRU 1902a、1902b、1902c提供針對如網際網路1910的封包交換網路的存取，以便促成WTRU 1902a、1902b、1902c和IP致能裝置之間的通信。
如上所述，核心網路1906還可以與網路1912相連接，其中該網路1912可以包括由其他服務供應商擁有和/或營運的其他有線或無線網路。
第19D圖是根據一個實施方式的RAN 1904和核心網路1907的系統圖示。如上所述，RAN 1904可以使用E-UTRA無線電技術通過空中介面1916與WTRU 1902a、1902b、1902c進行通信。RAN 1904還可以與核心網路1907進行通信。
RAN 1904可以包括e節點B 1960a、1960b、1960c，但是應當理解的是，在保持符合實施方式的同時，RAN 1904可以包括任何數量的e節點B。e節點B 1960a、1960b、1960c都可以各自包括一個或多個收發器，用於通過空中介面1916與WTRU 1902a、1902b、1902c進行通信。在一個實施方式中，e節點B 1960a、1960b、1960c可以實施MIMO技術。因此，e節點B 1960a例如可以使用多個天線來向WTRU 1902a傳送無線信號，以及接收來自WTRU 1902a的無線信號。
e節點B 1960a、1960b、1960c中的每一個可以與特定胞元（未示出）相關聯，並且可以被配置成處理無線電資源管理決策、切換決策、上行鏈路和/或下行鏈路中的用戶排程等等。如第19D圖所示，e節點B 1960a、1960b、1960c可通過X2介面彼此通信。
第19D圖所示的核心網路1907可以包括移動性管理閘道（MME）1962、服務閘道1964和封包資料網路（PDN）閘道1966。雖然前述的每個元件均被描述成是核心網路1907的一部分，但應該理解的是，這些元件中的任何一個都可被核心網路營運商之外的其他實體擁有和/或營運。
MME 1962可經由S1介面與RAN 1904中的e節點B 1960a、1960b、1960c中的每一個相連接，並且可以充當控制節點。例如，MME 1962可以負責認證WTRU 1902a、1902b、1902c的用戶、承載啟動/去啟動、在WTRU 1902a、1902b、1902c的初始附著期間選擇特定的服務閘道等等。MME 1962還可以提供控制面功能，以便在RAN 1904和使用如GSM或WCDMA之類的其他無線電技術的其他RAN（未示出）之間進行交換。
服務閘道1964可經由S1介面與RAN 1904中的e節點B 1960a、1960b、1960c中的每一個相連接。服務閘道1964通常可以路由和轉發通往/來自WTRU 1902a、1902b、1902c的用戶資料封包。服務閘道1964還可以執行其他功能，如在e節點B間切換過程中錨定用戶面，在下行鏈路資料可用於WTRU 1902a、1902b、1902c的時候觸發傳呼，管理和儲存WTRU 1902a、1902b、1902c的上下文等等。
服務閘道1964還可以與PDN閘道1966相連接，該PDN閘道1966可以向WTRU 1902a、1902b、1902c提供到如網際網路1910之類的封包交換網路的存取，以便促成WTRU 1902a、1902b、1902c和IP致能裝置之間的通信。
核心網路1907可以促成與其他網路的通信。例如，核心網路1907可以向WTRU 1902a、1902b、1902c提供到如PSTN 1908之類的電路交換網路的存取，以便促成WTRU 1902a、1902b、1902c與傳統的陸線通信裝置之間的通信。例如，核心網路1907可以包括充當核心網路1907與PSTN 1908之間的介面的IP閘道（例如，IP多媒體子系統（IMS）伺服器），或與該IP閘道進行通信。此外，核心網路1907可以向WTRU 1902a、1902b、1902c提供針對網路1912的存取，其中該網路1912可以包括由其他服務供應商擁有和/或營運的其他有線或無線網路。
第19E圖是根據一個實施方式的RAN 1905和核心網路1909的系統圖示。RAN 1905可以是使用IEEE 802.16無線電技術通過空中介面1917與WTRU 1902a、1902b、1902c進行通信的存取服務網路（ASN）。如下面將要進一步討論的，WTRU 1902a、1902b、1902c的不同功能實體、RAN 1905以及核心網路1909之間的通信鏈路可以被定義為參考點。
如第19E圖所示，RAN 1905可以包括基地台1980a、1980b、1980c以及ASN閘道1982，但應該理解的是，在保持符合實施方式的同時，RAN 1905可以包括任意數量的基地台和ASN閘道。基地台1980a、1980b、1980c中的每一個都可以與RAN 1905中的特定胞元（未示出）相關聯，並且每一個都包括一個或多個收發器，以用於通過空中介面1917與WTRU 1902a、1902b、1902c進行通信。在一個實施方式中，基地台1980a、1980b、1980c可以實施MIMO技術。因此，基地台1980a例如可以使用多個天線來向WTRU 1902a傳送無線信號，以及接收來自WTRU 1902a的無線信號。基地台1980a、1980b、1980c還可以提供移動性管理功能，如交遞觸發、隧道（tunnel）建立、無線電資源管理、訊務分類、服務品質（QoS）策略增強等等。ASN閘道1982可以充當訊務彙聚點，並且可以負責傳呼、訂戶簡檔的快取、到核心網路1909的路由等等。
WTRU 1902a、1902b、1902c和RAN 1905之間的空中介面1917可以被定義為R1參考點，該R1參考點實施IEEE 802.16規範。此外，WTRU 1902a、1902b、1902c中的每一個可以與核心網路1909建立邏輯介面（未示出）。WTRU 1902a、1902b、1902c和核心網路1909之間的邏輯介面可以被定義為R2參考點，該R2參考點可以用於認證、授權、IP主機配置管理、和/或移動性管理。
基地台1980a、1980b、1980c中的每一個之間的通信鏈路可以被定義為R8參考點，該R8參考點包括促成WTRU切換和基地台間的資料傳送的協定。基地台1980a、1980b、1980c和ASN閘道1982之間的通信鏈路可以被定義為R6參考點。該R6參考點可以包括用於基於與WTRU 1902a、1902b、1902c中的每一個相關聯的移動性事件來促成移動性管理的協定。
如第19E圖所示，RAN 1905可以與核心網路1909相連接。RAN 1905和核心網路1909之間的通信鏈路可以被定義為R3參考點，該R3參考點包括例如促成資料傳送和移動性管理能力的協定。核心網路1909可以包括移動IP家庭代理（MIP-HA）1984，認證、授權、計費（AAA）伺服器1986以及閘道1988。雖然前述每個元件均被描述成是核心網路1909的一部分，但應該瞭解的是，這些元件中的任何一個都可被核心網路營運商之外的其他實體擁有和/或營運。
MIP-HA 1984可以負責IP位址管理，並且能使WTRU 1902a、1902b、1902c在不同的ASN和/或不同的核心網路之間漫遊。MIP-HA 1984可以為WTRU 1902a、1902b、1902c提供到如網際網路1910之類的封包交換網路的存取，以便促成WTRU 1902a、1902b、1902c和IP致能裝置之間的通信。AAA伺服器1986可以負責用戶認證和支援用戶服務。閘道1988可以促成與其他網路的交互工作。例如，閘道1988可以為WTRU 1902a、1902b、1902c提供到如PSTN 1908之類的電路交換網路的存取，以便促成WTRU 1902a、1902b、1902c與傳統的陸線通信裝置之間的通信。此外，閘道1988可以向WTRU 1902a、1902b、1902c提供針對網路1912的存取，其中該網路1912可以包括由其他服務供應商擁有和/或營運的其他有線或無線網路。
儘管沒有在第19E圖中顯示，但是應當理解的是，RAN 1905可以與其他ASN相連接，並且核心網路1909可以與其他核心網路相連接。RAN 1905和其他ASN之間的通信鏈路可以被定義為R4參考點，該R4參考點可以包括用於協調RAN 1905和其他ASN之間的WTRU 1902a、1902b、1902c的移動性的協定。核心網路1909和其他核心網路之間的通信鏈路可以被定義為R5參考，該R5參考可以包括用於促成家庭核心網路和訪問的核心網路之間的交互工作的協定。
這裏描述的過程可以在引入到電腦可讀媒體中由電腦和/或處理器運行的電腦程式、軟體或韌體中實施。關於電腦可讀媒體的示例包括電信號（經由有線或無線連接傳送）以及電腦可讀儲存媒體。關於電腦可讀媒體的示例包括但不局限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶裝置、例如但不限於內部硬碟和可移動磁片之類的磁媒體、磁光媒體、以及如CD-ROM碟片和數位多用途碟片（DVD）之類的光媒體。與軟體相關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC和/或任何主電腦中使用的射頻收發器。
100．．．視頻編碼系統、編碼器
102．．．輸入視頻信號
104．．．變換單元
106．．．量化單元
108．．．熵編碼單元
110、210．．．反量化單元
112、212．．．反變換單元
116、126、820、848．．．加法器
120、202．．．位元流
160、260．．．空間預測單元
162、262．．．時間預測單元
164、264．．．參考圖像儲存
166、266．．．濾波器
180．．．模式決定和編碼器控制器
200、1806．．．解碼器
208．．．熵解碼單元
220．．．視頻
402、404、602、604、P0、P1、P2、P3．．．像素
606、608、810、814、816、818、904、910、1002、1006、1102、1104、1204、1206、1208、1304、1308、1404、1406、1408、1502、1504、1506、1602、1604、1606、1704．．．塊
800、1802．．．編碼器
822、824．．．塊殘差
826、2012、2014、2016、2018．．．子塊
832、834．．．單元、變換和量化方框
834、838．．．單元、反量化和反變換方框
836．．．單元、步驟
840．．．二次採樣單元
842、2042．．．內部預測單元
844、2044．．．內插單元
902．．．預測像素
1004．．．頂部像素列
1202、1302、1402、1702．．．輸入塊
1220、1222、1224、1320、1324、1326、1420、1426、1540、1542、1544、1620、1622、1624、1720、1722、1724．．．箭頭
1800、1900．．．通信系統
1808、1810．．．連接
1804．．．通信網路
1902a、1902b、1902c、1902d．．．無線發射/接收單元(WTRU)
1903、1904、1905．．．無線電存取網路(RAN)
1906、1907、1909．．．核心網路
1908．．．公共交換電網路(PSTN)
1910．．．網際網路
1912．．．其他網路
1914a、1914b．．．基地台
1915、1916、1917．．．空中介面
1918．．．處理器
1920．．．收發器
1922．．．發射/接收元件
1924．．．揚聲器/麥克風
1926．．．數字鍵盤
1928．．．顯示器/觸摸板
1930．．．不可移動記憶體
1932．．．可移動記憶體
1934．．．電源
1936．．．全球定位系統(GPS)晶片組
1938．．．週邊設備
1940a、1940b、1940c．．．節點B
1942a、1942b．．．RNV
1944．．．媒體閘道(MGW)
1946．．．移動交換中心(MSC)
1948．．．服務GPRS支援節點(SGSN)
1950．．．閘道GPRS支持節點(GGSN)
1960a、1960b、1960c．．．e節點B
1962．．．移動性管理閘道(MME)
1964．．．服務閘道
1966．．．封包資料網路(PDN)閘道
1980a、1980b、1980c．．．基地台
1982．．．ASN閘道
1984．．．移動IP家庭代理(MIP-HA)
1986．．．認證、授權、計費(AAA)伺服器
1988．．．閘道
2000．．．MDS-IP解碼器
2010、2026．．．塊係數
2024、2028．．．殘差
2034、2038．．．反量化和反變換單元
ASN．．．存取服務網路
IP．．．網際網路協定
MDS-IP．．．二次採樣內部預測
RNC．．．無線電網路控制器
2000．．．MDS-IP解碼器
2010、2026．．．塊係數
2012、2014、2016、2018．．．子塊
2024、2028．．．殘差
2034、2038．．．反量化和反變換單元
2042．．．內部預測單元
2044．．．內插單元
MDS-IP．．．二次採樣內部預測
Claims (26)
- 一種視頻解碼方法，該方法包括：接收一視頻塊；確定該視頻塊的一預測模式；基於該視頻塊的該預測模式而確定該視頻塊的一二次採樣子塊，其中該視頻塊包括代表該視頻塊的該二次採樣子塊以及該視頻塊之一或更多剩餘二次採樣塊的參數，其中該二次採樣子塊包括來自該視頻塊之二或更多列與二或更多行的像素；基於該預測模式來產生一所預測二次採樣子塊；基於該所預測二次採樣子塊與該參數而產生一所重建二次採樣子塊；以及基於該所重建二次採樣子塊與該預測模式而產生該一或更多剩餘二次採樣塊的所預測二次採樣塊；基於該一或更多剩餘二次採樣塊的該所預測二次採樣塊與該參數而產生一或更多所重建剩餘二次採樣塊；以及基於該所重建二次採樣子塊與該一或更多所重建剩餘二次採樣塊而產生一所重建視頻塊。
- 如申請專利範圍第1項所述的方法，其中該一或更多剩餘二次採樣塊的一像素是使用該二次採樣子塊的至少二像素而被預測。
- 如申請專利範圍第1項所述的方法，其中該一或更多剩餘二次採樣塊的一第一塊的一像素是使用該二次採樣子塊的一像素與該一或更多剩餘二次採樣塊的一第二塊之一像素而被預測。
- 如申請專利範圍第1項所述的方法，其中該二次採樣子塊包括多個像素，且其中該二次採樣子塊之該多個像素是該視頻塊的非鄰近像素。
- 如申請專利範圍第1項所述的方法，其中該一或更多剩餘二次採樣子塊包括多個像素，且其中該一或更多剩餘二次採樣子塊的該多個像素的每一個是該二次採樣子塊之至少一像素的一鄰近像素。
- 如申請專利範圍第1項所述的方法，其中該視頻塊是由一大小2N*2N所定義，且該二次採樣子塊是由2N*N、N*2N、或N*N的一大小定義。
- 如申請專利範圍第1項所述的方法，更包括：藉由反量化與與反變換關聯於該二次採樣子塊的係數而使用一第一組的反量化與反變換參數而產生一所重建子塊殘差；以及藉由反量化與與反變換關聯於該一或更多剩餘二次採樣塊的係數而使用一第二組的反量化與反變換參數而產生該一或更多剩餘二次採樣塊的該所重建殘差。
- 如申請專利範圍第7項所述的方法，其中該第一組的反量化和反變換參數與該第二組的反量化和反變換參數不同。
- 如申請專利範圍第1項所述的方法，其中所述視頻塊是一視頻信號的一亮度分量或一色度分量。
- 如申請專利範圍第7項所述的方法，其中該第一組的反量化與反變換參數或該第二組的反量化與反變換參數的其中之一是關聯於一形狀自適應離散餘弦變換。
- 如申請專利範圍第1項所述的方法，其中該預測模式是一垂直預測模式、一水準預測模式、或一對角預測模式。
- 如申請專利範圍第1項所述的方法，其中該預測模式是一DC預測模式或一平面預測模式。
- 如申請專利範圍第1項所述的方法，其中該一或更多所重建剩餘二次採樣塊是更基於對應於該一或更多剩餘二次採樣塊之一所重建殘差而被產生。
- 一種包括一處理器的裝置，該處理器被配置以：接收一視頻塊；確定該視頻塊的一預測模式；基於該視頻塊的該預測模式而確定該視頻塊的一二次採樣子塊，其中該視頻塊包括代表該視頻塊的該二次採樣子塊以及一或更多剩餘二次採樣塊的參數，其中該二次採樣子塊包括來自該視頻塊之二或更多列與二或更多行的像素；基於該預測模式來產生一所預測二次採樣子塊； 基於該所預測二次採樣子塊與該參數而產生一所重建二次採樣子塊；基於該預測模式與該所重建二次採樣子塊而產生該一或更多剩餘二次採樣塊的所預測二次採樣塊；基於該一或更多剩餘二次採樣塊的該所預測二次採樣塊與該參數而產生一或更多所重建剩餘二次採樣塊；以及基於該所重建二次採樣子塊與該一或更多所重建剩餘二次採樣塊而產生一所重建視頻塊。
- 如申請專利範圍第14項所述的裝置，其中該一或更多剩餘二次採樣塊的一像素是使用該二次採樣子塊的至少二像素而被預測。
- 如申請專利範圍第14項所述的裝置，其中該一或更多剩餘二次採樣塊的一第一塊的一像素是使用該二次採樣子塊的一像素與該一或更多剩餘二次採樣塊的一第二塊之一像素而被預測。
- 如申請專利範圍第14項所述的裝置，其中該二次採樣子塊包括多個像素，且其中該二次採樣子塊之該多個像素是該視頻塊的非鄰近像素。
- 如申請專利範圍第14項所述的裝置，其中該一或更多剩餘二次採樣子塊包括多個像素，且其中該一或更多剩餘二次採樣子塊的該多個像素的每一個是該二次採樣子塊之至少一像素的一鄰近像素。
- 如申請專利範圍第14項所述的裝置，其中該視頻塊是由一大小2N*2N所定義，且該二次採樣子塊是由2N*N、N*2N、或N*N的一大小定義。
- 20.如申請專利範圍第14項所述的裝置，其中該預測模式是一垂直預測模式、一水準預測模式、或一對角預測模式。
- 如申請專利範圍第14項所述的裝置，其中所述視頻塊是一視頻信號的一亮度分量或一色度分量。
- 如申請專利範圍第14項所述的裝置，其中該預測模式是一DC預測模式或一平面預測模式。
- 如申請專利範圍第14項所述的裝置，其中該處理器更被配置以： 藉由反量化與與反變換關聯於該二次採樣子塊的係數而使用一第一組的反量化與反變換參數而產生一所重建子塊殘差；以及藉由反量化與與反變換關聯於該一或更多剩餘二次採樣塊的係數而使用一第二組的反量化與反變換參數而產生該一或更多剩餘二次採樣塊的該所重建殘差。
- 如申請專利範圍第23項所述的裝置，其中該第一組的反量化和反變換參數與該第二組的反量化和反變換參數不同。
- 如申請專利範圍第23項所述的裝置，其中該第一組的反量化與反變換參數或該第二組的反量化與反變換參數的其中之一是關聯於一形狀自適應離散餘弦變換。
- 如申請專利範圍第14項所述的裝置，其中該處理器更被配置以基於對應於該一或更多剩餘二次採樣塊之一所重建殘差而產生該一或更多所重建剩餘二次採樣塊。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161535043P | 2011-09-15 | 2011-09-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201334541A TW201334541A (zh) | 2013-08-16 |
| TWI568242B true TWI568242B (zh) | 2017-01-21 |
Family
ID=47076363
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101133923A TWI568242B (zh) | 2011-09-15 | 2012-09-17 | 空間預測系統及方法 |
| TW105130227A TW201722150A (zh) | 2011-09-15 | 2012-09-17 | 空艱預測系統及方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105130227A TW201722150A (zh) | 2011-09-15 | 2012-09-17 | 空艱預測系統及方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (4) | US9699452B2 (zh) |
| EP (2) | EP3232665A1 (zh) |
| JP (1) | JP6242793B2 (zh) |
| KR (1) | KR102173630B1 (zh) |
| CN (2) | CN103797792B (zh) |
| TW (2) | TWI568242B (zh) |
| WO (1) | WO2013040287A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103262542A (zh) * | 2010-10-26 | 2013-08-21 | 数码士有限公司 | 自适应帧内预测编码和解码方法 |
| CA2772894A1 (en) * | 2011-05-17 | 2012-11-17 | Her Majesty The Queen In Right Of Canada, As Represented By The Ministerof Industry, Through The Communications Research Centre Canada | Image and video encoding and decoding |
| US9332257B2 (en) | 2012-10-01 | 2016-05-03 | Qualcomm Incorporated | Coded black flag coding for 4:2:2 sample format in video coding |
| US10602155B2 (en) * | 2013-04-29 | 2020-03-24 | Intellectual Discovery Co., Ltd. | Intra prediction method and apparatus |
| EP3021578B1 (en) | 2013-07-10 | 2019-01-02 | KDDI Corporation | Sub-sampling of reference pixels for chroma prediction based on luma intra prediction mode |
| US10554980B2 (en) | 2015-02-23 | 2020-02-04 | Lg Electronics Inc. | Method for processing image on basis of intra prediction mode and device therefor |
| CN104702962B (zh) * | 2015-03-03 | 2019-04-16 | 华为技术有限公司 | 帧内编解码方法、编码器和解码器 |
| ES2719132B1 (es) * | 2015-08-28 | 2020-05-05 | Kt Corp | Procedimiento y dispositivo para procesar señales de vídeo |
| US9986189B2 (en) | 2016-01-04 | 2018-05-29 | Samsung Electronics Co., Ltd. | Pixel sensors and imaging devices for providing multiple sub sample images within a single frame |
| KR102391235B1 (ko) * | 2016-04-29 | 2022-04-27 | 인텔렉추얼디스커버리 주식회사 | 영상 신호 부호화/복호화 방법 및 장치 |
| US10621731B1 (en) * | 2016-05-31 | 2020-04-14 | NGCodec Inc. | Apparatus and method for efficient motion estimation for different block sizes |
| GB2554065B (en) * | 2016-09-08 | 2022-02-23 | V Nova Int Ltd | Data processing apparatuses, methods, computer programs and computer-readable media |
| JP6669622B2 (ja) * | 2016-09-21 | 2020-03-18 | Kddi株式会社 | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 |
| WO2018079888A1 (ko) * | 2016-10-28 | 2018-05-03 | 엘지전자(주) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| US20180131936A1 (en) * | 2016-11-10 | 2018-05-10 | Intel Corporation | Conversion buffer to decouple normative and implementation data path interleaving of video coefficients |
| SG11202003260WA (en) * | 2017-11-07 | 2020-05-28 | Huawei Tech Co Ltd | Interpolation filter for an inter prediction apparatus and method for video coding |
| WO2019194511A1 (ko) * | 2018-04-01 | 2019-10-10 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| CN111937401B (zh) * | 2018-04-13 | 2022-08-16 | 皇家Kpn公司 | 基于块级超分辨率的视频编码的方法和装置 |
| KR20200028856A (ko) | 2018-09-07 | 2020-03-17 | 김기백 | 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
| EP3984229A4 (en) | 2019-06-14 | 2022-07-06 | Telefonaktiebolaget Lm Ericsson (Publ) | SIMPLIFIED SUB-SAMPLING FOR MATRIX-BASED INTRA PREDICTION |
| WO2020251469A1 (en) * | 2019-06-14 | 2020-12-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Sample value clipping on mip reduced prediction |
| WO2021040574A1 (en) * | 2019-08-31 | 2021-03-04 | Huawei Technologies Co., Ltd. | Method and apparatus of still picture and video coding with shape-adaptive resampling of residual blocks |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI287403B (en) * | 2003-01-17 | 2007-09-21 | Matsushita Electric Ind Co Ltd | Picture coding method |
| US20080101707A1 (en) * | 2006-10-30 | 2008-05-01 | Debargha Mukherjee | Method for decomposing a video sequence frame |
| US20090010333A1 (en) * | 2006-01-31 | 2009-01-08 | Alexandros Tourapis | Method and Apparatus for Constrained Prediction for Reduced Resolution Update Mode and Complexity Scalability in Video Encoders and Decoders |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3356413B2 (ja) | 1992-12-14 | 2002-12-16 | ソニー株式会社 | 画像復号化方法及び装置 |
| US6654503B1 (en) * | 2000-04-28 | 2003-11-25 | Sun Microsystems, Inc. | Block-based, adaptive, lossless image coder |
| JP2003204555A (ja) * | 2002-11-28 | 2003-07-18 | Toshiba Corp | 動画像符号化方法及び装置 |
| JP2005130417A (ja) * | 2003-10-01 | 2005-05-19 | Matsushita Electric Ind Co Ltd | 変換符号化方法および変換復号化方法 |
| WO2006004331A1 (en) * | 2004-07-07 | 2006-01-12 | Samsung Electronics Co., Ltd. | Video encoding and decoding methods and video encoder and decoder |
| JP2006237970A (ja) * | 2005-02-24 | 2006-09-07 | Mitsubishi Electric Corp | 動画像符号化装置 |
| KR100727969B1 (ko) | 2005-08-27 | 2007-06-14 | 삼성전자주식회사 | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 |
| US8238428B2 (en) | 2007-04-17 | 2012-08-07 | Qualcomm Incorporated | Pixel-by-pixel weighting for intra-frame coding |
| US8428133B2 (en) | 2007-06-15 | 2013-04-23 | Qualcomm Incorporated | Adaptive coding of video block prediction mode |
| EP3410706B1 (en) | 2007-06-29 | 2021-12-01 | Velos Media International Limited | Image encoding device and image decoding device |
| US20100290534A1 (en) * | 2007-10-16 | 2010-11-18 | Gyan Prakash Pandey | Video Encoding Using Pixel Decimation |
| JP2009290498A (ja) | 2008-05-29 | 2009-12-10 | Renesas Technology Corp | 画像符号化装置及び画像符号化方法 |
| JP2010034802A (ja) * | 2008-07-28 | 2010-02-12 | Canon Inc | 動画像符号化装置およびその制御方法 |
| KR101432775B1 (ko) * | 2008-09-08 | 2014-08-22 | 에스케이텔레콤 주식회사 | 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치 |
| TW201036447A (en) | 2009-03-25 | 2010-10-01 | Arcsoft shanghai technology co ltd | Downscaling decoding method for an MPEG2 format video |
| JP5219089B2 (ja) | 2009-04-30 | 2013-06-26 | 株式会社メガチップス | 画像データの生成方法 |
| JP5489557B2 (ja) * | 2009-07-01 | 2014-05-14 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
| CN101668205B (zh) | 2009-09-25 | 2011-04-20 | 南京邮电大学 | 基于残差宏块自适应下采样立体视频压缩编码方法 |
| WO2011108240A1 (ja) * | 2010-03-01 | 2011-09-09 | パナソニック株式会社 | 画像符号化方法および画像復号方法 |
| KR20110138098A (ko) * | 2010-06-18 | 2011-12-26 | 삼성전자주식회사 | 영상 인트라 예측 방법 및 장치 및 그를 적용한 영상 디코딩 방법 및 장치 |
-
2012
- 2012-09-14 CN CN201280045213.5A patent/CN103797792B/zh active Active
- 2012-09-14 EP EP17166234.9A patent/EP3232665A1/en active Pending
- 2012-09-14 KR KR1020147009836A patent/KR102173630B1/ko active IP Right Grant
- 2012-09-14 WO PCT/US2012/055280 patent/WO2013040287A1/en active Application Filing
- 2012-09-14 EP EP12778490.8A patent/EP2756678B1/en active Active
- 2012-09-14 CN CN201810447428.9A patent/CN108462875B/zh active Active
- 2012-09-14 JP JP2014530812A patent/JP6242793B2/ja active Active
- 2012-09-14 US US13/615,925 patent/US9699452B2/en active Active
- 2012-09-17 TW TW101133923A patent/TWI568242B/zh active
- 2012-09-17 TW TW105130227A patent/TW201722150A/zh unknown
-
2017
- 2017-03-14 US US15/458,919 patent/US11432001B2/en active Active
-
2022
- 2022-08-26 US US17/896,350 patent/US11785249B2/en active Active
-
2023
- 2023-09-20 US US18/370,589 patent/US20240015321A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI287403B (en) * | 2003-01-17 | 2007-09-21 | Matsushita Electric Ind Co Ltd | Picture coding method |
| US20090010333A1 (en) * | 2006-01-31 | 2009-01-08 | Alexandros Tourapis | Method and Apparatus for Constrained Prediction for Reduced Resolution Update Mode and Complexity Scalability in Video Encoders and Decoders |
| US20080101707A1 (en) * | 2006-10-30 | 2008-05-01 | Debargha Mukherjee | Method for decomposing a video sequence frame |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2756678A1 (en) | 2014-07-23 |
| KR102173630B1 (ko) | 2020-11-03 |
| US11432001B2 (en) | 2022-08-30 |
| CN103797792B (zh) | 2018-06-05 |
| JP6242793B2 (ja) | 2017-12-06 |
| US20220408109A1 (en) | 2022-12-22 |
| KR20140062516A (ko) | 2014-05-23 |
| TW201722150A (zh) | 2017-06-16 |
| US20240015321A1 (en) | 2024-01-11 |
| EP3232665A1 (en) | 2017-10-18 |
| TW201334541A (zh) | 2013-08-16 |
| EP2756678B1 (en) | 2017-04-19 |
| US20170251222A1 (en) | 2017-08-31 |
| WO2013040287A1 (en) | 2013-03-21 |
| CN108462875A (zh) | 2018-08-28 |
| US20130243091A1 (en) | 2013-09-19 |
| CN103797792A (zh) | 2014-05-14 |
| US9699452B2 (en) | 2017-07-04 |
| JP2014531154A (ja) | 2014-11-20 |
| CN108462875B (zh) | 2022-12-06 |
| US11785249B2 (en) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI568242B (zh) | 空間預測系統及方法 | |
| JP7295178B2 (ja) | ジオメトリ投影を使用する３６０度ビデオ符号化 | |
| US20220329831A1 (en) | Enhanced chroma coding using cross plane filtering | |
| JP7433019B2 (ja) | ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング | |
| JP6684867B2 (ja) | Ｒｇｂビデオコーディングエンハンスメントのためのシステムおよび方法 | |
| JP6954763B2 (ja) | マルチレイヤビデオコーディングの適応型アップサンプリング | |
| TWI816224B (zh) | 視訊解碼或編碼方法及裝置 | |
| JP2020129845A (ja) | ビデオ符号化のための成分間相関解除 | |
| JP6397902B2 (ja) | スケーラブルビデオ符号化のためのレイヤ間予測 | |
| CN111601110A (zh) | 用于调色编码模式的逃逸色彩编码 | |
| TW201444342A (zh) | 功率感知視訊串流複雜性感知視訊編碼 |