TW202002632A - 應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置 - Google Patents

應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置 Download PDF

Info

Publication number
TW202002632A
TW202002632A TW108122730A TW108122730A TW202002632A TW 202002632 A TW202002632 A TW 202002632A TW 108122730 A TW108122730 A TW 108122730A TW 108122730 A TW108122730 A TW 108122730A TW 202002632 A TW202002632 A TW 202002632A
Authority
TW
Taiwan
Prior art keywords
index
filter
prediction
sample
intra prediction
Prior art date
Application number
TW108122730A
Other languages
English (en)
Other versions
TWI717776B (zh
Inventor
林敬傑
林俊隆
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Publication of TW202002632A publication Critical patent/TW202002632A/zh
Application granted granted Critical
Publication of TWI717776B publication Critical patent/TWI717776B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露內容提出一種應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置。在畫面內預測方法中，採用自適應性濾波(Adaptive Filtering)技術，動態決定是否使用濾波器，進一步降低畫面內預測的複雜度。根據上述使用多重鄰邊做為參考，並且採用自適應性濾波技術，可以提升超高解析度影片的壓縮效能，並降低運算複雜度。

Description

應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置
本揭露內容是有關於一種應用於視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測之自適應性濾波(Adaptive Filtering)方法、使用上述方法的視訊編碼裝置及視訊解碼裝置。
需要大量視訊資料的應用越來越廣，例如數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台主控台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者等等。當需要在頻寬容量有限的通信網路中流傳輸或傳送資料時，可能會使難度加大。因此，在現代電信網路中傳送視訊資料之前通常會壓縮視訊資料。當視訊資料存儲在存放裝置上時，視訊的大小也可能成為問題，因為記憶體資源可能有限。在傳輸或存儲視訊資料之前，視訊壓縮設備經常在來源處使用軟體和/或硬體對視訊資料進行編碼，從而減少用來表示數位視訊圖像所需的資料量。然後，壓縮資料由解碼視訊資料的視頻解壓縮電路在標的物裝置處接收並解壓縮。在網路資源有限同時對更高視頻品質的需求不斷增長的情況下，需要既提高壓縮率又幾乎無損圖像品質的改進型壓縮和解壓技術。
本揭露內容提出一種畫面內預測(Intra Prediction)的自適應性濾波方法，包括接收一索引，並根據此索引進行濾波器選擇而產生對應索引的一濾波器索引(Filter Index)；以及根據此濾波器索引(Filter Index)選擇對應的濾波器，並使用此濾波器對一輸入樣本進行濾波操作產生一經濾波樣本輸出，或是直接將輸入樣本作為經濾波樣本據以輸出。
在前述畫面內預測(Intra Prediction)的自適應性濾波方法多個實施範例之一，此索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，而濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
本揭露內容提出一種具有自適應性濾波的畫面內預測(Intra Prediction)方法，包括根據一索引對輸入樣本執行一參考樣本執行參考樣本平滑化濾波(RSF)操作，其中，當此索引指出使用鄰近參考層的影像樣本時，對此輸入樣本執行參考樣本平滑化濾波(RSF)操作後輸出作為經濾波樣本。當此索引指出使用多重參考鄰邊(MRL)的影像樣本時，直接將輸入樣本作為上述經濾波樣本輸出。對上述經濾波樣本執行畫面內預測。
本揭露內容提出一種視訊編碼裝置，包括記憶體以及處理器。此記憶體用以儲存多個指令及資料。所述處理器存取這些指令以及資料，經設定用以執行所述的指令，其中處理器接收一索引，並根據此索引進行濾波器選擇而產生對應該索引的一濾波器索引(Filter Index)。此處理器根據濾波器索引(Filter Index)選擇對應的濾波器，並使用濾波器對一輸入樣本進行濾波操作產生一經濾波樣本輸出，或是直接將輸入樣本作為所述經濾波樣本據以輸出。
在前述視訊編碼裝置多個實施範例之一，此索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，而濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
本揭露內容提出一種視訊編碼裝置，包括加法器，接收一輸入畫像資料與一預測值，經運算後產生一殘餘值；轉換與量化單元，將該殘餘值轉換後進行量化而到數據；熵編碼單元，將該數據處理成為經壓縮後的影像資料輸出；反向量化與反向轉換單元，將該數據還原成經視訊解碼後的圖像資料；以及預測單元，用以接收該輸入畫像資料以及該經視訊解碼後的圖像資料，據以產生該預測值，其中該預測單元包括一畫面內預測單元。所述畫面內預測單元設定用以接收一索引，並根據所述索引進行濾波器選擇而產生對應所述索引的濾波器索引(Filter Index)，以及根據所述濾波器索引(Filter Index)選擇對應的濾波器進行濾波操作，或是直接將該輸入樣本作為該經濾波樣本據以輸出。
本揭露內容提出一種視訊解碼裝置，包括記憶體，用以暫存經壓縮後的影像資料；熵解碼單元，對該經壓縮後的影像資料根據熵編碼語法元素進行熵解碼取得位元串流；預測處理單元，耦接到該熵解碼單元；反量化單元，耦接到該熵解碼單元；反變換處理單元，耦接到該反量化單元；重建構單元，耦接到該反變換處理單元與該預測處理單元；以及濾波器單元，耦接到該重建構單元與該預測處理單元。所述預測處理單元、反量化單元、反變換處理單元、重建構單元及濾波器單元基於該自位元串流提取之語法元素而產生經解碼視訊資料。所述預測處理單元設定用以取得一索引，從所述索引確認所述經解碼視訊資料是否已經進行過參考樣本平滑化濾波(RSF)操作及/或邊界濾波(Boundary Filtering)操作。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
隨著網路、通訊系統、顯示器及電腦等應用的新技術的近期發展中，許多應用都須要高效的視訊編碼的解決方案，例如高視訊壓縮率、虛擬實境（Virtual Reality；VR）及360度視訊內容。為提供身歷其境的視覺效果，提升視訊解析度以在視訊中看見更多細節是常見作法。VR技術通常是以頭戴式裝置（Head Mounted device；HMD）實現，且頭戴式裝置與眼睛之間的距離十分接近，因此需要視訊內容的解析度希望能夠增加到當前的4K到8K解析度、甚至32K解析度以上。此外，畫面刷新率也會影響到VR的使用體驗，因此希望將畫面刷新率增加到每秒30張、每秒90張甚至是每秒120張。基於上述需求，目前所使用的高效率視訊編碼（High Efficiency Video Coding；HEVC）（又可稱為H.265）似乎不足以對使用者提供更佳的視覺效果及體驗。
為了進一步提升針對數位視訊的編碼效率及提升影像品質，由聯合視訊探索小組（Joint Video Exploration Team；JVET）將數種解決潛在需求的強化型視訊編碼技術應用多功能視頻編碼(Versatile Video Coding；VVC)中，以開發下世代視訊編碼(Future Video Coding，FVC)技術。JEM所採用的畫面內預測（intra prediction）技術由原本HEVC所具備的35種預測模式擴充到67種預測模式(Intra Prediction Modes；IPM)，藉以用於更為準確地進行角度預測。JEM更進一步介紹新的技術，包括參考樣本自適應濾波器(Reference Samples Adaptive Filter；RSAF)以改善參考樣本的平滑度方法，或是位置相依之畫面內預測組合(Position Dependent Intra Prediction Combination；PDPC)以增加可以選擇的預測方法，或是非分離式二次轉換（Non-separable Secondary Transform；NSST）用以作為殘餘值轉換的方法等等。
圖1用來簡單的說明畫面內預測(Intra Prediction)的實施範例流程概念圖。畫面內預測(Intra Prediction)方法，是參考區塊單元(Block Unit)之空間相鄰之經重建構影像樣本作為預測的影像區塊預測技術。HEVC採用的35種預測模式(IPM)，或是JEM採用的67種預測模式，包括第0預測模式(Mode 0)的平面模式(Planar Mode)以及第1預測模式(Mode 1)的直流(DC)預測模式(DC Mode)，都是使用固定的鄰近的參考層(Reference Tier；RT)樣本作為預測的參考。首先，步驟110中，取得原始區塊“O”。步驟120中，進行畫面內預測模式的選擇，並根據所選擇的畫面內預測模式對當前編碼單元(Current Coding Unit；CU)在所選擇的方向進行預測，得到了預測值P。步驟130，藉由加法器將預測值P與原始區塊O相減以獲得殘餘值R(R=O-P)。接著對殘餘值R進行轉換以及量化，如步驟140而取得量化後的串列數據S(S=Q{T{R}})，並將此串列數據S加以儲存。
圖2是說明視訊編碼裝置沿多個預測方向進行畫面內預測(Intra Prediction)的不同預測模式。在畫面內預測(Intra Prediction)方法中，參考區塊單元(Coding Unit)之空間相鄰之經重建構影像樣本作為預測的影像區塊預測技術。首先，視訊編碼裝置會選擇沿多個預測方向210(如由箭頭所指)進行預測。如前所述，不論是HEVC所採用的35種預測模式，或是JEM所採用的畫面內預測（intra prediction）技術包括67種預測模式(IPM)，包括第0預測模式(Mode 0)的平面模式(Planar Mode)以及第1預測模式(Mode 1)的直流(DC)預測模式(DC Mode)，都是使用固定的鄰近的參考層(Reference Tier；RT)樣本作為預測的參考。上述預測模式在應用上，針對模型化平滑地變化及恆定圖像區域可以採用應用平面模式及DC模式。
圖3A~3C是說明在畫面內預測(Intra Prediction)中，參考相鄰之經重建構影像樣本進行預測的實施範例。如圖3A所示，區塊單元是以大小為MxM的當前編碼單元(Current Coding Unit；CU)320為範例說明，而M是任意正整數，但並非以此為限制。此當前編碼單元(CU)320經過影像預測之後可以取得預測值(Predictor)。以鄰近的參考層(RT)330作為參考樣本，包括R(-1, -1)、R(x,-1)R(-1,y)的參考樣本，經過影像預測運算之後取得16個預測值P(x,y)。如圖所示，參考樣本RR(-1, 7)~R(-1,0)的左區段(Left Segment)、R(0,-1)~R(7,-1)的上區段(Above Segment)以及上左畫素(Left-Above Pixel)的R(-1, -1)，而取得P(0,0)~P(3,3)等16個預測值。
實際的範例以圖3B與圖3C做說明。原始的當前編碼單元(CU)340的值如圖3B所示，而經過畫面內預測(Intra Prediction)方法計算之後，取得的16個預測值P(x,y)，如更新後的當前編碼單元(CU)350，如圖3C所示，原來的P(2,0)與P(3,1) 在參考特定預測方向的樣本值之後，從原來的“300”根據樣本而改變為“280”，而原來的P(3,0)從原來的“400”根據樣本而改變為“380”。
上述以固定的鄰近參考層(RT)樣本作為預測的參考，有一種情況，就是若鄰近參考層的參考樣本與原始的樣本在某一特定的方向差異太大，將會造成大量的樣本錯誤(Sample Error)。實際的範例以圖4A~圖4C做說明。原始的當前編碼單元(CU)410的值如圖4A所示。在進行畫面內預測(Intra Prediction)時，參考鄰近參考層(RT)430樣本，以對角線方向模式(Diagonal Direction Mode)進行畫面內預測(Intra Prediction)，參考對角線上的鄰近參考層(RT)430樣本取得圖4B的16個預測值，如更新後的當前編碼單元(CU)420。觀察鄰近參考層(RT)430與另一個參考層(RT)440可以發現，兩者的樣本差異太大，有可能會造成預測值可能存在樣本錯誤(Sample Error)。
在另外一種情況中。請參照圖4C，同樣以對角線方向模式(Diagonal Direction Mode)進行畫面內預測(Intra Prediction)，若是不使用鄰近參考層(RT)430樣本，而是採用參考層(RT)440的樣本，取得的16個預測值並更新後取得當前編碼單元(CU)422，可以發現圖4B所觀察到差異太大的問題將可避免。因此，這樣的安排可避免潛在的樣本錯誤(Sample Error)的問題。
除此之外，目前對於視訊內容的解析度要求越來越高，例如已經到達了超高解析度(Super High Resolution)的16K解析度、甚至32K解析度以上。為了達到這樣的要求，加大編碼區塊的大小可以改善編碼的效率，所以編碼區塊的大小從H.264(進階視訊編碼；Advanced Video Coding）的16x16，到H.265(高效率視訊編碼；HEVC）的64x64，到最近的H.266的128x128。在越來越高的解析度條件下，在編碼區塊內的畫素，比起編碼區塊外的畫素，在角度預測（Angular Prediction）模式下更加的敏感。因此，樣本錯誤(Sample Error)的問題在高解析度下將會更加的明顯。
本揭露內容所提出視訊編碼裝置實施範例，提出一種應用於視訊內容編碼之多重參考鄰邊(Multiple Reference Line；MRL)之畫面內預測之自適應性濾波(Adaptive Filtering)方法。
本揭露內容的多個實施例中，提出應用於視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法。在此方法中，採用整合參考層(Composed Tier；CT)中經重建構的影像樣本進行畫面內預測(Intra Prediction)的操作，而此整合參考層(CT)包括二個以上的參考層(RT)。在另外的多個實施範例中，也可直接採用多個參考層(RT)中經重建構的影像樣本進行畫面內預測(Intra Prediction)的操作。上述的畫面內預測(Intra Prediction)可以提升畫面內預測的精確度。
以JEM所採用的畫面內預測(Intra Prediction)的操作為例，本揭露內容的實施範例中，提出一種任意參考層(RT)編碼(Arbitrary Reference Tier Coding；ARTC)的架構，以實現使用多重鄰邊作為畫面內預測的操作，而且可獨立地參照每個參考層(RT)進行預測。每個參考層(RT)獨立地經過模式決定演算流程(Mode Decision Algorithm)，包括考慮粗略模式決定(Rough Mode Decision；RMD)、位元率-失真最佳化（Rate-Distortion Optimization；RDO）、以及轉換單元決定(TU Decision；TUD)確認是否決定。本揭露內容的另一個實施範例中，可經由兩階段的選擇，也就是粗略模式決定(RMD)以及位元率-失真最佳化（RDO）的運算，同時決定畫面內預測模式(IPM)以及對應的參考層(RT)。
在另一實施例中，進一步提出自適應性濾波技術，動態決定是否使用濾波器，進一步降低畫面內預測的複雜度。根據上述使用多重鄰邊做為參考，並且採用自適應性濾波技術，可以提升超高解析度影片的壓縮效能，並降低運算複雜度。
請參照圖5A~5C，是說明本揭露內容多個實施範例的多重參考鄰邊(MRL)之畫面內預測方法示意圖。首先，請參照圖5A，當對當前編碼單元(CU)510進行畫面內預測操作時，可以採用1到N個參考層的樣本進行預測，而N可以是任意正整數。從JEM所採用的畫面內預測(Intra Prediction)的操作為例，67種預測模式(IPM)可選擇其中參考層(RT)來進行畫面內預測操作，以產生預測值。不同的預測值P(x,y)可以藉由獨立的不同參考層(RT)來產生。例如圖5A所示，預測值P(2,2)可以由參考樣本Sa1 、Sa2 、Sa3 、…、或SaN 產生，而預測值P(2,0)可以由參考樣本Sb1 、Sb2 、Sb3 、…、或SbN 產生。在此實施例中，參考樣本Sa1 或Sb1 是位於第一參考層(RT)520，參考樣本Sa2 或Sb2 是位於第二參考層(RT)522，參考樣本Sa3 或Sb3 是位於第三參考層(RT)524，而參考樣本SaN 或SbN 是位於第N參考層(RT)526。
在另外一個實施範例中，請參照圖5B，不同的預測值P(x,y)可以藉由不同參考層(RT)來產生。例如預測值P(2,2)可以由第二參考層(RT)522的參考樣本Sa2 產生，而預測值P(2,0)可以由第N參考層(RT)526的參考樣本SbN 產生。
在另外一個實施範例中，請參照圖5C，不同的預測值P(x,y)可以藉由選擇不同的預測模式(對不同的角度)下，選擇不同的參考層(RT)的組合來產生。也就是，不論是HEVC所採用的35種預測模式(IPM)，或是JEM所採用的67種預測模式(IPM)，除了第0預測模式(Mode 0)的平面模式(Planar Mode)以及第1預測模式(Mode 1)的直流(DC)預測模式(DC Mode)之外，其他針對特定角度地不同預測模式(IPM)可選擇一個或多個不同的參考層(RT)的組合來產生。如圖所示，在一實施範例中，預測值P(x,y)在第5預測模式(Mode 5)下可以由第一參考層(RT)520的參考樣本以及第三參考層(RT)524的參考樣本組合產生。預測值P(x,y)在第6預測模式(Mode 6)下可以由第二參考層(RT)522的參考樣本以及第N參考層(RT)526的參考樣本組合產生。預測值P(x,y)在第7預測模式(Mode 7)下可以由第一參考層(RT)520的參考樣本以及第三參考層(RT)524的參考樣本組合產生。
本揭露內容的多個實施例中，提出視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法，可以採用多個鄰近的參考層(RT)經重建構的影像樣本進行畫面內預測(Intra Prediction)的操作。進一步考量採用多個鄰近的參考層(RT)的影像樣本以進行畫面內預測(Intra Prediction)的操作，會增加計算的複雜度，需要更多的運算以及更多的儲存空間，另外，由於更複雜的運算，將會造成運算上的延遲(Computation Latency)以及需要更多的閘數量(Gate Counts)而增加硬體實現的成本。
本揭露內容的多個實施例，提出一種採用自適應性濾波(Adaptive Filtering)技術，動態決定是否使用濾波器，進一步降低畫面內預測的複雜度。根據上述使用多重鄰邊做為參考，並且採用自適應性濾波技術，可以提升超高解析度影片的壓縮效能，並降低運算複雜度。
本揭露內容的多個實施例中，提出採用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作，進一步提出自適應性濾波技術以動態決定是否使用濾波器的技術，可運用在例如改善參考樣本平滑度的方法中，例如可動態決定是否使用參考樣本自適應濾波器(RSAF)。在另外一實施範例中，採用自適應性濾波(Adaptive Filtering)技術，可動態決定是否進行邊界濾波的方法。例如位置相依之畫面內預測組合(PDPC)架構下的邊界濾波操作是針對畫面內預測(Intra Prediction)中濾波邊緣參考採樣與未濾波邊緣參考採樣，以進行加權的預測方法。
請參照圖6，主要是說明本揭露內容所提出應用於視訊內容編碼的多重鄰邊畫面內預測(Intra Prediction)的自適應性濾波方法流程示意圖。高效率視訊編碼（HEVC）提出了模式相依之參考樣本平滑(Mode-dependent Reference Sample Smoothing)方法，而JEM進一步提出改善參考樣本的平滑度方法稱為參考樣本自適應濾波器(Reference Samples Adaptive Filter；RSAF)，在對參考樣本進行平滑化過程中採用兩個低通濾波器(Low Pass Filter；LPF)。
而本揭露內容在一個實施範例中提出一種自適應性參考濾波架構(Adaptive Reference Filtering Scheme；ARFS)，如圖6所示，參考樣本平滑模組(Reference Smoothing Module)620內所包括的第一濾波器(Filter 1)622、第二濾波器(Filter 2)624、以及第T濾波器(Filter T)626等等多個參考濾波器(Reference Filter)，可以根據濾波器索引(Filter Index)604選擇對應的濾波器，跳過濾波的操作、不進行濾波或是直接將輸入樣本作為經濾波樣本據以輸出。
此濾波器索引(Filter Index)604是經由濾波器選擇流程610所產生。而濾波器選擇流程610則是對應於畫面內編碼的編碼單元(Intra-coded CU)而產生濾波器索引604。此畫面內編碼的編碼單元(Intra-coded CU)是根據多重參考鄰邊(MRL)索引內容所判斷產生，而此多重參考鄰邊(MRL)索引可以是整合參考層(CT)或是多個參考層(RT)的索引(Index)，在此以參考層索引(RT Index)602為例說明，另一實施例也可稱為多重參考鄰邊(MRL)索引。根據畫面內編碼的編碼單元(Intra-coded CU)來決定對應的濾波器(Filter)或是不進行濾波的操作。若是濾波器索引(Filter Index)604包括了索引t，則第t濾波器(Filter t)將會用來對輸入樣本606，也就是畫面內編碼的編碼單元(Intra-coded CU)的參考樣本進行濾波操作，而產生經濾波樣本(Filtered Samples)608。若是濾波器索引(Filter Index)604的資訊，跳過濾波的操作、不進行濾波或是直接將輸入樣本606作為經濾波樣本(Filtered Samples)608據以輸出。
本揭露內容的多個實施例中，提出採用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作，利用多重參考鄰邊(MRL)索引內容來判斷是否採用自適應性濾波技術以決定跳過濾波的操作、不進行濾波或是直接將輸入樣本作為經濾波樣本(Filtered Samples)據以輸出。此自適應性濾波技術架構是基於若採用多重參考鄰邊(MRL)的影像樣本進行畫面內預測的操作，則可不需要進行濾波操作，可以提升超高解析度影片的壓縮效能，並降低運算複雜度。
在本揭露內容的多個實施範例中，多重參考鄰邊(MRL)索引的語法設計(Syntax Design)可以根據需要調整，相關內容可參照本申請案所主張的美國暫時申請案第62/691729號及/或美國暫時申請案第62/727595號所提出根據不同應用所產生的多重參考鄰邊(MRL)索引的語法內容以及與相關畫面內預測所採用的預測模式在語法中的順序，在此參照引用並且作為本接露內容中的一部分。例如在一實施範例中，多重參考鄰邊(MRL)索引的內容，在內容多功能視頻編碼(VVC)中，可以放置在預測模式相關內容之後。
多重參考鄰邊(MRL)索引的語法內容，在一個實施範例中，至少包括一個旗標(flag)指出由一個或多個不同的參考層(RT)的組合來產生、或是由整合參考層(CT)及/或參考層(RT)的組合來進行多重參考鄰邊(MRL)之畫面內預測。
而根據多重參考鄰邊(MRL)索引的內容，在一個實施例中例如包括{0,1,2,3}或是{0,1,3}。若是索引的值為“0”，則濾波器索引(Filter Index)值就設定為“1”。 若是索引的值不等於“0”，則濾波器索引(Filter Index)值就設定為“0”。當濾波器索引(Filter Index)值為“1”的時候，進行濾波操作產生經濾波樣本(Filtered Samples)。當濾波器索引(Filter Index)值為“0”的時候，直接將輸入樣本作為經濾波樣本(Filtered Samples)據以輸出。也就是濾波器選擇流程包括例如兩種模式，一種稱為直接模式(Direct Mode)，選擇對應的濾波器進行濾波操作產生經濾波樣本。另一種模式為跳過濾波的操作(Skip Mode)，直接將輸入樣本作為經濾波樣本(Filtered Samples)608據以輸出。上述的多重參考鄰邊(MRL)索引語法的設計僅為多個實施範例之一，可根據應用加以調整，並非以此為限制。而多重參考鄰邊(MRL)索引語法的設計在編碼過程或是解碼過程中都可作為解讀語法上下文的依據。
請參照圖7A與7B，是用以說明根據畫面內編碼的編碼單元(Intra-coded CU)來決定是否進行平滑化濾波操作流程示意圖。
如圖7A所示，參考樣本平滑模組(Reference Smoothing Module)720根據所接收到的濾波器索引(Filter Index)704，包括進行參考樣本平滑化濾波(Reference Smoothing Filtering；RSF)流程722以及另一個不進行濾波操作的跳過RSF流程724。也就是說，根據濾波器索引704選擇了對應的濾波器而對輸入樣本706，也就是畫面內編碼的編碼單元的參考樣本進行參考樣本平滑化濾波RSF流程722，而產生經濾波樣本708。若是濾波器索引704指出跳過或是不進行濾波平滑化的操作，則直接將輸入樣本706轉輸出為經濾波樣本(Filtered Samples) 708。此濾波器索引704是經由濾波器選擇流程710所產生。而濾波器選擇流程710則是對應於畫面內編碼的編碼單元(Intra-coded CU)而根據多重參考鄰邊(MRL)索引702內的資訊產生濾波器索引704。如圖7B所示，根據多重參考鄰邊(MRL)索引702內的資訊，進行濾波器選擇流程710，以便確認是否對輸入樣本706進行參考樣本平滑化濾波(RSF)流程S720，也就是跳過平滑化濾波的操作、不進行平滑化濾波或是直接將輸入樣本706作為經濾波樣本708據以輸出。
上述利用多重參考鄰邊(MRL)索引內容來判斷是否採用自適應性濾波技術，也可運用在例如位置相依之畫面內預測組合(PDPC)架構下的邊界濾波操作。位置相依之畫面內預測組合(PDPC)可視為一種邊界濾波技術，是將邊界濾波(Boundary Filtering)流程與畫面內預測(Intra Prediction)流程結合成單一方程式的技術。邊界濾波技術請參照圖8A與8B，用以說明邊界濾波(Boundary Filtering)流程。此邊界濾波(Boundary Filtering)方法例如在HEVC架構下，在經由垂直畫面內預測模式(Vertical Intra Mode；VER)以及水平畫面內預測模式(Horizontal Intra Mode；HOR)產生畫面內預測區塊(Intra Prediction Block)之後，在左上欄(Left-most Column)以及最上方列(Top-most Row)的預測樣本分別需要進一步調整。此方法在JEM中則進一步推行到幾個對角線畫面內預測模式(Diagonal Intra Mode)下使用，而邊界樣本(Boundary Samples)則是利用二階濾波器(Two-tap Filter)或是三階濾波器(Three-tap Filter)增加到四個欄(Column)或是列(Row)進行調整。如圖8A所示，可以知道在模式編號34的畫面內預測模式中，利用了二階濾波器進行邊界樣本的調整。如圖8B所示，可以知道在模式編號30-33的畫面內預測模式中，利用了三階濾波器進行邊界樣本的調整。
本揭露內容的多個實施例中，利用多重參考鄰邊(MRL)索引內容來判斷是否採用自適應性濾波技術以決定是否使用濾波器，也就是跳過或是不進行濾波的操作。一般預測模式(IPM)會啟動上述的位置相依之畫面內預測組合(PDPC)架構下的邊界濾波操作，但是若採用多重參考鄰邊(MRL)的影像樣本進行畫面內預測的操作，則可不需要進行位置相依之畫面內預測組合(PDPC)操作。因此，此自適應性濾波技術架構可以考慮若採用多重參考鄰邊(MRL)的影像樣本進行畫面內預測的操作時，則可不需要進行位置相依之畫面內預測組合(PDPC)操作，可以提升超高解析度影片的壓縮效能，並降低運算複雜度。請參照圖9A與9B，是用以說明根據畫面內編碼的編碼單元(Intra-coded CU)來決定是否進行邊界濾波操作流程示意圖。
如圖9A所示，邊界濾波器模組(Boundary Filter Module)920根據所接收到的濾波器索引904，判斷是否進行邊界濾波流程(以“BF”表示)922以及另一個不進行邊界濾波操作的跳過BF流程924。也就是說，根據濾波器索引904選擇了是否進行邊界濾波流程而產生經濾波樣本908。此濾波器索引904是經由濾波器選擇流程910所產生。而濾波器選擇流程910則是對應於畫面內編碼的編碼單元(Intra-coded CU)而根據多重參考鄰邊(MRL)索引902內的資訊產生濾波器索引904。如圖9B所示，根據多重參考鄰邊(MRL)索引902內的資訊，進行濾波器選擇流程910，以判斷是否對輸入樣本906進行邊界濾波流程S920，也就是跳過邊界濾波的操作、不進行邊界濾波或是直接將輸入樣本906作為經濾波樣本908據以輸出。
本揭露內容的多個實施例中，所提出視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法的編碼(Encoding)流程，整個架構可參照圖10加以說明。本揭露內容所提出多重參考鄰邊(MRL)之畫面內預測操作，請參照圖10，基本上區分為幾個流程，包括參考樣本過濾流程S1010、畫面內預測流程S1020、邊界過濾流程S1030、位元率-失真最佳化(RDO)流程S1040以及語法產生(Syntax Generation)流程S1050。
參考樣本過濾流程S1010則如圖7B所示，根據多重參考鄰邊(MRL)索引內的資訊，進行判斷步驟S1012，以便確認是否對輸入樣本進行參考樣本平滑化濾波(RSF)流程S1014或是跳過或是不進行濾波平滑化的操作(跳過RSF)。畫面內預測流程S1020則是採用最佳預測模式決定(Best Prediction Mode Decision)方法S1022選擇最佳的預測模式。
邊界過濾流程S1030則如圖9B所示，根據多重參考鄰邊(MRL)索引內的資訊，進行判斷步驟S1032，以判斷是否對輸入樣本進行邊界濾波(BF)流程S1034或是跳過或是不進行邊界濾波操作(跳過BF)。位元率-失真最佳化(RDO)流程S1040則是使用位元率-失真最佳化方法檢查並基於區塊以及多個候選預測模式所對應的預測成本來計算多個候選預測模式在多個轉換索引下所對應的多個失真成本，以便得到位元率-失真最佳化的選擇。
語法產生(Syntax Generation)流程S1050則是包括選擇或是寫入參考邊語法(Reference Line Syntax)步驟S1052、選擇或是寫入最有可能模式(Most Probable Mode；MPM)旗標(Flag)步驟S1054、以及選擇或是寫入最有可能模式(MPM)參數/角度模式參數(Angular Mode Index)參考邊語法(Reference Line Syntax)步驟S1065。
本揭露內容的多個實施例中，所提出視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法的解碼(Decoding)流程，整個架構可參照圖11加以說明。本揭露內容所提出多重參考鄰邊(MRL)之畫面內預測操作，請參照圖11，基本上區分為幾個流程，包括語法分析(Syntax Parsing)流程S1110、參考樣本過濾流程S1120、畫面內預測流程S1130以及邊界過濾流程S1140。
語法分析(Syntax Parsing)流程S1110包括分析參考邊語法(Reference Line Syntax)步驟S1112、分析最有可能模式(Most Probable Mode；MPM)旗標(Flag)步驟S1114、以及分析最有可能模式(MPM)索引/角度模式索引(Angular Mode Index)步驟S1116。
參考樣本過濾流程S1120則是根據多重參考鄰邊(MRL)索引內的資訊，進行判斷步驟S1112，以便確認是否樣本是否已經進行過參考樣本平滑化濾波(RSF)流程。若是已經進行過參考樣本平滑化濾波(RSF)，則採用步驟S1124，若未進行，則是直接跳過而繼續進行畫面內預測流程S1130。畫面內預測流程S1130則也是根據最佳預測模式決定(Best Prediction Mode Decision)方法S1132選擇預測模式。
而邊界過濾流程S1140則根據多重參考鄰邊(MRL)索引內的資訊，進行判斷步驟S1142，以判斷是否對輸入樣本進行邊界濾波(BF)處理，或是跳過不進行邊界濾波操作(跳過BF)。若是已經進行過邊界濾波(BF)處理，則採用步驟S1114，若未進行，則是直接跳過邊界過濾流程S1140。
圖12為說明經組態以實施本揭露所提出採用多重參考鄰邊(MRL)之影像樣本進行畫面內預測(Intra Prediction)的操作之實例視訊處理裝置的方塊示意圖。而此視訊處理裝置1200可以運用在視訊編碼器，也可運用在視訊解碼器。在此以編碼器做為說明。視訊處理裝置1200在一實施範例中可以包括處理器(Processor)1210、記憶體1220、輸入/輸出單元1230以及資料匯流單元1240。
處理器1210是以硬體和軟體形式來實施本揭露所提出採用多重參考鄰邊(MRL)之影像樣本進行畫面內預測(Intra Prediction)的操作。處理器1210可實施為一個或多個中央處理器(CPU)晶片、場效可程式設計閘陣列（Field-Programmable Gate Array；FPGA）、特定用途積體電路（Application Specific Integrated Circuit；ASIC）和數位訊號處理器（digital signal processor；DSP）等。處理器1210透過資料匯流單元1240與記憶體1220、輸入/輸出單元1230構成通聯以接受或傳送資料。處理器1210可以存取儲存在記憶體1220中的指令來實施。
記憶體1220用以儲存所要執行的程式，並且儲存程式執行過程中所讀取的指令和資料。記憶體1220可以是揮發性記憶體（Volatile memory）和/或非揮發性（Non-Volatile Memory；NVM）記憶體。非揮發性記憶體可以是例如唯讀記憶體（Read-only memory；ROM）或是快閃記憶體（Flash memory）等等。而唯讀記憶體（ROM）可以是例如可程式化唯讀記憶體（Programmable read-only memory；PROM）、電性可改寫唯讀記憶體 （Electrically alterable read only memory；EAROM ）、可擦除可程式化唯讀記憶體（Erasable programmable read only memory；EPROM）、電性可抹除可程式化唯讀記憶體（Electrically erasable programmable read only memory；EEPROM）等等。而揮發性記憶體例如隨機存取記憶體（Random Access Memory；RAM）、動態隨機存取記憶體（Dynamic Random Access Memory；DRAM）、或是靜態隨機存取記憶體（Static Random Access Memory；SRAM）等等。
根據圖12的視訊處理裝置1200架構，經組態後可實施圖10所提出多重參考鄰邊(MRL)之畫面內預測方法的編碼(Encoding)流程。處理器1210經組態後可實施視訊編碼，包括畫面內預測功能，可執行圖10所提出多重參考鄰邊(MRL)之畫面內預測方法的編碼(Encoding)流程，包括參考樣本過濾流程S1010、畫面內預測流程S1020、邊界過濾流程S1030、位元率-失真最佳化(RDO)流程S1040以及語法產生(Syntax Generation)流程S1050等等流程。
圖12中經組態以實施多重參考鄰邊(MRL)之影像樣本進行畫面內預測(Intra Prediction)的操作之視訊處理裝置1200，應用在視訊編碼裝置(Encoder)可參照圖13的結構方塊示意圖。圖13是依據本揭露內容實施例的一種視訊編碼裝置的結構方塊示意圖。此視訊編碼裝置1300所使用的視訊編碼可以是聯合探索測試平台（JEM）。視訊編碼裝置1300包括積體電路，且圖13中所說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。而此硬體電路可為單獨電路或兩者或兩者以上可組合為共用硬體電路。在一些實例中，圖13中所說明之單元中之一或多者可為在處理電路上執行之軟體單元。在這樣的實例中，用於這樣的軟體單元之程式碼儲存於記憶體中。作業系統可使得視訊編碼裝置1300可從記憶體儲存擷取程式碼並執行，其使得視訊編碼裝置1300執行實施實例技術之操作。在一些實例中，軟體單元可為視訊編碼裝置1300在啟動處執行之韌體。因此，視訊編碼裝置1300為具有執行實例技術之硬體或具有在硬體上執行以特化執行這樣的實例技術之硬體的軟體/韌體的結構性組件。
本實施例的視訊編碼裝置1300包括轉換與量化單元1310、預測單元1320、位於視訊編碼裝置1300輸入端N1的加法器1330、熵編碼單元1340、反向量化與反向轉換單元1350、位於反向量化與轉換單元1350輸出端N2的加法器1360、以及畫面緩衝器1370。轉換與量化單元1310包括轉換單元1312以及量化單元1314。預測單元1320包括畫面內預測單元1322以及畫面間預測單元1324。加法器1330藉由預測單元1320提供的資訊(例如，預測值)來與輸入圖像IM相減以獲得輸入圖像IM的殘餘值MR。
轉換單元1312包括例如採用非分離式二次轉換（NSST）技術進行轉換。轉換單元1312對輸入圖像IM的殘餘值MR進行轉換。已被轉換單元1312進行殘餘值轉換後的數據TD則由量化單元1314處理後成為數據DA，並透過熵編碼單元1340處理成為經壓縮後的影像資料VD。影像資料VD除了數據DA以外還可包括預測單元1320所產生的各種畫面內預測模式與畫面間預測模式。
為了模擬視訊解碼後的數據，視訊編碼器1300利用反向量化與反向轉換單元1350中的反向量化單元1352以及反向轉換單元1354將數據DA還原成經視訊解碼後的圖像資料。此圖像資料經由加法器1360與輸入影像IM的處理後暫存於畫面緩衝器1370中。視訊解碼後的圖像資料可供畫面內預測單元1322以及畫面間預測單元1324作為當前區塊的模式預測使用。畫面內預測單元1322是利用同一個畫面中已解析的區塊來對正在處理的區塊進行像素數值預測以及殘餘值轉換。畫面間預測單元1324則是針對連續的多個輸入影像之間的區塊進行像素預測以及殘餘值轉換。也就是說，預測單元1320經組態後可對所接收的圖像資料(輸入畫像資料)以及經視訊解碼後的圖像資料(同一個畫面中已解析的區塊)，據以產生預測值。
畫面內預測單元1322經組態後接收一索引，並根據此索引進行濾波器選擇而產生對應此索引的一濾波器索引(Filter Index)，以及根據此濾波器索引(Filter Index)選擇對應的濾波器進行濾波操作，或是直接將所接收的圖像資料(輸入畫像資料)作為經濾波樣本據以輸出。
圖12中經組態以實施多重參考鄰邊(MRL)之影像樣本進行畫面內預測(Intra Prediction)的操作之視訊處理裝置1200，應用在視訊解碼裝置(Decoder)可參照圖14的結構方塊示意圖。視訊解碼器1400包括積體電路，且圖14中所說明之各種單元可形成為與電路匯流排互連之硬體電路區塊。而此硬體電路區塊可為單獨電路區塊或兩者或兩者以上可組合為共用硬體電路區塊。在一些實例中，圖14中所說明之單元中之一或多者可為在處理電路上執行之軟體單元。在這樣的實例中，用於這樣的軟體單元之程式碼儲存於記憶體中。作業系統可使得視訊解碼器1400擷取程式碼並執行，其使得視訊解碼器1400執行實施實例技術之操作。在一些實例中，軟體單元可為視訊解碼器1400在啟動處執行之韌體。因此，視訊解碼器1400為具有執行實例技術之硬體或具有在硬體上執行以特化執行該等實例技術之硬體的軟體/韌體的結構性組件。
在圖14之實例中，視訊解碼器1400包括視訊資料記憶體1410、熵解碼單元1420、反量化單元1430、反變換處理單元1440、預測處理單元1450、重建構單元1460、濾波器單元1470，及經解碼圖像緩衝器1480。預測處理單元1450包括畫面間預測單元1452及畫面內預測單元1454。在其他實例中，視訊解碼器1400可包括更多、更少或不同的功能組件。
熵解碼單元1420可對經熵編碼語法元素進行熵解碼。預測處理單元1450、反量化單元1430、反變換處理單元1440、重建構單元1460及濾波器單元1470可基於自位元串流提取之語法元素而產生經解碼視訊資料。在此不再冗述。在視訊解碼器1400中，畫面內預測單元1454可執行圖11所提出多重參考鄰邊(MRL)之畫面內預測方法的解碼(Decoding)流程，包括語法分析(Syntax Parsing)流程S1110、參考樣本過濾流程S1120、畫面內預測流程S1130以及邊界過濾流程S1140。也就是說，預測處理單元1454設定用以取得一索引，從這索引確認經解碼視訊資料是否已經進行過參考樣本平滑化濾波(RSF)操作及/或邊界濾波(Boundary Filtering)操作。預測處理單元1454根據此索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，此畫面內預測單元根據濾波器索引(Filter Index)認定經解碼視訊資料未經過參考樣本平滑化濾波(RSF)操作及/或邊界濾波(Boundary Filtering)操作。
本揭露內容的多個實施例中，提出應用於視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法。在此方法中，採用整合參考層(Composed Tier；CT)中經重建構的影像樣本進行畫面內預測(Intra Prediction)的操作，而此整合參考層(CT)包括二個以上的參考層(RT)。在另外的多個實施範例中，也可直接採用多個參考層(RT)中經重建構的影像樣本進行畫面內預測(Intra Prediction)的操作。上述的畫面內預測(Intra Prediction)可以提升畫面內預測的精確度。
在另一實施例中，進一步提出自適應性濾波技術，動態決定是否使用濾波器，進一步降低畫面內預測的複雜度。根據上述使用多重鄰邊做為參考，並且採用自適應性濾波技術，可以提升超高解析度影片的壓縮效能，並降低運算複雜度。
根據前述的內容，在本揭露內容所提出的多個實施範例之一，提出一種畫面內預測(Intra Prediction)的自適應性濾波方法，包括接收一索引，並根據此索引進行濾波器選擇而產生對應索引的一濾波器索引(Filter Index)。根據此濾波器索引(Filter Index)選擇對應的濾波器，並使用此濾波器對一輸入樣本進行濾波操作產生一經濾波樣本輸出，或是直接將輸入樣本作為經濾波樣本據以輸出。
在前述畫面內預測(Intra Prediction)的自適應性濾波方法多個實施範例之一，此索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，而濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
在本揭露內容所提出的多個實施範例之一，所述的多重參考鄰邊(MRL)的影像樣本包括一整合參考層(CT)或是多個參考層(RT)的影像樣本，或其組合。
在本揭露內容所提出的多個實施範例之一，所述的濾波器索引(Filter Index)選擇對應的濾波器為執行參考樣本平滑化濾波(RSF)，其中，當此索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，對輸入樣本執行參考樣本平滑化濾波(RSF)操作後輸出經濾波樣本，當索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，濾波器索引(Filter Index)則是指出直接將該輸入樣本作為該經濾波樣本據以輸出。
在本揭露內容所提出的多個實施範例之一，所述的濾波器索引(Filter Index)進一步選擇對應的該濾波器為執行邊界濾波(Boundary Filtering)，其中，當此索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，對輸入樣本執行邊界濾波(Boundary Filtering)操作後輸出此經濾波樣本，當索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，濾波器索引(Filter Index)指出直接將輸入樣本作為該經濾波樣本據以輸出。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
110-150‧‧‧畫面內預測流程 210‧‧‧預測方向 320‧‧‧當前編碼單元(CU) 330‧‧‧鄰近的參考層(RT) 340‧‧‧原始的當前編碼單元(CU) 410‧‧‧原始的當前編碼單元(CU) 350、420、422‧‧‧更新後的當前編碼單元(CU) 430‧‧‧參考鄰近參考層(RT) 440‧‧‧參考層(RT) 510‧‧‧當前編碼單元(CU) 520、522、524、526‧‧‧參考層(RT) Sa1、Sa2、Sa3、…、或SaN‧‧‧參考樣本 Sb1、Sb2、Sb3、…、或SbN‧‧‧參考樣本 602‧‧‧參考層索引(RT Index) 604‧‧‧濾波器索引(Filter Index) 606‧‧‧輸入樣本 608‧‧‧經濾波樣本(Filtered Samples) 610‧‧‧濾波器選擇流程 620‧‧‧參考樣本平滑模組 622、624、626‧‧‧濾波器 702‧‧‧多重參考鄰邊(MRL)索引 704‧‧‧濾波器索引 706‧‧‧輸入樣本 708‧‧‧經濾波樣本 710‧‧‧濾波器選擇流程 720‧‧‧參考樣本平滑模組 722‧‧‧參考樣本平滑化濾波(RSF)流程 724‧‧‧跳過RSF流程 902‧‧‧多重參考鄰邊(MRL)索引 904‧‧‧濾波器索引 906‧‧‧輸入樣本 908‧‧‧經濾波樣本 910‧‧‧濾波器選擇流程 920‧‧‧邊界濾波器模組(Boundary Filter Module) 922‧‧‧邊界濾波流程(BF) 924‧‧‧跳過邊界濾波(BF)流程 1200‧‧‧視訊處理裝置 1210‧‧‧處理器(Processor) 1220‧‧‧記憶體 1230‧‧‧輸入/輸出單元 1240‧‧‧資料匯流單元 1300‧‧‧視訊編碼裝置 1310‧‧‧轉換與量化單元 1312‧‧‧轉換單元 1314‧‧‧量化單元 1320‧‧‧預測單元 1322‧‧‧畫面內預測單元 1324‧‧‧畫面間預測單元 1330‧‧‧加法器 1340‧‧‧熵編碼單元 1350‧‧‧反向量化與反向轉換單元 1352‧‧‧反向量化單元 1354‧‧‧反向轉換單元 1360‧‧‧加法器 1370‧‧‧畫面緩衝器 1400‧‧‧視訊解碼器 1410‧‧‧視訊資料記憶體 1420‧‧‧熵解碼單元 1430‧‧‧反量化單元 1440‧‧‧反變換處理單元 1450‧‧‧預測處理單元 1452‧‧‧畫面間預測單元 1454‧‧‧畫面內預測單元 1460‧‧‧重建構單元 1470‧‧‧濾波器單元 1480‧‧‧經解碼圖像緩衝器 S1010-S1056‧‧‧多重參考鄰邊(MRL)之畫面內預測方法的編碼(Encoding)流程 S1110-S1144‧‧‧多重參考鄰邊(MRL)之畫面內預測方法的解碼(Decoding)流程 IM‧‧‧圖像 DA、TD‧‧‧數據 MR‧‧‧殘餘值 VD‧‧‧影像資料 N1‧‧‧輸入端 N2‧‧‧輸出端
圖1用來簡單的說明畫面內預測(Intra Prediction)的實施範例概念圖。 圖2是說明視訊編碼裝置沿多個預測方向進行畫面內預測(Intra Prediction)的不同預測模式。 圖3A~3C是說明在畫面內預測(Intra Prediction)中，參考相鄰之經重建構影像樣本進行預測的實施範例。 圖4A~圖4C為說明如果以固定的鄰近參考層(RT)樣本作為預測的參考，在某一特定的方向造成樣本錯誤(Sample Error)的實際範例。 圖5A~5C，是說明本揭露內容多個實施範例的多重參考鄰邊(MRL)之畫面內預測方法示意圖。 圖6是說明本揭露內容所提出應用於視訊內容編碼的多重鄰邊畫面內預測(Intra Prediction)的自適應性濾波方法流程示意圖。 圖7A與7B是用以說明本揭露內容多個實施範例中，根據畫面內編碼的編碼單元(Intra-coded CU)來決定是否進行平滑化濾波操作流程示意圖。 圖8A與8B是用以說明邊界濾波(Boundary Filtering)流程示意圖。 圖9A與9B是用以說明根據畫面內編碼的編碼單元(Intra-coded CU)來決定是否進行邊界濾波操作流程示意圖。 圖10是用以說明根據本揭露內容的多個實施例中，所提出視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法的編碼(Encoding)流程示意圖。 圖11是用以說明根據本揭露內容的多個實施例中，所提出視訊內容編碼之多重參考鄰邊(MRL)之畫面內預測方法的解碼(Decoding)流程示意圖。 圖12是用以說明經組態以實施本揭露所提出採用多重參考鄰邊(MRL)之影像樣本進行畫面內預測(Intra Prediction)的操作之實例視訊處理裝置的方塊示意圖。 圖13是用以說明依據本揭露內容實施例的一種視訊編碼裝置(Encoder)的結構方塊示意圖。 圖14是用以說明依據本揭露內容實施例的一種視訊解碼裝置(Decoder)的結構方塊示意圖。
602‧‧‧參考層索引(RT Index)
604‧‧‧濾波器索引(Filter Index)
606‧‧‧輸入樣本
608‧‧‧經濾波樣本(Filtered Samples)
610‧‧‧濾波器選擇流程
620‧‧‧參考樣本平滑模組
622、624、626‧‧‧濾波器

Claims (21)

  1. 一種畫面內預測(Intra Prediction)的自適應性濾波方法，包括： 接收一索引，並根據該索引進行濾波器選擇而產生對應該索引的一濾波器索引(Filter Index)；以及 根據該濾波器索引(Filter Index)選擇對應的濾波器，並使用該濾波器對一輸入樣本進行濾波操作產生一經濾波樣本輸出，或是直接將該輸入樣本作為該經濾波樣本據以輸出。
  2. 如申請專利範圍第1項所述的方法，其中該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  3. 如申請專利範圍第2項所述的方法，其中使用該多重參考鄰邊(MRL)的影像樣本包括一整合參考層(CT)或是多個參考層(RT)的影像樣本或其組合。
  4. 如申請專利範圍第1項所述的方法，其中該濾波器索引(Filter Index)選擇對應的該濾波器為執行參考樣本平滑化濾波(RSF)，其中， 當該索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，對該輸入樣本執行參考樣本平滑化濾波(RSF)操作後輸出該經濾波樣本， 當該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  5. 如申請專利範圍第4項所述的方法，其中該濾波器索引(Filter Index)進一步選擇對應的該濾波器為執行邊界濾波(Boundary Filtering)，其中， 當該索引指出使用該鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，對該輸入樣本執行邊界濾波(Boundary Filtering)操作後輸出該經濾波樣本， 當該索引指出使用該多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  6. 如申請專利範圍第1項所述的方法，其中該濾波器索引(Filter Index)選擇對應的該濾波器為執行邊界濾波(Boundary Filtering)，其中， 當該索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，對該輸入樣本執行邊界濾波(Boundary Filtering)操作後輸出該經濾波樣本， 當該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該濾波器索引(Filter Index)指出對該輸入樣本直接將該輸入樣本作為該經濾波樣本據以輸出。
  7. 一種具有自適應性濾波的畫面內預測(Intra Prediction)方法，包括： 接收一輸入樣本； 根據一索引對該輸入樣本執行一參考樣本執行參考樣本平滑化濾波(RSF)操作，其中，當該索引指出使用鄰近參考層的影像樣本時，對該輸入樣本執行參考樣本平滑化濾波(RSF)操作後輸出作為經濾波樣本，當該索引指出使用多重參考鄰邊(MRL)的影像樣本時，對該輸入樣本直接將該輸入樣本作為該經濾波樣本輸出；以及 對該第一經濾波樣本執行畫面內預測。
  8. 如申請專利範圍第7項所述的方法，其中使用該多重參考鄰邊(MRL)的影像樣本包括一整合參考層(CT)或是多個參考層(RT)的影像樣本。
  9. 如申請專利範圍第7項所述的方法，其中，更包括 對該經濾波樣本執行畫面內預測後輸出多個預測值執行邊界濾波(Boundary Filtering)，其中， 當該索引指出使用該鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，對該些預測值執行邊界濾波(Boundary Filtering)操作後輸出， 當該索引指出使用該多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該邊界濾波操作直接將該輸入樣本作為該經濾波樣本據以輸出。
  10. 一種視訊編碼裝置，包括： 記憶體，用以儲存多個指令及資料； 處理器，存取該些指令以及該資料，經設定用以執行該些指令，其中該處理器接收一索引，並根據該索引進行濾波器選擇而產生對應該索引的一濾波器索引(Filter Index)；以及 該處理器根據該濾波器索引(Filter Index)選擇對應的濾波器，並使用該濾波器對一輸入樣本進行濾波操作產生一經濾波樣本輸出，或是直接將該輸入樣本作為該經濾波樣本據以輸出。
  11. 如申請專利範圍第10項所述的視訊編碼裝置，其中根據該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器根據該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  12. 如申請專利範圍第11項所述的視訊編碼裝置，其中使用該多重參考鄰邊(MRL)的影像樣本包括一整合參考層(CT)或是多個參考層(RT)的影像樣本。
  13. 如申請專利範圍第11項所述的視訊編碼裝置，其中該處理器根據該濾波器索引(Filter Index)選擇對應的該濾波器為執行參考樣本平滑化濾波(RSF)，其中， 當該索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器對該輸入樣本執行參考樣本平滑化濾波(RSF)操作後輸出該經濾波樣本， 當該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器根據該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  14. 如申請專利範圍第13項所述的視訊編碼裝置，其中該處理器根據該濾波器索引(Filter Index)進一步選擇對應的該濾波器為執行邊界濾波(Boundary Filtering)，其中， 當該索引指出使用該鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器對該輸入樣本執行邊界濾波(Boundary Filtering)操作後輸出該經濾波樣本， 當該索引指出使用該多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器根據該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  15. 如申請專利範圍第11項所述的視訊編碼裝置，其中該處理器根據該濾波器索引(Filter Index)選擇對應的該濾波器為執行邊界濾波(Boundary Filtering)，其中， 當該索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器對該輸入樣本執行邊界濾波(Boundary Filtering)操作後輸出該經濾波樣本， 當該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該處理器根據該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  16. 一種視訊編碼裝置，包括： 加法器，接收一輸入畫像資料與一預測值，經運算後產生一殘餘值； 轉換與量化單元，將該殘餘值轉換後進行量化而到數據； 熵編碼單元，將該數據處理成為經壓縮後的影像資料輸出； 反向量化與反向轉換單元，將該數據還原成經視訊解碼後的圖像資料；以及 預測單元，用以接收該輸入畫像資料以及該經視訊解碼後的圖像資料，據以產生該預測值，其中該預測單元包括一畫面內預測單元，其中 該畫面內預測單元設定用以接收一索引，並根據該索引進行濾波器選擇而產生對應該索引的一濾波器索引(Filter Index)，以及根據該濾波器索引(Filter Index)選擇對應的濾波器進行濾波操作，或是直接將該輸入樣本作為該經濾波樣本據以輸出。
  17. 如申請專利範圍第16項所述的視訊編碼裝置，其中該畫面內預測單元根據該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該畫面內預測單元根據該濾波器索引(Filter Index)而直接將該輸入樣本作為該經濾波樣本據以輸出。
  18. 如申請專利範圍第16項所述的視訊編碼裝置，其中該畫面內預測單元根據該濾波器索引(Filter Index)選擇對應的該濾波器為執行參考樣本平滑化濾波(RSF)，其中， 當該索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，該畫面內預測單元對該輸入樣本執行參考樣本平滑化濾波(RSF)操作後輸出該經濾波樣本， 當該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該畫面內預測單元根據該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  19. 如申請專利範圍第16項所述的視訊編碼裝置，其中該畫面內預測單元設定用以根據該索引選擇對應的該濾波器為執行邊界濾波(Boundary Filtering)，其中， 當該索引指出使用鄰近參考層的影像樣本進行畫面內預測(Intra Prediction)的操作時，該畫面內預測單元對該輸入樣本執行邊界濾波(Boundary Filtering)操作後輸出該經濾波樣本， 當該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該畫面內預測單元根據該濾波器索引(Filter Index)指出直接將該輸入樣本作為該經濾波樣本據以輸出。
  20. 一種視訊解碼裝置，包括： 記憶體，用以暫存經壓縮後的影像資料； 熵解碼單元，對該經壓縮後的影像資料根據熵編碼語法元素進行熵解碼取得位元串流； 預測處理單元，耦接到該熵解碼單元； 反量化單元，耦接到該熵解碼單元； 反變換處理單元，耦接到該反量化單元； 重建構單元，耦接到該反變換處理單元與該預測處理單元；以及 濾波器單元，耦接到該重建構單元與該預測處理單元，其中 該預測處理單元、該反量化單元、該反變換處理單元、該重建構單元及該濾波器單元可基於該自位元串流提取之語法元素而產生經解碼視訊資料，其中，該預測處理單元設定用以取得一索引，從該索引確認該經解碼視訊資料是否已經進行過參考樣本平滑化濾波(RSF)操作及/或邊界濾波(Boundary Filtering)操作。
  21. 如申請專利範圍第20項所述的視訊解碼裝置，其中該預測處理單元根據該索引指出使用多重參考鄰邊(MRL)的影像樣本進行畫面內預測(Intra Prediction)的操作時，該畫面內預測單元根據該濾波器索引(Filter Index)認定該經解碼視訊資料未經過該參考樣本平滑化濾波(RSF)操作及/或該邊界濾波(Boundary Filtering)操作。
TW108122730A 2018-06-29 2019-06-28 應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置 TWI717776B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862691729P 2018-06-29 2018-06-29
US62/691,729 2018-06-29
US201862727595P 2018-09-06 2018-09-06
US62/727,595 2018-09-06

Publications (2)

Publication Number Publication Date
TW202002632A true TW202002632A (zh) 2020-01-01
TWI717776B TWI717776B (zh) 2021-02-01

Family

ID=67105955

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108121169A TW202015409A (zh) 2018-06-29 2019-06-19 影像資料解碼方法、影像資料解碼器、影像資料編碼方法與影像資料編碼器
TW108122730A TWI717776B (zh) 2018-06-29 2019-06-28 應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108121169A TW202015409A (zh) 2018-06-29 2019-06-19 影像資料解碼方法、影像資料解碼器、影像資料編碼方法與影像資料編碼器

Country Status (5)

Country Link
US (2) US20200007872A1 (zh)
EP (1) EP3588948A1 (zh)
JP (1) JP6903095B2 (zh)
CN (2) CN110662065A (zh)
TW (2) TW202015409A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
US11190764B2 (en) * 2018-07-06 2021-11-30 Qualcomm Incorporated Merged mode dependent intra smoothing (MDIS) and intra interpolation filter switching with position dependent intra prediction combination (PDPC)
WO2020009514A1 (ko) * 2018-07-06 2020-01-09 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10491893B1 (en) 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
US10834393B2 (en) 2018-09-10 2020-11-10 Tencent America LLC Intra interpolation filter for multi-line intra prediction
JP7444599B2 (ja) 2018-12-28 2024-03-06 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
CN111757105B (zh) * 2020-06-30 2023-07-04 北京百度网讯科技有限公司 图像编码处理方法、装置、设备和介质
US11563977B2 (en) * 2020-09-24 2023-01-24 Tencent America LLC Method and apparatus for video coding
CN113676738B (zh) * 2021-08-19 2024-03-29 上海交通大学 一种三维点云的几何编解码方法及装置
WO2023241634A1 (en) * 2022-06-18 2023-12-21 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012071417A1 (en) 2010-11-24 2012-05-31 Thomson Licensing Adaptive loop filtering
KR20120070479A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
WO2012155553A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
US10123008B2 (en) * 2011-06-17 2018-11-06 Hfi Innovation Inc. Method and apparatus for coding of intra prediction mode
WO2013006986A1 (en) * 2011-07-12 2013-01-17 Intel Corporation Luma-based chroma intra prediction
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
GB2556489B (en) * 2011-11-08 2018-11-21 Kt Corp A method of decoding a video signal using a merge mode
CN105491379A (zh) * 2014-10-01 2016-04-13 财团法人工业技术研究院 解码器、编码器、解码方法、编码方法与编解码系统
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2017057877A1 (ko) * 2015-09-29 2017-04-06 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
CN113301334B (zh) 2015-11-17 2023-11-03 华为技术有限公司 视频编码样本自适应滤波的方法和装置
EP3453180A4 (en) * 2016-05-04 2020-04-01 Microsoft Technology Licensing, LLC INTRA-IMAGE PREDICTION USING NON-ADJACENT REFERENCE LINES OF SAMPLE VALUES
CN106170093B (zh) 2016-08-25 2020-01-07 上海交通大学 一种帧内预测性能提升编码方法
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116320498A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
US10638126B2 (en) 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction

Also Published As

Publication number Publication date
CN110662034B (zh) 2022-04-15
US10735727B2 (en) 2020-08-04
JP6903095B2 (ja) 2021-07-14
TWI717776B (zh) 2021-02-01
US20200007872A1 (en) 2020-01-02
CN110662065A (zh) 2020-01-07
TW202015409A (zh) 2020-04-16
JP2020014198A (ja) 2020-01-23
CN110662034A (zh) 2020-01-07
EP3588948A1 (en) 2020-01-01
US20200007862A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
TWI717776B (zh) 應用於視訊內容編碼之多重參考鄰邊之畫面內預測之自適應性濾波方法、使用上述方法的視訊編碼裝置及視訊解碼裝置
JP6605726B2 (ja) 直前のフレームの動きベクトルパーティショニング
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
JP6342500B2 (ja) 再帰的なブロック・パーティショニング
US20190037227A1 (en) Techniques for hardware video encoding
CN113678441A (zh) 跨分量滤波的方法和装置
KR101459397B1 (ko) 움직임 보상 비디오 코딩에 있어서, 이미지 블록들을 비교하기 위한 메트릭을 결정하는 방법 및 시스템
JP2011510591A (ja) 時空間的複雑度を用いた符号化モード決定方法及び装置
CN113259661A (zh) 视频解码的方法和装置
WO2013004170A1 (zh) 一种视频编解码方法和装置
KR20140110008A (ko) 객체 검출 정보에 따른 인코딩
CN113301333A (zh) 视频解码的方法和装置
CN113170210A (zh) 视频编码和解码中的仿射模式信令
EP3918784A1 (en) Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
JP2023517350A (ja) ビデオコーディングのための方法および装置
US20190182503A1 (en) Method and image processing apparatus for video coding
CN112806011A (zh) 改进的虚拟时间仿射候选
WO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
KR100644620B1 (ko) 포스트 필터링을 적용한 동영상 디코딩 방법 및 그 장치
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
JP2018511237A (ja) コンテンツ適応型ｂピクチャパターンビデオエンコーディング
US20110249959A1 (en) Video storing method and device based on variable bit allocation and related video encoding and decoding apparatuses
JP2021531677A (ja) 広角イントラ予測と位置依存イントラ予測の組み合わせ
JP2022504379A (ja) イントラ予測におけるイントラモード選択