TW201832563A - 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置 - Google Patents

用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置 Download PDF

Info

Publication number
TW201832563A
TW201832563A TW107104727A TW107104727A TW201832563A TW 201832563 A TW201832563 A TW 201832563A TW 107104727 A TW107104727 A TW 107104727A TW 107104727 A TW107104727 A TW 107104727A TW 201832563 A TW201832563 A TW 201832563A
Authority
TW
Taiwan
Prior art keywords
candidate
block
neighboring blocks
blocks
motion information
Prior art date
Application number
TW107104727A
Other languages
English (en)
Other versions
TWI666927B (zh
Inventor
陳俊嘉
徐志瑋
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201832563A publication Critical patent/TW201832563A/zh
Application granted granted Critical
Publication of TWI666927B publication Critical patent/TWI666927B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance

Abstract

用於由四叉樹拆分從一父塊分割而來的一當前塊的候選集決定的視訊處理方法以及裝置，包括：接收一當前塊的輸入資料，透過禁止從相同父塊分割而來的任一個相鄰塊中獲得的一空間候選，決定用於該當前塊的一候選集，或者如果所有相鄰塊在幀間預測中進行編碼以及相鄰塊的資訊是相同的，執行一修剪進程決定用於該當前塊的候選集，以及基於該候選集從該候選集中選擇一個最終候選來對該當前塊進行編碼或解碼。該修剪進程包括：掃描該候選集以決定任一候選是否等於從該相鄰塊獲得的該空間候選，以及從該候選集中移除等於該空間候選的該候選。

Description

用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置 【交叉引用】
本發明要求遞交於2017年2月21日，號碼為62/461,303，標題為“Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Bloeks”的美國臨時專利申請案的優先權，該美國臨時專利申請案整體透過引用納入其中。
本發明涉及對複數個四叉樹拆分塊(quad-tree splitting block)進行編碼或解碼的視訊資料處理方法以及裝置，具體地，本發明涉及對當前塊進行編碼或解碼的候選集決定(candidate set determination)，該當前塊透過四叉樹拆分從父塊(parent block)分割而來。
高效視訊編碼標準(The High-Efficiency Video Coding，簡稱HEVC)是由來自於ITU-T研究小組的視訊編解碼專家組成的視訊編碼聯合小組(Joint Collaborative Team on Video Coding，簡稱JCT-VC)發展而來的最新的視訊編解碼標準。該HEVC 標準依賴基於塊(block-based)編碼結構，其中將每一視訊切片(slice)分成複數個正方形編碼樹單元(Coding Tree Unit，簡稱CTU)，也叫最大編碼單元(Largest Coding Unit，簡稱LCU)。在HEVC主規格(profile)中，CTU的最小以及最大尺寸由在序列參數集(Sequence Parameter Set，簡稱SPS)中發信的複數個語法元素所定義。光柵掃描次序用於處理切片中的複數個CTU，每一CTU可使用四叉樹分割方法進一步遞迴地分成一或複數個編碼單元(coding unit，簡稱CU)。在四叉樹分割方法的每一深度中，N×N塊是單個葉CU或者被拆分成四個尺寸為N/2×N/2的塊，其為編碼樹節點，如果編碼樹節點不進一步被拆分，它就是葉CU。葉CU的尺寸被限制為大於或等於最小允許CU尺寸，最小允許CU尺寸也在SPS中被定義。四叉樹塊分割結構的一個示例如第1圖所示，其中實線指示CTU 100中的CU邊界。
預測決定在CU層級上做出，其中使用幀間圖像預測或幀內圖像預測對每一CU進行編碼，一旦完成CU分層樹的拆分，根據用於預測的PU分割類型，每一CU進一步被拆分成一或複數個預測單元(prediction unit，簡稱PU)。第2圖示出了在HEVC標準中定義的8個PU分割類型，根據第2圖所示的8個PU分割類型中中的一個，每一CU被拆分成一個，兩個或四個PU。因為對PU中的所有像素應用相同的預測進程，PU作為共用預測資訊的基礎代表塊，在PU的基礎上，預測資訊被傳達到解碼器。在獲得由預測進程生成的殘差數據後，根據另一四叉樹塊分割結構，屬於CU的殘差數據被拆分成一或複數個轉換單元(transform unit，簡稱TU)以將該殘差數據轉換成用於 緊湊資料表示(compact data representation)的轉換係數，第1圖該的虛線指示CTU 100中的TU邊界，TU是用於將轉換與量化應用於殘差數據的基礎代表塊。對於每一TU，將具有與TU相同尺寸的轉換矩陣應用於殘差數據以生成轉換係數，並且在TU的基礎上，這些轉換係數被量化與轉達至解碼器。
術語編碼樹塊(Coding Tree Block，簡稱CTB)，編碼塊(Coding Block，簡稱CB)，預測塊(Prediction Block，簡稱PB)以及轉換塊(Transform Block，簡稱TB)被定義成分別指定與CTU，CU，PU以及TU有關的的一個顏色分量的二維樣本陣列。例如，一個CTU由一個亮度CTB，兩個色度CTB以及它相關的語法元素組成，在HEVC系統中，相同的四叉樹塊分割結構通常都應用於色度與亮度分量，除非達到了色度塊的最小尺寸。
可選的分割方法叫二叉樹塊分割方法，其中一個塊可以遞迴地拆分成兩個較小塊。第3圖示出了用於二叉樹分割方法的6個示例性拆分類型，包括對稱拆分類型31與32以及非對稱拆分類型33,34,35以及36。一個最簡單的分割方法僅允許對稱水平拆分類型32以及對稱垂直拆分類型31，對於具有N×N尺寸的給定塊，第一旗標(flag)被發信以指示這一塊是否被分割成兩個較小塊，如果該第一旗標指示拆分，緊接著發信第二旗標，其指示拆分類型。如果拆分類型是對稱水平拆分，這一N×N塊被拆分成兩個尺寸為N×N/2塊；如果拆分類型是對稱垂直拆分，這一N×N塊被拆分成兩個尺寸為N/2×N塊，這一拆分進程可以重複直到拆分塊的尺寸、寬度或高度達到由視訊位元流中 高層級語法所定義的最小允許尺寸，寬度或高度。如果塊高度小於最小高度，水平分割將不被允許，類似地，如果塊寬度小於最小寬度，垂直分割將不被允許。
第4A圖與第4B圖示出了根據二叉樹分割方法的塊分割的示例以及它對應的編碼樹結構。在第4B圖中，在二叉樹編碼樹每一拆分節點(也就是非葉節點)的一個旗標用於指示拆分類型，旗標值等於0指示水平對稱拆分類型而旗標值等於1指示垂直對稱拆分類型。在編碼或解碼期間，有可能在塊分割的任意層級上應用二叉樹分割方法，例如，二叉樹分割方法可以用於將一個切片分割成複數個CTU，將一個CTU分割成複數個CU，將一個CU分割成複數個PU或者將一個CU分割成複數個TU。因為二叉樹塊分割結構的複數個葉節點是用於預測與轉換編解碼兩者的基礎代表塊，透過省略從CU到PU以及CU到TU的拆分，也可能簡化分割進程。
雖然二叉樹分割方法支援更多的分割結構以及因此比四叉樹分割方法更靈活，但是在複數個可能的形狀中選擇最佳分割形狀增加了編解碼的複雜性。一種合成的分割方法叫做四叉樹加二叉樹(Quad-Tree-Binary-Tree，簡稱QTBT)結構，將四叉樹分割方法與二叉樹分割方法結合在一起，其平衡了兩種分割方法之間的編解碼效率以及編解碼複雜性。示例性的QTBT結構如第5A圖所示，其中大的塊首先由四叉樹分割方法進行分割然後由二叉樹分割方法進一步分割，第5A圖示出了根據QTBT分割方法的塊分割結構的示例以及第5B圖示出了第5A圖中示出的QTBT塊分割結構的編碼樹狀圖。第5A圖以及 第5B圖中的實線指示四叉樹分割而虛線指示二叉樹分割。與第4B圖類似，在二叉樹結構的每一拆分節點(也就是非葉節點)，一個旗標指示使用了哪一拆分類型，0指示使用了水平對稱分割類型以及1指示使用了垂直對稱分割類型。第5A圖中的QTBT結構將大塊拆分成複數個較小塊，並且這些較小塊可以被由預測以及轉換編解碼處理而不需要進一步的拆分。在一個示例中，第5A圖中的大塊是具有尺寸為128×128的編碼樹單元，最小允許的四叉樹葉節點尺寸是16×16，最大允許的二叉樹根節點(root node)尺寸是64×64，最小允許的二叉樹葉節點的寬度或高度是4，以及最小允許的二叉樹深度是4。在這一示例中，葉四叉樹塊的尺寸在16×16到128×128的範圍內，並且如果葉四叉樹塊的尺寸是128×128，因為尺寸超過了最大允許二叉樹根節點尺寸64×64，它不可以由二叉樹結構進一步拆分，葉四叉樹塊用作二叉樹深度等於0的根二叉樹塊。當二叉樹深度達到4的時候，表示不能進行拆分，當二叉樹節點的寬度等於4的時候，不能進行垂直拆分，並且當二叉樹節點的高度等於4的時候，不能進行水平拆分。對於在I-切片中編碼的複數個CTU，用於色度編碼樹塊(CTB)的QTBT塊分割結構可以不同於用於對應的亮度CTB的QTBT塊分割結構，對於在P或B切片中編碼的複數個CTU，相同的QTBT塊分割結構可以應用於色度CTB以及亮度CTB兩者。
為了提高運動資訊編解碼的編解碼效率，提出了Skip(跳過)與Merge(合併)模式並在HEVC標準中被採用。Skip模式與Merge模式透過從空間相鄰塊(spatially neighboring block)或時間 同位塊(temporal collocated block)繼承運動資訊，減少用於發信運動資訊的資料位元。對於在Skip或Merge模式中編碼的PU，因為PU重新使用所選擇的最終候選的運動資訊，因此僅對所選擇的所最終候選的索引進行編碼而非運動資訊。由PU所重新使用的運動資訊可以包括運動向量(MV)、預測方向以及、所選擇最終候選的參考圖像索引。當在Merge模式中對PU進行編碼的時候，預測誤差(prediction error)，也叫殘差數據，也被編碼，然而，因為殘差數據強制為0，Skip模式進一步跳過殘差數據的信令。第6圖示出了用於當前塊60的Merge候選集，其中該Merge候選集由四個空間Merge候選以及一個時間Merge候選組成，其被定義在HEVC標準發展階段中的HEVC測試模式3.0(HM-3.0)。第一Merge候選是左邊預測子Am 620，第二Merge候選是上方預測子Bn 622，第三Merge候選是TBR 624以及TCTR 626的複數個第一可用時間預測子的一個時間預測子，第四Merge候選是右上方預測子B0 628，以及第五Merge候選是左下方預測子A0 630。編碼器從候選集中選擇一個最終候選，用於基於率失真優化(rate-distortion optimization，簡稱RDO)決定在Skip模式或Merge模式中對每一PU進行編碼，並且表示所選擇的最終候選的一個索引被發信到解碼器。解碼器根據在視訊位元流中傳輸的索引，從候選集中選擇相同的最終候選。
第7圖示出了在HM-4.0中定義的用於當前塊70的Merge候選集，其中該Merge候選集由多達四個空間Merge候選以及一個空間Merge候選組成，其中四個空間Merge候選來自於四個空間 預測子A0 720，A1 722，B0 724以及B1 726，一個空間Merge候選來自於時間預測子TBR728或時間預測子TCTR730。僅當時間預測子TBR728不可用的時候選擇時間預測子TCTR730。左上方預測子B2 732用於替代不可用的空間預測子，在四個空間Merge候選以及一個時間Merge候選的獲取進程以後，應用修剪進程(pruning proeess)以移除複數個冗餘Merge候選。如果在修剪進程後的Merge候選的數目小於5，那麼獲得一或複數個額外候選並且添加到Merge候選集中。
有鑑於此，本發明提出了一種QTBT結構中四叉樹拆分的合併候選禁止方法，以提高合併(Merge)模式的編解碼效率。
視訊處理的方法與裝置包括在一視訊編解碼系統中決定用於一當前塊的一候選集，包括：接收與一當前圖像中該當前塊有關的輸入資料，其中該當前塊由四叉樹拆分從一父塊拆分而來；決定用於該當前塊的一候選集，並且基於從該候選集中選擇的一最終候選對該當前塊進行編碼或解碼。該當前塊是該父塊中一最後處理的塊，在處理從與該當前塊相同的父塊分割而來的三個相鄰塊後對其進行處理。例如，該當前塊是該父塊中一右下方塊。本發明一些實施例決定用於該當前塊的候選集包括一候選禁止方法，如果該三個相鄰塊在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，該候選禁止方法禁止從該三個相鄰塊中任一個獲得的一空間候選，例如，如果該三個相鄰塊在AMVP模式、Merge模式或者Skip模式中進行編碼並且該三個相鄰塊 的運動資訊是相同的，從該候選集中移除從該三個相鄰塊的其中一個獲得的該空間候選，該當前塊重新使用所選擇最終候選的運動資訊用於運動補償以獲得用於該當前塊的一預測子。
在一個實施例中，在一視訊位元流中發信一旗標以指示該候選禁止方法是啟用的還是禁止的，如果該候選禁止方法是啟用的，當該三個相鄰塊在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的時候，禁止從該三個相鄰塊的任一個獲得的空間候選或者從該候選集中移除該空間候選。可以在該視訊位元流中的一序列層級、圖像層級、切片層級或者預測單元層級發信該旗標。
在一些實施例中，候選集決定方法進一步包括，如果該三個相鄰塊在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，執行一修剪進程。該修剪進程包括掃描該候選集以決定該候選集中的任一候選是否等於該三個相鄰塊的運動資訊，並且從該候選集中移除等於該三個相鄰塊的運動資訊的候選。例如，編碼器或解碼器存儲該三個相鄰塊的運動資訊以及將其與該候選集中每一候選的運動資訊進行比較。在視訊位元流的一序列層級、圖像層級、切片層級或者預測單元層級中發信一旗標以指示該修剪進程是啟動的還是禁止的。
在各種候選集決定方法中，該三個相鄰塊的至少一個進一步被拆分成複數個子塊用於運動估算或運動補償，編碼器或解碼器進一步檢查該三個相鄰塊內的運動資訊以決定該三個相鄰塊內的運動資訊定是否相同。在一個實施例中，如果該三個相鄰塊中的該運動資訊是相同的並且該等子塊在幀間預測模式中進行編碼，禁止從該三個相鄰塊中 獲得的任一空間候選。在另一實施例中，如果該三個相鄰塊內的該運動資訊都是相同的並且該等子塊在幀間預測模式中進行編碼，執行一修剪進程，該修剪進程包括掃描該候選集並且從該候選集中移除等於三個相鄰塊中任一個子塊的運動資訊的任一候選。一個實施例透過檢查該三個相鄰塊中內的每一最小塊以決定該三個相鄰塊內的運動資訊是否相同，其中該每一最小塊的尺寸為M×M並且該三個相鄰塊中的每一子塊大於或等於該最小塊的尺寸。可以在一視訊位元流中發信一旗標以指示該候選禁止方法或該修剪進程是啟用的還是者禁止的。
用於由四叉樹拆分從一父塊分割而來的一當前塊的候選集決定的一些其他實施例，決定用於該當前塊的一候選集以及決定從相同父塊分割而來的三個相鄰塊的運動資訊，根據該三個相鄰塊的運動資訊執行一修剪進程，以及基於從該候選集中選擇的一最終候選的運動資訊獲得的一預測子，對該當前塊進行編碼或解碼。在處理該三個相鄰塊後對該當前塊進行處理，例如，該當前塊是該父塊的一右下方塊。當該三個相鄰塊在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是相同的時候，執行該修剪進程。該修剪進程包括掃描該候選集以決定該候選集中的任一候選是否等於該三個相鄰塊中的至少一個中任一子塊的運動資訊，並且從該候選集中移除等於該三個相鄰塊的運動資訊的候選。基於所選擇的最終候選的運動資訊獲得的一預測子以對該當前塊進行編碼或解碼。
本發明進一步提供了用於視訊編解碼系統的一裝置，其決定用於由四叉樹拆分從一父塊分割而來的一當前塊的一候選集，其中 該當前塊是父塊中一最後處理的塊。裝置的實施例接收一當前塊的輸入資料，以及如果該三個相鄰塊都在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，透過禁止從相同父塊分割而來的三個相鄰塊的任一個中獲得空間候選，以決定用於該當前塊的一候選集。裝置的一些實施例中，如果該三個相鄰塊在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，透過執行一修剪進程決定用於該當前塊的一候選集，該修剪進程從該候選集中移除等於該三個相鄰塊中的運動資訊的任一候選。該裝置基於從該候選集中選擇的一最終候選對該當前塊進行編碼或解碼。
本發明進一步提供了存儲程式指令的一非瞬態電腦可讀介質，該程式指令使得裝置的一處理電路基於一候選集，執行視訊編解碼處理以對由四叉樹分割而來的一當前塊進行編碼或解碼。在一些實施例中，透過禁止從三個相鄰塊中任一個獲得的空間候選以決定該候選集，該三個相鄰塊從與該當前塊相同的父塊分割而來並在該當前塊之前被處理。如果該三個相鄰塊是幀間預測的塊並且該三個相鄰塊的運動資訊是相同的，一些實施例的候選集透過執行一修剪進程來決定，該修剪進程移除等於該三個相鄰塊運動資訊任一候選。
透過本發明所提出的方法及裝置，可以提高在合併模式下的編解碼效率。
在獲得下文具體實施例的描述以後，本發明的其他方面以及特徵對本領域技術人員將是顯而易見的。
60、70‧‧‧當前塊
620‧‧‧左邊預測子
622‧‧‧上方預測子
624‧‧‧TBR
626‧‧‧TCTR
628‧‧‧右上方預測子
630‧‧‧左下方預測子
720、722、724、726‧‧‧空間預測子
728、730‧‧‧時間預測子
732‧‧‧左上方預測子
80‧‧‧父塊
802、1002‧‧‧左上方相鄰塊
804、1004‧‧‧上方相鄰塊
806、1006‧‧‧左邊相鄰塊
808、1008‧‧‧當前塊
S1102~S1110、S1202~S1210‧‧‧步驟
1300‧‧‧視訊編碼器
1310‧‧‧幀內預測
1312‧‧‧幀間預測
1314‧‧‧開關
1316‧‧‧加法器
1318‧‧‧轉換
1320‧‧‧量化
1322‧‧‧逆量化
1324‧‧‧逆轉換
1326‧‧‧重構
1328‧‧‧濾波器
1332‧‧‧參考圖像緩衝器
1334‧‧‧熵編碼器
1400‧‧‧視訊解碼器
1410‧‧‧熵解碼器
1412‧‧‧幀內預測
1414‧‧‧幀間預測
1416‧‧‧開關
1418‧‧‧重構
1420‧‧‧逆量化
1422‧‧‧逆轉換
1424‧‧‧濾波器
1428‧‧‧參考圖像緩衝器
作為示例提出的本發明的各種實施例將參考以下圖式進行詳細描述，其中：
第1圖示出了根據四叉樹分割方法將一個CTU拆分成複數個CU以及將每一CU拆分成一或複數個TU的一示例性編碼樹。
第2圖示出了在HEVC標準中定義的用於將一個CU拆分成一或複數個PU的8個不同的PU分割類型。
第3圖示出了二叉樹分割方法的6個示例性拆分類型。
第4A圖示出了根據二叉樹分割方法的一示例性塊分割結構。
第4B圖示出了對應於第4A圖所示的二叉樹分割結構的一編碼樹結構。
第5A圖示出了根據一QTBT分割方法的一示例性塊分割結構。
第5B圖示出了對應於第5A圖的QTBT塊分割結構的一編碼樹結構。
第6圖示出了構造用於定義於一HEVC測試模式3.0(HN-3.0)中的當前塊的一Merge候選集。
第7圖示出了構建用於一當前塊的定義於HM-4.0中的一Merge候選集。
第8A圖示出了第一實施例的一示例，其中禁止從三個先前編碼的相鄰塊的運動資訊中選擇用於一當前塊的一空間候選。
第8B圖示出了在四叉樹拆分之前的當前塊以及三個先前編碼的相鄰塊的一父塊。
第9圖示出了由四叉樹拆分將一父塊分割成A部分，B部分，C部 分以及D部分。
第10A-10B圖示出了應用空間候選禁止方法用於一當前塊的第三實施例的一示例，其中該當前塊的一左上方相鄰塊進一步以一二叉樹規格或四叉樹規格拆分成複數個子塊。
第11圖示出了用於對一當前塊進行編碼的視訊資料處理方法的一實施例的一流程圖，透過在候選集決定階段禁止從三個相鄰塊中的任一個獲得的一空間候選。
第12圖示出了用於對一當前塊進行編碼的視訊資料處理方法的另一實施例的一流程圖，透過在候選集決定階段移除等於三個相鄰塊的運動資訊的任一個候選。
第13圖示出了根據本發明實施例的合併視訊資料處理方法的視訊編碼系統的一示例性系統框圖。
第14圖示出了根據本發明實施例的合併視訊資料處理方法的視訊解碼系統的一示例性系統框圖。
容易理解的是，本發明的於此所描述與所示的部件可以被排列與設計為不同的配置。因此，後續本發明系統以及方法實施例的更多的細節描述並不旨在限制本發明的範圍，僅是本發明挑選出來的代表性實施例。
在整個說明書中提及“一個實施例”，“一些實施例”或相似的語句意味著特定的特徵，結構或者與實施例結合描述的特性可以包括在本發明的至少一個實施例中。因此，在說明書不同位置出現的 短語“在一個實施例中”或者“在一些實施例中”不需要指相同的實施例，這些實施例可以單獨或結合一或複數個其他實施例來實施。此外，所描述的特徵，結構或特性可以組合在一或複數個實施例的任一適當的規格中。本領域技術人員將能夠意識到，本發明可以在不具有一或複數個特定特徵的情況下被實施，或者使用其他方法，部件等等。在其他實施例中，未詳細示出或描述公知的結構或操作以避免混淆本發明的方面。
本發明的實施例構造候選集用於對由四叉樹分割方法分割的當前塊進行編碼或解碼，例如，塊由QTBT分割結構中的四叉樹拆分進行分割。在下文中，候選集可以是Merge候選集包括如第6圖或第7圖所示的一或複數個空間候選以及時間候選。該候選集被構造以用於對Merge模式或Skip模式中的當前塊進行編碼或解碼，透過編碼器側的RDO決定或者解碼器側視訊位元流中傳輸的索引，從構造的候選集中選擇的一個最終候選，以及根據該最終候選的運動資訊，透過獲得預測子來對當前塊進行編碼或解碼。
第一實施例。在本發明的第一實施例中，從空間以及時間相鄰的塊的運動資訊中決定候選集，該候選集具有用於由四叉樹劃分的當前塊的候選禁止方法。第8A圖示出了第一實施例的示例，其禁止從三個先前編碼的相鄰塊中選擇用於當前的空間候選，其中三個先前編碼的相鄰塊包括左上方相鄰塊802，上方相鄰塊804，或者左邊相鄰塊806。當前塊808，左上方相鄰塊802，上方相鄰塊804，以及左邊相鄰塊806是從相同的父塊80分割而來的四叉樹拆分塊，在四叉樹拆分之前的父塊80如第8B圖所示。一個父塊80的示例是在QTBT結構中 四叉樹拆分以及二叉樹拆分之前的根節點。在另一示例中，從父塊80分割而來的當前塊以及三個相鄰塊是四叉樹拆分的葉節點或者QTBT結構中的葉節點。在一些其他示例中的當前塊以及三個相鄰塊是四叉樹結構的葉節點或者四叉樹結構的非葉節點。當在Merge模式或者Skip模式中對當前塊808進行編碼的時候，為了構造用於當前塊808的候選集，如果三個相鄰塊是幀間預測塊並且三個相鄰塊的運動資訊是相同的，第一實施例的候選禁止方法總是禁止從三個先前編碼的相鄰塊802,804，以及806中獲得的空間候選，幀間預測塊是在幀間模式中被編碼的塊，該幀間模式包括高級運動向量預測(Advance Motion Vector Prediction，簡稱AMVP)模式，Skip模式以及Merge模式。編碼器或解碼器檢查如果MI_part_A=MI_part_B=MI_part_C，其中MI_part_A表示用於左上方相鄰塊802的運動資訊(motion information，簡稱MI)，MI_part_B表示用於上方相鄰塊804的運動資訊，MI_part_C表示用於左邊相鄰塊806的運動資訊。如果三個相鄰塊的運動資訊是相同的，從三個先前編碼的相鄰塊802,804以及806中的任一個獲得的運動資訊不能被添加到用於當前塊808的候選集中。運動資訊被定義為運動向量、參考清單、參考索引以及其他Merge(合併)模式敏感資訊(merge mode sensitive information)，如局部亮度補償旗標，中的一個或其組合。透過應用第一實施例，如果當前塊808以及三個先前編碼的相鄰塊由四叉樹拆分從父塊拆分而來，並且三個相鄰塊在幀間預測模式中被編碼並且他們的運動資訊是相同的，不允許將當前塊808合併到任一左上方相鄰塊802，上方相鄰塊804以及左邊 相鄰塊806。
可以在視訊位元流中發信一個旗標以指示先前描述的候選禁止方法是啟用的或禁止的，如果旗標指示候選禁止方法是啟用的，以及如果三個相鄰塊是幀間預測塊以及三個相鄰塊的運動資訊是相同的，因為當前塊是禁止的或從該當前塊的候選集中移除，禁止從共用相同的父塊的三個相鄰塊中的任一個獲得的空間候選。例如，在視訊位元流中的序列層級、圖像層級，切片層級或者PU層級發信的旗標merge_cand_prohibit_en用於指示第一實施例的候選禁止方法是否是啟用的，當這一旗標不存在的時候，旗標merge_cand_prohibit_en的值可以推測為1，其指示候選禁止方法是啟用的。
第二實施例。在本發明的第二實施例中，應用了一種候選集修剪方法以決定用於由四叉樹拆分從父塊分割而來的當前塊的候選集。因為在當前塊之前對三個相鄰塊進行處理，當前塊是父塊中最後處理的塊。例如，當以光柵掃描順序執行編碼處理的時候，當前塊是右下方塊。候選集修剪方法首先決定從當前塊的相同父塊分割而來的三個先前編碼的相鄰塊是否都是幀間預測模式，幀間預測模式包括AMVP模式，Skip模式以及Merge模式。如果三個相鄰塊都是幀間預測的塊，候選集修剪方法然後決定三個先前編碼的相鄰塊的運動資訊以檢查三個先前編碼的相鄰塊的運動資訊是否相同，也就是MI_part_A==MI_part_B==MI_part_C。在三個先前編碼的相鄰塊都在幀間預測模式中進行編碼並且它們的運動資訊都相同的情況下，候選集修剪方法掃描用於當前塊的候選集以檢查候選集中的任一候選的運動資訊是否等於 三個相鄰塊的運動資訊。具有與三個相鄰塊相同的運動資訊的候選可以從其他空間相鄰塊或者時間同位塊中獲得。候選集修剪方法然後移除具有與相鄰塊相同運動資訊的一或複數個候選，該相鄰塊從當前塊的相同父塊中拆分而來。第二實施例可以與第一實施例結合以清除從相同父塊分割而來的三個相鄰塊中獲得的運動資訊以及候選集中具有與三個相鄰塊相同的運動資訊的任一候選。
第二實施例的候選集修剪進程的一個示例可以透過下面的虛擬碼(pseudo codes)進行描述，如第9圖所示，其中D部分(part D)是當前塊，A部分(part A)，B部分(part B)，C部分(part C)是從與當前塊相同的父塊拆分而來的三個相鄰塊。A部分是左上方相鄰塊，B部分是上方相鄰塊，C部分是左邊相鄰塊，以及D部分是當前塊。Merge_mode(D部分)表示用於為D部分構造Merge模式或者Skip模式候選集的進程，如果A部分，B部分以及C部分是幀間模式，Skip模式或者Merge模式，A部分的運動資訊(MI_part_A)被設置為修剪運動資訊，並且A部分，B部分以及C部分的所有運動資訊是相同的，其中Prune_MI是存儲修剪運動資訊的變數。從空間以及時間候選構造的用於D部分的候選集包括N個候選，cand_list{CI,C2,C3,...C_N}。檢查用於D部分的候選集中的每一候選以確保其不與修剪運動資訊Prune_MI相同。如果運動資訊等於修剪運動資訊Prune_MI，從候選集中移除這一候選。運動資訊可以包括運動向量、參考清單、參考索引以及其他合併模式敏感資訊，例如局部亮度補償旗標的一個或其組合，其中運動向量包括MV_x以及MV_y。
在一些示例中，根據視訊位元流在序列層級，圖像層級，切片層或PU層級中發信的旗標，第二實施例的候選集修剪進程可以是適應性啟用的或者禁止的。例如，發信了旗標spatial_based_pruning_en，並且旗標的值為1指示候選集修剪進程是啟用的，反之旗標值為0指示候選集修剪進程是禁止的，如果這一旗標在視訊位元流中不存在，則旗標spatial_based_pruning_en可推測為l。
第三實施例。第三實施例與第一實施例相類似，除了第一實施例中的三個相鄰塊是葉節點而且沒有進一步被拆分，而在第三實 施例中，由四叉樹拆分從與當前塊相同父塊分割而來的三個相鄰塊可以進一步拆分成較小子塊。因為相鄰塊被進一步拆分成子塊用於預測或者其他編解碼處理，第三實施例的三個相鄰塊中的一或複數個不是葉節點。在第三實施例的一個示例中，由QTBT拆分結構生成複數個葉塊，例如複數個PU，並且最小塊定義為用於複數個PU的最小允許塊尺寸，因此每一PU大於或者等於最小塊。最小塊的尺寸為M×M，其中M是大於1的整數。例如，根據HEVC標準，最小塊的尺寸是4×4，第三實施例的候選禁止方法首先檢查三個相鄰塊內的所有最小塊的運動資訊是否都是相同的，以及所有最小塊是否都在幀間預測模式中進行編碼，其中幀間預測包括AMVP，Merge以及Skip模式。如果三個相鄰塊內的所有最小塊的運動資訊是相同的且子塊在幀間預測模式中進行編碼，候選禁止方法禁止從三個相鄰塊內的任一子塊中獲得的空間候選。
第10A圖與第10B圖示出了第三實施例的示例，其中當前塊1008，左上方相鄰塊1002，上方相鄰塊1004以及左邊相鄰塊1006由四叉樹拆分從相同的根源快拆分而來。如第10B圖所示，當前塊1008是葉節點，而左上方相鄰塊1002以及左邊相鄰塊1006進一步以二叉樹或四叉樹規格進一步被拆分。當構造用於編碼當前塊1008的候選集的時候，應用第三實施例的候選禁止方法。類似於第一實施例，第三實施例的候選禁止方法檢查三個相鄰塊1002,1004以及1006的運動資訊是否都是相同的以及三個相鄰塊是否都在幀間預測模式中進行編碼。從相鄰塊1002以及1006拆分而來的子塊的運動資訊可以彼此不相同，因此需要檢查三個相鄰塊內的每一子塊。如果相鄰塊1004的運 動資訊與相鄰塊1002以及1006內的所有子塊的運動資訊是相同的，並且相鄰塊1004與相鄰塊1002以及1006中的所有子塊在幀間模式，Merge模式或者Skip模式中進行編碼，從相鄰塊1004獲得的空間候選或者從相鄰塊1002以及1006的任一子塊獲得的空間候選被禁止包括在用於當前塊1008的候選集中。如第10A圖所示，第三實施例的示例檢查進一步拆分的相鄰塊1002以及1006內的每一最小塊以決定相鄰塊1002以及1006中所有子塊的運動資訊是否是相同的。每一葉分割塊大於或等於最小塊。
可以在視訊位元流中發信旗標以切換用於第三實施例的候選禁止方法的開或關，例如，在視訊位元流中發信旗標merge_cand_prohibit_en以指示第三實施例的候選禁止方法是否是啟用的，其中merge_cand_prohibit_en=1指示是啟用的而merge_cand_prohibit_en=0指示禁止，當這一旗標在視訊位元流中不存在的時候，merge_cand_prohibit_en的值可以推測為1。發信旗標merge_cand_prohibit_en中的單元的最小尺寸可以分別地在序列層級，圖像層級，切片層級或PU層級中進行編碼。
第四實施例。第四實施例的候選集修剪方法類似於第二實施例的候選集修剪方法，主要區別在於第四實施例中的三個相鄰塊可以進一步拆分成較小子塊，其中三個相鄰塊以及當前塊是由四叉樹結構或QTBT結構分割的塊。因為三個相鄰塊中的一或複數個進一步分割成較小子塊，因此它們不是葉節點。第四實施例的候選集修剪方法首先檢查相鄰塊中的運動資訊是否都是相同的以及相鄰塊中的所有子塊是否 是幀間預測的塊，然後如果運動資訊是相同的以及相鄰塊中的所有子塊都是幀間預測的塊，記錄運動資訊MI_sub。一種決定相鄰塊中的所有運動資訊是相同或者不同的方法包括：掃描一或複數個相鄰塊內的所有最小塊，以及僅當相鄰塊中的所有最小塊的運動資訊是相同的時候，應用第四實施例的的修剪進程。最小塊被定義為用於拆分的最小允許的尺寸，也就是，任一分割的子塊將不會比最小塊更小。
當在Merge或Skip模式中對當前塊進行編碼的時候，需要用於當前塊的候選集，並且在獲得用於當前塊的初始候選集以後，初始候選集中的每一候選與記錄的運動資訊MI_sub進行比較。從用於當前塊的候選集中修剪或移除具有與所記錄的運動資訊MI_sub相同的運動資訊的候選。在獲得從相鄰塊的A部分獲得的所記錄的運動資訊MI_sub後，將下文中演示候選集修剪方法的示例中的虛擬碼應用於用於當前塊D部分的候選集cand_list{C1,C2,C3,...C_N}。當前塊的D部分與相鄰塊的A部分的對應位置如第9圖所示，因為當三個相鄰塊中的所有運動資訊都是相同的時候，將修剪進程應用於修剪候選集，因此用於設置修剪資訊Prune_MI所記錄的運動資訊MI_sub可以從相鄰塊的A部分，B部分以及C部分中的任一個獲得。
在上述虛擬碼中，Merge_skip_mode_cand_list_build(D部分)是第四實施例中建立用於當前塊D部分候選集的進程，以及prune_MI是存儲用於修剪進程的運動資訊的變數。這裡的運動資訊定義為{MV_x,MV_y，參考清單，參考索引，其他合併模式敏感資訊，例如局部亮度補償旗標}中的一個或其組合。
可以在視訊位元流中傳輸旗標spatial_based_pruning_en以切換用於第四實施例的候選集修剪方法的開或關，其中旗標值為1指示候選集修剪方法是啟用的以及旗標值為0指示候選集修剪方法是禁用的，當視訊位元流中不存在旗標的時候，旗標spatial_based_pruning_en的值可以推測為1。用於發信旗標的單元的最小尺寸可以分別地在序列層級，圖像層級，切片層或者PU層 級中進行編碼。
第11圖示出了透過構造用於當前塊的候選集來對當前塊進行編碼或解碼的視訊資料處理方法的一實施例的一流程圖。當前塊是由四叉樹拆分從父塊分割而來的最後處理的塊以及在或者將要在Merge模式或者Skip模式中對當前塊進行編碼。例如，當前塊是父塊中的右下方塊，在處理來自于相同父塊拆分而來的三個相鄰塊後對其進行處理。在步驟S1102中，從處理單元或存放裝置中接收與當前塊有關的輸入資料，其中該當前塊以及三個相鄰塊由四叉樹拆分從相同的父塊拆分而來；在步驟S1104中，檢查三個相鄰塊是否都在幀間預測模式中進行編碼，例如AMVP模式，Merge模式或者Skip模式，並且也檢查該三個相鄰塊的運動資訊是否相同。如果三個相鄰塊在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，在S1106中，透過禁止從三個相鄰塊的任意一個獲得的空間候選或者從候選集中移除該空間候選，構造用於該當前塊的候選集。否則在步驟S1108中，根據傳統的候選集構造方法構造用於該當前塊的候選集。在步驟S1106或S1108構造候選集以後，在S1110中，透過從該候選集中選擇用於當前塊的一個最終候選集，並且根據最終候選的運動資訊獲得用於該當前塊的預測子，來基於該候選集對該當前塊進行編碼或解碼。在編碼器側，該最終候選透過編碼器演算法進行選擇，例如率失真優化(rate-distortion optimization，簡稱RDO)，而在解碼器側，該最終候選透過在視訊位元流中發信的索引進行選擇，該當前塊重新使用該最終候選的運動資訊用於運動預測或運動補償。
第12圖示出了透過構造用於Merge模式或Skip模式的候選集來對當前塊進行編碼或解碼的視訊資料處理方法的另一實施例的一流程圖。在步驟S1202中從處理單元或存放裝置中接收與當前塊有關的輸入資料，其中該當前塊透過四叉樹拆分從父塊拆分而來並且該當前塊是該父塊中最後處理的塊。在該當前塊之前對該當前塊的三個相鄰塊進行處理。在步驟S1204中，為了在Merge模式或Skip模式中對該當前塊進行編碼，決定用於該當前塊的候選集，並且也決定以及存儲三個相鄰塊的運動資訊。在S1206中，檢查該三個相鄰塊是否都在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是否是相同的。如果該三個相鄰塊在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，則在S1208中執行修剪進程，該修剪進程包括：掃描用於該當前塊的候選集以決定該候選集中的任一候選是否具有等於該三個相鄰塊的運動資訊，以及從該候選集中移除等於該三個相鄰塊的運動資訊的候選。在S1210中，透過從該候選集中選擇一個最終候選並且從該最終候選中獲取一個預測子，來基於該候選集對該當前塊進行編碼或者解碼。
第13圖示出了實施本發明各種實施例的視訊編碼器1300的一示例性系統框圖。幀內預測1310基於當前圖像的重構的視訊資料提供幀內預測子，幀間預測1312基於來自於其他一或複數個圖像的視訊資料執行運動估計(ME)以及運動補償(MC)以提供預測子。根據本發明的一些實施例，為了在Merge模式或Skip模式對當前塊進行編碼，如果三個相鄰塊以及當前塊透過四叉樹拆分從相同的父塊分割而 來，並且該三個相鄰塊在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是相同的，透過禁止用從該三個相鄰塊中的任一個獲得的空間候選構造用於該當前塊的候選集。如果相鄰塊進一步分割成較小子塊，當該三個相鄰塊內的所有運動資訊是相同的以及在幀間預測模式中對所有子塊進行編碼的時候，應用候選禁止方法。根據一些其他實施例，如果三個相鄰塊在幀間預測模式中編碼並且該三個相鄰塊的運動資訊是相同的，對候選集執行修剪進程。該修剪進程包括掃描為當前塊重構的候選集以檢查任一候選是否具有等於該三個相鄰塊的運動資訊，並且從該候選集中移除運動資訊等於該三個相鄰塊的運動資訊的候選。在相鄰塊不是葉節點的情況下，如果該三個相鄰塊內的運動資訊都是相同的並且在幀間預測模式中對該三個相鄰塊的子塊進行編碼，應用修剪進程。幀間預測1312從該候選集中決定用於該當前塊的一個最終候選以獲得用於當前塊的預測子。幀內預測1310與幀間預測1312中的任一個將所選擇的預測子提供給加法器1316以形成預測誤差，也叫殘差。該當前塊的殘差進一步由轉換(T)1318處理，緊接著由量化(Q)1320進行處理。已轉換以及已量化的殘差信號然後由熵編碼器1334進行編碼以形成視訊位元流，該視訊位元流然後與邊資訊(side information)一起包裝(packed)。該當前塊的已轉換以及已量化的殘差信號由逆量化(IQ)1322以及逆轉換(IT)1324進行處理以恢復預測殘差。如第13圖所示，透過在重構(REC)1326處向所選擇的預測子添加恢復的殘差以生成重構的視訊資料。該重構的視訊資料可以存儲在參考圖像緩衝器(Ref.Pict.Buffer)1332中並用於其他圖像的預測，由於編碼處理， 來自於REC1326的重構的視訊資料可能受到各種損傷，因此在將該重構的視訊資料存儲到參考圖像緩衝器1332之前，將環內處理濾波器1328應用於該重構的視訊資料以進一步加強圖像品質。
對應於第13圖的視訊編碼器1300的視訊解碼器1400如第14圖所示，由視訊編碼器編碼的視訊位元流可以輸入到視訊解碼器1400，以及由熵解碼器1410進行解碼以解析並恢復該已轉換與已量化的殘差資訊以及其他系統資訊。視訊解碼器1400的解碼進程類似於在視訊編碼器1300的環內重構(reconstruction loop)，除了解碼器1400僅需要在幀間預測1414中的運動補償預測。每一塊由幀內預測1412或者幀間預測1414進行解碼。根據解碼的模式資訊，開關1416從幀內預測1412中選擇一個幀內預測子或者從幀間預測1414中選擇幀間預測子。如果在幀間預測模式中對三個相鄰塊進行編碼並且該三個相鄰塊的運動資訊是相同的，一些實施例的幀間預測1414透過禁止從三個相鄰塊的任意一個獲得的空間候選，構造由四叉樹拆分從父塊分割而來的當前塊的候選集，該三個相鄰塊從與當前塊相同的父塊分割而來。其他的一些實施例的幀間預測1414使用修剪處理構造用於當前塊的候選集，該修剪進程移除該候選集中具有與三個相鄰塊的運動資訊相同的運動資訊的任何候選。在至少一個相鄰塊進一步分割成子塊用於預測的情況下，僅當該三個相鄰塊的運動資訊是相同的而且在所有子塊是幀間預測模式編碼的時候，應用候選禁止方法或修剪方法。幀間預測1414透過從該候選集中選擇一個最終候選獲得用於該當前塊的預測子。透過逆量化(IQ)1420以及逆轉換(IT)1422，恢復與每一塊有關的已轉換以 及已量化的殘差信號。透過在REC1418中將恢復的殘差信號添加回預測子來對該恢復的殘差資訊進行重構以生成重構的視訊，該重構的視訊進一步由環內處理濾波器(濾波器)1424進行處理以生成最終的解碼視訊。如果當前解碼的圖像是參考圖像，該當前解碼的圖像的重構的視訊也存儲於參考圖像緩衝器1428，以用於解碼順序中的後續圖像。
第13圖與第14圖中視訊編碼器1300以及視訊解碼器1400的各種部件可以透過硬體部件、用於執行存儲在記憶體中的程式指令一或複數個處理器，或者硬體及處理器的組合來實現。例如，處理器執行程式指令以控制與當前圖像有關的輸入資料的接收，該處理器配備有一或複數個處理核心。在一些實施例中，該處理器執行程式指令以執行視訊編碼器1300以及視訊解碼器1400中一些部件的功能，並且電性耦接於處理器的記憶體用於存儲程式指令，對應於塊的重構圖像的資訊，與/或在視訊編碼或解碼進程中的中間資料。在一些實施例中的記憶體包括非瞬態電腦可讀介質，例如半導體或固態記憶體、隨機存取記憶體、唯讀記憶體(ROM)，硬碟，光碟或者其他適當的存儲介質。該記憶體也可以是兩個或複數個上述非瞬態電腦可讀介質的組合。如第13圖以及第14圖所示，視訊編碼器1300以及視訊解碼器1400可以在相同的電子設備中實施，如果在相同的電子設備中實施，視訊編碼器1300以及視訊解碼器1400的各種功能部件可以是共用的或者重複使用的。
用於由二叉樹拆分分割的當前塊的候選集構造方法的實施例可以在集成到視訊壓縮晶片或集成到視訊壓縮軟體中的程式碼中實 現，以執行如上該之處理。例如，決定用於當前塊的當前模式集(current mode set)可以在電腦處理器、數位訊號處理器(DSP)、微處理器、或場可程式設計閘陣列(FPGA)上執行的程式碼中實現。根據本發明，透過執行定義由本發明實施例的具體方法的電腦可讀程式碼或者固件代碼，這些處理器可以用於執行具體的任務。
在不背離本發明精神及基本特徵的情況下，本發明可以以其他具體的形式實施，該示例的所有方面僅被認為是說明性的而非限制性的，因此，本發明的範圍由所附申請專利範圍具體指示而非上述的描述，在申請專利範圍等價的含義與變化的範圍內都包括在本發明的範圍內。

Claims (10)

  1. 一種視訊編解碼系統中視訊處理的方法，其中一圖像中的視訊資料被分割成複數個塊進行編碼或解碼，包括：接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊以及三個相鄰塊由四叉樹拆分從一父塊拆分得到，並且該當前塊是該父塊中一最後處理的塊；決定用於該當前塊的一候選集包括執行一候選禁止方法，其中該候選禁止方法檢查該三個相鄰塊是否都在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是否相同，如果該三個相鄰塊都在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，禁止從該三個相鄰塊中的任意一個獲得的空間候選或者從該候選集中移除該空間候選；以及根據從該候選集中選擇的一最終候選的運動資訊獲得用於該當前塊的一預測子，並且基於該獲得的預測子對該當前塊進行編碼或解碼。
  2. 如申請專利範圍第1項所述之視訊編解碼系統中視訊處理的方法，其中決定該候選集進一步包括：如果該三個相鄰塊都在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是相同的，執行一修剪進程，該修剪進程包括掃描該候選集以決定該候選集中的任一候選是否等於該三個相鄰塊的該運動資訊，以及從該候選集中移除等於該三個相鄰塊的該運動資訊的候選。
  3. 如申請專利範圍第2項所述之視訊編解碼系統中視訊處理的方法，其中存儲該三個相鄰塊的該運動信息並且與該候選集中的每一候選 的運動資訊進行比較。
  4. 如申請專利範圍第1項所述之視訊編解碼系統中視訊處理的方法，其中該三個相鄰塊中的至少一個被進一步拆分成複數個子塊用於運動估算或運動補償，以及該候選禁止方法進一步包括檢查該三個相鄰塊中的至少一個的運動資訊是否相同，以及如果該至少一個相鄰塊的該運動資訊都是相同的並且該等子塊在幀間預測模式中進行編碼，禁止從該至少一個相鄰塊中的任一子塊獲得的該空間候選或者從該候選集中移除該空間候選。
  5. 如申請專利範圍第4項所述之視訊編解碼系統中視訊處理的方法，其中檢查該三個相鄰塊中的至少一個的運動資訊是否相同包括：檢查該三個相鄰塊中的至少一個的每一最小塊，其中該每一最小塊的尺寸為M×M並且該等子塊的每一大於或等於M×M。
  6. 如申請專利範圍第1項所述之視訊編解碼系統中視訊處理的方法，其中該三個相鄰塊的至少一個進一步被拆分成複數個子塊用於運動估算或運動補償，以及決定用於該當前塊的該候選集包括檢查該三個相鄰塊中的至少一個的運動資訊是否相同，以及如果該三個相鄰塊中的至少一個的該運動資訊都是相同的，執行一修剪進程，該修剪進程包括掃描用於該當前塊的該候選集以決定該候選集中的任一候選是否等於該三個相鄰塊中的至少一個中任一子塊的運動資訊，並且從該候選集中移除等於該三個相鄰塊中的至少一個中的一子塊的運動資訊的候選。
  7. 一種視訊編解碼系統中視訊處理的方法，其中一圖像中的視訊資料 被分割成複數個塊進行編碼或解碼，包括：接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊以及三個相鄰塊由四叉樹拆分從一父塊拆分得到，並且該當前塊是該父塊中一最後處理的塊；決定用於該當前塊的一候選集以及決定該三個相鄰塊的運動資訊；如果該三個相鄰塊在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是相同的，執行一修剪進程，其中透過掃描用於該當前塊的該候選集執行該修剪進程以決定該候選集中的任一候選是否等於該三個相鄰塊中的運動資訊，以及從該候選集中移除等於該三個相鄰塊中的運動資訊的候選；以及根據從該候選集中選擇的一最終候選獲得用於該當前塊的一預測子，並且基於該獲得的預測子對該當前塊進行編碼或解碼。
  8. 如申請專利範圍第7項所述之視訊編解碼系統中視訊處理的方法，其中該三個相鄰塊的至少一個進一步被拆分成複數個子塊用於運動估算或運動補償，以及該方法進一步包括檢查該三個相鄰塊的至少一個的運動信息是否都是相同的，並且如果檢查該三個相鄰塊的至少一個的運動資訊是相同的以及該等子塊在幀間預測模式中進行編碼，執行該修剪進程。
  9. 一種視訊編解碼系統中的視訊處理的裝置，其中一圖像中的視訊資料被分割成複數個塊進行編碼或解碼，該裝置包括一或複數個電子電路用於：接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊以及 三個相鄰塊由四叉樹拆分從一父塊拆分得到，並且該當前塊是該父塊中一最後處理的塊；決定用於該當前塊的一候選集包括執行候選禁止方法，其中該候選禁止方法檢查該三個相鄰塊是否都在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是否相同，如果該三個相鄰塊都在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，禁止從該三個相鄰塊中的任意一個獲得的一空間候選或者從該候選集中移除該空間候選；以及根據從該候選集中選擇的一最終候選獲得用於該當前塊的一預測子，並且基於所獲得的預測子對該當前塊進行編碼或解碼。
  10. 一種存儲程式指令的非瞬態電腦可讀介質，該程式指令使得一裝置的一處理電路執行視訊處理方法，該方法包括：接收與一當前圖像中一當前塊有關的輸入資料，其中該當前塊以及三個相鄰塊由四叉樹拆分從一父塊拆分得到，並且該當前塊是該父塊中一最後處理的塊；決定用於該當前塊的一候選集包括執行候選禁止方法，其中該候選禁止方法檢查該三個相鄰塊是否都在幀間預測模式中進行編碼以及該三個相鄰塊的運動資訊是否相同，如果該三個相鄰塊都在幀間預測模式中進行編碼並且該三個相鄰塊的運動資訊是相同的，禁止從該三個相鄰塊中的任意一個獲得的空間候選或者從該候選集中移除該空間候選；以及根據從該候選集中選擇的一最終候選獲得用於該當前塊的一預測子， 並且基於該獲得的預測子對該當前塊進行編碼或解碼。
TW107104727A 2017-02-21 2018-02-09 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置 TWI666927B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762461303P 2017-02-21 2017-02-21
US62/461,303 2017-02-21
US15/869,759 US20180242024A1 (en) 2017-02-21 2018-01-12 Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
US15/869,759 2018-01-12

Publications (2)

Publication Number Publication Date
TW201832563A true TW201832563A (zh) 2018-09-01
TWI666927B TWI666927B (zh) 2019-07-21

Family

ID=63166608

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107104727A TWI666927B (zh) 2017-02-21 2018-02-09 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置

Country Status (3)

Country Link
US (1) US20180242024A1 (zh)
CN (1) CN108462873A (zh)
TW (1) TWI666927B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180110061A (ko) * 2016-12-26 2018-10-08 닛본 덴끼 가부시끼가이샤 영상 인코딩 방법, 영상 디코딩 방법, 영상 인코딩 장치, 영상 디코딩 장치, 및 프로그램
US10536724B2 (en) * 2016-12-26 2020-01-14 Nec Corporation Video encoding method, video decoding method, video encoding device, video decoding device, and program
CN110710210B (zh) 2017-10-20 2023-08-04 株式会社Kt 视频信号处理方法及装置
EP3738310A4 (en) * 2018-01-11 2021-08-11 Qualcomm Incorporated VIDEO ENCODING USING LOCAL LIGHTING COMPENSATION
US10812810B2 (en) * 2018-02-06 2020-10-20 Tencent America LLC Method and apparatus for video coding in merge mode
US10812827B2 (en) * 2018-05-11 2020-10-20 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
BR112020024802A2 (pt) * 2018-06-27 2021-03-02 Panasonic Intellectual Property Corporation Of America método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
CN110662057B (zh) 2018-06-29 2022-06-21 北京字节跳动网络技术有限公司 视频处理方法、装置、设备以及存储比特流的方法
KR102611261B1 (ko) 2018-06-29 2023-12-08 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업데이트 대상 lut 또는 비업데이트 lut의 구별
WO2020003278A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: fifo, constrained fifo
EP3797516A1 (en) 2018-06-29 2021-03-31 Beijing Bytedance Network Technology Co. Ltd. Interaction between lut and amvp
JP7100200B2 (ja) 2018-06-29 2022-07-12 北京字節跳動網絡技術有限公司 マージ／ａｍｖｐにｈｍｖｐ候補を追加する際の一部／全部プルーニング
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
CN110958452B (zh) * 2018-09-27 2023-11-03 华为技术有限公司 视频解码方法及视频解码器
CN111083484A (zh) * 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
WO2020084604A1 (en) * 2018-10-26 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Fast methods for partition tree decision
CN111418210A (zh) * 2018-11-06 2020-07-14 北京字节跳动网络技术有限公司 使用几何分割模式的有序的运动候选列表生成
CN112956202A (zh) * 2018-11-06 2021-06-11 北京字节跳动网络技术有限公司 利用几何分割的帧间预测的扩展
BR112021008625A2 (pt) 2018-11-08 2021-08-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. método de decodificação e codificação de vídeo e aparelho de decodificação e codificação de vídeo
WO2020103936A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Pruning method for inter prediction with geometry partition
KR20210090176A (ko) * 2018-11-22 2021-07-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
BR112021010162A2 (pt) * 2018-11-27 2021-09-08 Op Solutions, Llc Atualização de bloco adaptativo de quadros de referência indisponíveis usando sinalização explícita e implícita
WO2020114405A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Indication method of maximum number of candidates
WO2020114420A1 (en) * 2018-12-05 2020-06-11 Huawei Technologies Co., Ltd. Coding method, device, system with merge mode
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113302937A (zh) 2019-01-16 2021-08-24 北京字节跳动网络技术有限公司 运动候选推导
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
WO2020233600A1 (en) * 2019-05-20 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Simplified local illumination compensation
CN110519608A (zh) * 2019-07-13 2019-11-29 西安电子科技大学 针对插入图像后图像集的编码结构调整方法
EP3984215A4 (en) * 2019-07-14 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING
WO2021055126A1 (en) * 2019-09-19 2021-03-25 Alibaba Group Holding Limited Methods for constructing a merge candidate list
CN114079787A (zh) * 2020-08-10 2022-02-22 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、装置、设备和存储介质
EP3968635A1 (en) 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
WO2022213966A1 (en) * 2021-04-05 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Neighbor Based Partitioning Constraints
US20230079743A1 (en) * 2021-09-16 2023-03-16 Qualcomm Incorporated Multiple inter predictors with decoder side motion vector derivation for video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
WO2012045886A1 (en) * 2010-10-08 2012-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding supporting block partitioning and block merging
PL3876540T3 (pl) * 2011-06-27 2023-07-24 Samsung Electronics Co., Ltd. Sposób dekodowania i kodowania informacji o ruchu, urządzenie do kodowania informacji o ruchu i czytelny dla komputera nośnik

Also Published As

Publication number Publication date
US20180242024A1 (en) 2018-08-23
TWI666927B (zh) 2019-07-21
CN108462873A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
TWI666927B (zh) 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
CN109479139B (zh) 视频处理系统中参考量化参数推导的方法与装置
US9866848B2 (en) Method and apparatus for line buffer reduction for video processing
EP3459245B1 (en) Confusion of multiple filters in adaptive loop filtering in video coding
CN110999297B (zh) 在图像或视频编码系统中处理图像的方法和装置
US11107253B2 (en) Image processing method, and image decoding and encoding method using same
US11368722B2 (en) Method and device for encoding or decoding video
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
KR20230113262A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
US10681354B2 (en) Image encoding/decoding method and apparatus therefor
JP2023010845A (ja) アフィン動き予測に基づく映像コーディング方法及び装置
US11812061B2 (en) Method and device for encoding or decoding video
BR112021008625A2 (pt) método de decodificação e codificação de vídeo e aparelho de decodificação e codificação de vídeo
US20230134711A1 (en) Bidirectional prediction method and video decoding apparatus
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
US11240535B2 (en) Method and device for filtering image in image coding system
WO2023141338A1 (en) Methods and devices for geometric partitioning mode with split modes reordering
KR20200110138A (ko) 공유 후보 리스트를 이용한 움직임정보 유도 방법 및 영상 복호화 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees