TW201820881A - 使用樹結構的塊分割 - Google Patents

使用樹結構的塊分割 Download PDF

Info

Publication number
TW201820881A
TW201820881A TW106135008A TW106135008A TW201820881A TW 201820881 A TW201820881 A TW 201820881A TW 106135008 A TW106135008 A TW 106135008A TW 106135008 A TW106135008 A TW 106135008A TW 201820881 A TW201820881 A TW 201820881A
Authority
TW
Taiwan
Prior art keywords
unit
segmentation
video
constraint condition
image
Prior art date
Application number
TW106135008A
Other languages
English (en)
Other versions
TWI666926B (zh
Inventor
蔡佳銘
徐志瑋
莊子德
陳慶曄
黃毓文
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201820881A publication Critical patent/TW201820881A/zh
Application granted granted Critical
Publication of TWI666926B publication Critical patent/TWI666926B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提出一種用於編碼圖像或者視訊的方法、裝置及電腦可讀介質。片段被分割成第一單元集。對於第一單元集中的每個第一單元，將第一單元被分割成第二單元集。分割包括，對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件。若第二單元不滿足預設約束條件，則第一分割技術集被測試以對第二單元進行分割。若第二單元滿足預設約束條件，則第一分割技術集和第二分割技術集被測試以對第二單元進行分割。使用來自於由測試所識別的第一分割技術集或者第二分割技術集中的一技術，對第二單元進行分割。

Description

使用樹結構的塊分割 【相關申請的交叉引用】
本申請要求2016年10月14日提出的名稱為“CONSTRAINTS FOR FLEXIBLE CODING UNIT PARTITION”申請號為62/408,133的美國臨時案的優先權、名稱為“METHODS AND APPARATUS OF ASYMMETRIC BLOCK PARTITION FOR VIDEO CODING”申請號為62/408,140的美國臨時案的優先權、以及名稱為“METHODS AND APPARATUS OF TU PARTITION IN ASYMMETRIC BLOCK FOR VIDEO CODING”申請號為62/408,144的美國臨時案的優先權，其中每個整體以引用方式併入本文中。
此處描述的技術一般涉及視訊編解碼，且具體而言，涉及使用樹結構的塊分割。
視訊編解碼涉及壓縮(和去壓縮)數位視訊訊號。視訊編解碼標準的示例包括H.264視訊壓縮標準及其繼任者高效視訊編碼(High Efficiency Video Coding，HEVC)。HEVC是ITU-T視訊編碼專家組(Video Coding Experts Group，VCEG)標準組織和ISO/IEC運動圖像專家組(Moving Picture Experts Group，MPEG)標準組織的專案，其以稱為視訊編碼聯合小組(Joint Collaborative Team on Video Coding，JCT-VC)的合作夥伴關係工作在一起。
運動的視訊透過在週期性的時間間隔處拍攝訊號的快照而形成，使得重播一系列的快照或者資訊框產生運動的感覺。視訊轉碼器包括預測模型，其使用相鄰視訊資訊框之間的相似度來試圖降低冗餘。自通常稱作參考資訊框的一個或者多個先前資訊框(past frame)或者未來資訊框(future frame)中創建預測資訊框(predicted frame)。不用作參考資訊框的資訊框通常稱作非參考資訊框。
由於視訊序列的每幀可以包括成千上萬的像素，視訊編解碼技術通常將幀分割成多個片段(slice)。每個片段可以被分割成多個編碼樹單元(coding tree unit，CTU)。例如，在主文件中，編碼樹單元的最小尺寸和最大尺寸由序列參數集(sequence parameter set，SPS)中的語法元素指定，其可以包括8x8、16x16、32x32或者64x64(像素)。編碼樹單元是HEVC中編解碼的基礎單元，與其他標準中的宏塊(macroblock)相似。
編碼樹單元被進一步分割成多個編碼單元(coding unit，CU)，以適應性各種本地特徵。是否使用畫面間圖像(時間)預測或者畫面內圖像(空間)預測來編解碼圖像區域的決策在編碼單元層處作出。由於最小編碼單元尺寸可以為8 x 8像素，則用於切換不同基礎預測類型的最小精度為8 x 8像素。使用一個或多個變換單元(transform unit，TU)，每個編碼單 元被變換，使用畫面內預測或者畫面間預測來預測每個變換單元。
各種技術可以用於將編碼樹單元分割成編碼單元(和/或進一步分割成子編碼單元)。但是，測試所有可能的分割技術在計算上可能是昂貴的。另外，測試某些單元(即編碼樹單元、編碼單元)尺寸可能比測試諸如長度或者寬度不為2的冪的其他單元在計算上更昂貴。
根據所公開的主題，本發明提供裝置、系統及方法，以用於解碼器側運動向量恢復技術，其提高解碼器側運動向量細分技術的執行速度和效率。
一些實施例涉及一種圖像或者視頻編碼方法。本方法包括將圖像序列或者視頻序列的片段分割成第一單元集。對於第一單元集中的每個第一單元，將第一單元分割成第二單元集。對於第二單元集中的每個第二單元，分割包括判斷第二單元是否滿足預設約束條件。若第二單元不滿足預設約束條件，則測試第一分割技術集以對第二單元進行分割。若第二單元滿足預設約束條件，則測試第一分割技術集和第二分割技術集以對第二單元進行分割。使用來自於由測試所識別的第一分割技術集或者第二分割技術集中的一技術，對第二單元進行分割。
在一些示例中，第一單元為編碼樹單元，以及第二單元為編碼單元或者預測單元。
在一些示例中，第一分割技術集包括：使用四叉 樹對第二單元進行分割的四叉樹分割技術、使用二叉樹對第二單元進行分割的二叉樹分割技術、對第二分割單元不進行進一步分割的無分割技術或者其組合，以及第二分割技術集包括對第二單元進行非對稱分割的非對稱編碼單元分割技術、使用三叉樹對第二單元進行分割的三叉樹分割技術或者其組合。
在一些示例中，約束條件包括第二單元的編碼單元尺寸、第二單元的樹分割深度，第二單元是否是分割樹的葉節點，第二單元的編碼單元的寬度是否為2的冪，第二單元的編碼單元高度是否為2的冪，或者其組合中的一個或多個。
在一些示例中，約束條件被隱性指示、被顯性指示、或者被隱性和顯性指示。
在一些示例中，本方法包括將約束條件顯性指示在視頻位元流中，其中約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元、或者其組合中。
在一些示例中，約束條件包括第二單元的寬度的最小長度和最大長度，第二單元的高度的最小長度和最大長度，最小樹分割深度與最大樹分割深度、或者其組合。
一些實施例涉及一種圖像或者視頻編碼方法。將圖像流或者視頻流的片段分割成第一單元集。對於第一單元集中的每個第一單元，將第一單元分割成第二單元集。對於第二單元集中的每個第二單元，分割包括判斷第二單元是否滿足預設約束條件。若第二單元滿足預設約束條件，則測試第一分割集以對第二單元進行分割，其中來自於分割集的每個分割包括相同的分割方向。若第二單元不滿足預設約束條件，則測試第 二分割集以對第二單元進行分割，其中第二分割集中的多個分割包括第一分割集和具有不同於與第一分割集的方向的多個額外分割。使用來自於由測試所識別的第一分割集或者第二分割集中的一分割，對第二單元進行分割。
在一些示例中，約束條件包括第二單元的寬度的最小長度與最大長度和第二單元的高度的最小長度與最大長度中的至少一個、第二單元的高度和第二單元的寬度中至少一個是否是2的冪、或者其組合中的一個或多個。
在一些示例中，本方法包括將約束條件顯性指示在視頻位元流中，其中約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其組合中。
在一些示例中，約束條件包括第二單元的寬度的最小長度與最大長度和第二單元的高度的最小長度與最大長度中至少一個。
在一些示例中，與分割集相關的分割技術被發信。
一些實施例涉及一種圖像或者視頻編碼方法。本方法包括將圖像流或者視頻流的片段分割成第一單元集。對於第一單元集中的每個第一單元，將第一單元分割成第二單元集。對於第二單元集中的每個第二單元，分割第一單元包括判斷第二單元是否滿足預設約束條件。測試分割集以對第二單元進行分割，其中來自於分割集的每個分割包括滿足第二約束條件的寬度和滿足第二約束條件的高度中的至少一個，分割集包括子單元集。使用來自於由測試所識別的分割集的一分割，對第二單元進行分割。
在一些示例中，約束條件包括第二單元的寬度不是2的冪和第二單元的高度不是2的冪中至少一個。
在一些示例中，第二約束條件包括長度是2的冪。
在一些示例中，第二約束條件基於編解碼模式而被隱性確定。
在一些示例中，編解碼模式包括畫面內編解碼模式或者畫面間編解碼模式。
在一些示例中，第二約束條件被顯性指示在一發信中。
在一些示例中，本方法還包括視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其組合顯性指示發信。
在一些示例中，約束條件包括第二單元的每側邊不是2的冪與將側邊分割成以2的冪的多個段的一系列的值中至少一個。
在一些示例中，第一單元為編碼樹單元，第二單元為編碼單元或者預測單元。
一些實施例涉及一種裝置，其被配置為編碼圖像資料或視頻資料。本裝置包括與記憶體通信的處理器。處理器被配置以執行存儲在記憶體中的指令，使得處理器將圖像序列或者視頻序列的片段分割成第一單元集。對於第一單元集中的每個第一單元，處理器將第一單元分割成第二單元集。對於第二單元集中的每個第二單元，分割包括判斷第二單元是否滿足預設約束條件。若第二單元滿足預設約束條件，則處理器測試 第一分割技術集，以分割第二單元，來自分割集的每一分割包括相同的方向。若第二單元不滿足預定約束，則處理器測試第二分割集以分割第二單元，第二分割集中的分割包括第一分割集和與第二分割集不同方向的附加分割。使用來自於由測試所識別的第一分割技術集或者第二分割技術集中的一技術，處理器對第二單元進行分割。
一些實施例涉及一種裝置，其被配置為編碼圖像資料或視頻資料。本裝置包括與記憶體通信的處理器。處理器被配置以執行存儲在記憶體中的指令，使得處理器將圖像流或者視頻流的片段分割成第一單元集。對於第一單元集中的每個第一單元，處理器將第一單元分割成第二單元集，其包括對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件。若第二單元滿足預設約束條件，則處理器測試第一分割集以對第二單元進行分割，其中來自於分割集的每個分割包括相同的分割方向。若第二單元不滿足預設約束條件，則處理器測試第二分割集以對第二單元進行分割，其中第二分割集中的多個分割包括第一分割集和具有不同於與第一分割集的方向的多個額外分割。使用來自於由測試所識別的第一分割集或者第二分割集中的一分割，處理器對第二單元進行分割。
一些實施例涉及一種裝置，其被配置為編碼圖像資料或視頻資料。本裝置包括與記憶體通信的處理器。處理器被配置以執行存儲在記憶體中的指令，使得處理器將圖像流或者視頻流的片段分割成第一單元集。對於第一單元集中的每個第一單元，處理器將第一單元分割成第二單元集，其包括對於 第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件。處理器測試分割集以對第二單元進行分割，其中來自於分割集的每個分割包括子單元集，該子單元集滿足第二約束條件的寬度和滿足第二約束條件的高度中的至少一個。使用來自於由測試所識別的分割集的一分割，處理器對第二單元進行分割。
一些實施例涉及一種圖像或者視頻解碼方法。本方法包括接收位元流，其中位元流按照如下編碼：將圖像序列或者視頻序列的片段分割成第一單元集；對於第一單元集中的每個第一單元，將第一單元分割成第二單元集，其包括對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件；若第二單元不滿足預設約束條件，則測試第一分割技術集以對第二單元進行分割；若第二單元滿足預設約束條件，則測試第一分割技術集和第二分割技術集以對第二單元進行分割；以及使用來自於由測試所識別的第一分割技術集或者第二分割技術集中的一技術，對第二單元進行分割。本方法解碼所接收的位元流。
在一些示例中，將約束條件顯性指示在位元流中，其中約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其任何組合中。
一些實施例涉及一種圖像或者視頻解碼方法。本方法包括接收位元流，其中位元流按照如下編碼：將圖像流或者視頻流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將第一單元分割成第二單元集，其包括對於第二單 元集中的每個第二單元，判斷第二單元是否滿足預設約束條件；若第二單元滿足預設約束條件，則測試第一分割集以對第二單元進行分割，其中來自於分割集的每個分割包括相同的分割方向；若第二單元不滿足預設約束條件，則測試第二分割集以對第二單元進行分割，其中第二分割集中的多個分割包括第一分割集和具有不同於與第一分割集的方向的多個額外分割；以及使用來自於由測試所識別的第一分割集或者第二分割集中的一分割，對第二單元進行分割。本方法解碼所接收的位元流。
在一些示例中，將約束條件顯性指示在位元流中，其中約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其任何組合中。
一些實施例涉及一種圖像或者視頻解碼方法。本方法包括接收位元流，其中位元流按照如下編碼：將圖像流或者視頻流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將第一單元分割成第二單元集，其包括對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件；測試分割集以對第二單元進行分割，其中來自於分割集的每個分割包括子單元集，該子單元集滿足第二約束條件的寬度和滿足第二約束條件的高度中的至少一個；以及使用來自於由測試所識別的分割集的一分割，對第二單元進行分割。本方法包括解碼所接收的位元流。
在一些示例中，視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其任何組合將第二約束條件顯 性指示在發信中。
一些實施例涉及一種裝置，其被配置為解碼圖像資料或視頻資料。本裝置包括與記憶體通信的處理器。處理器被配置以執行存儲在記憶體中的指令，使得處理器接收位元流，其中位元流按照如下編碼：將圖像序列或者視頻序列的片段分割成第一單元集；對於第一單元集中的每個第一單元，將第一單元分割成第二單元集，其包括：對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件；若第二單元不滿足預設約束條件，則測試第一分割技術集以對第二單元進行分割；若第二單元滿足預設約束條件，則測試第一分割技術集和第二分割技術集以對第二單元進行分割；以及使用來自於由測試所識別的第一分割技術集或者第二分割技術集中的一技術，對第二單元進行分割。指令使得處理器解碼所接收的位元流。
一些實施例涉及一種裝置，其被配置為解碼圖像資料或視頻資料。本裝置包括與記憶體通信的處理器。處理器被配置以執行存儲在記憶體中的指令，使得處理器接收位元流，其中位元流按照如下編碼：將圖像流或者視頻流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將第一單元分割成第二單元集，其包括對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件；若第二單元滿足預設約束條件，則測試第一分割集以對第二單元進行分割，其中來自於分割集的每個分割包括相同的分割方向；若第二單元不滿足預設約束條件，則測試第二分割集以對第二單元進行分 割，其中第二分割集中的多個分割包括第一分割集和具有不同於與第一分割集的方向的多個額外分割；以及使用來自於由測試所識別的第一分割集或者第二分割集中的一分割，對第二單元進行分割。指令使得處理器解碼所接收的位元流。
一些實施例涉及一種裝置，其被配置為解碼圖像資料或視頻資料。本裝置包括與記憶體通信的處理器。處理器被配置以執行存儲在記憶體中的指令，使得處理器接收位元流，其中位元流按照如下編碼：將圖像流或者視頻流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將第一單元分割成第二單元集，其包括：對於第二單元集中的每個第二單元，判斷第二單元是否滿足預設約束條件；測試分割集以對第二單元進行分割，其中來自於分割集的每個分割包括滿足第二約束條件的寬度和滿足第二約束條件的高度中的至少一個，分割集包括子單元集；以及使用來自於由測試所識別的分割集的一分割，對第二單元進行分割。指令使得處理器解碼所接收的位元流。
因此，大致概述了所公開的主題的特徵，以便更好地理解下列具體實施方式，並且以便更好地理解對本領域的貢獻。當然，存在所公開主題的額外特徵，其將在下文中描述，並形成附加申請專利範圍的主題。可以理解的是，本文中所使用的用語和術語是用於描寫的目的，不應被視為限制。
100‧‧‧視訊編解碼配置
102‧‧‧視訊源
104‧‧‧編碼器
106‧‧‧接收設備
108‧‧‧解碼器
110‧‧‧顯示器
200、300‧‧‧編碼樹單元
202、204、206、208、902、1002、1102、1104‧‧‧編碼單元
250‧‧‧四叉樹
252、254、256、258、352、354、356、358‧‧‧部分
302、304、306、308、702A、702B‧‧‧葉節點
350‧‧‧QTBT樹結構
600‧‧‧流程
602~616、802~816、1202~1216‧‧‧步驟
700‧‧‧樹
800、1200‧‧‧方法
904‧‧‧二叉樹分割
906、908‧‧‧非對稱分割
1004‧‧‧垂直二叉樹分割
1006、1008‧‧‧垂直非對稱分割
1010‧‧‧水平二叉樹分割
1012、1014‧‧‧水平非對稱分割
1100‧‧‧示例
1102A、1102B、1104A、1104B、1104C、1104D‧‧‧子編碼單元
1302、1350‧‧‧塊
1352、1354、1356、1358、1360A、1360B、1360C、1308、1310、1402、1502、1550
1304、1306、1312A、1312B、1312C‧‧‧變換單元
1504、1506、1552、1554‧‧‧分割
附圖中，不同附圖所示出的每個相同或幾乎相同的元件用相同的參考字元表示。為了清晰，並不是每個元件都 在每個附圖中標記出來。附圖不一定是按比例繪製的，而是將重點放在此次所述的技術和設備的各個方面。
第1圖是根據一些實施例的示例性的視訊編解碼配置。
第2圖是編碼樹單元到編碼單元和變換單元的示例性子分割及相關四叉樹。
第3圖是編碼樹單元的示例性四叉樹二叉樹(Quad-Tree-Binary-Tree，QTBT)分割及得到的QTBT樹結構。
第4圖是四叉樹(quad tree，QT)分割、二叉樹分割(binary tree，BT)和三叉樹(triple-tree，TT)分割。
第5圖是四種非對稱分割。
第6圖是根據一些實施例的用於圖像或視訊編碼的約束編碼樹單元分割的示例性流程。
第7圖是根據一些實施例的用於測試非對稱和/或三叉樹分割的具有位於葉節點處的編碼單元的樹的示例。
第8圖是根據一些實施例的用於在分割期間僅測試某些方向的示例性方法。
第9圖是根據一些實施例的用於僅測試水平分割的示例。
第10圖是根據一些實施例的基於一側邊是否為2的冪的測試的示例。
第11圖是根據一些實施例的基於一側邊是否為2的冪的提前結束的示例。
第12圖是根據一些實施例的在編碼單元的高度或寬度不為2的冪時分割編碼單元的示例性方法。
第13圖是根據一些實施例的隱性指示變換單元分割的示 例。
第14圖是根據一些實施例的隱性指示變換單元分割的示例。
第15圖是根據一些實施例的根據編解碼模式而隱性指示的變換單元分割的示例。
發明人已認識並領會到各種技術可以用於改善編碼樹單元分割的執行。雖然使用大量的不同分割技術(例如，無分割、四叉樹、二叉樹、三叉樹和非對稱分割)將編碼樹單元遞迴分割成編碼單元可以提高編解碼效率，但是，其可能不是最佳方法，並且也使得視訊轉碼設計複雜化。例如，測試太多不同的分割類型可能消耗很多計算時間。又例如，大量的變換類型可能需要被支持，例如以用於寬度或者高度不為2的冪的單元(例如，編碼單元)。
因此，發明人已開發技術以限制編碼單元分割技術的使用，例如限制三叉樹和非對稱分割的使用(例如，除了四叉樹、二叉樹和無分割之外的)。發明人也已開發技術以將寬度或者高度不為2的冪的單元(例如編碼單元)分割成多個子單元(例如，子變換單元)，其中每個具有為2的冪的寬度和高度。現在太多分割技術的限制使用不僅可以節省計算資源，而且節省發信開銷。此外，發明人已開發技術以基於塊高度、塊寬度、和/或編解碼模式來隱性確定用於塊的分割。
在下文中，為了透徹理解所公開的主題，提供了關於所公開主題的系統和方法以及這些系統和方法可能操作 的環境等的大量而具體的細節。然而，對於本領域的通常知識者而言，清楚所公開主題可以被實施而無需這麼具體的細節，並且，為了避免所公開的主題的複雜，本領域所習知的某些特徵不被具體地描述。另外，可以理解的是，下面提供的示例是示例性的，並且，可設想的是，存在落入所公開主題的其他系統和方法。
第1圖顯示了根據一些實施例的示例性的視訊編解碼配置100。視訊源102是5图像及源/或視訊源，並且，可以是例如數位電視、基於互聯網視訊和/或視訊通話等。編碼器104將視訊源編碼成編碼視訊。編碼器104可以駐留在產生視訊源102的同樣設備(例如，用於視訊通話的手機)上，和/或可以駐留在不同的設備上。接收設備106接收從編碼器104中接收編碼視訊。透過廣播網路，透過移動網路(例如蜂窩網路)和/或透過網際網路，接收設備104可以接收視訊作為視訊產品(例如，數位視訊盤或者其他電腦可讀介質)。接收設備106可以是，例如，電腦、手機或者電視。接收設備106包括解碼器108，其用於對編碼視訊進行解碼。接收設備106也包括顯示器110，其用於顯示解碼視訊。
如上所述，部分編碼流程可以包括將編碼樹單元分割成多個編碼單元。在一些示例中，編碼器(例如編碼器104)使用樹以將編碼樹單元分割成多個編碼單元，例如編碼樹(coding tree)。例如，HEVC使用適應性編碼單元分割。編碼樹單元的尺寸為M x M像素，其中M為16像素、32像素或者64像素中的一個。編碼樹單元可以為單個編碼單元，或者編碼 樹單元可以被分割成M/2 x M/2的相等尺寸的更小單元，其是得到的編碼樹的節點。如果單元為編碼樹的葉節點，則這單元變成編碼單元。否則，四叉樹分割流程可以被重複直到節點的尺寸達到最小允許編碼單元尺寸(例如，如序列參數集中所指定)。這形成了由編碼樹所指定的遞迴結構。
第2圖顯示了使用四叉樹編碼樹單元200到編碼單元和變換單元的示例性子分割及相關四叉樹250。實線表示編碼單元分界線，虛線表示變換單元。編碼樹單元200被分割成編碼單元202、編碼單元204、編碼單元206和編碼單元208這四個編碼單元。編碼單元202被進一步分割成四個子編碼單元，左下子編碼單元被進一步分割成如虛線所示的四個變換單元。編碼單元202對應於四叉樹250的部分252。編碼單元204被分割成四個變換單元，右上變換單元被分割成四個子變換單元。編碼單元204對應於四叉樹250的部分254。編碼單元206不被分割，且對應於四叉樹250的部分256。編碼單元208被分割成四個編碼單元，右上變換單元被分割成四個子變換單元，右下編碼單元被分割成四個變換單元。編碼單元208對應於四叉樹250的部分258。因此，如第2圖所示，四叉樹分割用於不僅分割編碼樹單元，而且在四叉樹中的其他分割(或者節點)上進行遞迴分割。
一個或多個預測單元(prediction unit，PU)被指定以用於每個編碼單元。結合編碼單元，預測單元用作基礎資料表示塊以共用預測資訊。在一個預測單元內，相同的預測流程被應用，並且相關資訊基於預測單元而被發送至解碼器。編 碼單元可以包括，或者根據預測單元分割類型被分割成，1個、2個或者4個預測單元。HEVC定義了不同的分割類型，以用將編碼單元分割成預測單元。
除了四叉樹之外，其他結構可以用於將編碼樹單元分割成編碼單元。例如，QTBT可以被使用，其相比於四叉樹結構可能具有更好的編解碼性能。例如，QTBT被描述在J.An et al.,“Block partitioning struc變換單元re for next generation video coding,”MPEG doc.m37524 and I變換單元-T SG16 Doc.COM16-C966,Oct.2015中，其整體以引用的方式併入本文。第3圖顯示了編碼樹單元300的示例性QTBT分割及得到的QTBT樹結構350。對於QTBT，編碼樹單元300先由四叉樹分割。使用四叉樹，編碼樹單元300被分割成葉節點302、葉節點304、葉節點306和葉節點308這四個葉節點。編碼單元306由四叉樹進一步分割成四個葉節點。隨後，四叉樹葉節點由二叉樹結構分割。葉節點302被垂直分割兩次-一次，且左部分被進一步垂直分割。葉節點302對應於與QTBT 350中的部分352。葉節點304被水平分割一次，並對應於與QTBT 350中的部分354。使用二叉樹，306中的四個葉節點中的2個被分割-左上節點被分割兩次(一次垂直，且隨後右部分被進一步水平分割一次)，並且右下節點被水平分割一次。葉節點306對應於QTBT 350中的部分356。葉節點308不被分割，並對應於與QTBT 350中的部分358。在構造二叉樹結構之後，二叉樹葉節點被標記為編碼單元，其用於預測和變換而無需任何進一步分割。
除了四叉樹和二叉樹之外，另一示例性分割技術為三叉樹分割。三叉樹分割可以被用於捕獲塊中心處的物體。第4圖示出了四叉樹分割(a)、垂直二叉樹分割(b)、水平二叉樹分割(c)、垂直中心-側邊三叉樹分割(d)和水平中心-側邊三叉樹分割(e)。例如，對於三叉樹分割，編碼樹單元先由四叉樹(例如分割(a))分割。四叉樹葉節點由包括二叉樹分割和三叉樹分割(例如，第4圖中的分割(b)到分割(e))的子樹進一步分割。在構造子樹結構之後，子樹葉節點被標記為編碼單元，其用於預測和變換而無需任何進一步處理。
此外，非對稱水平分割類型和非對稱垂直分割類型也可以被選擇(例如，除了用於二叉樹的對稱水平分割類型和對稱垂直分割類型之外的)。第5圖顯示了四種非對稱分割(a)-(d)。假設長度和寬度為M，分割(a)在距離左側M/4處對單元進行垂直分割，分割(b)在距離右側M/4處對單元進行垂直分割，分割(c)在距離上端M/4處對單元進行水平分割，以及分割(d)在距離下端M/4處對單元進行水平分割。例如，在構造如上所述的二叉樹結構之後，二叉樹葉節點用於預測和變換而無需任何進一步處理。非對稱分割可以在二叉樹編碼單元上進行測試，以進一步開發樹結構。
因此，各種類型的分割可以用於將編碼樹單元分割成編碼單元，包括四叉樹分割、二叉樹分割、三叉樹分割和非對稱分割。除了四叉樹和二叉樹，三叉樹分割和非對稱分割已被提出。例如，請參見F.Le Leannec,“Asymmetric Coding Unit in QTBT,”JVET-D0064,Oct.2016,which describes asymmetric partitioning,and X.Li,“Multi-Type-Tree,”JVET-D0117,Oct.2016，其描述了非對稱分割，以及X.Li,“Multi-Type-Tree,”JVET-D0117,Oct.2016，其描述了三叉樹分割，這兩個的內容整體以引用方式併入本文。但是，儘管三叉樹和非對稱分割相比於四叉樹和二叉樹可以進一步提高編解碼效率，但是也可能存在使用這些各種技術的問題。例如，當檢測用於最佳分割類型的特定單元(例如編碼單元)時，檢測太多分割技術可能會增加計算時間以生成編解碼結構。
作為另一示例，如果單元(例如編碼單元)的寬度和/或高度不是2的冪，則編解碼技術可能需要支持很多不同的變換類型，以為了處理正被分割的非2的冪尺寸的單元。例如，考慮採用四叉樹和二叉樹的技術，其中變換單元的尺寸等於編碼單元的尺寸(例如，使得一個編碼單元可以是一個變換單元，並且編碼單元不被進一步分割成多個變換單元)。如果這個技術採用5種不同編碼單元尺寸，則這個技術使用5種不同的變換單元。因此，隨著編碼單元尺寸的數量的增長，更多變換單元被需要。使用不同分割技術(例如，三叉樹分割、二叉樹分割和非對稱分割)生成更多編碼單元尺寸，並因此需要更多變換單元。為了說明，假設透過兩次應用一維(one-dimensional，1-D)變換而執行變換流程的示例。例如，一個變換單元先由一維水平變換處理，隨後由一維垂直變換處理。對於使用四叉樹+二叉樹的一些技術，所有可能編碼單元的一個方向上的尺寸可以一直是2的冪。這樣，這個技術可以重新使用這些一維變換以用於不同編碼單元。例如，這個技術 可以重新使用一維水平變換以用於這些尺寸等於16xN(N為整數)的編碼單元。然而，非對稱分割生成更多尺寸不為2的冪的編碼單元，例如12x16或者32x24。這樣一個編解碼技術，使用非對稱分割，因此，需要創建相應的變換以滿足四叉樹+二叉樹的原始設計中的一個編碼單元等於一個變換單元的約束條件。
第6圖示出了根據一些實施例的用於圖像或視訊編碼的約束編碼樹單元分割的示例性流程600。在步驟602中，編碼器接收圖像或者視訊的片段，其被分割成第一單元集(set of first units)(例如編碼樹單元)。在步驟604中，編碼器將第一單元集中的每個單元分割成第二單元集(例如編碼單元)。在步驟606中，編碼器自第二單元集選擇一單元集。在步驟608中，對於所選擇的單元集中的每個單元。編碼器執行步驟610-步驟616以分割所選擇的單元。在步驟610中，編碼器判斷所選擇的單元是否滿足預設約束條件。如果這個單元不滿足預設約束條件，則在步驟612中，編碼器測試第一分割技術集(first set of partitioning techniques)以分割第二單元。如果這個單元滿足預設約束條件，則在步驟614中，編碼器測試第一分割技術集和第二分割技術集以分割這個單元。步驟612和步驟614識別得到的技術(或者若第二單元不被進一步分割則根本不識別技術)。在步驟616中，使用來自於第一分割技術集或者第二分割技術集中所識別的技術，編碼器分割第二單元。本方法600繼續回到步驟608，以測試所選擇的單元集中的每個單元。儘管第1圖中未示出，使用步驟608-步驟 616，本方法600也測試第二單元集中剩餘的單元集。此外，雖然方法600中未示出，對步驟616中生成的分割，可以以反覆運算方式執行本方法(例如，以進一步分割步驟616所生成的分割)。
如步驟602和步驟604所示，這個單元集可以是編碼樹單元，第二單元集可以是樹中的節點。例如，用於每個編碼樹單元的第二單元集可以是樹內編碼單元、變換單元或者其他節點的集合。
如步驟610所示，約束條件可以是單元的編碼單元尺寸、單元的樹分割深度，單元是否是分割樹的葉節點；第二單元的編碼單元寬度是否為2的冪；第二單元的編碼單元高度是否為2的冪等中的一個或多個。約束條件可以是被隱性指示和被顯性指示中的至少一個。對於第一示意示例，隱性指示基於編碼單元尺寸。對於第一示意示例，如果當前編碼單元尺寸大於16x16，則這個技術可以允許三叉樹分割和非對稱分割(例如，第二分割技術集包括三叉樹分割和非對稱分割)。否則，如果當前編碼單元尺寸不大於16x16，僅二叉樹被使用(例如，第一分割技術集為二叉樹)。對於第二示意示例，隱性指示基於四叉樹節點。例如，如果當前編碼單元由四叉樹分割，則這個技術允許三叉樹(例如，第二分割技術集為三叉樹)。否則，如果當前編碼單元不由四叉樹分割，僅二叉樹可以被使用(例如，第一分割技術集為二叉樹)。如果當前編碼單元尺寸大於發信的閾值，則這個技術可以允許三叉樹分割和非對稱分割(例如，第二分割技術集包括三叉樹分割和非對稱分割)。 否則，如果當前編碼單元尺寸不大於發信的閾值，僅二叉樹可以被使用(例如，第一分割技術集為二叉樹)。
如步驟612和步驟614所示，第一分割技術集可以是，例如四叉樹和/或二叉樹。第二分割技術集可以是三叉樹分割和/或非對稱分割。在這些實施例中，步驟612僅測試四叉樹和/或二叉樹，而步驟614測試(a)四叉樹和/或二叉樹，以及(b)三叉樹分割和/或非對稱分割。因此，視訊編解碼系統可以使用各種預測模式來編碼一個編碼單元，其中一個預測模式本質上定義了一個規則以生成預測子。在一些實施例中，為了查找最佳預測子(例如，移除最大量的冗餘的一個預測子)，當使用特定模式決策時，成本函數被定義以聯合考慮編解碼碼元(coding bit)和失真值，隨後，模式決策流程測試所有預測模式以選擇具有最小成本的預測模式。在一些示例中，成本函數是編解碼碼元與失真的線性組合值。例如，J=D+λR是成本函數的一個示例，其中D為失真值，R為編解碼碼元，λ是斜率值以平衡D與R之間的偏好。因此，在一些示例中，對於每個分割方法，視訊編解碼系統可以執行模式決策流程以在本分割方法中查找用於編碼單元的最佳預測模式，並計算這些最佳預測模式的總成本。具有最小總成本的分割方法被選擇為不同分割方法之間的最佳分割方法。
結合第6圖所討論的約束條件技術可以改善靈活的編碼單元分割以用於更高編解碼效率和/或更少編碼器複雜度。在一些實施例中，在子樹分割期間，當編碼單元尺寸在最小允許編碼單元尺寸與最大允許編碼單元尺寸之間時，第二分 割技術集(例如三叉樹分割和/或非對稱分割)與第一分割技術集被聯合測試以用於編碼單元。例如，假設最大允許編碼單元尺寸被標記為M，最小允許編碼單元尺寸被標記為m，當前編碼單元尺寸被標記為s。如果m s M，則第二分割技術集被聯合測試以用於當前編碼單元。否則，例如，除了四叉樹分割之外，僅二叉樹分割被測試。
在一些實施例中，在子樹分割期間，當相應的二叉樹深度在最小允許樹深度與最大允許樹深度之間時，第二分割技術集與第一分割技術集被聯合測試以用於編碼單元。例如，假設最大允許樹深度被標記為D，最小允許樹深度被標記為d，當前編碼單元深度被標記為t。如果d t D，則第二分割技術集被聯合測試以用於當前編碼單元。否則，例如，除了四叉樹之外，僅二叉樹分割被測試。
在一些實施例中，對於不同的技術(例如，對於三叉樹分割和非對稱分割)，約束條件可以不同。例如，對於樹深度約束條件，用於三叉樹的深度約束條件可以是0t2，用於非對稱分割的深度約束條件可以是0t3。
在一些實施例中，在子樹分割期間，當編碼單元位置在二叉樹葉節點處時，第二分割技術集與第一分割技術集被聯合測試以用於編碼單元。否則，例如，僅二叉樹分割與四叉樹被測試。第7圖示出了根據一些實施例的對第二分割技術集進行測試的具有位於葉節點702A、葉節點702B等(集體稱為葉節點702)處的編碼單元的樹700的示例。在每個葉節點702處，編碼器聯合測試第二分割技術集。
在一些實施例中，在子樹分割期間，當使用第一分割技術集的編碼單元尺寸在最小允許編碼單元尺寸與最大允許編碼單元尺寸之間，並且相應的二叉樹深度在最小允許樹深度與最大允許樹深度之間時，第二分割技術集(例如三叉樹分割和/或非對稱分割)與第一分割技術集被聯合測試以用於編碼單元。例如，假設最大允許編碼單元尺寸被標記為M，最小允許編碼單元尺寸被標記為m，最大允許樹深度被標記為D，最小允許樹深度被標記為d。使用第一分割技術集的編碼單元尺寸為s，當前編碼單元深度為t。如果m s M，且d t D，則第二分割技術集被聯合測試以用於當前編碼單元。否則，例如，僅第一分割技術集被測試。
在一些實施例中，這些技術可以被配置以使得某些方向被測試以用於分割。第8圖顯示了根據一些實施例的用於在分割期間僅測試某些方向的示例性方法800。在步驟802中，編碼器接收圖像或者視訊的片段，其被分割成第一單元集(例如編碼樹單元)。在步驟804中，編碼器將第一單元集中的每個單元分割成第二單元集。在步驟806中，編碼器自第二單元集選擇一單元集。在步驟808中，編碼器自所選擇的單元集選擇一單元。編碼器執行步驟810-步驟816以分割所選擇的單元。在步驟810中，編碼器判斷所選擇的單元是否滿足約束條件。如果這個單元滿足預設約束條件，則在步驟812中，解碼器測試第一分割集以分割這個單元，自分割集的每個分割具有相同的分割方向。如果這個單元不滿足預設約束條件，則在步驟814中，解碼器測試第二分割集以分割這個單元，第二分 割集中的多個分割包括第一分割集和具有與第一分割集不相同的方向的額外分割。在步驟816中，使用來自於由測試所識別的第一分割集或者第二分割集中的分割，編碼器分割這個單元。本方法800繼續回到步驟808，並對所選擇的單元集中的每個剩餘單元執行步驟810-步驟816。儘管第8圖中未示出，本方法也可以對第二單元集中的每個單元集執行步驟808-步驟816。此外，雖然方法800中未示出，對在步驟816中生成的分割，可以以反覆運算方式執行本方法(例如，以進一步分割步驟816所生成的分割)。
如步驟810所示，約束條件可以是第二單元的寬度和第二單元的高度中至少一個的最小長度和最大長度，和/或第二單元的高度和第二單元的寬度中至少一個的長度是否為2的冪等。
在一些實施例中，為了降低指示塊分割方向方面的可能的開銷，一旦編碼單元寬度或者編碼單元高度滿足最小允許長度和最大允許長度，僅一個塊分割方向被測試。例如，假設最大允許長度被標記為L，最小允許長度被標記為l，當前編碼單元寬度和高度分別為w和h。在一些示例中，如果l w L，則僅水平塊分割類型被聯合測試以用於當前編碼單元(例如，除了四叉樹分割之外的被聯合測試，或者在水平二叉樹、水平三叉樹和水平非對稱分割中的被聯合測試)。第9圖示出了根據一些實施例的用於僅測試水平分割的示例。如第9圖所示，編碼單元902具有為4的寬度和為16的高度，且被測試以用於分割。由於寬度w等4(寬度w被測試以判斷其是 否大於或等於0，且小於或等於4)，僅水平分割方向被允許。第9圖示出了測試二叉樹分割904以及非對稱分割906和非對稱分割908這兩個非對稱分割。如果水平塊分割類型中的一個被選擇為最終編碼單元分割方法，則二叉樹分割方向被隱性指示。同理，在另一實施例中，如果l h L，則僅垂直塊分割類型被聯合測試以用於當前編碼單元。一旦垂直塊分割類型被最終選擇，二叉樹分割方向因此被隱性指示。水平塊分割類型或者垂直塊分割類型可以是對稱塊分割類型和/或非對稱塊分割類型。
在一些實施例中，為了降低指示塊分割方向方面的可能的開銷，一旦編碼單元寬度或者編碼單元高度不是2的冪，僅一個塊分割方向被測試。第10圖顯示了根據一些實施例的基於一側邊是否為2的冪的測試的示例。編碼單元1002具有為12的高度和為16的寬度。根據第一示例，垂直二叉樹分割1004以及垂直非對稱分割1006和垂直非對稱分割1008被測試。根據第二示例，水平二叉樹分割1010以及水平非對稱分割1012和水平非對稱分割1014被測試。例如，如果編碼單元寬度不是2的冪，則僅水平塊分割類型(例如，1010、1012和1014)被聯合測試以用於當前編碼單元。如果水平塊分割類型中的一個被選擇為最終編碼單元分割方法，則二叉樹分割方向被隱性指示。同理，在另一實施例中，如果編碼單元高度不是2的冪，則僅垂直塊分割類型(例如1004、1006、1008)被聯合測試以用於當前編碼單元。一旦垂直塊分割類型被最終選擇，二叉樹分割方向被隱性指示。水平塊分割類型或者垂直塊 分割類型可以是對稱塊分割類型和/或非對稱塊分割類型。
在一些實施例中，為了降低指示塊分割語法元素方面的可能的開銷，如果編碼單元寬度和編碼單元高度均不是2的冪，則塊分割流程被提前結束。例如，在一個實施例中，一旦編碼單元寬度和編碼單元高度均不是2的冪，四叉樹分割流程將被提前結束。沒有進一步編碼單元分割語法被指示。同理，在一些實施例中，一旦編碼單元寬度和編碼單元高度均不是2的冪，二叉樹分割流程將被提前結束。沒有進一步編碼單元分割語法被指示。第11圖示出了根據一些實施例的基於一側邊是否為2的冪的提前結束的示例1100。對於編碼單元1102，當分割成子編碼單元1102A和子編碼單元1102B時，由於子編碼單元1102B的高度和寬度均不是2的冪，用於子編碼單元1102B的塊分割流程被提前結束。對於編碼單元1104，當分割成子編碼單元1104A到子編碼單元1104D時，由於子編碼單元1104B的高度和寬度均不是2的冪，用於子編碼單元1104B的塊分割流程被提前結束。
第12圖示出了根據一些實施例的在編碼單元的高度或寬度不為2的冪時分割編碼單元的示例性方法1200。在步驟1202中，編碼器接收圖像或者視訊的片段，其被分割成單元集(例如編碼樹單元)。在步驟1204中，編碼器將單元集中的每個單元分割成第二單元集。在步驟1206中，編碼器自第二單元集選擇一單元集。在步驟1208中，編碼器自所選擇的單元集選擇一單元。編碼器執行步驟1210-步驟1216以分割所選擇的單元。在步驟1210中，編碼器判斷所選擇的單元是否 滿足約束條件。如果這個單元滿足約束條件，則編碼器測試第一分割集以分割這個單元，來自於第一分割集中的每個分割包括多個子單元，每個子單元包括寬度滿足第二約束條件(例如，2的冪)和高度滿足第二約束條件中的至少一個。如果這個單元不滿足約束條件，則在步驟1214中，編碼器測試第二分割集。第二分割集可以包括第一分割集和/或可以包括不滿足第二約束條件的其他分割。在步驟1216中，使用來自於由測試所識別的分割集中的分割，編碼器分割這個單元。本方法1200返回到步驟1208，並對所選擇的單元集中的每個剩餘單元執行步驟1210-步驟1216。儘管第12圖中未示出，本方法也可以對第二單元集中的每個單元集執行步驟1208-步驟1216。此外，雖然方法1200中未示出，對在步驟1216中生成的分割，可以以反覆運算方式執行本方法(例如，以進一步分割步驟1216所生成的分割)。
如步驟1210所示，約束條件可以是第二單元的寬度不是2的冪和第二單元的高度不是2的冪中的至少一個。如步驟1212所示，第二約束條件可以是子單元的高度或者寬度中至少一個的長度為2的冪。
如步驟1212和步驟1214所示，這些集可以包括諸如對稱垂直分割(例如，如第4圖中(b)所示)、對稱水平分割(例如，如第4圖中(c)所示)和/或如第5圖中(a)-(d)所示的一個或多個非對稱分割類型的分割類型。
在一些實施例中，如果塊高度不是2的冪，則塊的變換單元分割被隱性指示。存在幾種方法，其可以用於隱性 指示(例如，或者確定)變換單元分割。第13圖顯示了根據一些實施例的隱性指示變換單元分割的示例。塊1302具有為W的寬度和為3H/4的高度。在一個示例中，如(a)所示，用於塊1302的變換單元分割包括W x H/2變換單元1304和W x H/4變換單元1306。在另一示例中，如(b)所示，用於塊1302的變換單元分割包括W x H/4塊1308和W x H/2塊1310。在另一示例中，如(c)所示，變換單元分割包括W x H/4變換單元1312A-W x H/4變換單元1312C這三個。
在一些實施例中，如果塊寬度不是2的冪，則塊的變換單元分割被隱性指示。同樣地，存在幾種方法，其可以用於隱性指示(例如，或者確定)變換單元分割。進一步如第13圖所示，塊1350具有高度H和寬度3W/4。例如，如(d)所示，塊1350的變換單元分割包括W/2 x H變換單元1352和W/4 x H變換單元1354。又例如，如(e)所示，塊1350的變換單元分割包括W/4 x H變換單元1358和W/2 x H變換單元1356。又例如，如(f)所示，塊1350的變換單元分割包括W/4 x H變換單元1360A-W/4 x H變換單元1360C這三個。
在一些實施例中，如果塊寬度和高度不是2的冪，則塊的變換單元分割被隱性指示。幾種方法可以用於隱性指示(例如，或者確定)變換單元分割。第14圖示出了根據一些實施例的隱性指示變換單元分割的示例。第14圖顯示了具有為3W/4的寬度和高度的塊1402。在一個示例中，如(a)-(d)所示，塊1402的變換單元分割包括4個變換塊。在另一示例中，如(e)所示，塊1402的變換單元分割包括9個變換塊。在又一 示例中，如(f)-(i)所示，塊1402的變換單元分割包括5個變換塊。
在一些實施例中，如果塊寬度和高度不是2的冪，則根據畫面間/畫面內編解碼模式，變換單元分割可以被隱性且有條件地指示。第15圖顯示了根據一些實施例的根據編解碼模式而隱性指示變換單元分割的示例。例如，對於寬為3W/4和高為3H/4的塊1550，以畫面內模式使用的變換單元分割為分割1552，其包括9個W/4 x H/4變換塊，以畫面間模式使用的變換單元分割為分割1506，其包括W/2 x H/2變換單元、W/2 x H/4變換單元、W/4 x H/2變換單元和W/4 x H/4變換單元(或者按照一些其他順序)。
其他方法可以用於隱性指示變換單元分割。例如，用於畫面內編解碼塊的變換單元分割可以與第14(e)圖中的分割類型對齊。用於畫面間編解碼塊的變換單元分割可以與第14圖中分割類型的一個對齊。又例如，用於畫面內編解碼塊的變換單元分割可以被設置成第14圖分割類型中的一個。用於畫面間編解碼塊的變換單元分割可以與第14(a)圖-第14(d)圖中分割類型的一個對齊。
在一些實施例中，如果塊寬度不是2的冪，則變換單元分割可以根據畫面內/畫面間編解碼模式而被隱性且有條件地指示。例如，以畫面內模式使用的變換單元分割包括3個W/4 x H變換塊，以畫面間模式使用的變換單元分割先後包括W/2 x H變換塊和W/4 x H變換塊。又例如，以畫面內模式使用的變換單元分割包括3個W/4 x H變換塊，以畫面間模式 使用的變換單元分割先後包括W/4 x H變換塊和W/2 x H變換塊。
在一些實施例中，如果塊高度不是2的冪，則變換單元分割可以根據畫面內/畫面間編解碼模式而被隱性且有條件地指示。例如，還如第15圖所示，對於具有寬度W和高度3H/4的塊1502，以畫面內模式使用的變換單元分割為分割1504，其包括3個W x H/4變換塊，以畫面間模式使用的變換單元分割為分割1506，其包括W x H/2變換塊和W x H/4變換塊(或者按照相反順序)。
在一些實施例中，如果塊寬度或者高度不是2的冪，則一語法元素可以用於顯性指示變換單元分割。這個語法元素可以發信在視訊參數集(video parameter set，VPS)、序列參數集、圖像參數集(picture parameter set，PPS)、片段頭和/或編碼單元等中。在一些實施例中，約束條件包括將側邊分割成以2的冪形式的很多段的一系列的值。例如，給定的24x12單元，對於長度為24的側邊，一系列的值可以為{0,1,1}，其指示將這個側邊分割成16和8(例如，4x0、8x1和16x1)。同理，對於12的側邊，一系列的值可以是{1,1}，其指示將這個側邊分割成8和4(例如，4x1和8x1)。在本示例中，這個指示僅用於不為2的冪的側邊。例如，給定的8x12單元，僅12的側邊需要被指示，且一系列的值可以為{3}，其指示將這個側邊分割成4,4和4(例如4x3)。
在一些實施例中，如果塊高度不是2的冪，則變換單元分割可以根據畫面內/畫面間編解碼模式而被隱性和/或 顯性地指示。例如，以畫面內模式使用的變換單元分割可以包括3個W x H/4變換塊，且一語法元素可以用於顯性指示以畫面間模式使用的變換單元分割。又例如，一語法元素可以用於顯性指示以畫面內模式使用的變換單元分割，且以畫面間模式使用的變換單元分割可以先後包括W x H/4變換塊和W x H/2變換塊。這個語法元素可以被發信在視訊參數集、序列參數集、圖像參數集、片段頭和/或編碼單元等中。
在一些實施例中，如果塊寬度不是2的冪，則變換單元分割可以根據畫面內/畫面間編解碼模式而被隱性和/或顯性地指示。例如，以畫面內模式使用的變換單元分割包括3個W/4 x H變換塊，且一語法元素用於顯性指示以畫面間模式使用的變換單元分割。又例如，一語法元素用於顯性指示以畫面內模式使用的變換單元分割，且以畫面間模式使用的變換單元分割可以先後包括W/4 x H變換塊和W/2 x H變換塊。這個語法元素可以被發信在視訊參數集、序列參數集、圖像參數集、片段頭和/或編碼單元等中。
如果塊寬度和高度均不是2的冪，則變換單元分割可以根據畫面內/畫面間編解碼模式而被隱性和/或顯性地指示。例如，以畫面內模式使用的變換單元分割為第14(e)圖中的分割類型。一語法元素用於顯性指示變換單元分割以用於畫面間編解碼。又例如，一語法元素可以用於指示變換單元分割以用於畫面內編解碼塊。用於畫面間編解碼塊的變換單元分割可以被顯性地對齊於第14(a)圖-第14(d)圖中分割類型的一個。
根據本文描述的原理的技術操作可以以任何適當 的方式來實作。上面的流程圖的處理塊和決策塊表示被包含執行這些不同處理的演算法中的步驟和行為。自這些處理中推導出的演算法可以以集成有並指導一個或多個單目的或多目的的處理器的操作的軟體來實作，可以以諸如數位訊號處理(Digital Signal Processing，DSP)電路或應用專用積體電路(Application-Specific Integrated Circuit，ASIC)的功能等效電路來實作，或可以以任何其他適當的方式來實作。應該理解的是，此處所包含的流程圖不描述任何特定電路或任何特定程式設計語言或程式設計語言類型的語法或操作。相反，流程圖示出了本領域的通常知識者可以使用的功能資訊，以製造電路或實作電腦軟體演算法來執行進行本文所描述的技術類型的特定裝置的處理。還應該理解的是，除非在此另有說明，在每個流程圖中描述的步驟和/或行為的特定順序僅是對可以實作的演算法的說明，並且可以在本文所描述的原理的實施方式和實施例中被改變。
因此，在一些實施例中，本文所描述的技術可以在作為軟體而實作的電腦可執行指令中被實施，包括應用軟體、系統軟體、固件、中介軟體、嵌入式代碼或任何其他合適類型的電腦代碼。透過使用大量合適的程式設計語言和/或程式設計工具或腳本工具的任何一種，這種電腦可執行指令可以被編寫，也可以被編譯為可執行的機器語言代碼或在框架或虛擬機器上執行的中間代碼。
當本文所描述的技術被實施為電腦可執行指令時，根據這些技術，這些電腦可執行指令可以以任何合適的方 式來實作，包括作為若干功能設施，每一個提供一個或多個操作來完成演算法操作的執行。然而被產生實體，當由一個或多個電腦來集成和執行時，一個“功能設施”，是一個電腦系統的結構元件，使一個或多個電腦執行特定的操作角色。功能設施可以是整個軟體元素的一部分。例如，功能設施可以作為處理的功能來實作，或作為離散處理，或作為任何其他合適的處理單元來實作。如果此處描述的技術以多個功能設施來實作，則每個功能設施可以以自己的方式來實作；所有這些功能設施不需要以相同的方式來實作。此外，可以並行地和/或串列地執行這些功能設施，並且透過使用消息傳遞協定或以任何其他合適的方式，這些功能設施可以透過使用正在執行的電腦上的共用記憶體來彼此傳遞資訊。
一般來說，功能設施包括執行特定任務或實施特定抽象資料類型的常式、程式、物件、元件、資料結構等。通常，功能設施的功能可以按其操作的系統的要求組合或分發。在一些實施方式中，執行本文中技術的一個或多個功能設施可以一起形成一個完整的套裝軟體。在替代實施例中，這些功能設施可適於與其他無關功能設施和/或處理進行交互，以實作軟體程式應用。
本文已描述了一些示例性功能設施以用於執行一個或多個任務。但是，應該理解的是，所描述的功能設施和任務劃分僅僅是說明實作本文所描述的示例性技術的功能設施類型，並且實施例不限於以任何特定數量、劃分或功能設施類型來實作。在一些實施方式中，所有功能可以在單個功能設施 中實作。還應該理解的是，在一些實施方式中，此處所描述的一些功能設施可以與其他一起實作或與單獨實作(即作為單個單元或單獨單元)，或者一些功能設施可以不實作。
在一些實施例中，實作本文所描述的技術電腦可執行指令(當作為一個或多個功能設施或以任何其他方式來實作時)被編碼在一個或多個電腦可讀介質上，以將功能提供給介質。電腦可讀介質包括如硬碟驅動器的磁介質，如光碟(Compact Disk，CD)或數位通用光碟(Digital Versatile Disk，DVD)，持續或非持續的固態記憶體(如Flash記憶體，磁隨機存取記憶體等)，或任何其他合適的存儲介質。這樣的電腦可讀介質可以以任何合適的方式來實作。如本文所使用，“電腦可讀介質”(也稱為“電腦可讀存儲介質”)指的是有形(tangible)存儲介質。有形存儲介質是非暫時的，並且具有至少一個物理的、結構的元件。在本文中所使用的“電腦可讀介質”中，至少一個物理結構構件具有至少一個物理屬性，在創建具有實施資訊的介質的過程中，在其上記錄資訊的過程中，或在編碼具有資訊的介質的任何其它過程中，其可以以某種方式被改變。例如，在記錄過程中，可以改變電腦可讀介質的物理結構的一部分的磁化狀態。
此外，上面描述的一些技術包括以某種方式存儲資訊(例如，資料和/或指令)以用於這些技術的行為。在這些技術的一些實施方式中-例如技術被實作為電腦可執行指令的實施方式-資訊可在電腦可讀存儲介質上編碼。如果本文描述的特定結構是用於存儲該資訊的有利格式，這些結構可用 於傳授在存儲介質上編碼時的資訊的物理結構。然後，這些有利結構可以透過影響與該資訊交互的一個或多個處理器的操作來將功能提供到存儲介質；例如，透過提高由處理器執行的電腦操作的效率。
在技術被實施為電腦可執行指令的一些但非所有實施方式中，這些指令可以在以任何合適的電腦系統而操作的一個或多個合適的計算設備上執行，或一個或多個計算設備(或一個或多個計算設備的一個或多個處理器)可以被程式設計以執行電腦可執行指令。當指令以訪問一個計算設備或者處理器的方式被存儲在計算設備或處理器時，一個計算設備或處理器可被程式設計以執行指令，例如在資料存儲中(例如，一個片上快取記憶體或指令寄存器、透過匯流排可以訪問的電腦可讀存儲介質、透過一個或多個網路可訪問且由設備/處理器可訪問的電腦可讀存儲介質等)。包括這些電腦可執行指令的功能設施可集成有和指導單個的多目的可程式設計數位計算設備的操作，共用處理能力和共同執行本文所描述的技術的兩個或更多的多目的計算設備的協調系統，單個計算設備或專用于執行本文所描述的技術計算設備的協調系統(同一位置或地理分佈)，實施本文所描述的技術的一個或多個現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)，或者任何其他合適的系統。
計算設備可以包括至少一個處理器、網路介面卡和電腦可讀存儲介質。例如，計算設備可以是桌上型電腦或筆記型電腦、個人數位助理(personal digital assistant，PDA)、 智慧手機、伺服器或任何其他合適的計算設備。網路介面卡可以是任何合適的硬體和/或軟體，以使得計算設備能夠透過任何合適的計算網路與任何其他合適的計算設備進行有線和/或無線通訊。電腦網路可以包括無線接入點、交換機、路由器、閘道和/其他網路設備，以及任何合適的有線和/或無線通訊介質或者媒體以用於交換兩個或者多個電腦之間的資料，包括網際網路。電腦可讀介質可適於存儲待處理的資料和/或由處理器待執行的指令。資料和指令可以被存儲在電腦可讀存儲介質上。
計算設備還可以具有一個或多個元件和週邊設備，包括輸入裝置和輸出設備。除其他外，這些設備可用於呈現使用者介面。可用於提供使用者介面的輸出設備的示例包括用於直觀顯示輸出的印表機或顯示幕幕，和揚聲器或者聽覺顯示輸出的其它聲音產生設備。可用於使用者介面的輸入裝置的示例包括鍵盤和指向設備，例如滑鼠、觸摸盤和數位化平板。又例如，計算設備可以透過語音辨識或其他可聽覺格式接收輸入資訊。
實施例已經被描述了，其中以電路和/或電腦可執行指令來實作這些技術。應該理解的是，一些實施例可以是一種方法的形式，其中提供了至少一個示例。作為方法的一部分執行的行為可以以任何適當的方式進行排序。因此，這些實施例可以以不同於所示出的順序來執行行為的方式而被構造，即使如示出的實施例中作為順序的行為所示，其可以包括同時執行某些行為。
以上所描述的實施例的各個方面可以被單獨使用、組合、或在上述的實施例中沒有具體討論的各種排列，並且因此不限制其應用到上述說明或附圖中的元件的具體細節和排列。例如，在一個實施例中所描述的方面可以以任何方式與其他實施例中所描述的方面結合。
在申請專利範圍中以修改申請專利範圍元素的諸如“第一”“第二，”“第三”等的順序術語的使用本身意味著任何優先級，先後性，或者以一個申請專利範圍元素在另一個之上的順序或者方法的行為被執行的時間順序，但僅用於作標記以將具有相同名稱的一個申請專利範圍元素與具有相同名稱的另一個元素進行區分(但是對於順序術語的使用)，進而區分申請專利範圍元素。
此外，本文所使用的措辭和術語是為了描述的目的，而不應被視為限制性的。本文所使用“包括”、“包含”、“具有”、“包含”、“涉及”即其變形用於圍繞其後所列出的項目及其等效，以及額外的項目。
本文所使用的“示例性”一詞是指作為示例、實例或說明。因此，除非另有說明，本文中所描述的任何實施例、實施方式、處理、特徵等都應該被理解為一個說明性的示例，並且不應理解為優選的或有利的示例。
在已經描述了至少一個實施例的幾個方面之後，應將理解的是，對於本領域通常知識者來說，將容易發生各種改變、修改和改進。這種改變、修改和改進將是本發明的一部分，並且在本文所描述的原理的精神和範圍內。因此，上述描 述和附圖僅以示例的方式進行。

Claims (33)

  1. 一種圖像或視訊編碼方法，包括：將圖像序列或者視訊序列的片段分割成第一單元集；對於該第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元不滿足該預設約束條件，則測試第一分割技術集以對該第二單元進行分割；若該第二單元滿足該預設約束條件，則測試該第一分割技術集和第二分割技術集以對該第二單元進行分割；以及使用來自於由該測試所識別的該第一分割技術集或者該第二分割技術集中的一技術，對該第二單元進行分割。
  2. 如申請專利範圍第1項所述之圖像或視訊編碼方法，其中，該第一單元為編碼樹單元；以及該第二單元為編碼單元或者預測單元。
  3. 如申請專利範圍第1項所述之圖像或視訊編碼方法，其中，該第一分割技術集包括：使用四叉樹對該第二單元進行分割的四叉樹分割技術、使用二叉樹對該第二單元進行分割的二叉樹分割技術、對第二分割單元不進行進一步分割的無分割技術或者其組合；以及該第二分割技術集包括對該第二單元進行非對稱分割的非對稱編碼單元分割技術、使用三叉樹對該第二單元進行分割的三叉樹分割技術或者其組合。
  4. 如申請專利範圍第1項所述之圖像或視訊編碼方法，其中，該約束條件包括如下中的一個或多個：該第二單元的尺寸、該第二單元的樹分割深度，該第二單元是否是分割樹的葉節點；該第二單元的寬度是否為2的冪；該第二單元的高度是否為2的冪或者其組合。
  5. 如申請專利範圍第4項所述之圖像或視訊編碼方法，其中，該約束條件被隱性指示、被顯性指示或者被隱性和顯性指示。
  6. 如申請專利範圍第4項所述之圖像或視訊編碼方法，其中，還包括：將該約束條件顯性指示在視訊位元流中，其中該約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其組合中。
  7. 如申請專利範圍第6項所述之圖像或視訊編碼方法，其中，該約束條件包括：該第二單元的寬度的最小長度和最大長度；該第二單元的高度；最小樹分割深度與最大樹分割深度或者其組合。
  8. 一種圖像或者視訊編碼方法，包括：將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元滿足該預設約束條件，則測試第一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割 包括相同的分割方向；若該第二單元不滿足該預設約束條件，則測試第二分割集以對該第二單元進行分割，其中該第二分割集中的多個分割包括該第一分割集和具有不同於與該第一分割集的方向的多個額外分割；以及使用來自於由該測試所識別的該第一分割集或者該第二分割集中的一分割，對該第二單元進行分割。
  9. 如申請專利範圍第8項所述之圖像或視訊編碼方法，其中，該約束條件包括如下的一個或多個：該第二單元的寬度的最小長度與最大長度和該第二單元的高度中的至少一個；該第二單元的高度和該第二單元的寬度中至少一個是否是2的冪；或者其組合。
  10. 如申請專利範圍第9項所述之圖像或視訊編碼方法，其中，還包括：將該約束條件顯性指示在視訊位元流中，其中該約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其組合中。
  11. 如申請專利範圍第10項所述之圖像或視訊編碼方法，其中，該約束條件包括該第二單元的寬度的最小長度與最大長度和該第二單元的高度中至少一個。
  12. 如申請專利範圍第8項所述之圖像或視訊編碼方法，其中，與該分割集相關的分割技術被發信。
  13. 一種圖像或者視訊編碼方法，包括： 將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；測試一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括寬度滿足第二約束條件和高度滿足該第二約束條件的中的至少一個，該分割集包括一子單元集；以及使用來自於由該測試所識別的該分割集的一分割，對該第二單元進行分割。
  14. 如申請專利範圍第13項所述之圖像或視訊編碼方法，其中，該約束條件包括該第二單元的寬度不是2的冪和該第二單元的高度不是2的冪中至少一個。
  15. 如申請專利範圍第13項所述之圖像或視訊編碼方法，其中，該第二約束條件包括長度是2的冪。
  16. 如申請專利範圍第13項所述之圖像或視訊編碼方法，其中，該第二約束條件基於編解碼模式而被隱性確定。
  17. 如申請專利範圍第16項所述之圖像或視訊編碼方法，其中，該編解碼模式包括畫面內編解碼模式或者畫面間編解碼模式。
  18. 如申請專利範圍第13項所述之圖像或視訊編碼方法，其中，該第二約束條件被顯性指示在一發信中。
  19. 如申請專利範圍第18項所述之圖像或視訊編碼方法，其中，還包括： 視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其組合顯性指示該發信。
  20. 如申請專利範圍第19項所述之圖像或視訊編碼方法，其中，該約束條件包括該第二單元的每側邊不是2的冪與將該側邊分割成為2的冪的多個段的一系列的值中至少一個。
  21. 如申請專利範圍第13項所述之圖像或視訊編碼方法，其中，該第一單元為編碼樹單元；以及該第二單元為編碼單元或者預測單元。
  22. 一種裝置，被配置為編碼圖像資料或視訊資料，該裝置包括與記憶體通信的處理器，該處理器被配置以執行存儲在該記憶體中的指令，使得該處理器執行：將圖像序列或者視訊序列的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元不滿足該預設約束條件，則測試第一分割技術集以對該第二單元進行分割；若該第二單元滿足該預設約束條件，則測試該第一分割技術集和第二分割技術集以對該第二單元進行分割；以及使用來自於由該測試所識別的該第一分割技術集或者該第二分割技術集中的一技術，對該第二單元進行分割。
  23. 一種裝置，被配置為編碼圖像資料或視訊資料，該裝置包括與記憶體通信的處理器，該處理器被配置以執行存儲在該記憶體中的指令，使得該處理器執行： 將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元滿足該預設約束條件，則測試第一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括相同的分割方向；若該第二單元不滿足該預設約束條件，則測試第二分割集以對該第二單元進行分割，其中該第二分割集中的多個分割包括該第一分割集和具有不同於與該第一分割集的方向的多個額外分割；以及使用來自於由該測試所識別的該第一分割集或者該第二分割集中的一分割，對該第二單元進行分割。
  24. 一種裝置，被配置為編碼圖像資料或視訊資料，該裝置包括與記憶體通信的處理器，該處理器被配置以執行存儲在該記憶體中的指令，使得該處理器執行：將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；測試一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括滿足第二約束條件的寬度和滿足該第二約束條件的高度中的至少一個，該分割集包括一子單元集；以及 使用來自於由該測試所識別的該分割集的一分割，對該第二單元進行分割。
  25. 一種圖像或者視訊解碼方法，包括：接收位元流，其中該位元流按照如下編碼：將圖像序列或者視訊序列的片段分割成第一單元集；對於該第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元不滿足該預設約束條件，則測試第一分割技術集以對該第二單元進行分割；若該第二單元滿足該預設約束條件，則測試該第一分割技術集和第二分割技術集以對該第二單元進行分割；以及使用來自於由該測試所識別的該第一分割技術集或者該第二分割技術集中的一技術，對該第二單元進行分割。以及解碼所接收的該位元流。
  26. 如申請專利範圍第25項所述之圖像或視訊解碼方法，其中，將該約束條件顯性指示在該位元流中，其中該約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其任何組合中。
  27. 一種圖像或者視訊解碼方法，包括：接收位元流，其中該位元流按照如下編碼：將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成 第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元滿足該預設約束條件，則測試第一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括相同的分割方向；若該第二單元不滿足該預設約束條件，則測試第二分割集以對該第二單元進行分割，其中該第二分割集中的多個分割包括該第一分割集和具有不同於與該第一分割集的方向的多個額外分割；以及使用來自於由該測試所識別的該第一分割集或者該第二分割集中的一分割，對該第二單元進行分割；以及解碼所接收的該位元流。
  28. 如申請專利範圍第27項所述之圖像或視訊解碼方法，其中，將該約束條件顯性指示在該位元流中，其中該約束條件被發信在視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其任何組合中。
  29. 一種圖像或者視訊解碼方法，包括：接收位元流，其中該位元流按照如下編碼：將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；測試一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括滿足第二約束條件的寬度和滿足該第 二約束條件的高度中的至少一個，該分割集包括一子單元集；以及使用來自於由該測試所識別的該分割集的一分割，對該第二單元進行分割；以及解碼所接收的該位元流。
  30. 如申請專利範圍第29項所述之圖像或視訊解碼方法，其中，視訊參數集、序列參數集、圖像參數集、片段頭、編碼單元或者其任何組合將該第二約束條件顯性指示在該發信中。
  31. 一種裝置，被配置為解碼圖像資料或視訊資料，該裝置包括與記憶體通信的處理器，該處理器被配置以執行存儲在該記憶體中的指令，使得該處理器執行：接收位元流，其中該位元流按照如下編碼：將圖像序列或者視訊序列的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元不滿足該預設約束條件，則測試第一分割技術集以對該第二單元進行分割；若該第二單元滿足該預設約束條件，則測試該第一分割技術集和第二分割技術集以對該第二單元進行分割；以及使用來自於由該測試所識別的該第一分割技術集或者該第二分割技術集中的一技術，對該第二單元進行分割；以及解碼所接收的該位元流。
  32. 一種裝置，被配置為解碼圖像資料或視訊資料，該裝置包括與記憶體通信的處理器，該處理器被配置以執行存儲在該記憶體中的指令，使得該處理器執行：接收位元流，其中該位元流按照如下編碼：將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；若該第二單元滿足該預設約束條件，則測試第一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括相同的分割方向；若該第二單元不滿足該預設約束條件，則測試第二分割集以對該第二單元進行分割，其中該第二分割集中的多個分割包括該第一分割集和具有不同於與該第一分割集的方向的多個額外分割；以及使用來自於由該測試所識別的該第一分割集或者該第二分割集中的一分割，對該第二單元進行分割；以及解碼所接收的該位元流。
  33. 一種裝置，被配置為解碼圖像資料或視訊資料，該裝置包括與記憶體通信的處理器，該處理器被配置以執行存儲在該記憶體中的指令，使得該處理器執行：接收位元流，其中該位元流按照如下編碼：將圖像流或者視訊流的片段分割成第一單元集；對於第一單元集中的每個第一單元，將該第一單元分割成 第二單元集，對於該第二單元集中的每個第二單元，包括：判斷該第二單元是否滿足預設約束條件；測試一分割集以對該第二單元進行分割，其中來自於該分割集的每個分割包括滿足第二約束條件的寬度和滿足該第二約束條件的高度中的至少一個，該分割集包括一子單元集；以及使用來自於由該測試所識別的該分割集的一分割，對該第二單元進行分割；以及解碼所接收的該位元流。
TW106135008A 2016-10-14 2017-10-13 使用樹結構的塊分割 TWI666926B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662408144P 2016-10-14 2016-10-14
US201662408140P 2016-10-14 2016-10-14
US201662408133P 2016-10-14 2016-10-14
US62/408,133 2016-10-14
US62/408,144 2016-10-14
US62/408,140 2016-10-14
US15/730,917 2017-10-12
US15/730,917 US20180109812A1 (en) 2016-10-14 2017-10-12 Block partitioning using tree structures

Publications (2)

Publication Number Publication Date
TW201820881A true TW201820881A (zh) 2018-06-01
TWI666926B TWI666926B (zh) 2019-07-21

Family

ID=61904269

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135008A TWI666926B (zh) 2016-10-14 2017-10-13 使用樹結構的塊分割

Country Status (5)

Country Link
US (1) US20180109812A1 (zh)
EP (1) EP3523979A4 (zh)
CN (1) CN109845268A (zh)
TW (1) TWI666926B (zh)
WO (1) WO2018068762A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10326989B2 (en) 2016-05-25 2019-06-18 Arris Enterprises Llc General block partitioning method
CN116347077A (zh) 2016-11-21 2023-06-27 松下电器（美国）知识产权公司 计算机可读介质
CN109983771A (zh) 2016-11-21 2019-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN118042129A (zh) 2017-11-16 2024-05-14 松下电器（美国）知识产权公司 图像编码装置、编码方法、图像解码装置、解码方法和非暂时性存储介质
WO2019185815A1 (en) * 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partitioning concepts for block-based picture coding
WO2019189279A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US10972754B2 (en) * 2018-04-18 2021-04-06 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method of generating power of 2 transform block sizes
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
US11140390B2 (en) * 2018-05-10 2021-10-05 Samsung Electronics Co., Ltd. Image segmentation method and apparatus for image encoding and decoding
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
KR20210020915A (ko) * 2018-06-18 2021-02-24 인터디지털 브이씨 홀딩스 인코포레이티드 이미지 블록들의 비대칭 이진 파티셔닝에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
WO2020003183A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Partitioning of zero unit
CN110662050B (zh) * 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 处理视频数据的方法、装置及存储介质
WO2020008714A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20210329233A1 (en) * 2018-07-14 2021-10-21 Mediatek Inc. Methods and Apparatuses of Processing Video Pictures with Partition Constraints in a Video Coding System
CN112640460B (zh) * 2018-08-29 2024-05-03 华为技术有限公司 用于边界划分的装置及方法
PL3847818T3 (pl) * 2018-09-18 2024-04-29 Huawei Technologies Co., Ltd. Koder wideo, dekoder wideo i odpowiednie sposoby
EP3837835A1 (en) 2018-09-18 2021-06-23 Huawei Technologies Co., Ltd. Coding method, device, system
CN113273217A (zh) * 2019-02-03 2021-08-17 北京字节跳动网络技术有限公司 非对称四叉树分割
WO2020164633A1 (en) 2019-02-15 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Transform parameter derivation based on block partition
WO2020182182A1 (en) * 2019-03-12 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Compound triple tree in video coding
US11392541B2 (en) * 2019-03-22 2022-07-19 Hewlett Packard Enterprise Development Lp Data transfer using snapshot differencing from edge system to core system
US11677969B2 (en) * 2019-03-22 2023-06-13 Tencent America LLC Method and apparatus for video coding
US11206417B2 (en) * 2019-05-30 2021-12-21 Tencent America LLC Method and apparatus for video coding
CN112135139B (zh) * 2019-06-24 2023-03-24 腾讯美国有限责任公司 对编码视频数据进行分区的方法、计算机系统及存储介质
US11589043B2 (en) * 2019-06-24 2023-02-21 Tencent America LLC Flexible slice, tile and brick partitioning
US11252443B2 (en) * 2019-08-12 2022-02-15 Tencent America LLC Method and apparatus for video coding
US11317090B2 (en) * 2019-08-12 2022-04-26 Tencent America LLC Method and apparatus for video coding
CN114430901A (zh) * 2019-09-20 2022-05-03 北京字节跳动网络技术有限公司 带有色度缩放的亮度映射
CN114615497A (zh) * 2020-12-03 2022-06-10 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备
CN117044213A (zh) * 2021-02-23 2023-11-10 抖音视界有限公司 对非二元块的变换与量化
CN117157978A (zh) * 2021-03-30 2023-12-01 抖音视界有限公司 非二元块上的帧内预测

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240034886A (ko) * 2010-10-08 2024-03-14 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US20140029670A1 (en) * 2012-07-27 2014-01-30 Motorola Mobility Llc Devices and methods for processing of partition mode in high efficiency video coding
TW201419863A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
WO2015135175A1 (en) * 2014-03-13 2015-09-17 Mediatek Singapore Pte. Ltd. Simplified depth based block partitioning method
CN104935921B (zh) * 2014-03-20 2018-02-23 寰发股份有限公司 发送从模式组中选择的一个或多个编码模式的方法和设备
US9900617B2 (en) * 2014-06-20 2018-02-20 Qualcomm Incorporated Single color palette mode in video coding
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding

Also Published As

Publication number Publication date
EP3523979A4 (en) 2020-05-13
WO2018068762A1 (en) 2018-04-19
US20180109812A1 (en) 2018-04-19
CN109845268A (zh) 2019-06-04
TWI666926B (zh) 2019-07-21
EP3523979A1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
TWI666926B (zh) 使用樹結構的塊分割
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
US10701391B2 (en) Motion vector difference (MVD) prediction
US10404993B2 (en) Picture prediction method and related apparatus
TWI738036B (zh) 產生仿射候選的方法及裝置
JP6378433B2 (ja) イントラｂｃとインター予測の統合のためのａｍｖｐおよびマージ候補リスト導出
US20200244989A1 (en) Method and device for inter-prediction mode-based image processing
JP2024045720A (ja) インタ予測における大域的運動制約運動ベクトル
KR20210153128A (ko) 인터 예측에서의 병합 모드 후보들에 대한 글로벌 모션
US20230007288A1 (en) Decoder with merge candidate reorder based on common motion vector
JP7323220B2 (ja) 大域的運動を伴うフレームにおける候補
JP7321583B2 (ja) ピクチャヘッダ内の大域的運動ベクトルの信号伝達
JP2023093765A (ja) 大域的運動を伴うフレームにおける選択的運動ベクトル予測候補
JP2023105073A (ja) 大域的運動を伴うフレームにおける適応型運動ベクトル予測候補
JP2022529735A (ja) 大域的運動ベクトルの効率的なコーディング
KR20210094664A (ko) 비디오 인코딩/디코딩 시스템의 사이드 모션 정교화
JP7437426B2 (ja) インター予測方法および装置、機器、記憶媒体
JP2023105074A (ja) 運動ベクトルインタ予測のための大域的運動モデル
JP2015165644A (ja) 動画像符号化装置及び動画像符号化方法
CN110650344B (zh) 生成合并候选列表的方法、装置以及电子设备、存储介质
RU2801587C1 (ru) Способ и устройство для кодирования видео
CN112565789B (zh) 视频解码及编码方法、装置、计算机可读介质及电子设备
JP2023105072A (ja) ピクチャヘッダ内の大域的運動ベクトルの信号伝達
US20210400289A1 (en) Methods and systems for constructing merge candidate list including adding a non- adjacent diagonal spatial merge candidate
JP2017204879A (ja) 動画像符号化装置及び動画像符号化方法