RU2021117197A - TREE-BASED TRANSFORM UNITS (TU) SEGMENTATION FOR VIDEO ENCODING - Google Patents

TREE-BASED TRANSFORM UNITS (TU) SEGMENTATION FOR VIDEO ENCODING Download PDF

Info

Publication number
RU2021117197A
RU2021117197A RU2021117197A RU2021117197A RU2021117197A RU 2021117197 A RU2021117197 A RU 2021117197A RU 2021117197 A RU2021117197 A RU 2021117197A RU 2021117197 A RU2021117197 A RU 2021117197A RU 2021117197 A RU2021117197 A RU 2021117197A
Authority
RU
Russia
Prior art keywords
residual
block
segmentation
residual block
current block
Prior art date
Application number
RU2021117197A
Other languages
Russian (ru)
Other versions
RU2809181C2 (en
Inventor
Хилми Энес ЭГЫЛМЕЗ
Вадим СЕРЕГИН
Амир САИД
Марта Карчевич
Original Assignee
Квэлкомм Инкорпорейтед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Квэлкомм Инкорпорейтед filed Critical Квэлкомм Инкорпорейтед
Publication of RU2021117197A publication Critical patent/RU2021117197A/en
Application granted granted Critical
Publication of RU2809181C2 publication Critical patent/RU2809181C2/en

Links

Claims (92)

1. Способ декодирования видеоданных, при этом способ содержит этапы, на которых:1. A method for decoding video data, the method comprising the steps of: принимают, в потоке битов, который содержит кодированное представление видеоданных, информацию, указывающую то, сегментируется или нет остаточный блок, и информацию, указывающую тип дерева сегментации для остаточного блока, на основе сегментации остаточного блока, при этом остаточный блок указывает разность между текущим блоком и блоком прогнозирования;receiving, in a bitstream that contains an encoded representation of video data, information indicating whether or not a residual block is segmented, and information indicating a segmentation tree type for the residual block, based on segmentation of the residual block, wherein the residual block indicates the difference between the current block and prediction block; определяют, на основе принимаемой информации касательно того, что остаточный блок сегментируется, и типа дерева сегментации для остаточного блока, множество остаточных субблоков, на которые остаточный блок сегментируется согласно типу дерева сегментации;determining, based on the received information that the residual block is segmented and the segmentation tree type for the residual block, a plurality of residual sub-blocks into which the residual block is segmented according to the segmentation tree type; формируют остаточные данные для текущего блока, по меньшей мере, частично на основе сегментации остаточного блока согласно типу дерева сегментации на множество остаточных субблоков; иgenerating residual data for the current block based at least in part on segmenting the residual block according to a segmentation tree type into a plurality of residual sub-blocks; and декодируют текущий блок с использованием остаточных данных.decoding the current block using the residual data. 2. Способ по п. 1, в котором прием информации, указывающий тип дерева сегментации, содержит этап, на котором принимают информацию индекса в наборе типов деревьев, при этом способ дополнительно содержит этап, на котором определяют тип дерева сегментации на основе принимаемой информации индекса.2. The method of claim 1, wherein receiving information indicating a segmentation tree type comprises receiving index information on the tree type set, the method further comprising determining a segmentation tree type based on the received index information. 3. Способ по п. 2, в котором набор типов деревьев включает в себя одно или более из сегментации на основе дерева квадрантов и сегментации на основе двоичного дерева.3. The method of claim 2, wherein the set of tree types includes one or more of quadtree segmentation and binary tree segmentation. 4. Способ по п. 2, в котором определение типа дерева сегментации содержит определение того, что тип дерева сегментации представляет собой сегментацию на основе двоичного дерева, при этом способ дополнительно содержит этап, на котором принимают информацию, указывающую то, остаточный блок горизонтально разбивается или вертикально разбивается.4. The method of claim 2, wherein determining the segmentation tree type comprises determining that the segmentation tree type is binary tree segmentation, the method further comprising receiving information indicating whether the residual block is split horizontally or splits vertically. 5. Способ по п. 1, дополнительно содержащий этап, на котором:5. The method according to claim 1, further comprising the step of: логически выводят, из потока битов, ядра преобразования для множества остаточных субблоков, по меньшей мере, в одном из: горизонтального направления или вертикального направления, по меньшей мере, частично на основе одного из следующего: тип дерева сегментации для остаточного блока или тип сегментации для остаточного блока, при этом:inferring, from the bit stream, a transformation kernel for a plurality of residual sub-blocks in at least one of: a horizontal direction or a vertical direction at least in part based on one of the following: segmentation tree type for the residual block or segmentation type for the residual block, while: формирование остаточных данных для текущего блока содержит этап, на котором формируют остаточные данные, по меньшей мере, частично на основе ядер преобразования для множества остаточных субблоков.generating residual data for the current block comprises generating residual data at least in part based on transformation kernels for a plurality of residual sub-blocks. 6. Способ по п. 1, в котором текущий блок взаимно прогнозируется или внутренне прогнозируется.6. The method of claim 1, wherein the current block is inter-predicted or intra-predicted. 7. Способ по п. 1, в котором текущий блок содержит блок сигналов яркости единицы кодирования (CU).7. The method of claim 1, wherein the current block comprises a coding unit (CU) luma signal block. 8. Способ по п. 1, в котором:8. The method according to claim 1, in which: текущий блок представляет собой единицу кодирования (CU) или блок CU;the current block is a coding unit (CU) or a CU; остаточный блок для текущего блока представляет собой единицу преобразования (TU) или блок TU; иthe residual block for the current block is a transformation unit (TU) or TU; and множество остаточных субблоков представляют собой неквадратные суб-TU и имеют размер, отличающийся от размера CU.the plurality of residual sub-units are non-square sub-TUs and have a size different from that of the CU. 9. Способ по п. 1, в котором декодирование текущего блока содержит этапы, на которых:9. The method of claim 1, wherein decoding the current block comprises the steps of: декодируют данные, представляющие режим прогнозирования для текущего блока;decoding data representing a prediction mode for the current block; формируют блок прогнозирования для текущего блока с использованием режима прогнозирования; иgenerating a prediction block for the current block using the prediction mode; and комбинируют блок прогнозирования с остаточными данными, чтобы воспроизводить текущий блок.combining the prediction block with the residual data to reproduce the current block. 10. Устройство для декодирования видеоданных, при этом устройство содержит:10. Device for decoding video data, wherein the device contains: запоминающее устройство, выполненное с возможностью сохранять видеоданные; иa storage device configured to store video data; and процессор, реализованный в схеме и выполненный с возможностью:a processor implemented in the circuit and configured to: принимать, в потоке битов, который содержит кодированное представление видеоданных, информацию, указывающую то, сегментируется или нет остаточный блок, и информацию, указывающую тип дерева сегментации для остаточного блока, на основе сегментации остаточного блока, при этом остаточный блок указывает разность между текущим блоком и блоком прогнозирования;receive, in a bitstream that contains an encoded representation of video data, information indicating whether or not the residual block is segmented, and information indicating the type of segmentation tree for the residual block, based on segmentation of the residual block, wherein the residual block indicates the difference between the current block and prediction block; определять, на основе принимаемой информации касательно того, что остаточный блок сегментируется, и типа дерева сегментации для остаточного блока, множество остаточных субблоков, на которые остаточный блок сегментируется согласно типу дерева сегментации;determine, based on the received information that the residual block is segmented and the segmentation tree type for the residual block, a plurality of residual sub-blocks into which the residual block is segmented according to the segmentation tree type; формировать остаточные данные для текущего блока, по меньшей мере, частично на основе сегментации остаточного блока согласно типу дерева сегментации на множество остаточных субблоков; иgenerate residual data for the current block based at least in part on segmenting the residual block according to a segmentation tree type into a plurality of residual sub-blocks; and декодировать текущий блок с использованием остаточных данных.decode the current block using the residual data. 11. Устройство по п. 10, в котором:11. The device according to claim 10, in which: процессор, выполненный с возможностью принимать информацию, указывающую тип дерева сегментации, дополнительно выполнен с возможностью принимать информацию индекса в наборе типов деревьев; иthe processor, configured to receive information indicative of a segmentation tree type, is further configured to receive index information on the tree type set; and процессор дополнительно выполнен с возможностью определять тип дерева сегментации на основе принимаемой информации индекса.the processor is further configured to determine the type of segmentation tree based on the received index information. 12. Устройство по п. 11, в котором набор типов деревьев включает в себя одно или более из сегментации на основе дерева квадрантов и сегментации на основе двоичного дерева.12. The apparatus of claim 11, wherein the set of tree types includes one or more of quadtree segmentation and binary tree segmentation. 13. Устройство по п. 11, в котором:13. The device according to claim 11, in which: процессор, выполненный с возможностью определять тип дерева сегментации, дополнительно выполнен с возможностью определять то, что тип дерева сегментации представляет собой сегментацию на основе двоичного дерева; иthe processor, configured to determine the segmentation tree type, is further configured to determine that the segmentation tree type is a binary tree based segmentation; and процессор дополнительно выполнен с возможностью принимать информацию, указывающую то, остаточный блок горизонтально разбивается или вертикально разбивается.the processor is further configured to receive information indicating whether the residual block is split horizontally or vertically split. 14. Устройство по п. 10, в котором процессор дополнительно выполнен с возможностью:14. The apparatus of claim 10, wherein the processor is further configured to: логически выводить, из потока битов, ядер преобразования для множества остаточных субблоков, по меньшей мере, в одном из: горизонтального направления или вертикального направления, по меньшей мере, частично на основе одного из следующего: тип дерева сегментации для остаточного блока или тип сегментации для остаточного блока, при этом:infer, from the bit stream, transformation kernels for a plurality of residual sub-blocks in at least one of: a horizontal direction or a vertical direction at least in part based on one of the following: segmentation tree type for the residual block or segmentation type for the residual block, while: процессор, выполненный с возможностью формировать остаточные данные для текущего блока, дополнительно выполнен с возможностью формировать остаточные данные, по меньшей мере, частично на основе ядер преобразования для множества остаточных субблоков.the processor, configured to generate residual data for the current block, is further configured to generate residual data at least in part based on transform kernels for the plurality of residual sub-blocks. 15. Устройство по п. 10, в котором текущий блок взаимно прогнозируется или внутренне прогнозируется.15. The apparatus of claim 10, wherein the current block is inter-predicted or intra-predicted. 16. Устройство по п. 10, в котором текущий блок содержит блок сигналов яркости единицы кодирования (CU).16. The apparatus of claim 10, wherein the current block comprises a coding unit (CU) luma signal block. 17. Устройство по п. 10, в котором:17. The device according to claim 10, in which: текущий блок представляет собой единицу кодирования (CU) или блок CU;the current block is a coding unit (CU) or a CU; остаточный блок для текущего блока представляет собой единицу преобразования (TU) или блок TU; иthe residual block for the current block is a transformation unit (TU) or TU; and множество остаточных субблоков представляют собой неквадратные суб-TU и имеют размер, отличающийся от размера CU.the plurality of residual sub-units are non-square sub-TUs and have a size different from that of the CU. 18. Устройство по п. 10, в котором процессор, выполненный с возможностью декодировать текущий блок, дополнительно выполнен с возможностью:18. The apparatus of claim 10, wherein the processor, configured to decode the current block, is further configured to: декодировать данные, представляющие режим прогнозирования для текущего блока;decode data representing a prediction mode for the current block; формировать блок прогнозирования для текущего блока с использованием режима прогнозирования; иgenerate a prediction block for the current block using the prediction mode; and комбинировать блок прогнозирования с остаточными данными, чтобы воспроизводить текущий блок.combine the prediction block with the residual data to reproduce the current block. 19. Устройство по п. 10, дополнительно содержащее дисплей, выполненный с возможностью отображать декодированный текущий блок.19. The apparatus of claim 10, further comprising a display configured to display the decoded current block. 20. Устройство по п. 10, при этом устройство содержит одно или более из камеры, компьютера, мобильного устройства, широковещательного приемного устройства или абонентской приставки.20. The apparatus of claim 10, wherein the apparatus comprises one or more of a camera, a computer, a mobile device, a broadcast receiver, or a set-top box. 21. Устройство по п. 10, при этом устройство содержит, по меньшей мере, одно из следующего:21. The apparatus of claim 10, wherein the apparatus comprises at least one of the following: интегральная схема;integrated circuit; микропроцессор; илиmicroprocessor; or устройство беспроводной связи.wireless communication device. 22. Машиночитаемый носитель хранения данных, имеющий сохраненные инструкции, которые при выполнении инструктируют процессору:22. A computer-readable storage medium having stored instructions that, when executed, instructs the processor: принимать, в потоке битов, который содержит кодированное представление видеоданных, информацию, указывающую то, сегментируется или нет остаточный блок, и информацию, указывающую тип дерева сегментации для остаточного блока, на основе сегментации остаточного блока, при этом остаточный блок указывает разность между текущим блоком и блоком прогнозирования;receive, in a bitstream that contains an encoded representation of video data, information indicating whether or not the residual block is segmented, and information indicating the type of segmentation tree for the residual block, based on segmentation of the residual block, wherein the residual block indicates the difference between the current block and prediction block; определять, на основе принимаемой информации касательно того, что остаточный блок сегментируется, и типа дерева сегментации для остаточного блока, множество остаточных субблоков, на которые остаточный блок сегментируется согласно типу дерева сегментации;determine, based on the received information that the residual block is segmented and the segmentation tree type for the residual block, a plurality of residual sub-blocks into which the residual block is segmented according to the segmentation tree type; формировать остаточные данные для текущего блока, по меньшей мере, частично на основе сегментации остаточного блока согласно типу дерева сегментации на множество остаточных субблоков; иgenerate residual data for the current block based at least in part on segmenting the residual block according to a segmentation tree type into a plurality of residual sub-blocks; and декодировать текущий блок с использованием остаточных данных.decode the current block using the residual data. 23. Устройство для декодирования видеоданных, при этом устройство содержит:23. Device for decoding video data, wherein the device contains: средство для приема, в потоке битов, который содержит кодированное представление видеоданных, информации, указывающей то, сегментируется или нет остаточный блок, и информации, указывающей тип дерева сегментации для остаточного блока, на основе сегментации остаточного блока, при этом остаточный блок указывает разность между текущим блоком и блоком прогнозирования;means for receiving, in a bitstream that contains an encoded representation of video data, information indicating whether or not the residual block is segmented, and information indicating the type of segmentation tree for the residual block, based on segmentation of the residual block, wherein the residual block indicates the difference between the current block and prediction block; средство для определения, на основе принимаемой информации касательно того, что остаточный блок сегментируется, и типа дерева сегментации для остаточного блока, множества остаточных субблоков, на которые остаточный блок сегментируется согласно типу дерева сегментации;means for determining, based on the received information that the residual block is segmented and the segmentation tree type for the residual block, a plurality of residual sub-blocks into which the residual block is segmented according to the segmentation tree type; средство для формирования остаточных данных для текущего блока, по меньшей мере, частично на основе сегментации остаточного блока согласно типу дерева сегментации на множество остаточных субблоков; иmeans for generating residual data for the current block based at least in part on segmenting the residual block according to a segmentation tree type into a plurality of residual sub-blocks; and средство для декодирования текущего блока с использованием остаточных данных.means for decoding the current block using the residual data. 24. Способ кодирования видеоданных, при этом способ содержит этапы, на которых:24. A method for encoding video data, the method comprising the steps of: определяют то, что остаточный блок для текущего блока видеоданных сегментируется согласно типу дерева сегментации на множество остаточных субблоков; иdetermining that the residual block for the current block of video data is segmented according to the segmentation tree type into a plurality of residual sub-blocks; and кодируют поток битов в качестве кодированного представления видеоданных, которые передают в служебных сигналах информацию, указывающую то, сегментируется или нет остаточный блок, и дополнительно передают в служебных сигналах информацию, указывающую тип дерева сегментации для остаточного блока, который сегментируется.encoding the bit stream as an encoded representation of video data that signaling information indicating whether or not the residual block is segmented, and further signaling information indicating the type of segmentation tree for the residual block that is segmented. 25. Способ по п. 24, в котором поток битов, который передает в служебных сигналах информацию, указывающую тип дерева сегментации для остаточного блока, включает в себя информацию индекса в наборе типов деревьев.25. The method of claim 24, wherein the bit stream that signaling information indicative of a segmentation tree type for the residual block includes index information in the tree type set. 26. Способ по п. 25, в котором набор типов деревьев включает в себя одно или более из сегментации на основе дерева квадрантов и сегментации на основе двоичного дерева.26. The method of claim 25, wherein the set of tree types includes one or more of quadtree segmentation and binary tree segmentation. 27. Способ по п. 25, в котором когда информация, указывающая тип дерева сегментации для остаточного блока, указывает то, что тип дерева сегментации представляет собой сегментацию на основе двоичного дерева, поток битов дополнительно передает в служебных сигналах информацию, указывающую то, остаточный блок горизонтально разбивается или вертикально разбивается.27. The method of claim 25, wherein when the information indicating the type of segmentation tree for the residual block indicates that the type of segmentation tree is binary tree-based segmentation, the bitstream further signaling information indicating whether the residual block split horizontally or vertically split. 28. Способ по п. 24, в котором:28. The method according to claim 24, in which: текущий блок представляет собой единицу кодирования (CU) или блок CU;the current block is a coding unit (CU) or a CU; остаточный блок для текущего блока представляет собой единицу преобразования (TU) или блок TU; иthe residual block for the current block is a transformation unit (TU) or TU; and множество остаточных субблоков представляют собой неквадратные суб-TU и имеют размер, отличающийся от размера CU.the plurality of residual sub-units are non-square sub-TUs and have a size different from that of the CU. 29. Устройство для кодирования видеоданных, при этом устройство содержит:29. Device for encoding video data, wherein the device contains: запоминающее устройство, выполненное с возможностью сохранять видеоданные; иa storage device configured to store video data; and процессор, реализованный в схеме и выполненный с возможностью:a processor implemented in the circuit and configured to: определять то, что остаточный блок для текущего блока видеоданных сегментируется согласно типу дерева сегментации на множество остаточных субблоков; иdetermine that the residual block for the current block of video data is segmented according to the segmentation tree type into a plurality of residual sub-blocks; and кодировать поток битов в качестве кодированного представления видеоданных, которые передают в служебных сигналах информацию, указывающую то, сегментируется или нет остаточный блок, и дополнительно передают в служебных сигналах информацию, указывающую тип дерева сегментации для остаточного блока, который сегментируется.encode the bitstream as an encoded representation of video data that signaling information indicating whether or not the residual block is segmented, and further signaling information indicating a type of segmentation tree for the residual block that is segmented. 30. Устройство по п. 29, в котором поток битов, который передает в служебных сигналах информацию, указывающую тип дерева сегментации для остаточного блока, включает в себя информацию индекса в наборе типов деревьев.30. The apparatus of claim 29, wherein the bit stream that signaling information indicative of a segmentation tree type for the residual block includes index information in the tree type set. 31. Устройство по п. 30, в котором набор типов деревьев включает в себя одно или более из сегментации на основе дерева квадрантов и сегментации на основе двоичного дерева.31. The apparatus of claim 30, wherein the set of tree types includes one or more of quadtree segmentation and binary tree segmentation. 32. Устройство по п. 31, в котором когда поток битов передает в служебных сигналах то, что тип дерева сегментации для остаточного блока представляет собой сегментацию на основе двоичного дерева, поток битов дополнительно передает в служебных сигналах тип сегментации для остаточного блока, который указывает то, остаточный блок горизонтально разбивается или вертикально разбивается.32. The apparatus of claim 31, wherein when the bitstream signaling that the segmentation tree type for the residual block is binary tree based segmentation, the bitstream further signaling the segmentation type for the residual block that indicates that , the residual block is horizontally split or vertically split. 33. Устройство по п. 29, в котором:33. The device according to claim 29, in which: текущий блок представляет собой единицу кодирования (CU) или блок CU;the current block is a coding unit (CU) or a CU; остаточный блок для текущего блока представляет собой единицу преобразования (TU) или блок TU; иthe residual block for the current block is a transformation unit (TU) or TU; and множество остаточных субблоков представляют собой неквадратные суб-TU и имеют размер, отличающийся от размера CU.the plurality of residual sub-units are non-square sub-TUs and have a size different from that of the CU. 34. Устройство по п. 29, дополнительно содержащее камеру, выполненную с возможностью захватывать видеоданные.34. The apparatus of claim 29, further comprising a camera configured to capture video data. 35. Устройство по п. 29, при этом устройство содержит одно или более из камеры, компьютера, мобильного устройства, широковещательного приемного устройства или абонентской приставки.35. The apparatus of claim 29, wherein the apparatus comprises one or more of a camera, a computer, a mobile device, a broadcast receiver, or a set-top box. 36. Устройство по п. 29, при этом устройство содержит, по меньшей мере, одно из следующего:36. The apparatus of claim 29, wherein the apparatus comprises at least one of the following: интегральная схема;integrated circuit; микропроцессор; илиmicroprocessor; or устройство беспроводной связи.wireless communication device.
RU2021117197A 2018-12-19 2019-12-17 Tree-based transformation unit (tu) segmentation for video encoding RU2809181C2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US62/782,292 2018-12-19
US16/715,274 2019-12-16

Publications (2)

Publication Number Publication Date
RU2021117197A true RU2021117197A (en) 2023-01-19
RU2809181C2 RU2809181C2 (en) 2023-12-07

Family

ID=

Similar Documents

Publication Publication Date Title
CN107566848B (en) Method and device for coding and decoding
US20210211729A1 (en) Method for encoding/decoding video signals and apparatus therefor
KR101624942B1 (en) Encoding or decoding method and apparatus
US20240107017A1 (en) Encoding and decoding methods and corresponding devices
CA2840618C (en) Derivation of the position in scan order of the last significant transform coefficient in video coding
TWI658722B (en) Method and apparatus for intra chroma coding in image and video coding
AU2012332417B2 (en) Padding of segments in coded slice NAL units
ES2912367T3 (en) Hierarchy of motion prediction video blocks
AU2015235991A1 (en) Determining palette size, palette entries and filtering of palette coded blocks in video coding
KR102630797B1 (en) Affine motion prediction-based image decoding method and apparatus using affine mvp candidate list in image coding system
US20130336395A1 (en) Unification of signaling lossless coding mode and pulse code modulation (pcm) mode in video coding
US9420285B2 (en) Inter-layer mode derivation for prediction in scalable video coding
CN113994694A (en) Simplified intra chroma mode coding in video coding
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
JP2015527812A5 (en)
BR122021008882B1 (en) RESIDUAL CODING METHOD AND DEVICE FOR THE SAME
KR20190028525A (en) Encoding method and apparatus, decoding method and apparatus
US11882310B2 (en) Method and apparatus for processing image signal
CN114982240A (en) Multiple transform set signaling for video coding
RU2021117197A (en) TREE-BASED TRANSFORM UNITS (TU) SEGMENTATION FOR VIDEO ENCODING
WO2018120230A1 (en) Image filtering method, apparatus and device
CN104093025A (en) Coding and decoding method and device
RU2808004C2 (en) Method and device for internal prediction based on internal subsegments in image coding system
JPWO2020131949A5 (en)
RU2021132092A (en) AFFINE LINEAR WEIGHTED INTERNAL PREDICTION FOR VIDEO CODING