RU2815443C2 - Определение режима разделения изображения на основе размера блока - Google Patents
Определение режима разделения изображения на основе размера блока Download PDFInfo
- Publication number
- RU2815443C2 RU2815443C2 RU2022102900A RU2022102900A RU2815443C2 RU 2815443 C2 RU2815443 C2 RU 2815443C2 RU 2022102900 A RU2022102900 A RU 2022102900A RU 2022102900 A RU2022102900 A RU 2022102900A RU 2815443 C2 RU2815443 C2 RU 2815443C2
- Authority
- RU
- Russia
- Prior art keywords
- video block
- current video
- video
- width
- height
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 251
- 230000008569 process Effects 0.000 claims description 60
- 230000009466 transformation Effects 0.000 claims description 47
- 238000005192 partition Methods 0.000 claims description 40
- 238000000638 solvent extraction Methods 0.000 claims description 17
- 238000003672 processing method Methods 0.000 abstract description 38
- 238000005516 engineering process Methods 0.000 abstract description 12
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 13
- 230000011664 signaling Effects 0.000 description 11
- 239000010410 layer Substances 0.000 description 10
- 241000023320 Luma <angiosperm> Species 0.000 description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Изобретение относится к технологиям кодирования и декодирования видео и изображений. Техническим результатом является повышение эффективности кодирования видео. Результат достигается тем, что способ обработки видео включает в себя этапы, на которых используют размер единицы данных виртуального конвейера (VPDU), используемой для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео, для выполнения определения, активировано ли разделение видеоблока из указанного одного или более видеоблоков на основе троичного дерева (TT) или двоичного дерева (BT), и выполняют преобразование на основе указанного определения, причем размер равен VSize в отсчетах яркости, размеры видеоблока равны CtbSizeY в отсчетах яркости, и VSize=min(M, CtbSizeY), где M – положительное целое число. 4 н. и 6 з.п. ф-лы, 18 ил.
Description
Область техники, к которой относится изобретение
Данный документ относится к технологиям кодирования и декодирования видео и изображений.
Уровень техники
На цифровое видео по-прежнему приходится наибольшая часть пропускной способности интернета и других сетей цифровой связи. По мере увеличения количества подключенных пользовательских устройств, способных принимать и отображать видео, ожидается, что потребность в пропускной способности для использования цифрового видео будет продолжать расти.
Раскрытие сущности изобретения
Раскрытые технические решения могут использоваться в вариантах осуществления кодера или декодера видео или изображения для выполнения кодирования или декодирования видео, в котором режим разделения изображения определяется на основе размера блока.
В примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют размер блока данных виртуального конвейера (VPDU), используемого для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео для выполнения определения, активировано ли разделение на основе троичного дерева (TT) или двоичного дерева (BT) видеоблока из указанного одного или более видеоблоков, и выполняют преобразование на основе указанного определения, причем указанный размер равен VSize в отсчетах яркости, размеры указанного видеоблока представляют собой CtbSizeY в отсчетах яркости, и VSize=min (M, CtbSizeY), где M – положительное целое число.
В другом примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео, размер видеоблока из указанного одного или более видеоблоков для выполнения определения, активировано ли разделение указанного видеоблока на основе троичного дерева (TT) или двоичного дерева (BT), и выполняют преобразование на основе указанного определения.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют высоту или ширину видеоблока для выполнения определения, активировано ли инструментальное средство кодирования для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, содержащих указанный видеоблок, и представлением битового потока видео, и выполняют преобразование на основе указанного определения, причем определение основано на сравнении высоты или ширины со значением N, где N – положительное целое число.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют сравнение между высотой или шириной видеоблока и размером блока преобразования для выполнения определения, активировано ли инструментальное средство кодирования для преобразования между видео, содержащим одну или более видеообластей, содержащих одно или более видеоблоков, содержащих указанный видеоблок, и представлением битового потока видео, и выполняют преобразование на основе указанного определения.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют высоту или ширину видеоблока для выполнения определения, активировано ли инструментальное средство кодирования для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, содержащих указанный видеоблок, и представлением битового потока видео, и выполняют преобразование на основе указанного определения.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют сравнение между размером подраздела видеоблока и максимальным размером преобразования для выполнения (a) определения, активирован ли режим внутрикадрового предсказания подраздела (ISP) для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, содержащих указанный видеоблок, и (b) выбора одного или более допустимых типов разделов для указанного преобразования, и выполняют преобразование на основе указанного определения и указанного выбора, причем в режиме ISP видеоблок из указанного одного или более видеоблоков разделяется на множество подразделов перед применением внутрикадрового предсказания и преобразования.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео, причем преобразование содержит инструментальное средство кодирования, которое было активирован, и синтаксические элементы, которые относятся к инструментальному средству кодирования, исключены из представления битового потока и считаются имеющими заданное значение, указывающее, что инструментальное средство кодирования деактивировано.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео, причем преобразование содержит инструментальное средство кодирования, которое было деактивировано, и представление битового потока содержит синтаксические элементы, относящиеся к инструментальному средству кодирования, которые считаются имеющими заданное значение, основанное на том, что инструментальное средство кодирования деактивировано.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют размер единицы данных виртуального конвейера (VPDU) и/или максимальный размер преобразования, используемый для преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео для выполнения определения, активировано ли неявное (QT) разделение видеоблока из указанного одного или более видеоблоков, и выполняют преобразование на основе указанного определения.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео, причем преобразование содержит преобразование подблоков (SBT), максимальная высота или максимальная ширина SBT основана на максимальном размере преобразования, и SBT содержит одно или более преобразований, отдельно применяемых к одному или более разделам видеоблока из указанного одного или более видеоблоков.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео, причем преобразование содержит режим пропуска преобразования и/или внутриблочную дифференциальную импульсно-кодовую модуляцию (BDPCM), максимальный размер блока, используемый для режима пропуска преобразования, основан на максимальном размере преобразования, при этом максимальный размер блока, используемый для режима пропуска преобразования, основан на максимальном размере преобразования, режим пропуска преобразования содержит пропуск процессов преобразования и обратного преобразования для соответствующего инструментального средства кодирования, и в режиме BDPCM остаток внутрикадрового предсказания текущего видеоблока кодирован с предсказанием с использованием операции дифференциальной импульсно-кодовой модуляции.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этапы, на которых используют сравнение между высотой или шириной видеоблока и максимальным размером преобразования для определения, активирован ли режим объединенного межкадрового-внутрикадрового предсказания (CIIP) для преобразования между видео, содержащим одну или более видеообластей. содержащих один или более видеоблоков, содержащих указанный видеоблок, и представлением битового потока видео, и выполняют, на основе указанного определения, преобразование, причем в режиме CIIP окончательное предсказание видеоблока основано на взвешенной сумме межкадрового предсказания видеоблока и внутрикадрового предсказания видеоблока.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя определение преобразования между видео, содержащим одну или более видеообластей, содержащих один или более видеоблоков, и представлением битового потока видео относительно разделения видеоблока из указанного одного или более видеоблоков, кодированных с помощью объединенного межкадрового-внутрикадрового предсказания (CIIP), и выполняют преобразование на основе указанного определения, причем в режиме CIIP окончательное предсказание видеоблока основано на взвешенной сумме межкадрового предсказания видеоблока и внутрикадрового предсказания видеоблока.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео, содержащим видеообласть, содержащую множество видеоблоков, и представлением битового потока видео в соответствии с правилом, причем правило определяет, что максимальный размер блока указанного множества видеоблоков в указанной видеообласти, которые кодированы в представлении битового потока с использованием кодирования с преобразованием, определяет максимальный размер блока указанного множества видеоблоков в указанной видеообласти, которые кодированы в представлении битового потока без использования кодирования с преобразованием.
В еще одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между видео, содержащим видеообласть, содержащую множество видеоблоков, и представлением битового потока видео в соответствии с правилом, причем правило определяет, что процесс отображения яркости с масштабированием цветности (LMCS) деактивирован для указанной видеообласти, когда для указанной видеообласти активировано кодирование без потерь, причем видеообласть представляет собой последовательность, кадр, подкадр, слайс, группу тайлов, тайл, базовый блок, строку единицы дерева кодирования (CTU), CTU, единицу кодирования (CU), единицу предсказания (PU), единицу преобразования (TU) или подблок, и процесс LMCS содержит отсчеты яркости из видеообласти с восстановленной формой между первым доменом и вторым доменом, и остаток цветности, масштабируемый в зависимости от яркости.
В еще одном примерном аспекте вышеописанный способ может быть реализован устройством видеокодера, которое содержит процессор.
В еще одном примерном аспекте указанные способы могут быть реализованы в виде исполняемых процессором инструкций и сохранены на машиночитаемом носителе программы.
Эти и другие аспекты дополнительно описаны в данном документе.
Краткое описание чертежей
На фиг. 1 показаны примеры разделения двоичного дерева (BT) и троичного дерева (TT) в зависимости от размера видеоблока.
Фиг. 2 – блок-схема примера аппаратной платформы, используемой для реализации технические решений, описанных в данном документе.
Фиг. 3 – блок-схема примерной системы обработки видео, в которой могут быть реализованы раскрытые технические решения.
Фиг. 4 – блок-схема примерного способа обработки видео.
Фиг. 5 – блок-схема другого примерного способа обработки видео.
Фиг. 6 – блок-схема еще одного примерного способа обработки видео.
Фиг. 7 – блок-схема еще одного примерного способа обработки видео.
Фиг. 8 – блок-схема еще одного примерного способа обработки видео.
Фиг. 9 – блок-схема еще одного примерного способа обработки видео.
Фиг. 10 – блок-схема еще одного примерного способа обработки видео.
Фиг. 11 – блок-схема еще одного примерного способа обработки видео.
Фиг. 12 – блок-схема еще одного примерного способа обработки видео.
Фиг. 13 – блок-схема еще одного примерного способа обработки видео.
Фиг. 14 – блок-схема еще одного примерного способа обработки видео.
Фиг. 15 – блок-схема еще одного примерного способа обработки видео.
Фиг. 16 – блок-схема еще одного примерного способа обработки видео.
Фиг. 17 – блок-схема еще одного примерного способа обработки видео.
Фиг. 18 – блок-схема еще одного примерного способа обработки видео.
Раскрытие изобретения
В данном документе представлены различные технические решения, которые могут использоваться декодером битовых потоков изображения или видео для повышения качества распакованного или декодированного цифрового видео или изображений. Для краткости термин "видео" используется в данном документе для обозначения как последовательности изображений (традиционно называемых видео), так и отдельных изображений. Кроме того, видеокодер может также реализовать эти технические решения во время процесса кодирования, чтобы восстановить декодированные кадры, которые будут использоваться для дальнейшего кодирования.
Заголовки разделов используются в данном документе для простоты понимания и не ограничивают варианты осуществления и технические решения соответствующими разделами. Таким образом, варианты осуществления из одного раздела могут быть объединены с вариантами осуществления из других разделов.
1. Краткое изложение
Данный документ относится к технологиям кодирования видео. В частности, речь идет о правилах управления размером единицы дерева кодирования или единицы преобразования при кодировании и декодировании видео. Их можно применить к существующему стандарту кодирования видео, например, HEVC, или к стандарту универсального кодирования видео (VVC), который будет доработан. Эти правила также могут быть применены к будущим стандартам кодирования видео или кодекам видео.
2. Предварительное обсуждение
Стандарты кодирования видео развивались в основном благодаря развитию хорошо известных стандартов ITU-T и ISO/IEC. ITU-T выпустил H.261 и H.263, ISO/IEC выпустил MPEG-1 и MPEG-4 Visual, и две организации совместно выпустили стандарты H.262/MPEG-2 Video и усовершенствованного кодирования видео (AVC) H.264/MPEG-4 и H.265/HEVC. Начиная с H.262, стандарты кодирования видео основывались на структуре гибридного кодирования видео, в которой используется временное предсказание плюс кодирование с преобразованием. Чтобы исследовать будущие технологии кодирования видео за рамками HEVC, в 2015 году VCEG совместно с MPEG основали объединенную группу экспертов по видео (Joint Video Expert Team, JVET). С тех пор JVET были приняты многие новые способы и помещены в опорное программное обеспечение под названием модель совместных исследований (Joint Exploration Model, JEM). Наряду с этим, раз в квартал проводятся конференции JVET, и новый стандарт кодирования нацелен на снижение скорости передачи битов на 50% по сравнению с HEVC. Новый стандарт кодирования видео был официально назван универсальным кодированием видео (VVC) на конференции JVET в апреле 2018 года, и тогда же была выпущена первая версия тестовой модели VVC (VTM). Так как постоянные усилия вносят вклад в стандартизацию VVC, новые технические решения кодирования принимаются к стандарту VVC на каждой конференции JVET. Рабочий проект VVC и тестовая модель VTM обновляются после каждой конференции. Проект VVC в настоящее время нацелен на техническое завершение (FDIS) на конференции в июле 2020 года.
2.1. Размер CTU в VVC
Программное обеспечение VTM-5.0 позволяет использовать 4 различных размера CTU: 16×16, 32×32, 64×64 и 128×128. Однако на конференции JVET в июле 2019 года минимальный размер CTU был повторно определен до 32×32 в связи с принятием JVET-O0526. И размер CTU в рабочем проекте 6 VVC закодирован в заголовке SPS в закодированном UE синтаксическом элементе, называемом log2_ctu_size_minus_5.
Ниже приведены соответствующие модификации спецификации в проекте 6 VVC с определением блоков данных виртуального конвейера (VPDU) и принятием JVET-O0526.
Переменные CtbWidthC и CtbHeightC, которые определяют ширину и высоту, соответственно, массива для каждого CTB цветности, получаются следующим образом:
2.2. Максимальный размер преобразования в VVC
В проекте 5 VVC (VVC Draft 5) максимальный размер преобразования сигнализируется в SPS, но он является фиксированным как длина 64 и реконфигурируемым. Однако на конференции JVET в июле 2019 года было решено разрешить максимальный размер преобразования яркости равным 64 или 32 только с флагом на уровне SPS. Максимальный размер преобразования цветности получается из отношения дискретизации сигнала цветности к максимальному размеру преобразования яркости.
Ниже приведены соответствующие модификации спецификаций в проекте 6 VVC при принятом JVET-O05xxx.
7.3.2.3. Синтаксис RBSP набора параметров последовательности
sps_sbt_max_size_64_flag, равный 0, указывает, что максимальная ширина и высота CU для включения преобразования подблока составляет 32 отсчета яркости. sps_sbt_max_size_64_flag, равный 1, указывает, что максимальная ширина и высота CU для включения преобразования подблока составляет 64 отсчета яркости.
MaxSbtSize = Min( MaxTbSizeY, sps_sbt_max_size_64_flag ? 64 : 32 ) (7-31)
…
3. Примеры технических задач, решаемых с помощью раскрытых технических решений
В последнем рабочем проекте JVET-O2001-v11 VVC имеется несколько задач, которые описаны ниже.
1) В текущем проекте 6 VVC максимальный размер преобразования и размер CTU определяются независимым образом. Например, размер CTU может быть равен 32, тогда как размер преобразования может быть равен 64. Желательно, чтобы максимальный размер преобразования был равен или меньше размера CTU.
2) В текущем проекте 6 VVC процесс разделения блока зависит от максимального размера блока преобразования, отличного от размера VPDU. Таким образом, если максимальный размер блока преобразования равен 32×32, в дополнение к запрету разделения 128×128 TT и вертикального разделения BT 64×128 и к тому, что горизонтальное разделение BT 128×64 должно подчиняться правилу VPDU, он дополнительно запрещает разделение TT для блока 32×32, запрещает вертикальное разделение BT для 32×64/16×64/8×64, а также запрещает горизонтальное разделение BT для блока кодирования размером 64x8/64×16/64×32, что может быть неэффективным для эффективности кодирования.
3) Текущий проект 6 VVC допускает размер CTU, равный 32, 64 и 128. Однако возможно, что размер CTU может быть больше 128. Таким образом, необходимо модифицировать некоторые синтаксические элементы.
a) Если разрешен больший размер CTU, то могут быть переработаны структура разделения блока и сигнализация флагов разделения блока.
b) Если разрешен больший размер CTU, то могут быть переработаны некоторые из текущих проектов (например, получение аффинных параметров, IBC-предсказание, размер буфера IBC, предсказание треугольника слияния, CIIP, режим регулярного слияния и т.д.).
4) В текущем проекте 6 VVC размер CTU сигнализируется на уровне SPS. Однако, так как принятие повторной дискретизации опорного изображения (также известной как адаптивное изменение разрешения) позволяет кодировать изображения с разными разрешениями в одном битовом потоке, размер CTU может быть различным на нескольких уровнях.
5) В WD6 максимальный размер блока, используемый для MIP и ISP, зависит от максимального размера преобразования, за исключением размера VPDU или 64×64, что может быть неэффективным для эффективности кодирования.
6) В WD6 максимальный размер блока, используемый для пропуска преобразования и внутрикадровой BDPCM, зависит от максимального размера пропуска преобразования, который ограничен максимальным размером преобразования.
7) В WD6 максимальный размер блока, используемый для SBT, зависит от максимального размера SBT, который ограничен максимальным размером преобразования.
8) В WD6 размер блока кодирования, используемого для IBC и PLT, ограничен 64×64, что может быть скорректировано максимальным размером преобразования, размером CTU и/или размером VPDU.
9) В WD6 размер блока кодирования, используемого для CIIP, может быть больше максимального размера преобразования.
10) В WD6 флаг включения LMCS не обусловлен флагом обхода квантования преобразования.
4. Примеры вариантов и технических решений
Перечень решений, приведенный ниже, следует рассматривать в качестве примеров для пояснения некоторых концепций. Этот перечень не следует рассматривать в узком смысле. Кроме того, пункты из этого перечня можно комбинировать любым способом.
В данном документе C=min (a, b) указывает, что C равно минимальному значению между a и b.
В данном документе размер/размер видеоблока может быть либо высотой, либо шириной видеоблока (например, шириной или высотой изображения/подизображения/слайса/базового блока/тайла/CTU/CU/CB/ТУ/ТB). Если размер видеоблока обозначен как MxN, то M обозначает ширину, и N обозначает высоту видеоблока.
В данном документе "блок кодирования" может быть блоком кодирования яркости и/или блоком кодирования цветности. Размер/размер в отсчетах яркости для блока кодирования может использоваться в настоящем изобретении для представления размера/измерения, измеренного в отсчетах яркости. Например, блок кодирования 128×128 (или размер блока кодирования 128×128 в отсчетах яркости) может указывать блок кодирования яркости 128×128 и/или блок кодирования цветности 64×64 для цветового формата 4:2:0. Аналогичным образом, для цветового формата 4:2:2 он может относиться к блоку кодирования яркости 128×128 и/или блоку кодирования цветности 64×128. Для цветового формата 4:4:4 он может относиться к блоку кодирования яркости 128×128 и/или блоку кодирования цветности 128×128.
Связанный с этим конфигурируемый размер CTU
1. Предлагается, чтобы разные размеры CTU (такие как ширина и/или высотa) могли быть разрешены для разных видеоблоков, таких как слои/изображения/подизображения/слайсы/тайлы/базовые блоки.
a) В одном примере один или несколько наборов измерений CTU могут явно сигнализироваться на уровне видеоблока, таком как VPS/DPS/SPS/PPS/APS/изображение/подизображение/слайс/заголовок слайса /тайл/уровень базовых блоков.
b) В одном примере, когда включена передискретизация опорного изображения (известное также как адаптивное изменение включения), размеры CTU могут быть разными для разных слоев.
1) Например, размеры CTU межкадрового уровня изображения могут быть получены неявным образом в соответствии с коэффициентом масштабирования при понижении/повышении дискретизации.
1. Например, если просигнализированные размеры CTU для базового уровня равны M×N (например, M=128 и N=128), и межуровневое кодированное изображение передискретизируется с коэффициентом S масштабирования по ширине и коэффициентом T масштабирования по высоте, которые могут быть больше или меньше единицы (например, S=1/4 и T=1/2, что означает, что дискретизация изображения, закодированного на межкадровом уровне, понижается в 4 раза по ширине и в 2 раза по высоте), то размеры CTU в межуровневом кодированном изображении могут быть получены как (M×S)×(N×T) или (M/S)×(N/T).
2) Например, разные размеры CTU могут явно сигнализироваться для нескольких уровней на уровне видеоблока, например, для межкадрового уровня передискретизации изображений/подизображений, размеры CTU могут сигнализироваться на уровне VPS/DPS/SPS/PPS/APS/изображения/подизображения/слайса/заголовка слайса/тайла/базового блока, который отличается от размера CTU базового уровня.
2. Предполагается, что то, разрешено или нет разделение TT или BT, может зависеть от размеров VPDU (таких как ширина и/или высотa). Предположим, что VPDU имеет размер VSize в отсчетах яркости, и блок дерева кодирования имеет размер CtbSizeY в отсчетах яркости.
a) В одном примере VSize=min (M, CtbSizeY). M – целое число, например, 64.
b) В одном примере, разрешено или нет разделение TT или BT, может не зависеть от максимального размера преобразования.
c) В одном примере разделение TT может выключаться тогда, когда ширина или высота блока кодирования в отсчетах яркости больше, чем min (VSize, maxTtSize).
1) В одном примере, когда максимальный размер преобразования равен 32×32, но VSize равен 64×64, разделение TT может выключаться для блока кодирования 128×128/128×64/64×128.
2) В одном примере, когда максимальный размер преобразования равен 32×32, но VSize равен 64×64, разделение TT может быть разрешено для блока кодирования размером 64×64.
d) В одном примере вертикальное разделение BT может выключаться тогда, когда ширина блока кодирования в отсчетах яркости меньше или равна VSize, но его высота в отсчетах яркости больше VSize.
1) В одном примере, в случае максимального размера преобразования 32×32, но размера VPDU, равного 64×64, вертикальное разделение BT может выключаться для блока кодирования размером 64×128.
2) В одном примере, в случае максимального размера преобразования 32×32, но размера VPDU, равного 64×64, вертикальное разделение BT может быть разрешено для блока кодирования размером 32×64/16×64/8×64.
e) В одном примере вертикальное разделение BT может выключаться тогда, когда блок кодирования превышает ширину Picture/Subpicture в отсчетах яркости, но его высота в отсчетах яркости больше, чем VSize.
1) В качестве альтернативы, горизонтальное разделение BT может быть разрешено тогда, когда блок кодирования превышает ширину изображения/подизображения в отсчетах яркости.
f) В одном примере горизонтальное разделение BT может выключаться тогда, когда ширина блока кодирования в отсчетах яркости больше VSize, но его высота в отсчетах яркости меньше или равна VSize.
1) В одном примере, в случае максимального размера преобразования 32×32, но размера VPDU, равного 64×64, вертикальное разделение BT может выключаться для блока кодирования размером 128×64.
2) В одном примере, в случае максимального размера преобразования 32×32, но размера VPDU, равного 64×64, горизонтальное разделение BT может быть разрешено для блока кодирования размером 64×8/64×16/64×32.
g) В одном примере горизонтальное разделение BT может выключаться тогда, когда блок кодирования превышает высоту Picture/Subpicture в отсчетах яркости, но его ширина в отсчетах яркости больше, чем VSize.
1) В качестве альтернативы, вертикальное разделение BT может быть разрешено тогда, когда блок кодирования превышает высоту изображения/подизображения в отсчетах яркости.
h) В одном примере, когда разделение TT или BT выключено, флаг разделения TT или BT может не сигнализироваться и неявно принимать значение, равное 0.
1) В качестве альтернативы, когда включено разделение TT и/или BT, флаг разделения TT и/или BT может явно сигнализироваться в битовом потоке.
2) В качестве альтернативы, когда разделение TT или BT выключено, флаг разделения TT или BT может сигнализироваться, но игнорироваться декодером.
3) В качестве альтернативы, когда разделение TT или BT выключено, может сигнализироваться флаг разделения TT или BT, но он должен быть равен нулю в битовом потоке соответствия.
3. Предполагается, что размеры CTU (например, ширина и/или высота) могут быть больше 128.
a) В одном примере размеры просигнализированные размеры CTU могут быть равны 256 или даже больше (например, log2_ctu_size_minus5 может быть равно 3 или больше).
b) В одном примере полученные размеры CTU могут быть равны 256 или даже больше.
1) Например, полученные размеры CTU для передискретизации изображений/подизображений могут быть больше 128.
4. Предполагается, что, когда разрешены большие размеры CTU (например, ширина и/или высота CTU больше 128), то можно сделать вывод, что флаг разделения QT является истинным, и разделение QT может применяться рекурсивно до тех пор, пока размер разделяемого блок кодирования не достигает заданного значения (например, заданное значение может быть установлено равным максимальному размеру блока преобразования, или 128, или 64 или 32).
a) В одном примере рекурсивное разделение QT может проводиться неявно без сигнализации до тех пор, пока размер блока кодирования разделения не достигнет максимального размера блока преобразования.
b) В одном примере, когда CTU 256x256 применяется к сдвоенному дереву, то флаг разделения QT может не сигнализироваться для блока кодирования, превышающего максимальный размер блока преобразования, и разделение QT может принудительно использоваться для блока кодирования до тех пор, пока разделение размер блока кодирования не достигает максимального размера блока преобразования.
5. Предлагается, чтобы флаг разделения TT мог условно сигнализироваться для размеров (ширины и/или высоты) CU/PU больше 128.
a) В одном примере для CU размером 256x256 могут сигнализироваться как горизонтальные, так и вертикальные флаги разделения TT.
b) В одном примере вертикальное разделение TT, но не горизонтальное разделение TT, может сигнализироваться для CU/PU размером 256×128/256×64.
c) В одном примере горизонтальное разделение TT, но не вертикальное разделение TT, может сигнализироваться для CU/PU размером 128x256/64x256.
d) В одном примере, когда флаг разделения TT запрещен для размеров CU, превышающих 128, он может не сигнализироваться и неявно выводиться как ноль.
1) В одном примере горизонтальное разделение TT может быть запрещено для CU/PU размером 256×128/256×64.
2) В одном примере вертикальное разделение TT может быть запрещено для CU/PU размером 128x256/64x256.
6. Предлагается, чтобы флаг разделения BT мог условно сигнализироваться для размеров (ширины и/или высоты) CTU, превышающих 128.
a) В одном примере флаги горизонтального и вертикального разделения BT могут сигнализироваться для CU/PU размером 256×256/256×128/128×256.
b) В одном примере флаг горизонтального разделения BT может сигнализироваться для CU/PU размером 64x256.
c) В одном примере флаг вертикального разделения BT может сигнализироваться для CU/PU размером 256×64.
d) В одном примере, когда флаг разделения BT запрещен для размера CU, превышающего 128, он может не сигнализироваться и неявно получаться как ноль.
1) В одном примере вертикальное разделение BT может выключаться для CU/PU размером Kx256 (например, K равно или меньше 64 в отсчетах яркости), и флаг вертикального разделения BT может не сигнализироваться и выводиться как ноль.
1. Например, в приведенном выше случае вертикальное разделение BT может быть запрещено для CU/PU размером 64x256.
2. Например, в приведенном выше случае вертикальное разделение BT может быть запрещено для того, чтобы избежать CU/PU размером 32x256 на границах изображения/подизображения.
2) В одном примере вертикальное разделение BT может быть запрещено тогда, когда блок кодирования превышает ширину изображения/подизображения в отсчетах яркости, но его высота в отсчетах яркости больше M (например, M=64 в отсчетах яркости).
3) В одном примере горизонтальное разделение BT может быть запрещено для блока кодирования 256xK (например, K равно или меньше 64 в отсчетах яркости), и флаг горизонтального разделения BT может не сигнализироваться и выводиться как ноль.
1. Например, в приведенном выше случае горизонтальное разделение BT может быть запрещено для блока кодирования 256×64.
2. Например, в приведенном выше случае горизонтальное разделение BT может быть запрещено для того, чтобы избежать блока кодирования 256×32 на границах изображения/подкадра.
4) В одном примере горизонтальное разделение BT может быть запрещено тогда, когда блок кодирования превышает высоту изображения/подизображения в отсчетах яркости, но его ширина в отсчетах яркости больше M (например, M=64 в отсчетах яркости).
7. Предполагается, что расчет параметров аффинной модели может зависеть от размеров CTU.
a) В одном примере получение масштабированных векторов движения и/или векторов движения контрольных точек при аффинном предсказании может зависеть от размеров CTU.
8. Предполагается, что буфер внутриблочного копирования (IBC) может зависеть от максимально сконфигурированных/допустимых размеров CTU.
a) Например, ширина буфера IBC в отсчетах яркости может быть равна NxN, деленному на ширину (или высоту) CTU в отсчетах яркости, где N может быть максимальным сконфигурированным размером CTU в отсчетах яркости, например, N = 1 << (log2_ctu_size_minus5 + 5).
9. Предлагается, чтобы набор определенных инструментальных средств кодирования мог быть выключен для большой CU/PU, где большая CU/PU относится к CU/PU, где либо ширина CU/PU, либо высота CU/PU больше, чем N (например, N=64 или 128).
a) В одном примере вышеупомянутые определенные инструментальные средства кодирования могут быть палитрой, и/или внутриблочным копированием (IBC), и/или внутрикадровым режимом пропуска, и/или режимом предсказания треугольника, и/или режимом CIIP, и/или режим регулярного слияния, и/или получением движения на стороне декодера, и/или двунаправленным оптическим потоком, и/или оптическим потоком на основе уточнения предсказания, и/или аффинным предсказанием, и/или TMVP на основе подблоков и т.д.
1) В качестве альтернативы, инструментальные средства кодирования содержания экрана, такие как режим палитры и/или внутриблочное копирование (IBC), могут применяться к большим CU/PU.
b) В одном примере он может явно использовать синтаксическое ограничение для выключения указанного инструментального средства (средств) кодирования для большой CU/PU.
1) Например, флаг Palette/IBC может явно сигнализироваться для CU/PU, которая не является большой CU/PU.
c) В одном примере он может использовать ограничение битового потока для выключения указанного инструментального средства (средств) кодирования для большой CU/PU.
10. То, допускается или нет разделение TT или BT, может зависеть от размеров блока.
a) В одном примере разделение TT может выключаться тогда, когда ширина или высота блока кодирования в отсчетах яркости больше N (например, N=64).
1) В одном примере, когда максимальный размер преобразования равен 32×32, разделение TT может выключаться для блока кодирования размером 128×128/128×64/64×128.
2) В одном примере, когда максимальный размер преобразования равен 32×32, разделение TT может быть разрешено для блока кодирования размером 64×64.
b) В одном примере вертикальное разделение BT может выключаться тогда, когда ширина блока кодирования в отсчетах яркости меньше или равна N (например, N=64), но его высота в отсчетах яркости больше N (например, N=64).
1) В одном примере, в случае максимального размера преобразования 32×32, вертикальное разделение BT может выключаться для блока кодирования размером 64×128.
2) В одном примере, в случае максимального размера преобразования 32×32, вертикальное разделение BT может быть разрешено для блока кодирования размером 32×64/16×64/8×64.
c) В одном примере вертикальное разделение BT может выключаться тогда, когда блок кодирования превышает ширину изображения/подизображения в отсчетах яркости, но его высота в отсчетах яркости больше 64.
1) В качестве альтернативы, горизонтальное разделение BT может быть разрешено тогда, когда блок кодирования превышает ширину изображения/подизображения в отсчетах яркости.
d) В одном примере горизонтальное разделение BT может выключаться тогда, когда ширина блока кодирования в отсчетах яркости больше N (например, N=64), но его высота в отсчетах яркости меньше или равна N (например, N=64).
1) В одном примере, в случае максимального размера преобразования 32×32, вертикальное разделение BT может выключаться для блока кодирования размером 128×64.
2) В одном примере, в случае максимального размера преобразования 32×32, горизонтальное разделение BT может быть разрешено для блока кодирования размером 64×8/64×16/64×32.
e) В одном примере горизонтальное разделение BT может выключаться тогда, когда блок кодирования превышает высоту изображения/подизображения в отсчетах яркости, но его ширина в отсчетах яркости больше N (например, N=64).
1) В качестве альтернативы, вертикальное разделение BT может быть разрешено тогда, когда блок кодирования превышает высоту изображения/подизображения в отсчетах яркости.
Связанный с этим конфигурируемый максимальный размер преобразования
11. Предполагается, что максимальный размер TU может зависеть от размеров (ширины и/или высоты) CTU, или размеры CTU могут зависеть от максимального размера TU.
a) В одном примере может использоваться ограничение битового потока, согласно которому максимальный размер TU должен быть меньше или равен размерам CTU.
b) В одном примере сигнализация максимального размера TU может зависеть от размеров CTU.
1) Например, когда размеры CTU меньше N (например, N=64), максимальный размер TU, о котором идет речь, должен быть меньше N.
2) Например, когда размеры CTU меньше N (например, N=64), указатель того, равен ли максимальный размер преобразования яркости 64 или 32 (например, sps_max_luma_transform_size_64_flag), может не сигнализироваться, и максимальный размер преобразования яркости может быть получен как 32 неявным образом.
12. Определенное инструментальное средство кодирования может быть включено для блока, ширина и/или высота которого превышает размер блока преобразования.
a) В одном примере определенным инструментальным средством кодирования может быть внутрикадровое предсказание подразделов (ISP), MIP, SBT или другие инструментальные средства кодирования, которые могут разделять один CU на несколько TU или один CB на несколько TB.
b) В одном примере определенное инструментальное средство кодирования может быть инструментальным средством кодирования, которое не применяет преобразование (или применяет только преобразование идентичности), например, режим пропуска преобразования, BDPCM/DPCM/PCM.
c) Определенным инструментальным средством кодирования может быть внутриблочное копирование (IBC), режим палитры (PLT).
d) Определенным инструментальным средством кодирования может быть объединенное межкадровое-внутрикадровое предсказание (CIIP).
13. То, включено или нет определенное инструментальное средство кодирования, может зависеть от размеров блока кодирования.
a) В одном примере определенным инструментальным средством кодирования может быть внутрикадровое предсказание подразделов (ISP), матричное внутрикадровое предсказание (MIP), преобразование подблоков (SBT), внутриблочное копирование (IBC), режим палитры (PLT) и т.д.
b) В одном примере определенное инструментальное средство кодирования (такое как ISP, MIP) может быть включено тогда, когда ширина и/или высота блока кодирования в отсчетах яркости меньше или равна N (например, N=64).
1) В качестве альтернативы, определенное инструментальное средство кодирования может быть выключено тогда, когда ширина и/или высота блока кодирования в отсчетах яркости больше N (например, N=64).
c) То включено или нет определенное инструментальное средство кодирования (например, ISP, MIP), может зависеть от соотношения между размером блока кодирования и размером VPDU.
1) В одном примере определенное инструментальное средство кодирования может быть включено тогда, когда ширина и/или высота блока кодирования в отсчетах яркости меньше или равна размеру VPDU (например, 32 или 64).
1. В качестве альтернативы, определенное инструментальное средство кодирования может быть выключено, когда ширина и/или высота блока кодирования в отсчетах яркости больше, чем размер VPDU (например, 32 или 64).
d) То включено или нет внутрикадровое предсказание подразделов (ISP), и/или какой(ие) тип(ы) разделов (например, направление разделения) включен(ы), может зависеть от соотношения между размерами подраздела и максимальным блоком преобразования размер.
1) В одном примере, если ширина и/или высота подраздела не превышает максимальный размер блока преобразования по меньшей мере для одного типа раздела, может быть включено ISP.
1. Альтернативно и дополнительно, в противном случае, IPS может быть выключено.
2) В одном примере, если ширина и/или высота подраздела не превышает максимальный размер блока преобразования для всех включенных типов разделов, может быть включено ISP.
1. В противном случае, альтернативно и дополнительно IPS может быть выключено.
3) В одном примере сигнализация типа раздела (например, intra_subpartitions_split_flag) может зависеть от соотношения между шириной и/или высотой соответствующего подраздела на основе типа раздела и максимального размера блока преобразования.
1. В одном примере, если только один тип раздела удовлетворяет условию, что ширина и/или высота соответствующего подраздела на основе типа раздела не превышает максимальный размер блока преобразования, тип раздела может не сигнализироваться и не выводиться.
e) То, включено или нет определенное инструментальное средство кодирования (такое как IBC, PLT), может зависеть от соотношения между размером блока кодирования и максимальным размером преобразования (например, 32 или 64).
1) В одном примере, то, включено или нет определенное инструментальное средство кодирования (такое как IBC, PLT), может НЕ зависеть от соотношения между размером блока кодирования и фиксированным числом 64.
2) В одном примере определенное инструментальное средство кодирования (такое как IBC, PLT) может быть включено тогда, когда ширина и высота блока кодирования в отсчетах яркости НЕ больше максимального размера преобразования.
1. В одном примере определенное инструментальное средство кодирования (такое как IBC, PLT) может быть включено тогда, когда ширина и/или высота блока в отсчетах яркости больше, чем максимальный размер преобразования.
2. В одном примере, когда максимальный размер преобразования равен 32, определенное инструментальное средство кодирования (такое как IBC, PLT) может быть включено тогда, когда ширина и/или высота блока в отсчетах яркости равна 64.
f) Если определенное инструментальное средство кодирования выключено, связанные с ним синтаксические элементы (такие как intra_subpartitions_mode_flag и intra_subpartitions_split_flag для ISP, intra_mip_flag и intra_mip_mode для MIP, pred_mode_ibc_flag для IBC, pred_mode_plt_flag для PLT) могут не сигнализироваться и принимать значения, равные 0.
g) Если определенное инструментальное средство кодирования выключено, соответствующие синтаксические элементы (такие как intra_subpartitions_mode_flag и intra_subpartitions_split_flag для ISP, intra_mip_flag и intra_mip_mode для MIP, pred_mode_ibc_flag для IBC, pred_mode_plt_flag для PLT) могут сигнализироваться, но должны иметь значение 0 в битовом потоке соответствия.
14. Неявное разделение QT может зависеть от размера VPDU и/или максимального размера преобразования.
a) В одном примере неявное разделение QT НЕ может быть обусловлено соотношением между размером блока кодирования и фиксированным числом 64.
b) В одном примере блок кодирования может быть неявно разделен на четыре раздела, и каждый подраздел может быть рекурсивно неявно разделен до тех пор, пока и ширина, и высота подраздела не достигнут размера VPDU.
c) В одном примере блок кодирования может быть неявно разделен на четыре части, и каждый подраздел может быть рекурсивно неявно разделен до тех пор, пока ширина и высота подраздела не достигнут максимального размера преобразования.
15. Максимальная ширина и/или высота блока, используемые для преобразования подблока (SBT), могут зависеть от максимального размера преобразования.
a) В одном примере максимальный размер SBT может быть установлен равным максимальному размеру преобразования.
b) В одном примере синтаксический элемент (такой как sps_sbt_max_size_64_flag), связанный с максимальным размером SBT, может не сигнализироваться.
1) Например, sps_sbt_max_size_64_flag не сигнализируется и считается равным 0, когда максимальный размер преобразования меньше 64.
2) Например, sps_sbt_max_size_64_flag сигнализируется, когда максимальный размер преобразования меньше 64, но он должен быть равен 0 в битовом потоке соответствия.
c) В одном примере сигнализация связанного синтаксического элемента (такого как cu_sbt_flag) может зависеть от максимального размера преобразования.
g) В одном примере сигнализация связанного синтаксического элемента (такого как cu_sbt_flag) может быть независимой от максимального размера SBT.
16. Максимальный размер блока, используемый для пропуска преобразования и/или внутрикадровый BDPCM, может зависеть от максимального размера преобразования.
a) В одном примере максимальный размер пропуска преобразования может быть установлен равным максимальному размеру преобразования.
b) В одном примере синтаксический элемент (такой как log2_transform_skip_max_size_minus2), связанный с максимальным размером пропуска преобразования, может не сигнализироваться.
17. Максимальный размер блока, используемый для внутрикадрового BDPCM, может сигнализироваться независимым образом.
a) В одном примере максимальный размер блока, используемый для внутрикадрового BDPCM, может не зависеть от максимального размера блока, используемого для пропуска преобразования.
b) В одном примере флаг уровня SPS/VPS/PPS/Slice/VPDU/CTU/CU может сигнализироваться в битовом потоке для указания максимального размера блока, используемого для внутрикадрового BDPCM.
18. То, включить или выключить объединенное межкадрового-внутрикадрового предсказания (CIIP) для блока, может зависеть от соотношения между шириной и/или высотой блока и максимальным размером преобразования.
a) В одном примере CIIP может выключаться для блока, если ширина и/или высота блока больше максимального размера преобразования.
b) В одном примере синтаксический элемент для указания CIIP (такой как ciip_flag) может не сигнализироваться, если CIIP выключено.
19. Когда как ширина, так и высота CU, закодированного с помощью CIIP, меньше 128, не разрешается разделять CU на несколько подразделов, причем внутрикадровое предсказание для первого подраздела может зависеть от восстановления второго подраздела, над которым внутрикадровое предсказание выполняется раньше, чем над первым подразделом.
20. Допускается разделение CU, закодированного с помощью CIIP, на несколько подразделов, причем внутрикадровое предсказание для первого подраздела может зависеть от восстановления второго подраздела, над которым внутрикадровое предсказание выполняется раньше, чем над первым подразделом.
Связанное с этим кодированием без потерь
21. Максимальный размер для блоков, кодированных с пропуском преобразования (то есть преобразование не применяется/применяется только преобразование идентичности), получается из максимального размера для применяемых блоков преобразования (например, MaxTbSizeY).
a) В одном примере максимальный размер для блоков, кодированных с пропуском преобразования, получается из MaxTbSizeY.
b) В одном примере пропускается сигнализация максимального размера для блоков, кодированных с пропуском преобразования.
22. Когда кодирование без потерь включено, масштабирование цветности сопоставления яркости (LMCS) может выключаться для текущего видеообъекта на уровне последовательности/изображения/подизображения/слайса/группы тайлов/тайла/базового блока/строки CTU/CTU/CU/PU/TU/подблока.
a) В одном примере флаг включения LMCS (такой как sps_lmcs_enabled_flag, slice_lmcs_enabled_flag, slice_chroma_residual_scale_flag, lmcs_data и т.д.) может сигнализировать об обработке флага обхода квантования преобразования (такого как sps_transquant_bypass_flag, pps_transquant_bypass_flag, cu_transquant_bypass_flag) на уровне последовательности/изображения/подизображения/слайса/группы тайлов/тайла/базового блока/строки CTU/CTU/CU/PU/TU/подблока.
1) В одном примере, если флаг обхода квантования преобразования равен 1, флаг включения LMCS может не сигнализироваться и принимать значение, равное 0.
1. В одном примере, если флаг обхода квантования преобразования на уровне последовательности (такой как sps_transquant_bypass_flag) равен 1, последовательность и флаг включения ниже уровня LMCS (такой как, sps_lmcs_enabled_flag, slice_lmcs_enabled_flag, slice_chroma_residual_scale_flag) может не сигнализироваться и принимать значение, равное 0.
2. В одном примере, если уровень последовательности TransquantBypassEnabledFlag равен 1, уровень lmcs_data APS может не сигнализироваться.
3. В одном примере, если флаг обхода квантования преобразования уровня PPS (такой как pps_transquant_bypass_flag) равен 1, флаг включения LMCS уровня слайса (такой как slice_lmcs_enabled_flag, slice_lmcs_aps_id, slice_chroma_residual_scale_flag) может не сигнализироваться и принимать значение, равное 0.
b) В одном примере может применяться ограничение битового потока, согласно которому флаг включения LMCS должен быть равен 0 тогда, когда флаг обхода квантования преобразования равен 1.
5. Варианты осуществления
Вновь добавленные части заключены в двойные скобки жирным шрифтом, например, {{a}} означает, что было добавлено "a", тогда как удаленные части из рабочего проекта VVC заключены в двойные скобки жирным шрифтом, например, [[b]] означает, что "b" было удалено. Модификации основаны на последнем рабочем проекте VVC (JVET-O2001-v11).
5.1. Примерный вариант 1 осуществления
Приведенный ниже вариант осуществления направлен на способ согласно изобретению, в котором максимальный размер TU зависит от размера CTU.
5.4 Вариант 4 осуществления, касающийся разрешения разделения BT и TT в зависимости от размера блока
Как показано на фиг. 1, разделение TT может быть разрешено для блока кодирования с размером блока 64×64, и разделение BT может быть разрешено для размеров блока 32×64, 16×64, 8×64, 64×32, 64×16, 64×8, независимо от того, максимальный размер преобразования равен 32×32 или 64×64.
На фиг. 1 показан пример разрешения разделения BT и TT в зависимости от размера блока.
5.5. Вариант 5 осуществления, касающийся применения ISP в зависимости от размера VPDU или с размером 64×64
Модификации основаны на последнем рабочем проекте VVC (JVET-O2001-v14).
Синтаксис единицы кодирования
Синтаксис дерева преобразования
На фиг. 2 показана блок-схема устройства 200 обработки видео. Устройство 200 может использоваться для реализации одного или нескольких способов, описанных в данном документе. Устройство 200 может быть воплощено в смартфоне, планшете, компьютере, приемнике Интернета вещей (IoT) и т.д. Устройство 200 может включать в себя один или несколько процессоров 202, одно или несколько запоминающих устройств 204 и аппаратные средства 206 для обработки видео. Процессор (процессоры) 202 может быть выполнен с возможностью реализации одного или нескольких способов, описанных в данном документе. Память (запоминающие устройства) 204 может использоваться для хранения данных и кода, используемых для реализации способов и технических решений, описанных в данном документе. Аппаратные средства 206 для обработки видео могут использоваться для реализации, в аппаратных схемах, некоторых технических решений, описанных в данном документе. В некоторых вариантах осуществления аппаратные средства 206 для обработки видео может по меньшей мере частично находиться в процессорах 202 (например, графическом сопроцессоре).
В некоторых вариантах осуществления способы кодирования видео могут быть реализованы с использованием устройства, которое реализовано на аппаратной платформе, как описано со ссылкой на фиг. 2.
Некоторые варианты осуществления раскрытой технологии включают в себя принятие решения или определение относительно включения инструментального средства кодирования или режима обработки видео. В одном примере, когда инструментальное средство кодирования или режим обработки видео включены, кодер будет использовать или реализовывать инструментальное средство кодирования или режим, используемый при обработке блока видео, но не обязательно может изменять результирующий битовой поток на основе использования инструментального средства кодирования или режима. То есть преобразование из блока видео в представление битового потока видео будет использовать инструментальное средство кодирования или режим обработки видео, когда оно включено на основе решения или определения. В другом примере, когда инструментальное средство кодирования или режим обработки видео включены, декодер будет обрабатывать битовой поток, зная, что битовой поток был изменен на основе инструментального средства кодирования или режима обработки видео. То есть преобразование из представления битового потока видео в блок видео будет выполняться с использованием инструментального средства кодирования обработки видео или режима, которые были включены на основе решения или определения.
Некоторые варианты осуществления раскрытой технологии включают в себя принятие решения или определения относительно отключения инструментального средства кодирования или режима обработки видео. В одном примере, когда инструментальное средство кодирования или режим обработки видео выключены, кодер не будет использовать инструментальное средство кодирования или режим при преобразовании блока видео в представление битового потока видео. В другом примере, когда инструментальное средство кодирования или режим обработки видео выключены, декодер будет обрабатывать битовой поток, зная, что битовой поток не был модифицирован с использованием инструментального средства кодирования или режима обработки видео, которые были включены на основе решения или определения.
На фиг. 3 показана блок-схема, иллюстрирующая примерную систему 300 обработки видео, в которой могут быть реализованы различные технологии, раскрытые в данном документе. Различные реализации могут включать в себя некоторые или все компоненты системы 300. Система 300 может включать в себя вход 302 для приема видеосодержания. Видеосодержание может приниматься в необработанном или несжатом формате, например, с 8- или 10-битовыми многокомпонентными пиксельными значениями, или может быть в сжатом или кодированном формате. Вход 302 может представлять собой сетевой интерфейс, интерфейс периферийной шины или интерфейс запоминающего устройства. Примеры сетевого интерфейса включают в себя проводные интерфейсы, такие как Ethernet, пассивная оптическая сеть (PON) и т.д., и беспроводные интерфейсы, такие как Wi-Fi или интерфейсы сотовой связи.
Система 300 может включать в себя компонент 304 кодирования, который может реализовывать различные способы кодирования или шифрования, описанные в данном документе. Компонент 304 кодирования может уменьшать среднюю скорость битовую скорость видео от входа 302 до выхода компонента 304 кодирования для создания кодированного представления видео. Таким образом, технологии кодирования иногда называют технологиями сжатия видео или транскодирования видео. Выходной сигнал компонента 304 кодирования может быть либо сохранен, либо передан через коммуникационное соединение, как представлено компонентом 306. Сохраненное или переданное (или кодированное) представление битового потока видео, принятого на входе 302, может использоваться компонентом 308 для выработки пиксельных значений или отображаемого видео, которое отправляется в интерфейс 310 дисплея. Процесс выработки видео для просмотра пользователем из представления битового потока иногда называется распаковкой видео. Более того, хотя некоторые операции обработки видео называются операциями или инструментами "кодирования", следует принимать во внимание, что инструменты или операции кодирования используются в кодере, и соответствующие инструменты или операции декодирования, которые выполняют обратные действия над результатами кодирования, будут выполняться с помощью декодера.
Примеры интерфейса периферийной шины или интерфейса дисплея могут включать в себя универсальную последовательную шину (USB) или мультимедийный интерфейс высокого разрешения (HDMI) или интерфейс Displayport и т.д. Примеры интерфейсов запоминающих устройств включают в себя SATA (последовательное соединение по передовой технологии), PCI, интерфейс IDE и т.п. Способы, описанные в данном документе, могут быть воплощены в различных электронных устройствах, таких как мобильные телефоны, ноутбуки, смартфоны или другие устройства, которые способны выполнять обработку цифровых данных и/или отображение видео.
На фиг. 4 показана блок-схема последовательности операций способа 400 обработки видео. Способ 400 включает в себя, на этапе 410, использование размера блока данных виртуального конвейера (VPDU), используемого для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео для выполнения определения того, включено ли разделение на основе троичного дерева (TT) или двоичного (BT) дерева видеоблока из одного или нескольких видеоблоков, при этом размер в отсчетах яркости равен VSize.
Способ 400 включает в себя, на этапе 420, выполнение преобразования на основе определения.
На фиг. 5 показана блок-схема последовательности операций способа 500 обработки видео. Способ 500 включает в себя, на этапе 510, использование для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, размер видеоблока из одного или нескольких видеоблоков. для выполнения определения того, включено ли разделение на основе троичного дерева (TT) или двоичного (BT) дерева видеоблока.
Способ 500 включает в себя, на этапе 520, выполнение преобразования на основе определения.
На фиг. 6 показана блок-схема последовательности операций способа 600 обработки видео. Способ 600 включает в себя, на этапе 610, использование высоты или ширины видеоблока для выполнения определения того, включено ли инструментальное средство кодирования для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео, причем определение основывается на сравнении между высотой или шириной со значением N, и N – положительное целое число.
Способ 600 включает в себя, на этапе 620, выполнение преобразования на основе определения.
На фиг. 7 показана блок-схема способа 700 обработки видео. Способ 700 включает в себя, на этапе 710, использование сравнения между высотой или шириной видеоблока и размером блока преобразования для выполнения определения того, включено ли инструментальное средство кодирования для преобразования между видео, содержащим одно или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок и представление битового потока видео.
Способ 700 включает в себя, на этапе 720, выполнение преобразования на основе определения.
На фиг. 8 показана блок-схема последовательности операций способа 800 обработки видео. Способ 800 включает в себя, на этапе 810, использование высоты или ширины видеоблока для выполнения определения того, включено ли инструментальное средство кодирования для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео.
Способ 800 включает в себя, на этапе 820, выполнение преобразования на основе определения.
На фиг. 9 показана блок-схема последовательности операций способа 900 обработки видео. Способ 900 включает в себя, на этапе 910, использование сравнения между размером подраздела видеоблока и максимальным размером преобразования для выполнения (a) определения того, включен ли режим внутрикадрового предсказания подраздела (ISP) для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок, и (b) выбора одного или нескольких допустимых типов разделов для преобразования.
Способ 900 включает в себя, на этапе 920, выполнение преобразования на основе определения и выбора.
На фиг. 10 показана блок-схема последовательности операций способа 1000 обработки видео. Способ 1000 включает в себя, на этапе 1010, выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, причем преобразование содержит инструментальное средство кодирования, которое было выключено, и синтаксические элементы, которые относятся к инструментальному средству кодирования, исключены из представления битового потока и, предположительно, имеют заданное значение, указывающее то, что инструментальное средство кодирования выключено.
На фиг. 11 показана блок-схема последовательности операций способа 1100 обработки видео. Способ 1100 включает в себя, на этапе 1110, выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, причем преобразование содержит инструментальное средство кодирования, которое было выключено, и представление битового потока содержит синтаксические элементы, которые относятся к инструментальному средству кодирования и, предположительно, имеют заданное значение, основанное на том, что инструментальное средство кодирования выключено.
На фиг. 12 показана блок-схема последовательности операций способа 1200 обработки видео. Способ 1200 включает в себя, на этапе 1210, использование размера блока данных виртуального конвейера (VPDU) и/или максимального размера преобразования, используемого для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео для выполнения определения того, разрешено ли неявное (QT) разделение видеоблока из одного или нескольких видеоблоков.
Способ 1200 включает в себя, на этапе 1220, выполнение преобразования на основе определения.
На фиг. 13 показана блок-схема последовательности операций способа 1300 обработки видео. Способ 1300 включает в себя, на этапе 1310, выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, причем преобразование содержит преобразование подблоков (SBT), и максимальная высота или максимальная ширина SBT основана на максимальном размере преобразования.
На фиг. 14 показана блок-схема последовательности операций способа 1400 обработки видео. Способ 1400 включает в себя, на этапе 1410, выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, причем преобразование содержит режим пропуска преобразования и/или режим внутриблочной дифференциальной импульсно-кодовой модуляции (BDPCM), и максимальный размер блока, используемый для режима пропуска преобразования, основан на максимальном размере преобразования.
На фиг. 15 показана блок-схема последовательности операций способа 1500 обработки видео. Способ 1500 включает в себя, на этапе 1510, использование сравнения между высотой или шириной видеоблока и максимальным размером преобразования для определения того, включен ли режим объединенного межкадрового-внутрикадрового предсказания (CIIP) для преобразования между видео, содержащим одну или несколько областей видео, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео.
Способ 1500 включает в себя, на этапе 1520, выполнение преобразования на основе определения.
На фиг. 16 показана блок-схема последовательности операций способа 1600 обработки видео. Способ 1600 включает в себя, на этапе 1610, определение, для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, относительно разделения видеоблока из одного или нескольких видеоблоков, закодированных с помощью объединенного межкадрового-внутрикадрового предсказания (CIIP).
Способ 1600 включает в себя, на этапе 1620, выполнение преобразования на основе определения.
На фиг. 17 показана блок-схема последовательности операций способа 1700 обработки видео. Способ 1700 включает в себя, на этапе 1710, выполнение преобразования между видео, содержащим видеообласть, содержащую несколько видеоблоков, и представлением битового потока видео в соответствии с правилом, которое точно определяет максимальный размер блока нескольких видеоблоков в видеообласти, которые кодируются в представлении битового потока с использованием кодирования с преобразованием, определяет максимальный размер блока из множества блоков видео в видеообласти, которые кодируются в представлении битового потока без использования кодирования с преобразованием.
На фиг. 18 показана блок-схема последовательности операций способа 1800 обработки видео. Способ 1800 включает в себя, на этапе 1810, выполнение преобразования между видео, содержащим видеообласть, содержащую несколько видеоблоков, и представлением битового потока видео в соответствии с правилом, которое точно определяет, что процесс сопоставления яркости с масштабированием цветности (LMCS) выключается для видеообласти тогда, когда кодирование без потерь включено для видеообласти, и видеообласть является последовательностью, изображением, подизображением, слайсом, группой тайлов, тайлом, базовым блоком, строкой единицы дерева кодирования (CTU), CTU, единицей кодирования (CU), единицей предсказания (PU), единицей преобразования (TU) или подблоком.
В способах 400-1800, в режиме ISP, видеоблок из одного или нескольких видеоблоков разделяется на множество подразделов перед применением внутрикадрового предсказания и преобразования.
В способах 400-1800 SBT содержит одно или несколько преобразований, отдельно применяемых к одному или нескольким разделам видеоблока из одного или нескольких видеоблоков.
В способах 400-1800 режим пропуска преобразования содержит процессы пропуска преобразования и обратного преобразования для соответствующего инструментального средства кодирования, и в режиме BDPCM остаток внутрикадрового предсказания текущего видеоблока кодируется с предсказанием с использованием дифференциальной импульсно-кодовой модуляции.
В способах 400-1800 в режиме CIIP окончательное предсказание видеоблока основано на взвешенной сумме межкадрового предсказания видеоблока и внутрикадрового предсказания видеоблока.
В способах 400-1800 процесс LMCS содержит отсчеты яркости из видеообласти с восстановленной формой между первым доменом и вторым доменом, и остаток цветности, масштабируемый в зависимости от яркости.
В некоторых вариантах осуществления могут быть реализованы следующие технические решения:
A1. Способ обработки видео, содержащий использование размера блока данных виртуального конвейера (VPDU), используемого для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео для выполнения определения того, включено ли разделение видеоблока из одного или нескольких видеоблоков троичным (TT) или двоичным деревом (BT); и выполнение, на основе определения, преобразования, в котором размер равен VSize в отсчетах яркости, где размеры видеоблока равны CtbSizeY в отсчетах яркости, где VSize=min (M, CtbSizeY), и где M – положительное целое число.
A2. Способ согласно решению A1, где M=64.
A3. Способ согласно решению A1 или A2, в котором размер VPDU равен высоте или ширине.
A4. Способ согласно решению A1, в котором определение не зависит от максимального размера преобразования.
A5. Способ согласно любому из решений А1-А4, в котором VSize представляет собой заданное значение.
A6. Способ согласно решению A5, в котором VSize=64.
A7. Способ согласно решению A1, в котором определение разделения TT основано на ширине или высоте видеоблока в отсчетах яркости, превышающих min (VSize, maxTtSize), и где maxTtSize является максимальным размером преобразования.
A8. Способ согласно решению A1, в котором определение разделения TT основано на ширине или высоте видеоблока в отсчетах яркости, превышающих VSize.
A9. Способ согласно решению A7, в котором maxTtSize равен 32×32, и VSize равен 64×64, и где разделение TT выключается тогда, когда размер видеоблока равен 128×128, 128×64 или 64×128.
A10. Способ согласно решению A7, в котором maxTtSize равен 32×32, и VSize равен 64×64, и где разделение TT включается тогда, когда размер видеоблока равен 64×64.
A11. Способ согласно решению A1, в котором определение вертикального разделения BT основано на том, что ширина видеоблока в отсчетах яркости меньше или равна VSize, и высота видеоблока в отсчетах яркости больше VSize.
A12. Способ согласно решению A11, в котором максимальный размер преобразования равен 32×32, и VSize равен 64×64, и где вертикальное разделение BT выключается тогда, когда размер видеоблока равен 64×128.
A13. Способ согласно решению A11, в котором максимальный размер преобразования равен 32×32, и VSize равен 64×64, и где вертикальное разделение BT включается тогда, когда размер видеоблока равен 32×64, 16×64 или 8×64.
A14. Способ согласно решению A1, в котором вертикальное разделение BT выключается тогда, когда (1) сумма ширины видеоблока в отсчетах яркости и горизонтальной координаты левого верхнего отсчета яркости видеоблока больше, чем ширина изображение или ширина подкадра, содержащего видеоблок в отсчетах яркости, и (2) высота видеоблока в отсчетах яркости больше, чем VSize.
A15. Способ согласно решению A1, в котором горизонтальное разделение BT включается тогда, когда сумма ширины видеоблока в отсчетах яркости и горизонтальной координаты левого верхнего отсчета яркости видеоблока больше, чем ширина изображения или ширина подизображения, содержащей видеоблок в отсчетах яркости.
A16. Способ согласно решению A1, в котором определение горизонтального разделения BT основано на ширине видеоблока в отсчетах яркости, превышающей VSize, и высоте видеоблока в отсчетах яркости, меньшей или равной VSize.
A17. Способ согласно решению A16, в котором максимальный размер преобразования равен 32×32, и VSize равен 64×64, и где горизонтальное разделение BT выключается тогда, когда размер видеоблока равен 128×64.
A18. Способ согласно решению A16, в котором максимальный размер преобразования равен 32×32, и VSize равен 64×64, и где горизонтальное разделение BT включается тогда, когда размер видеоблока равен 64×8, 64×16 или 64×32.
A19. Способ согласно решению A1, в котором горизонтальное разделение BT выключается тогда, когда (1) сумма высоты видеоблока в отсчетах яркости и вертикальной координаты левого верхнего отсчета яркости видеоблока больше, чем высота изображения или высота подкадра, содержащего видеоблок в отсчетах яркости, и (2) ширина видеоблока в отсчетах яркости больше, чем VSize.
A20. Способ согласно решению A1, в котором вертикальное разделение BT включается тогда, когда сумма высоты видеоблока в отсчетах яркости и вертикальной координаты левого верхнего отсчета яркости видеоблока больше, чем высота изображения или высота подизображения, содержащего видеоблок в отсчетах яркости.
A21. Способ согласно решению A1, в котором разделение TT или BT выключено, и указатель разделения TT или BT исключен из представления битового потока, и где указание получается неявным образом как заданное значение, которое указывает, что разделение TT или BT выключено.
A22. Способ согласно решению A21, в котором заданное значение равно нулю.
A23. Способ согласно решению A1, в котором разделение TT или BT включено, и указатель разделения TT или BT сигнализируется в представлении битового потока.
A24. Способ согласно решению A1, в котором разделение TT или BT выключено, в котором указатель разделения TT или BT сигнализируется в представлении битового потока, и где указатель игнорируется декодером.
A25. Способ согласно решению A1, в котором разделение TT или BT выключено, в котором указатель разделения TT или BT сигнализируется в представлении битового потока, и где указатель равен нулю на основании выключенного разделения TT или BT.
A26. Способ обработки видео, содержащий использование для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, размер видеоблока из одного или нескольких видеоблоков для выполнения. определение того, включено ли разделение видеоблока троичным деревом (TT) или двоичным деревом (BT); и выполнение преобразования на основе определения.
A27. Способ согласно решению A26, в котором определение разделения TT или BT основано на высоте или ширине видеоблока в отсчетах яркости, превышающих N, и где N – положительное целое число.
A28. Способ решения А27, в котором N=64.
A29. Способ согласно решению A27 или 28, в котором максимальный размер преобразования равен 32×32, и где разделение TT выключается тогда, когда размер видеоблока равен 128×128, 128×64 или 64×128.
A30. Способ согласно решению A27 или 28, в котором максимальный размер преобразования равен 32×32, и где разделение TT включается тогда, когда размер видеоблока равен 64×64.
A31. Способ согласно решению A26, в котором определение вертикального разделения BT основано на ширине видеоблока в отсчетах яркости, меньшей или равной N, и высоте видеоблока в отсчетах яркости, превышающей N, и где N - целое положительное число.
A32. Способ согласно решению А31, в котором N=64.
A33. Способ согласно решению A31 или 32, в котором максимальный размер преобразования равен 32×32, и где вертикальное разделение BT выключается тогда, когда размер видеоблока равен 64×128.
A34. Способ согласно решению A31 или 32, в котором максимальный размер преобразования равен 32×32, и где вертикальное разделение BT включается тогда, когда размер видеоблока равен 32×64, 16×64 или 8×64.
A35. Способ согласно решению A26, в котором вертикальное разделение BT выключается тогда, когда (1) сумма ширины видеоблока в отсчетах яркости и горизонтальной координаты левого верхнего отсчета яркости видеоблока больше, чем ширина изображения или ширина подизображения, содержащего видеоблок в отсчетах яркости, и (2) высота видеоблока в отсчетах яркости больше 64.
A36. Способ согласно решению A26, в котором горизонтальное разделение BT включается тогда, когда сумма ширины видеоблока в отсчетах яркости и горизонтальной координаты левого верхнего отсчета яркости видеоблока больше, чем ширина изображения или ширина подизображения, содержащей видеоблок в отсчетах яркости.
A37. Способ согласно решению A26, в котором определение горизонтального разделения BT основано на ширине видеоблока в отсчетах яркости, превышающей N, и высоте видеоблока в отсчетах яркости, меньшей или равной N, и где N – целое число.
A38. Способ решения А37, в котором N=64.
A39. Способ согласно решению A37 или 38, в котором максимальный размер преобразования равен 32×32, и где горизонтальное разделение BT выключается тогда, когда размер видеоблока равен 128×64.
A40. Способ согласно решению A37 или 38, в котором максимальный размер преобразования равен 32×32, и где горизонтальное разделение BT включается тогда, когда размер видеоблока равен 64×8, 64×16 или 64×32.
A41. Способ согласно решению A26, в котором горизонтальное разделение BT выключается тогда, когда (1) сумма высоты видеоблока в отсчетах яркости и вертикальной координаты отсчета яркости видеоблока больше, чем высота изображения, или высота подкадра, содержащего видеоблок в отсчетах яркости, и (2) ширина видеоблока в отсчетах яркости больше N, и где N – положительное целое число.
A42. Способ согласно решению A26, в котором вертикальное разделение BT включается тогда, когда сумма высоты видеоблока в отсчетах яркости и вертикальной координаты левого верхнего отсчета яркости видеоблока больше, чем высота изображения или высота подкадра, содержащего видеоблок в отсчетах яркости.
A43. Способ согласно любому из решений A1-A42, в котором видеоблок соответствует единице дерева кодирования (CTU), представляющей логический раздел, используемый для кодирования видео в представление битового потока.
A44. Способ согласно любому из решений A1-A43, в котором выполнение преобразования содержит выработку представления битового потока из видеообласти.
A45. Способ согласно любому из решений A1-A43, в котором выполнение преобразования содержит выработку видеообласти из представления битового потока.
A46. Устройство, действующее в видеосистеме, содержащее процессор и невременную память с хранящимися на ней инструкциями, причем инструкции после исполнения процессором предписывают процессору реализовать способ по любому из решений A1-A45.
A47. Компьютерный программный продукт, хранящийся на невременном машиночитаемом носителе информации, причем компьютерный программный продукт включает в себя программный код для выполнения способа по любому из решений A1-A45.
В некоторых вариантах осуществления могут быть реализованы следующие технические решения:
B1. Способ обработки видео, содержащий использование высоты или ширины видеоблока для выполнения определения того, включено ли инструментальное средство кодирования для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео; и выполнение на основе определения преобразования, причем определение основано на сравнении высоты или ширины со значением N, где N – положительное целое число.
B2. Способ согласно решению B1, где N=64.
B3. Способ согласно решению B1, где N=128.
B4. Способ согласно любому из решений В1-B3, в котором инструментальное средство кодирования, которое выключено, содержит режимов кодирования палитры, режим внутриблочного копирования (IBC), и/или режим объединенного межкадрового-внутрикадрового предсказания (CIIP).
B5. Способ согласно любому из решений B1-B4, в котором инструментальное средство кодирования дополнительно содержит режим внутрикадрового пропуска, режим предсказания треугольника, режим регулярного слияния, режим получения движения на стороне декодера, режим двунаправленного оптического потока, уточнение предсказания на основе режима оптического потока, режим аффинного предсказания и/или режим предсказания альтернативного временного вектора движения (TMVP) на основе подблоков.
B6. Способ согласно любому из решений B1-B3, в котором инструментальное средство кодирования, которое включено, содержит режим палитры кодирования и/или режим внутриблочного копирования (IBC).
B7. Способ согласно любому из решений B1-B3, в котором представление битового потока содержит явное синтаксическое ограничение для выключения инструментального средства кодирования.
B8. Способ согласно решению B7, в котором явное синтаксическое ограничение содержит флаг режима кодирования палитры и/или флаг режима внутриблочного копирования (IBC).
B9. Способ согласно любому из решений B1-B8, в котором видеоблок содержит единицу кодирования (CU) или единицу предсказания (PU).
B10. Способ обработки видео, содержащий использование сравнения между высотой или шириной видеоблока и размером блока преобразования для выполнения определения того, включено ли инструментальное средство кодирования для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео; и выполнение преобразования на основе определения.
B11. Способ согласно решению B10, в котором инструментальное средство кодирования содержит внутрикадровое предсказание подразделов (ISP), внутрикадровое предсказание на основе матрицы (MIP), преобразование подблоков (SBT) или инструментальное средство кодирования, которое разделяет одну единицу кодирования (CU), ассоциированную с видеообластью, на несколько единиц преобразования (TU) или один блок кодирования, ассоциированный с видеообластью, на несколько блоков преобразования (TB).
B12. Способ согласно решению B10, в котором инструментальное средство кодирования содержит режим пропуска преобразования, внутриблочную дифференциальную импульсно-кодовую модуляцию (BDPCM), DPCM или PCM.
B13. Способ согласно решению B10, в котором инструментальное средство кодирования содержит режим внутриблочного копирования (IBC) или режим палитры (PLT).
B14. Способ согласно решению B10, в котором инструментальное средство кодирования содержит режим объединенного межкадрового-внутрикадрового предсказания (CIIP).
B15. Способ обработки видео, содержащий использование высоты или ширины видеоблока для выполнения определения того, включено ли инструментальное средство кодирования для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео; и выполнение преобразования на основе определения.
B16. Способ согласно решению B15, в котором инструментальное средство кодирования содержит предсказание внутрикадрового подраздела (ISP), преобразование подблока (SBT), внутриблочное копирование (IBC) или режим палитры.
B17. Способ согласно решению B15, в котором инструментальное средство кодирования содержит внутрикадровое предсказание подразделов (ISP), которое включается тогда, когда высота или ширина видеоблока в отсчетах яркости меньше или равна N, и где N – положительное целое число.
B18. Способ согласно решению B15, в котором инструментальное средство кодирования содержит внутрикадровое предсказание подразделов (ISP), которое выключается тогда, когда высота или ширина видеоблока в отсчетах яркости больше N, и где N – положительное целое число.
B19. Способ согласно решению B17 или B18, где N=64.
B20. Способ согласно решению B15, в котором определение основано на сравнении высоты или ширины видеоблока с размером блока данных виртуального конвейера (VPDU).
B21. Способ согласно решению B20, в котором инструментальное средство кодирования включается тогда, когда высота или ширина видеоблока в отсчетах яркости меньше или равна размеру VPDU.
B22. Способ согласно решению B20, в котором инструментальное средство кодирования выключается тогда, когда высота или ширина видеоблока в отсчетах яркости больше, чем размер VPDU.
B23. Способ согласно решению B21 или B22, в котором размер VPDU равен 32 или 64.
B24. Способ обработки видео, содержащий использование сравнения между размером подраздела видеоблока и максимальным размером преобразования для выполнения (a) определения того, включен ли режим внутрикадрового предсказания подраздела (ISP) для преобразования между видео, содержащим одну или несколько видеоблоков, содержащих один или несколько видеоблоков, содержащих видеоблок, и (b) выбора одного или нескольких допустимых типов разделов для преобразования; и выполнение на основе определения и выбора преобразования, причем в режиме ISP видеоблок из одного или нескольких видеоблоков разделяется на множество подразделов перед применением внутрикадрового предсказания и преобразования.
B25. Способ согласно решению B24, в котором режим ISP включается тогда, когда высота или ширина видеоблока меньше или равна максимальному размеру преобразования по меньшей мере для одного из одного или нескольких допустимых типов раздела.
B26. Способ согласно решению B24, в котором режим ISP выключается тогда, когда высота или ширина видеоблока больше, чем максимальный размер преобразования по меньшей мере для одного из одного или нескольких допустимых типов раздела.
B27. Способ согласно решению B24, в котором режим ISP включается тогда, когда высота или ширина видеоблока меньше или равна максимальному размеру преобразования для каждого из одного или нескольких допустимых типов раздела.
B28. Способ согласно решению B24, в котором режим ISP выключается тогда, когда высота или ширина видеоблока больше, чем максимальный размер преобразования для каждого из одного или нескольких допустимых типов разделов.
B29. Способ согласно решению B24, в котором сигнализация одного или нескольких допустимых типов раздела в представлении битового потока основана на соотношении между высотой или шириной соответствующего подраздела и максимальным размером преобразования.
B30. Способ согласно решению B24, в котором сигнализация одного или нескольких допустимых типов разделения в представлении битового потока основана на соотношении между высотой или шириной видеоблока и максимальным размером преобразования.
B31. Способ согласно решению B24, в котором включение или выключение применения инструментального средства кодирования к видеоблоку основывается на соотношении между размером видеоблока и максимальным размером преобразования.
B32. Способ согласно решению B31, в котором максимальный размер преобразования равен 32 или 64.
B33. Способ согласно решению B31 или B32, в котором инструментальное средство кодирования включается тогда, когда высота или ширина видеоблока меньше или равна максимальному размеру преобразования.
B34. Способ согласно любому из решений B31-B33, в котором инструментальное средство кодирования содержит режим внутриблочного копирования (IBC) или режим палитры.
B35. Способ обработки видео, содержащий выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, причем преобразование содержит инструментальное средство кодирования, которое было выключено, и где синтаксические элементы, связанные с инструментальным средством кодирования, исключены из представления битового потока и, предположительно, имеют заданное значение, указывающее, что инструментальное средство кодирования выключено.
B36. Способ обработки видео, содержащий выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, причем преобразование содержит инструментальное средство кодирования, которое было выключено, и где представление битового потока содержит синтаксические элементы, которые относятся к инструментальному средству кодирования, которые, предположительно, имеют заданное значение, основанное на том, что инструментальное средство кодирования выключено.
B37. Способ согласно решению B35 или B36, в котором заданное значение равно нулю.
B38. Способ согласно решению B35 или B36, в котором инструментальное средство кодирования содержит предсказание внутрикадрового подраздела (ISP), и синтаксические элементы указывают то, разделен ли видеоблок из одного или нескольких видеоблоков на несколько подразделов (обозначенных intra_subpartitions_mode_flag), и/или как разделить видеоблок на несколько подразделов (обозначенных intra_subpartitions_mode_flag).
B39. Способ согласно решению B35 или B36, в котором инструментальное средство кодирования содержит матричное внутрикадровое предсказание (MIP), и синтаксические элементы указывают то, использует ли видеоблок из одного или нескольких видеоблоков MIP (обозначенное intra_mip_flag) и/или указатель индекса режима MIP (обозначенного intra_mip_mode).
B40. Способ согласно решению B35 или B36, в котором инструментальное средство кодирования содержит режим внутриблочного копирования (IBC), и где синтаксические элементы указывают то, использует ли видеоблок из одного или нескольких видеоблоков режим IBC (обозначенный pred_mode_ibc_flag).
B41. Способ согласно решению B35 или B36, в котором инструментальное средство кодирования содержит режим палитры, и синтаксические элементы указывают то, использует ли видеоблок из одного или нескольких видеоблоков режим палитры (обозначенный pred_mode_plt_flag).
B42. Способ обработки видео, содержащий использование размера блока данных виртуального конвейера (VPDU) и/или максимального размера преобразования, используемого для преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео для выполнения определения того, включено ли неявное (QT) разделение видеоблока из одного или нескольких видеоблоков; и выполнения преобразования на основе определения.
B43. Способ согласно решению B42, в котором каждый подраздел неявного разделения QT рекурсивно разделяется до тех пор, пока размер подраздела не станет равным размеру VPDU.
B44. Способ согласно решению B42, в котором каждый подраздел неявного разделения QT рекурсивно разделяется до тех пор, пока размер подраздела не станет равным максимальному размеру преобразования.
B45. Способ обработки видео, содержащий выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, где преобразование содержит преобразование подблоков (SBT), где максимальная высота или максимальная ширина SBT основана на максимальном размере преобразования, и где SBT содержит одно или несколько преобразований, отдельно применяемых к одному или нескольким разделам видеоблока из одного или нескольких видеоблоков.
B46. Способ согласно решению B45, в котором по меньшей мере одна из максимальной высоты или максимальной ширины SBT устанавливается равной максимальному размеру преобразования.
B47. Способ согласно решению B45, в котором представление битового потока исключает синтаксический элемент, связанный с максимальной высотой или максимальной шириной SBT.
B48. Способ согласно решению B47, в котором синтаксический элемент представляет собой sps_sbt_max_size_64_flag и, предположительно, имеет заданное значение, указывающее, что максимальный размер преобразования меньше 64.
B49. Способ согласно решению B48, в котором заданное значение равно нулю.
B50. Способ согласно решению B47, в котором сигнализация синтаксического элемента, связанного с SBT, в представлении битового потока, основана на максимальном размере преобразования.
B51. Способ обработки видео, содержащий выполнение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, где преобразование содержит режим пропуска преобразования и/или режим внутриблочной дифференциальной импульсно-кодовой модуляции (BDPCM), где максимальный размер блока, используемый для режима пропуска преобразования, основан на максимальном размере преобразования, где режим пропуска преобразования содержит пропуск процессов преобразования и обратного преобразования для соответствующего инструментального средства кодирования, и где, в режиме BDPCM, остаток внутрикадрового предсказания текущего видеоблока кодируется с предсказанием с использованием операции дифференциальной импульсно-кодовой модуляции.
B52. Способ согласно решению B51, в котором максимальный размер блока для режима пропуска преобразования устанавливается равным максимальному размеру преобразования.
B53. Способ согласно решению B51, в котором представление битового потока исключает синтаксический элемент, связанный с максимальным размером блока для режима пропуска преобразования.
B54. Способ решения В51, в котором максимальный размер блока, используемый для внутрикадрового режима BDPCM сигнализируется независимым образом в представлении битового потока.
B55. Способ согласно решению B54, в котором максимальный размер блока, используемый для внутрикадрового режима BDPCM, не основан на максимальном размере блока для режима пропуска преобразования.
B56. Способ решения В51, в котором максимальный размер блока, используемый для внутрикадрового режима BDPCM сигнализируется в наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (VPS), заголовке слайса, виртуальном блоке данных конвейера (VPDU), единице дерева кодирования (CTU) или единице кодирования (CU) в представлении битового потока.
B57. Способ обработки видео, содержащий использование сравнения между высотой или шириной видеоблока и максимальным размером преобразования для определения того, включен ли режим объединенного межкадрового-внутрикадрового предсказания (CIIP) для преобразования между видео, содержащим один или несколько областей видео, содержащих один или несколько видеоблоков, содержащих видеоблок, и представлением битового потока видео; и выполнение на основе определения преобразования, причем в режиме CIIP окончательное предсказание видеоблока основано на взвешенной сумме межкадрового предсказания видеоблока и внутрикадрового предсказания видеоблока.
B58. Способ решения B57, в котором режим CIIP отключен тогда, когда высота и/или ширина видеоблока больше максимального размера преобразования.
B59. Способ обработки видео, содержащий определение преобразования между видео, содержащим одну или несколько видеообластей, содержащих один или несколько видеоблоков, и представлением битового потока видео, касающееся разделения видеоблока из одного или нескольких кодированных видеоблоков с помощью объединенного межкадрового-внутрикадрового предсказания (CIIP); и выполнение на основе определения преобразования, причем в режиме CIIP окончательное предсказание видеоблока основано на взвешенной сумме межкадрового предсказания видеоблока и внутрикадрового предсказания видеоблока.
B60. Способ согласно решению B59, в котором видеоблок не разделяется, когда высота и ширина единицы кодирования меньше 128.
B61. Способ согласно решению B59, в котором видеоблок не разделяется, когда высота и ширина единицы кодирования меньше или равны 64.
B62. Способ согласно решению B59, в котором видеоблок разделен на несколько подразделов, где внутрикадровое предсказание для первого подраздела из нескольких подразделов основано на восстановлении второго раздела из нескольких подразделов., и где внутрикадровое предсказание второго раздела выполняется до внутрикадрового предсказания первого подраздела.
B63. Способ согласно любому из решений B59-B62, в котором видеоблок является единицей кодирования (CU).
B64. Способ обработки видео, содержащий выполнение преобразования между видео, содержащим видеообласть, содержащую несколько видеоблоков, и представлением битового потока видео в соответствии с правилом, причем правило точно определяет, что максимальный размер блока нескольких видеоблоков в видео области, которые кодируются в представлении битового потока с использованием кодирования с преобразованием, определяет максимальный размер блока из множества видеоблоков в видеообласти, которые кодируются в представлении битового потока без использования кодирования с преобразованием.
B65. Способ согласно решению B64, в котором максимальный размер для режима пропуска преобразования равен MaxTbSizeY.
B66. Способ согласно решению B64, в котором представление битового потока исключает указание максимального размера для режима пропуска преобразования.
B67. Способ обработки видео, содержащий выполнение преобразования между видео, содержащим видеообласть, содержащую несколько видеоблоков, и представлением битового потока видео в соответствии с правилом, причем правило точно определяет, что процесс сопоставления яркости с масштабирования цветности (LMCS) выключается для видеообласти тогда, когда для видеообласти включено кодирование без потерь, причем видеообласть представляет собой последовательность, изображение, подизображение, слайс, группу тайлов, тайл, базовый блок, строку единицы дерева кодирования (CTU), CTU, единицу кодирования (CU), единицу предсказания (PU), единицу преобразования (TU) или подблок, и где процесс LMCS содержит отсчеты яркости из видеообласти, форму которой восстанавливается между первым доменом и вторым доменом, и остаток цветности масштабируется в зависимости от яркости.
B68. Способ согласно решению B67, в котором сигнализация указателя, который относится к процессу LMCS, основана на флаге обхода квантования преобразования для видеообласти.
B69. Способ согласно решению B68, в котором указатель, который относится к процессу LMCS, исключается из представления битового потока и считается равным нулю, когда флаг обхода квантования преобразования равен единице.
B70. Способ согласно любому из решений B1-B69, в котором выполнение преобразования содержит выработку представления битового потока из видеообласти.
B71. Способ согласно любому из решений B1-B69, в котором выполнение преобразования содержит выработку видеообласти из представления битового потока.
B72. Устройство, действующее в видеосистеме, содержащее процессор и невременную память с инструкциями, хранящимися на ней, причем инструкции после исполнения процессором предписывают процессору реализовать способ по любому из решений B1-B71.
B73. Компьютерный программный продукт, хранящийся на невременном машиночитаемом носителе информации, причем компьютерный программный продукт включает в себя программный код для выполнения способа по любому из решений B1-B71.
Раскрытые и другие решения, примеры, варианты осуществления, модули и функциональные операции, описанные в данном документе, могут быть реализованы в цифровых электронных схемах или в компьютерном программном обеспечении, программно-аппаратных средствах или аппаратных средствах, включая структуры, раскрытые в данном документе, и их структурные эквиваленты или в комбинации одного или нескольких из них. Раскрытые и другие варианты осуществления могут быть реализованы в виде одного или нескольких компьютерных программных продуктов, то есть одного или несколько модулей инструкций компьютерной программы, закодированных на машиночитаемом носителе, для выполнения или управления работой устройства обработки данных. Машиночитаемый носитель может быть машиночитаемым запоминающим устройством, машиночитаемым носителем информации, запоминающим устройством, составом вещества, влияющим на машиночитаемый распространяющийся сигнал, или комбинацией из одного или нескольких из них. Термин "устройство обработки данных" охватывает все аппаратные устройства, устройства и машины для обработки данных, включая, например, программируемый процессор, компьютер или несколько процессоров или компьютеров. Устройство может включать в себя, помимо аппаратных средств, код, который создает среду исполнения для рассматриваемой компьютерной программы, например, код, который составляет микропрограммное обеспечение процессора, стек протоколов, систему управления базой данных, операционную систему или комбинацию из одного или нескольких из них. Распространяющийся сигнал представляет собой искусственно выработанный сигнал, например, электрический, оптический или электромагнитный сигнал, вырабатываемый машиной, который вырабатывается для кодирования информации с целью передачи в подходящее приемное устройство.
Компьютерная программа (также известная как программа, программное обеспечение, программное приложение, сценарий или код) может быть написана на любом языке программирования, включая скомпилированные или интерпретируемые языки, и может быть развернута в любом виде, в том числе как автономная программа или как модуль, компонент, подпрограмма или другое устройство, подходящее для использования в вычислительной среде. Компьютерная программа не обязательно соответствует файлу в файловой системе. Программа может храниться в части файла, который содержит другие программы или данные (например, один или несколько сценариев, хранящихся в документе на языке разметки), в одном файле, посвященном рассматриваемой программе, или в нескольких скоординированных файлах (например, файлы, в которых хранятся один или несколько модулей, подпрограмм или частей кода). Компьютерная программа может быть развернута для исполнения на одном компьютере или на нескольких компьютерах, которые расположены в одном месте или распределены по многочисленным местам и межсоединены по сети связи.
Процессы и логические потоки, описанные в данном документе, могут выполняться одним или несколькими программируемыми процессорами, исполняющими одну или несколько компьютерных программ для выполнения функций, оперируя входными данными и вырабатывая выходные данные. Процессы и логические потоки также могут выполняться с помощью логической схемы специального назначения, например, программируемой пользователем вентильной матрицей (FPGA) или специализированной интегральной схемы (ASIC), и аппаратное устройство также может быть реализовано с помощью них.
Процессоры, подходящие для исполнения компьютерной программы, включают в себя, например, микропроцессоры как общего, так и специального назначения, и любые один или несколько процессоров цифрового компьютера любого типа. Как правило, процессор будет получать инструкции и данные из постоянного запоминающего устройства или оперативного запоминающего устройства или одновременно из того и другого. Существенными элементами компьютера являются процессор для исполнения инструкций и одно или несколько запоминающих устройств для хранения инструкций и данных. Как правило, компьютер также может включать в себя или может быть функционально подключен для приема данных или передачи данных из/в одно или оба устройства для хранения данных, например, магнитные, магнитооптические диски или оптические диски. Однако компьютер не обязательно должен иметь такие устройства. Машиночитаемые носители информации, подходящие для хранения инструкций и данных компьютерных программ, включают в себя все виды энергонезависимой памяти, носителей информации и запоминающих устройств, включая, например, полупроводниковые запоминающие устройства, например, EPROM, EEPROM и устройства флэш-памяти; магнитные диски, например внутренние жесткие диски или съемные диски; магнитооптические диски; и диски CD-ROM и DVD-ROM. Процессор и память могут быть дополнены специальной логической схемой или включены в нее.
Хотя данный патентный документ содержит много специфических деталей, их не следует рассматривать как ограничения объема какого-либо предмета изобретения или того, что может быть заявлено, а скорее как описания функций, которые могут быть специфическими для конкретных вариантов осуществления технических решений. Некоторые признаки, которые описаны в данном патентном документе в контексте отдельных вариантов осуществления, также могут быть реализованы в комбинации в одном варианте осуществления. И наоборот, различные признаки, которые описаны в контексте одного варианта осуществления, также могут быть реализованы в нескольких вариантах осуществления по отдельности или в любой подходящей подкомбинации. Более того, хотя признаки могут быть описаны выше как действующие в определенных комбинациях и даже изначально заявлены как таковые, в некоторых случаях один или несколько признаков заявленной комбинации могут быть исключены из комбинации, и заявленная комбинация может быть направлена на подкомбинацию или вариацию подкомбинации.
Аналогичным образом, хотя операции изображены на чертежах в определенном порядке, это не следует понимать как требование, чтобы такие операции выполнялись в конкретном показанном порядке или в последовательном порядке, или чтобы все проиллюстрированные операции выполнялись для достижения желаемых результатов. Более того, разделение различных компонентов системы в вариантах осуществления, описанных в этом патентном документе, не следует понимать как требующее такого разделения во всех вариантах осуществления.
Описано только несколько реализаций и примеров, и другие реализации, улучшения и вариации могут быть сделаны на основе того, что описано и проиллюстрировано в данном патентном документе.
Claims (47)
1. Способ обработки видеоданных, содержащий этапы, на которых:
определяют, на основе размера текущего видеоблока видео, разрешен ли первый процесс разделения, который разделяет текущий видеоблок на два подблока, или второй процесс разделения, который разделяет текущий видеоблок на три подблока, в горизонтальном или вертикальном направлении, причем размер текущего видеоблока содержит высоту или ширину текущего видеоблока в отсчетах яркости; и
выполняют на основе указанного определения преобразование между текущим видеоблоком и битовым потоком видео,
при этом первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты левого верхнего отсчета яркости текущего видеоблока больше, чем ширина изображения или ширина подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) высота текущего видеоблока в отсчетах яркости больше N, где N = 64;
второй процесс разделения запрещен в случае, если высота или ширина текущего видеоблока в отсчетах яркости больше 64;
первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости меньше или равна N и (2) высота текущего видеоблока в отсчетах яркости больше N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости больше N и (2) высота текущего видеоблока в отсчетах яркости меньше или равна N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) сумма высоты текущего видеоблока в отсчетах яркости и вертикальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем высота изображения или высота подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) ширина текущего видеоблока в отсчетах яркости больше N;
невозможно определить, что первый процесс разделения в горизонтальном направлении запрещен, только в соответствии с условием, что сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения, содержащего текущий видеоблок, в отсчетах яркости; и
первый процесс разделения содержит разделение на основе двоичного дерева (BT), а второй процесс разделения содержит разделение на основе троичного дерева (TT).
2. Способ по п.1, дополнительно содержащий этап, на котором определяют, разрешено ли первому процессу разделения или второму процессу разделения быть независимым от максимального размера преобразования.
3. Способ по п.2, в котором максимальный размер преобразования зависит от размера единицы дерева кодирования, и размер единицы дерева кодирования содержит ширину и/или высоту единицы дерева кодирования.
4. Способ по п.2, в котором максимальный размер преобразования меньше или равен размеру единицы дерева кодирования.
5. Способ по п.2, в котором в случае, когда размер единицы дерева кодирования меньше M, максимальный размер преобразования меньше M, где M=64.
6. Способ по п.1, в котором на этапе преобразования кодируют текущий видеоблок в битовый поток.
7. Способ по п.1, в котором на этапе преобразования декодируют текущий видеоблок из битового потока.
8. Устройство для обработки видеоданных, содержащее процессор и энергонезависимую память с хранящимися в ней инструкциями, причем инструкции при их исполнении процессором вызывают выполнение процессором:
определения, на основе размера текущего видеоблока видео, разрешен ли первый процесс разделения, который разделяет текущий видеоблок на два подблока, или второй процесс разделения, который разделяет текущий видеоблок на три подблока, в горизонтальном направлении или вертикальном направлении, причем размер текущего видеоблока содержит высоту или ширину текущего видеоблока в отсчетах яркости; и
выполнения, на основе указанного определения, преобразования между текущим видеоблоком и битовым потоком видео,
при этом первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения или ширина подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) высота текущего видеоблока в отсчетах яркости больше N, где N = 64;
второй процесс разделения запрещен в случае, если высота или ширина текущего видеоблока в отсчетах яркости больше 64;
первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости меньше или равна N, и (2) высота текущего видеоблока в отсчетах яркости больше N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости больше N, и (2) высота текущего видеоблока в отсчетах яркости меньше или равна N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) сумма высоты текущего видеоблока в отсчетах яркости и вертикальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем высота изображения или высота подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) ширина текущего видеоблока в отсчетах яркости больше N;
невозможно определить, что первый процесс разделения в горизонтальном направлении запрещен, только в соответствии с условием, что сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения, содержащего текущий видеоблок, в отсчетах яркости; и
первый процесс разделения содержит разделение на основе двоичного дерева (BT), а второй процесс разделения содержит разделение на основе троичного дерева (TT).
9. Энергонезависимый машиночитаемый носитель информации, на котором хранятся инструкции, которые вызывают выполнение процессором:
определения, на основе размера текущего видеоблока видео, разрешен ли первый процесс разделения, который разделяет текущий видеоблок на два подблока, или второй процесс разделения, который разделяет текущий видеоблок на три подблока, в горизонтальном направлении или вертикальном направлении, причем размер текущего видеоблока содержит высоту или ширину текущего видеоблока в отсчетах яркости; и
выполнения, на основе указанного определения, преобразования между текущим видеоблоком и битовым потоком видео,
при этом первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения или ширина подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) высота текущего видеоблока в отсчетах яркости больше N, где N = 64;
второй процесс разделения запрещен в случае, если высота или ширина текущего видеоблока в отсчетах яркости больше 64;
первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости меньше или равна N, и (2) высота текущего видеоблока в отсчетах яркости больше N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости больше N, и (2) высота текущего видеоблока в отсчетах яркости меньше или равна N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) сумма высоты текущего видеоблока в отсчетах яркости и вертикальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем высота изображения или высота подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) ширина текущего видеоблока в отсчетах яркости больше N;
невозможно определить, что первый процесс разделения в горизонтальном направлении запрещен, только в соответствии с условием, что сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения, содержащего текущий видеоблок, в отсчетах яркости; и
первый процесс разделения содержит разделение на основе двоичного дерева (BT), а второй процесс разделения содержит разделение на основе троичного дерева (TT).
10. Способ сохранения битового потока видео, содержащий этапы, на которых:
определяют, на основе размера текущего видеоблока видео, разрешен ли первый процесс разделения, который разделяет текущий видеоблок на два подблока, или второй процесс разделения, который разделяет текущий видеоблок на три подблока, в горизонтальном направлении или вертикальном направлении, причем размер текущего видеоблока содержит высоту или ширину текущего видеоблока в отсчетах яркости;
вырабатывают битовый поток на основе указанного определения; и
сохраняют битовый поток на энергонезависимом машиночитаемом носителе записи,
при этом первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения или ширина подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) высота текущего видеоблока в отсчетах яркости больше N, где N = 64;
второй процесс разделения запрещен в случае, если высота или ширина текущего видеоблока в отсчетах яркости больше 64;
первый процесс разделения в вертикальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости меньше или равна N, и (2) высота текущего видеоблока в отсчетах яркости больше N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) ширина текущего видеоблока в отсчетах яркости больше N, и (2) высота текущего видеоблока в отсчетах яркости меньше или равна N;
первый процесс разделения в горизонтальном направлении запрещен в случае, когда (1) сумма высоты текущего видеоблока в отсчетах яркости и вертикальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем высота изображения или высота подизображения, содержащего текущий видеоблок, в отсчетах яркости, и (2) ширина текущего видеоблока в отсчетах яркости больше N;
невозможно определить, что первый процесс разделения в горизонтальном направлении запрещен, только в соответствии с условием, что сумма ширины текущего видеоблока в отсчетах яркости и горизонтальной координаты верхнего левого отсчета яркости текущего видеоблока больше, чем ширина изображения, содержащего текущий видеоблок, в отсчетах яркости; и
первый процесс разделения содержит разделение на основе двоичного дерева (BT), а второй процесс разделения содержит разделение на основе троичного дерева (TT).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/097926 | 2019-07-26 | ||
CNPCT/CN2019/103892 | 2019-08-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2022102900A RU2022102900A (ru) | 2023-08-07 |
RU2815443C2 true RU2815443C2 (ru) | 2024-03-15 |
Family
ID=
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104604225A (zh) * | 2012-09-10 | 2015-05-06 | 松下电器(美国)知识产权公司 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 |
WO2017222331A1 (ko) * | 2016-06-24 | 2017-12-28 | 세종대학교 산학협력단 | 비디오 신호 처리 방법 및 장치 |
WO2018088805A1 (ko) * | 2016-11-08 | 2018-05-17 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
RU2665311C1 (ru) * | 2014-12-10 | 2018-08-28 | Медиатек Сингапур Пте. Лтд, | Способ видеокодирования с использованием блочного разбиения по бинарному дереву |
EP3381186A1 (en) * | 2015-11-25 | 2018-10-03 | Qualcomm Incorporated(1/3) | Flexible transform tree structure in video coding |
RU2669005C2 (ru) * | 2014-01-03 | 2018-10-05 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Предсказание вектора блока в кодировании/декодировании видео и изображений |
WO2018217024A1 (ko) * | 2017-05-26 | 2018-11-29 | 에스케이텔레콤 주식회사 | 다양한 블록 크기를 지원하는 영상 부호화 또는 복호화를 위한 장치 및 방법 |
US10165285B2 (en) * | 2011-09-30 | 2018-12-25 | Avago Technologies International Sales Pte. Limited | Video coding tree sub-block splitting |
WO2019001015A1 (zh) * | 2017-06-28 | 2019-01-03 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
WO2019059676A1 (ko) * | 2017-09-20 | 2019-03-28 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10165285B2 (en) * | 2011-09-30 | 2018-12-25 | Avago Technologies International Sales Pte. Limited | Video coding tree sub-block splitting |
CN104604225A (zh) * | 2012-09-10 | 2015-05-06 | 松下电器(美国)知识产权公司 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 |
RU2669005C2 (ru) * | 2014-01-03 | 2018-10-05 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Предсказание вектора блока в кодировании/декодировании видео и изображений |
RU2665311C1 (ru) * | 2014-12-10 | 2018-08-28 | Медиатек Сингапур Пте. Лтд, | Способ видеокодирования с использованием блочного разбиения по бинарному дереву |
EP3381186A1 (en) * | 2015-11-25 | 2018-10-03 | Qualcomm Incorporated(1/3) | Flexible transform tree structure in video coding |
WO2017222331A1 (ko) * | 2016-06-24 | 2017-12-28 | 세종대학교 산학협력단 | 비디오 신호 처리 방법 및 장치 |
WO2018088805A1 (ko) * | 2016-11-08 | 2018-05-17 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
WO2018217024A1 (ko) * | 2017-05-26 | 2018-11-29 | 에스케이텔레콤 주식회사 | 다양한 블록 크기를 지원하는 영상 부호화 또는 복호화를 위한 장치 및 방법 |
WO2019001015A1 (zh) * | 2017-06-28 | 2019-01-03 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
WO2019059676A1 (ko) * | 2017-09-20 | 2019-03-28 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019382524B2 (en) | Pulse code modulation technique in video processing | |
JP7383119B2 (ja) | 映像コーディングモードのブロックサイズ依存使用 | |
CN117528080A (zh) | 视频处理中色度残差的联合编解码与滤波 | |
US11388476B2 (en) | Block partitioning method and apparatus | |
CN114424529A (zh) | 视频编解码中自适应环路滤波器的两部分信令 | |
WO2020084604A1 (en) | Fast methods for partition tree decision | |
RU2815443C2 (ru) | Определение режима разделения изображения на основе размера блока | |
KR102616383B1 (ko) | 비디오 픽처 헤더의 필터 파라미터 시그널링 |