RU2574839C2

RU2574839C2 - Способ и устройство сегментирования на единицы преобразования с меньшей сложностью

Info

Publication number: RU2574839C2
Application number: RU2013145079/08A
Authority: RU
Inventors: Шань ЛЮ; Чжи ЧЖОУ; Шав-Минь ЛЭЙ
Original assignee: Медиатек Сингапур Пте. Лтд.
Priority date: 2011-03-09
Filing date: 2011-08-09
Publication date: 2016-02-10

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении вычислительной сложности кодирования. Способ обработки единицы преобразования видеоданных, в котором принимают единицу кодирования видеоданных; сегментируют единицу кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N, при этом режим прогнозирования для обработки прогнозирования упомянутых одной или более единиц прогнозирования определяется для каждой из упомянутых одной или более единиц прогнозирования; и сегментируют единицу кодирования на одну или более единиц преобразования, при этом размер упомянутых одной или более единиц преобразования связан с размером единицы кодирования и размером упомянутых одной или более единиц прогнозирования таким образом, что ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. 4 н. и 22 з.п. ф-лы, 6 ил., 13 табл.

Description

Перекрестная ссылка на родственные заявки

[0001] Настоящее изобретение притязает на приоритет предварительной заявки на патент США, порядковый номер 61/450720, поданной 9 марта 2011 года, озаглавленной "Syntax for transform unit in HEVC", предварительной заявки на патент США, порядковый номер 61/452547, поданной 14 марта 2011 года, озаглавленной "Optimization for Merge Mode Decision", и заявки на патент США, порядковый номер 13/156552, поданной 09 июня 2011 года, озаглавленной "Method and Apparatus of Transform unit partition with Reduced Complexity". Вышеуказанные заявки на патент полностью содержатся в данном документе по ссылке во всей их полноте.

Область техники, к которой относится изобретение

[0002] Настоящее изобретение относится к кодированию видео. В частности, настоящее изобретение относится к технологиям кодирования, связанным с сегментированием на единицы преобразования и оптимизацией решения по выбору режима объединения.

Уровень техники

[0003] Стандарт высокоэффективного кодирования видео (HEVC) является стандартом кодирования видео, разрабатываемым с целью достигать дополнительного 50%-го уменьшения битовой скорости (битдейта) по сравнению с существующим стандартом H.264/AVC. HEVC представляет собой гибридное кодирование видео на основе блоков с очень гибкой блочной структурой. Три понятия для блоков вводятся в HEVC: единица кодирования (CU), единица прогнозирования (PU) и единица преобразования (TU). Совокупная структура кодирования характеризуется различными размерами CU, PU и TU рекурсивным образом, при этом каждое изображение разделяется на наибольшие CU (LCU), состоящие из 64×64 пикселов. Каждая LCU затем рекурсивно разделяется на меньшие CU до тех пор, пока не будут достигнуты концевые CU или наименьшие CU. После того как составлено иерархическое дерево CU, каждая концевая CU подвергается дополнительному разбиению на единицы прогнозирования (PU) согласно типу сегмента. Кроме того, преобразование применяется к TU, чтобы преобразовывать пространственные данные в коэффициенты преобразования для компактного представления данных.

[0004] Для обработки преобразования в текущем HEVC используется иерархическое RQT (остаточное дерево квадрантов). TU-размер связан с CU-размером, но является независимым от PU-размера. Поскольку TU-сегмент является независимым от PU-сегмента и максимальная разрешенная TU-глубина, т.е. max RQT depth, составляет 3, текущий синтаксис для остаточного дерева квадрантов, transform_tree(), достаточно усложняется. Это приводит к высокой сложности кодирования, а также вызывает увеличение времени для обработки синтаксиса остаточного дерева квадрантов. Кроме того, некоторые элементы синтаксиса, связанные с деревом преобразования, к примеру, max RQT depth для взаимного режима, max RQT depth для внутреннего режима, max TU size и min TU size, должны отправляться в заголовке уровня последовательности (SPS). Соответственно, желательно разрабатывать схему представления TU, которая должна приводить к меньшей сложности. Кроме того, текущие вычисления, связанные с выбором наилучшего варианта объединения для режима объединения CU 2N×2N, являются довольно интенсивными. Следовательно, желательно уменьшать вычислительную сложность для выбора наилучшего варианта объединения для режима объединения CU 2N×2N.

Сущность изобретения

[0005] Раскрыты способ и устройство для обработки единицы преобразования видеоданных. Согласно настоящему изобретению, способ и устройство для обработки единицы преобразования видеоданных содержат этапы приема единицы кодирования видеоданных, сегментирования единицы кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N и сегментирования единицы кодирования на одну или более единиц преобразования в зависимости от размера единицы кодирования и размера упомянутой одной или более единиц прогнозирования. В одном варианте осуществления согласно настоящему изобретению, размер единицы преобразования равен минимуму из ширины PU и высоты PU за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N; размер единицы преобразования для типа сегмента 2N×2N выбирается между 2N×2N и N×N. В другом варианте осуществления согласно настоящему изобретению, максимальный размер единицы преобразования равен максимуму из ширины PU и высоты PU, и минимальный размер единицы преобразования равен минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N; размер единицы преобразования для типа сегмента 2N×2N выбирается между 2N×2N и N×N. В еще одном другом варианте осуществления согласно настоящему изобретению, размер единицы преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N. Элемент синтаксиса split_transform_flag может быть включен для некоторых условий, чтобы указывать то, использует ли единица преобразования 2N×2N или N×N.

[0006] Раскрыты способ и устройство для декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования. Согласно настоящему изобретению, способ и устройство для декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования, содержат этапы приема кодированных данных, ассоциированных с единицей кодирования в битовом потоке видео, определения размера единицы кодирования из кодированных данных, ассоциированных с единицей кодирования, определения сегмента PU (единиц прогнозирования) из типов сегментов 2N×2N, 2N×N, N×2N и N×N, ассоциированных с единицей кодирования, определения того, имеется или нет элемент синтаксиса split_transform_flag в кодированных данных, согласно размеру единицы кодирования и типу сегмента, определения значения split_transform_flag, если элемент синтаксиса split_transform_flag имеется, и определения сегмента единиц преобразования, ассоциированного с единицей кодирования, согласно размеру единицы кодирования, типу сегмента и значению split_transform_flag. В одном варианте осуществления согласно настоящему изобретению, элемент синтаксиса split_transform_flag имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N. В другом варианте осуществления согласно настоящему изобретению, элемент синтаксиса split_transform_flag имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, 2N×N или N×2N. В еще одном другом варианте осуществления согласно настоящему изобретению, элемент синтаксиса split_transform_flag имеется, если размер единицы кодирования составляет 2N×2N и тип сегмента представляет собой 2N×2N, 2N×N, N×2N или N×N. Split_transform_flag указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

[0007] Раскрыты способ и устройство для определения варианта объединения для единицы кодирования 2N×2N с использованием уменьшенной вычислительной сложности кодирования. Согласно настоящему изобретению, способ и устройство для определения варианта объединения для единицы кодирования 2N×2N с использованием уменьшенной вычислительной сложности кодирования содержат этапы приема вектора движения для каждого из вариантов объединения, ассоциированных с единицей кодирования 2N×2N, выполнения компенсации движения для упомянутого каждого из вариантов объединения с использованием вектора движения, чтобы получить остаточный сигнал для упомянутого каждого из вариантов объединения, вычисления затрат на оценку движения, ассоциированных с остаточным сигналом и вектором движения, и определения наилучшего варианта объединения из вариантов объединения, при этом наилучший вариант объединения приводит к наименьшим затратам на оценку движения. В одном варианте осуществления согласно настоящему изобретению, способ и устройство дополнительно содержат сегментирование наилучшего варианта объединения на одну или более единиц преобразования с использованием остаточного дерева квадрантов, кодирование коэффициентов упомянутых одной или более единиц преобразования согласно шаблону сканирования, вычисление первых R-D-затрат, соответствующих режиму объединения, связанному с битовой скоростью и искажением, ассоциированными с коэффициентами, кодированными для наилучшего варианта объединения, и определение режима для единицы кодирования посредством выбора наименьших R-D-затрат из первых R-D-затрат и других R-D-затрат, ассоциированных с другими режимами.

Краткое описание чертежей

[0008] Фиг. 1 иллюстрирует различные типы сегментов для сегментирования единицы кодирования 2N×2N на одну или более единиц прогнозирования.

[0009] Фиг. 2A-2B иллюстрируют синтаксис для сегментирования с помощью остаточного дерева квадрантов (RQT), transform_tree(), согласно традиционному подходу стандарта высокоэффективного кодирования видео (HEVC).

[0010] Фиг. 3A-3B иллюстрируют примерный синтаксис для сегментирования с помощью остаточного дерева квадрантов (RQT), transform_tree(), согласно одному варианту осуществления настоящего изобретения.

[0011] Фиг. 4 иллюстрирует примерный синтаксис для сегментирования с помощью остаточного дерева квадрантов (RQT), transform_tree(), согласно другому варианту осуществления настоящего изобретения.

Подробное описание изобретения

[0012] Стандарт высокоэффективного кодирования видео (HEVC) является стандартом кодирования видео, разрабатываемым с целью достигать дополнительного 50%-го уменьшения скорости передачи битов по сравнению с существующим стандартом H.264/AVC. HEVC представляет собой гибридное кодирование видео на основе блоков с очень гибкой блочной структурой. Три понятия для блоков вводятся в HEVC: единица кодирования (CU), единица прогнозирования (PU) и единица преобразования (TU). Общая структура кодирования отличается посредством различных размеров CU, PU и TU рекурсивным способом, при этом каждое изображение разделяется на наибольшие CU (LCU), состоящие из 64×64 пикселов каждый. Каждая LCU затем рекурсивно разделяется на меньшие CU до тех пор, пока не будут достигнуты концевые CU или наименьшие CU. После того как составляется иерархическое дерево CU, каждая концевая CU подвергается дополнительному разбиению на единицы прогнозирования (PU) согласно типу сегмента. Кроме того, преобразование применяется к TU, чтобы преобразовывать пространственные данные в коэффициенты преобразования для компактного представления данных.

[0013] При разработке HEVC общая тестовая модель HEVC (HM) используется разработчиками для того, чтобы оценивать производительность всех предлагаемых алгоритмов. Вплоть до HM версии 1.0 CU 2N×2N может иметь PU с размерами сегментов 2N×2N и N×N для кодированного внутренним образом кадра или серии последовательных макроблоков, и CU 2N×2N может иметь PU с размерами сегментов 2N×2N, N×2N, 2N×N и N×N для взаимно кодированного кадра или серии последовательных макроблоков, как показано на фиг. 1. На четвертой конференции JCT-VC (объединенной группы для совместной работы над видеостандартами) в Тэгу, Корея, принято решение о том, что тип сегмента N×N удаляется из всех CU, которые больше наименьшей CU (SCU, в данный момент заданной как 8×8) как для взаимно кодированных, так и для кодированных внутренним образом кадров и серий последовательных макроблоков.

[0014] Для обработки преобразования в текущем HEVC используется иерархическое RQT (остаточное дерево квадрантов), и TU-размер ограничивается посредством CU-размера, max RQT depth, max TU size и min TU size. TU-размер является независимым от PU-размера. Максимальный TU-размер ограничивается 32×32, и минимальный TU-размер ограничивается 4×4. Помимо этого TU не может быть больше CU, к которой должно применяться преобразование. Тем не менее, TU может охватывать PU. Например, для CU 32Ч32, TU может быть 32×32, 16×16 и 8×8, независимо от типа PU-сегмента. Текущий синтаксис TU для остаточного дерева квадрантов (RQT), transform_tree(), в HEVC показывается на фиг. 2A-B. Max RQT depth, разрешенный в HM версии 2.0, показывается в таблице 1:

Таблица 1
	Высокоэффективный	С низкой сложностью
Взаимный	3	3
Внутренний	3	3

[0015] Поскольку TU-сегмент является независимым от PU-сегмента и разрешенная максимальная глубина, т.е. max RQT depth, составляет 3, текущий синтаксис для остаточного дерева квадрантов, transform_tree(), достаточно усложняется. Это приводит к высокой сложности кодирования, а также увеличивает время для обработки синтаксиса остаточного дерева квадрантов. Кроме того, некоторые элементы синтаксиса, связанные с деревом преобразования, к примеру, max RQT depth для взаимного режима, max RQT depth для внутреннего режима, max TU size и min TU size, должны отправляться в заголовке уровня последовательности (SPS), как показано в таблице 2. Соответственно, желательно разрабатывать схему представления TU, которая должна приводить к меньшей сложности.

Таблица 2
log2_min_transform_block_size_minus2	ue(v)
log2_diff_max_min_transform_block_size	ue(v)
max_transform_hierarchy_depth_inter	ue(v)
max_transform_hierarchy_depth_intra	ue(v)

[0016] В первом варианте осуществления согласно настоящему изобретению, максимальная ширина и высота TU равны минимуму (PU_width, PU_height) за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Поскольку TU всегда является квадратной, максимальная ширина и максимальная высота TU являются идентичными. Согласно этой схеме представления TU, для CU 2N×2N и типа PU-сегмента N×2N, 2N×N или N×N, TU, используемая для того, чтобы преобразовывать CU, составляет N×N. Для CU 2N×2N TU-размер может составлять 2N×2N или N×N, и выбор может быть передан в служебных сигналах посредством "split_transform_flag". Чтобы включать настоящее изобретение, синтаксис дерева преобразования должен быть модифицирован. Пример синтаксиса дерева преобразования, осуществляющего настоящее изобретение, показывается на фиг. 3A-B. На фиг. 3A секция 310 синтаксиса, которая остается идентичной с секцией синтаксиса в исходном синтаксисе по фиг. 2A, опускается на фиг. 3A. Когда residualDataPresentFlag указывает присутствие остаточных данных, split_transform_flag задается равным 1. Обработка на основе дерева преобразования продолжает проверять то, равна или нет глубина преобразования, trafoDepth, 0, и представляет собой или нет режим PU-сегмента, PartMode, PART_2N×2N, как показано в секции 320 синтаксиса на фиг. 3A. Если оба условия являются истинными, элемент синтаксиса split_transform_flag включается. Если любое условие является ложью, процесс дополнительно тестирует вторые наборы условий касательно того, равно или нет trafoDepth 0, и задается или нет split_transform_flag так, как показано в секции 330 синтаксиса на фиг. 3A.

[0017] Производительность кодирования системы, осуществляющей модифицированную схему представления TU согласно настоящему изобретению, сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 3A для внутреннего прогнозирования, в таблице 3B для настройки для произвольного доступа и в таблице 3C для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного (HE) режима работы. В таблицах положительное значение RD-скорости указывает потери эффективности кодирования.

Таблица 3A
	Внутренний
	Y BD-скорость	U BD-скорость	V BD-скорость
Класс A	0,1	0,0	0,1
Класс B	0,1	0,0	0,1
Класс C	0,1	0,2	0,2
Класс D	0,1	0,1	0,1
Класс E	0,2	0,6	0,3
Все	0,1	0,2	0,1
Время кодирования [%]	96%
Время декодирования [%]	100%

[0018] RD-скорости, показанные в таблицах 3A-C, указывают небольшие потери эффективности кодирования, вызываемые модифицированной схемой представления TU. Тем не менее, заметное уменьшение времени кодирования достигается посредством модифицированной схемы представления TU. Следовательно, модифицированная схема представления TU демонстрирует оптимальный компромисс между сложностью и производительностью.

[0019] Во втором варианте осуществления согласно настоящему изобретению, максимальная ширина и высота TU равны максимуму (PU_width, PU_height), а минимальная ширина и высота TU равны минимуму (PU_width, PU_height) за исключением CU 2N×2N с типами сегментов 2N×2N, N×2N или 2N×N. Для CU 2N×2N с типами сегментов 2N×2N, N×2N или 2N×N TU может составлять 2N×2N или N×N, и выбор TU-размера указывается посредством split_transform_flag. Если PU-размер N×N разрешается и выбирается, нет необходимости отправлять split_transform_flag. Чтобы включать настоящее изобретение, синтаксис дерева преобразования должен быть модифицирован. Пример синтаксиса дерева преобразования, осуществляющего настоящее изобретение, показывается на фиг. 4. Секции синтаксиса, которые являются идентичными с исходными секциями синтаксиса на фиг. 2A-B, опускаются. Когда residualDataPresentFlag указывает присутствие остаточных данных, split_transform_flag задается равным 1, как показано в секции 410 синтаксиса на фиг. 4. Условия касаются того, равна или нет глубина преобразования 0, и представляет собой или нет режим PU-сегмента N×N, как показано в секции 420 синтаксиса.

[0020] Производительность кодирования системы, осуществляющей модифицированную схему представления TU согласно настоящему изобретению, также сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 4A для внутреннего прогнозирования, в таблице 4B для настройки для произвольного доступа и в таблице 4C для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного режима работы. В таблицах положительное значение RD-скорости указывает потери эффективности кодирования.

Таблица 4A
	Внутренний
	Y BD-ско-рость	U BD-ско-рость	V BD-ско-рость
Класс A	0,1	0,0	0,1
Класс B	0,1	0,0	0,1
Класс C	0,1	0,2	0,2
Класс D	0,1	0,1	0,1
Класс E	0,2	0,6	0,3
Все	0,1	0,2	0,1
Время кодиро-вания [%]	96%
Время декодиро- вания [%]	100%

[0021] RD-скорости, показанные в таблицах 4A-C, указывают небольшие потери эффективности кодирования, вызываемые модифицированной схемой представления TU. Тем не менее, заметное уменьшение времени кодирования достигается посредством модифицированной схемы представления TU. Следовательно, модифицированная схема представления TU демонстрирует оптимальный компромисс между сложностью и производительностью.

[0022] В третьем варианте осуществления согласно настоящему изобретению, TU-глубина меньше максимальной разрешенной глубины для обоих режимов взаимного и внутреннего прогнозирования. Например, в то время как максимальная разрешенная TU-глубина составляет 3 в HM версии 2.0, вариант осуществления согласно настоящему изобретению может ограничивать TU-глубину 2. В случае если TU-глубина ограничивается 2, размер преобразования может составлять 2N×2N или N×N с ограничением максимального TU-размера 32Ч32.

[0023] Производительность кодирования системы, включающей третий вариант осуществления модифицированной схемы представления TU, также сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 5A для внутреннего прогнозирования, в таблице 5B для настройки для произвольного доступа и в таблице 5C для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного режима работы. В вышеуказанных таблицах положительное значение RD-скорости указывает потери эффективности кодирования.

Таблица 5A
Взаимный=2 Внутренний=2	Внутренний
Взаимный=2 Внутренний=2	Y BD-скорость	U BD-скорость	V BD-скорость
Класс A	0,1	0,1	0,1
Класс B	0,1	0	0
Класс C	0,1	0,2	0,2
Класс D	0,1	0,1	0
Класс E	0,2	0,5	0,4
Все	0,1	0,1	0,1
Время кодирова-ния [%]	95%
Время декодиро-вания [%]	100%

[0024] RD-скорости, показанные в таблицах 5A-C, указывают небольшие потери эффективности кодирования, вызываемые модифицированной схемой представления TU. Тем не менее, заметное уменьшение времени кодирования достигается посредством модифицированной схемы представления TU. Следовательно, модифицированная схема представления TU демонстрирует оптимальный компромисс между сложностью и производительностью.

[0025] В HM версии 2.0 для HEVC оптимизация искажения в зависимости от скорости передачи (RDO) с высокой сложностью используется для решения по выбору режима для режимов объединения CU 2N×2N. RDO-процесс состоит из следующих этапов:

1. Компенсация движения с использованием вектора движения варианта объединения;

2. Иерархическое преобразование с использованием остаточного дерева квадрантов (RQT);

3. Сканирование и кодирование коэффициентов;

4. Вычисление R-D-затрат с использованием скорости передачи битов и искажения:

J_mode=SSD(MV)+λ_mode*(R(MV)),

где MV является вектором движения для варианта объединения;

R является битовой скоростью для кодирования CU 2N×2N с использованием варианта объединения; и

SSD (сумма квадратов разностей) является измерением искажения.

5. Выбор наилучшего варианта объединения, имеющего наименьшие R-D-затраты;

6. Сравнение R-D-затрат с другими режимами (пропуска, взаимным и внутренним) и выбор наилучшего режима с наименьшими R-D-затратами.

[0026] Число вариантов объединения составляет вплоть до 5 в текущем программном обеспечении для HEVC, HM версии 2.0. Для объединения CU 2N×2N полностью вычисляются RD-затраты для каждого варианта объединения (т.е. скорость и искажение вычисляются посредством выполнения процесса кодирования, включающего в себя преобразование, квантование и энтропийное кодирование), с тем чтобы определять наилучший вариант объединения (индекс объединения). Для объединения CU N×2N или CU 2N×N быстрая оценка используется для того, чтобы определять индекс объединения, при этом фактические RD-затраты (из полного кодирования) вычисляются только один раз для выбранного варианта объединения.

[0027] В четвертом варианте осуществления согласно настоящему изобретению, способ для снижения вычислительной сложности кодирования осуществляется посредством упрощения R-D-оптимизации. Согласно четвертому варианту осуществления представления, вычисления затрат, ассоциированных с RD-оптимизацией для выбора наилучшего варианта объединения для режима объединения CU 2N×2N, основаны на оценке. Пример реализации упрощенного способа R-D-оптимизации показан на следующих этапах:

1. Компенсация движения с использованием вектора движения варианта объединения для каждого варианта объединения;

2. Вычисление затрат на оценку движения;

J_motion=SAD(MV)+λ_motion*(R(MV)),

R является битовой скоростью для кодирования MV с использованием варианта объединения; и

SAD (сумма абсолютных разностей) является измерением искажения.

3. Выбор наилучшего варианта объединения с наименьшими затратами на оценку движения;

4. Иерархическое преобразование с использованием RQT для наилучшего варианта объединения;

5. Сканирование и кодирование коэффициентов для наилучшего варианта объединения;

6. Вычисление битовой скорости и искажения для наилучшего варианта объединения; и

7. Сравнение R-D-затрат с другими режимами (пропуска, взаимным и внутренним) и выбор наилучшего режима с наименьшими R-D-затратами.

[0028] Как показано на вышеуказанных этапах, затраты на оценку движения, ассоциированные с вектором движения каждого варианта объединения, вычисляются вместо R-D-затрат, как в традиционном подходе. Затраты на оценку движения используются для того, чтобы выбирать наилучший вариант объединения, и полные R-D-затраты достигаются только для наилучшего варианта объединения. Вычисления для затрат на оценку движения гораздо меньше вычислений для R-D-затрат. Следовательно, вычислительная сложность для выбора наилучшего варианта объединения согласно четвертому варианту осуществления уменьшается.

[0029] Производительность кодирования системы, включающей вариант осуществления упрощенной R-D-оптимизации, сравнивается с эталонной тестовой моделью HM версии 2.0. Производительность с точки зрения BD-скорости для YUV-компонентов сравнивается с использованием моделирования на основе набора стандартных тестовых данных, называемых "класс A - класс E", как показано в таблице 6A для настройки для произвольного доступа и в таблице 6B для настройки для низкой задержки. Кроме того, системы моделирования, используемые для того, чтобы сравнивать производительность, сконфигурированы для высокоэффективного режима работы. В таблицах положительное значение RD-скорости указывает потери эффективности кодирования. Как показано в 6A-B таблицах, средняя экономия общего времени кодирования составляет приблизительно 6-7% с увеличением BD-скорости на 0,2-0,3% по сравнению HEVC HM версии 2.0, сконфигурированной для высокоэффективного режима.

[0030] Чтобы осуществлять на практике первый, второй и третий варианты осуществления настоящего изобретения, элемент синтаксиса, split_transform_flag, включается в кодированный битовой поток видео, так что декодер, осуществляющий настоящее изобретение, может надлежащим образом декодировать битовой поток видео. Например, декодер может извлекать размер единицы кодирования и тип сегмента из кодированных видеоданных для единицы кодирования. На основе размера единицы кодирования и типа сегмента декодер может определять то, имеется или нет split_transform_flag. Когда split_transform_flag присутствует, split_transform_flag используется для определения сегмента единиц преобразования. В противном случае, сегмент единиц преобразования определяется согласно соответствующим правилам различных вариантов осуществления. Кроме того, первый, второй и третий варианты осуществления настоящего изобретения исключают необходимость включения некоторых связанных с деревом преобразования элементов синтаксиса, включая max RQT depth для взаимного режима, max RQT depth для внутреннего режима, max TU size и min TU size, в заголовок уровня последовательности (SPS). Относительно четвертого варианта осуществления согласно настоящему изобретению, это влияет только на процесс выбора наилучшего варианта объединения в кодере.

[0031] В раскрытии, приведенном в данном документе, описываются несколько вариантов осуществления модифицированной схемы представления TU с уменьшенной вычислительной сложностью, в которых размер TU связан с размером PU за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Согласно первому варианту осуществления настоящего изобретения, размер единицы преобразования равен минимуму (PU_width, PU_height) за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Согласно второму варианту осуществления настоящего изобретения, максимальный размер единицы преобразования равен максимуму (PU_width, PU_height), и минимальный размер единицы преобразования равен минимуму (PU_width, PU_height), за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N. Согласно третьему варианту осуществления настоящего изобретения, размер единицы преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N. Согласно четвертому варианту осуществления настоящего изобретения, раскрывается способ для снижения вычислительной сложности кодирования посредством упрощения R-D-оптимизации. Варианты осуществления видеосистем, включающих кодирование или декодирование модифицированной схемы представления TU с уменьшенной вычислительной сложностью согласно настоящему изобретению, как описано выше, могут быть реализованы в различных аппаратных средствах, в программных кодах или в комбинации означенного. Например, вариант осуществления настоящего изобретения может представлять собой схему, интегрированную в кристалл для сжатия видео, или программные коды, интегрированные в программное обеспечение для сжатия видео, чтобы выполнять обработку, описанную в данном документе. Вариант осуществления настоящего изобретения также может представлять собой программные коды, которые должны выполняться в процессоре цифровых сигналов (DSP), чтобы выполнять обработку, описанную в данном документе. Изобретение также может заключать в себе ряд функций, которые должны быть выполнены посредством процессора компьютера, процессора цифровых сигналов, микропроцессора или программируемой пользователем вентильной матрицы (FPGA). Эти процессоры могут быть выполнены с возможностью осуществлять конкретные задачи согласно изобретению посредством выполнения машиночитаемого программного кода или микропрограммного кода, который задает конкретные способы, осуществленные посредством изобретения. Программный код или микропрограммные коды могут быть разработаны на различных языках программирования и в различном формате или стиле. Программный код также может быть компилирован для различных целевых платформ. Тем не менее, различные форматы кода, стили и языки программных кодов, а также другие средства конфигурирования кода для того, чтобы выполнять задачи в соответствии с изобретением, не должны отступать от сущности и объема изобретения.

[0032] Изобретение может быть осуществлено в других характерных формах без отступления от сущности или важнейших характеристик. Описанные примеры должны рассматриваться во всех отношениях только как иллюстративные, а не ограничивающие. Следовательно, объем изобретения определяется прилагаемой формулой изобретения, а не вышеприведенным описанием. Все изменения, которые подпадают под смысл и рамки равнозначности формулы изобретения, должны охватываться ее объемом.

Claims

1. Способ обработки единицы преобразования видеоданных, содержащий этапы, на которых:
принимают единицу кодирования видеоданных;
сегментируют единицу кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N, при этом режим прогнозирования для обработки прогнозирования упомянутых одной или более единиц прогнозирования определяется для каждой из упомянутых одной или более единиц прогнозирования; и
сегментируют единицу кодирования на одну или более единиц преобразования, при этом размер упомянутых одной или более единиц преобразования связан с размером единицы кодирования и размером упомянутых одной или более единиц прогнозирования таким образом, что ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

2. Способ по п. 1, в котором элемент синтаксиса используется для единицы кодирования 2N×2N с типом сегмента 2N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

3. Способ по п. 1, в котором элемент синтаксиса опускается для типа сегмента 2N×N, N×2N и N×N, и ширина и высота упомянутых одной или более единиц преобразования логически выводятся как составляющие N×N.

4. Способ по п. 1, в котором максимальная ширина и высота упомянутых одной или более единиц преобразования равны максимуму из ширины PU и высоты PU, и минимальная ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

5. Способ по п. 4, в котором элемент синтаксиса используется для типов сегментов 2N×2N, 2N×N и N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

6. Способ по п. 4, в котором элемент синтаксиса опускается для типа сегмента N×N, и ширина и высота упомянутых одной или более единиц преобразования логически выводятся как составляющие N×N.

7. Способ по п. 1, в котором размер упомянутых одной или более единиц преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N.

8. Способ по п. 7, в котором элемент синтаксиса используется для того, чтобы указывать размер упомянутых одной или более выбранных единиц преобразования.

9. Способ декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования, при этом способ содержит этапы, на которых:
принимают кодированные данные, ассоциированные с единицей кодирования в битовом потоке видео;
определяют размер единицы кодирования из кодированных данных, ассоциированных с единицей кодирования;
определяют сегмент PU (единиц прогнозирования) из типов сегментов 2N×2N, 2N×N, N×2N и N×N, ассоциированных с единицей кодирования;
определяют, имеется или нет элемент синтаксиса в кодированных данных, согласно размеру единицы кодирования и типу сегмента, при этом элемент синтаксиса используется для выбора сегмента единиц преобразования;
определяют значение элемента синтаксиса, если элемент синтаксиса имеется; и
определяют сегмент единиц преобразования, ассоциированный с единицей кодирования, согласно размеру единицы кодирования, типу сегмента и значению элемента синтаксиса.

10. Способ по п. 9, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

11. Способ по п. 10, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

12. Способ по п. 9, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, 2N×N или N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

13. Способ по п. 12, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют максимальную ширину и высоту, которая равна максимуму из ширины PU и высоты PU, и имеют минимальную ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

14. Способ по п. 9, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и тип сегмента представляет собой 2N×2N, 2N×N, N×2N или N×N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

15. Устройство для обработки единицы преобразования видеоданных, содержащее:
средство для приема единицы кодирования видеоданных;
средство для сегментирования единицы кодирования на одну или более единиц прогнозирования (PU) согласно типу сегмента 2N×2N, 2N×N, N×2N или N×N, при этом режим прогнозирования для обработки прогнозирования упомянутых одной или более единиц прогнозирования определяется для каждой из упомянутых одной или более единиц прогнозирования; и
средство для сегментирования единицы кодирования на одну или более единиц преобразования, при этом размер упомянутых одной или более единиц преобразования связан с размером единицы кодирования и размером упомянутых одной или более единиц прогнозирования таким образом, что ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

16. Устройство по п. 15, в котором элемент синтаксиса используется для единицы кодирования 2N×2N с типом сегмента 2N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

17. Устройство по п. 15, в котором максимальная ширина и высота упомянутых одной или более единиц преобразования равны максимуму из ширины PU и высоты PU, и минимальная ширина и высота упомянутых одной или более единиц преобразования равны минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

18. Устройство по п. 17, в котором элемент синтаксиса используется для типов сегментов 2N×2N, 2N×N и N×2N, чтобы указывать выбор между 2N×2N и N×N для ширины и высоты упомянутых одной или более единиц преобразования.

19. Устройство по п. 15, в котором размер упомянутых одной или более единиц преобразования выбирается между 2N×2N и N×N для типов сегментов 2N×2N, 2N×N, N×2N и N×N.

20. Устройство по п. 19, в котором элемент синтаксиса используется для того, чтобы указывать размер упомянутых одной или более выбранных единиц преобразования.

21. Устройство декодирования битового потока видео, в котором размер единицы преобразования зависит от размера единицы прогнозирования, причем устройство содержит:
средство для приема кодированных данных, ассоциированных с единицей кодирования в битовом потоке видео;
средство для определения размера единицы кодирования из кодированных данных, ассоциированных с единицей кодирования;
средство для определения сегмента PU (единиц прогнозирования) из типов сегментов 2N×2N, 2N×N, N×2N и N×N, ассоциированных с единицей кодирования;
средство для определения того, имеется или нет элемент синтаксиса в кодированных данных, согласно размеру единицы кодирования и типу сегмента, при этом элемент синтаксиса используется для выбора сегмента единиц преобразования;
средство для определения значения элемента синтаксиса, если элемент синтаксиса имеется; и
средство для определения сегмента единиц преобразования, ассоциированного с единицей кодирования, согласно размеру единицы кодирования, типу сегмента и значению элемента синтаксиса.

22. Устройство по п. 21, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

23. Устройство по п. 22, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

24. Устройство по п. 21, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и используется тип сегмента 2N×2N, 2N×N или N×2N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.

25. Устройство по п. 24, в котором сегмент единиц преобразования обусловливает то, что одна или более единиц преобразования имеют максимальную ширину и высоту, которая равна максимуму из ширины PU и высоты PU, и имеют минимальную ширину и высоту, которая равна минимуму из ширины PU и высоты PU, за исключением единицы кодирования 2N×2N с типом сегмента 2N×2N.

26. Устройство по п. 21, в котором элемент синтаксиса имеется, если размер единицы кодирования составляет 2N×2N и тип сегмента представляет собой 2N×2N, 2N×N, N×2N или N×N, при этом элемент синтаксиса указывает то, составляет ли сегмент единиц преобразования 2N×2N или N×N.