RU2589341C2 - Размер элемента мозаичного изображения при кодировании видео - Google Patents

Размер элемента мозаичного изображения при кодировании видео Download PDF

Info

Publication number
RU2589341C2
RU2589341C2 RU2014123207/08A RU2014123207A RU2589341C2 RU 2589341 C2 RU2589341 C2 RU 2589341C2 RU 2014123207/08 A RU2014123207/08 A RU 2014123207/08A RU 2014123207 A RU2014123207 A RU 2014123207A RU 2589341 C2 RU2589341 C2 RU 2589341C2
Authority
RU
Russia
Prior art keywords
tile
video
size
video sequence
image
Prior art date
Application number
RU2014123207/08A
Other languages
English (en)
Other versions
RU2014123207A (ru
Inventor
Андрей НОРКИН
Риккард ШЕБЕРГ
Original Assignee
Телефонактиеболагет Л М Эрикссон (Пабл)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Телефонактиеболагет Л М Эрикссон (Пабл) filed Critical Телефонактиеболагет Л М Эрикссон (Пабл)
Publication of RU2014123207A publication Critical patent/RU2014123207A/ru
Application granted granted Critical
Publication of RU2589341C2 publication Critical patent/RU2589341C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к видеокодированию. Технический результат заключается в уменьшении объема внутрикристаллической памяти за счет ограничения минимальной ширины элемента мозаичного изображения. Видеокодер, выполненный с возможностью кодирования видеопоследовательности, содержит модуль разделения, выполненный с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения, и по меньшей мере один модуль кодирования, выполненный с возможностью кодирования элементов мозаичного изображения. 5 н. и 10 з.п. ф-лы, 6 ил.

Description

Область техники, к которой относится изобретение
Настоящая заявка относится к видеокодеру, способу в видеокодере, видеодекодеру, способу в видеодекодере и считываемому компьютером носителю.
Уровень техники
Высокоэффективное кодирование видео (HEVC) является проектом стандарта сжатия видео и преемником H.264/MPEG-4 AVC (усовершенствованного кодирования видео). HEVC разрабатывается совместно экспертной группой по движущимся изображениям (MPEG) ISO/IEC и экспертной группой по кодированию видео (VCEG) ITU-T как часть 2 ISO/IEC 23008-2 MPEG-H и ITU-T H.HEVC.
Основной частью слоя кодирования в предыдущих стандартах был макроблок, содержащий блок 16×16 элементов дискретизации яркости, и в обычном случае с цветовой дискретизацией 4:2:0, два соответствующих блока 8×8 элементов дискретизации цветности, в то время как аналогичная структура в HEVC является единицей дерева кодирования (CTU), которая имеет размер, выбираемый кодером, и может быть больше, чем традиционный макроблок. CTU состоит из блока дерева кодирования яркости (СТВ) и соответствующих СТВ цветности и элементов синтаксиса. Размер L×L СТВ яркости может быть выбран как L=16, 32 или 64 элементов дискретизации, причем большие размеры обычно обеспечивают лучшее сжатие. HEVC затем поддерживает разделение СТВ на меньшие блоки с использованием структуры дерева и сигнализации типа дерева квадрантов.
Синтаксис дерева квадрантов CTU задает размер и позиции ее блоков кодирования (CB) яркости и цветности. Корень дерева квадрантов ассоциируется с CTU. Следовательно, размер СТВ яркости является наибольшим поддерживаемым размером для СВ яркости. Разбиение CTU на СВ яркости и цветности сигнализируется совместно. Один СВ яркости и обычно два СВ цветности, вместе с ассоциированным синтаксисом, формируют единицу кодирования (CU). СТВ может содержать только одну CU или может быть разбит для формирования множественных CU, и каждая CU имеет ассоциированное разделение на единицы предсказания (PU) и дерево единиц преобразования (TU).
Решение о том, кодировать ли область изображения с использованием предсказания между изображениями или внутри изображения, принимается на уровне CU. Структура разделения единицы предсказания (PU) имеет свой корень на уровне CU. В зависимости от решения относительно основного типа предсказания, СВ яркости и цветности затем могут быть дополнительно разбиты по размеру и предсказаны из блоков предсказания (РВ) яркости и цветности. HEVC поддерживает переменные размеры РВ от элементов дискретизации 64×64 до 4×4.
Ниже по тексту, где ссылка делается на единицу кодирования (CU), она может относиться к блоку кодирования (СВ) либо яркости, либо цветности, либо даже и того, и другого. Единица кодирования HEVC аналогична макроблоку, используемому в других стандартах кодирования видео.
Стандарт кодирования видео Н.264 определяет так называемые профили и уровни. Профиль является поднабором инструментов кодирования, заданных в стандарте, который обычно предназначается для конкретного набора приложений. В Н.264 имеются несколько профилей, такие как базовый профиль (предназначенный для мобильных приложений и приложений проведения конференций), главный профиль (предназначенный для телевидения) и высокий профиль (предназначенный для кодирования высокого разрешения видео). Может быть непрактичным требовать от декодера реализовать возможности декодирования для декодирования всех возможных комбинаций размеров изображения и скоростей передачи в битах в рамках выбранного профиля. По этой причине в Н.264 заданы “уровни”. Уровни накладывают ограничения на значения элементов синтаксиса, разрешенных в профиле, таких как скорость передачи в битах и размеры изображения.
Отдельно в стандарт высокоэффективного кодирования видео (HEVC) недавно был принят инструмент, называемый «элементы мозаичного изображения». Этот инструмент изменяет порядок декодирования наибольших единиц кодирования (LCU, альтернативно, наибольших блоков дерева (LTB), или единиц дерева кодирования (CTU)). Элементы мозаичного изображения могут быть истолкованы как области изображения, определенные набором вертикальных и/или горизонтальных линий, делящих изображение на прямоугольники. Эти прямоугольники являются элементами мозаичного изображения. LCU декодируются в порядке растрового сканирования внутри каждого элемента мозаичного изображения, а элементы мозаичного изображения декодируются в порядке растрового сканирования внутри изображения. По сравнению с обычным порядком декодирования растрового сканирования, элементы мозаичного изображения влияют на доступность соседних единиц кодирования (или блоков дерева) для предсказания и могут включать в себя или не включать в себя перенастройку любого энтропийного кодирования.
Фигура 1 показывает пример разделения элемента мозаичного изображения с использованием трех столбцов, отделенных границами 110 столбца, и трех рядов, отделенных границами 120 ряда. Фигура 1 показывает множество LCU 100, первые 41 из которых пронумерованы.
Фигура 2 показывает пример разделения элемента мозаичного изображения с использованием трех столбцов, отделенных границами 210 столбца, и одного ряда. Столбцы разделены на слайсы границей 230 слайса. Фиг. 2 показывает множество LCU 200, первые 14 из которых пронумерованы.
Каждый элемент мозаичного изображения содержит целое число LCU. LCU обрабатываются в порядке растрового сканирования в каждом элементе мозаичного изображения, а сами элементы мозаичного изображения обрабатываются в порядке растрового сканирования в изображении. Границы слайса вводятся кодером.
Разделение изображения на слайсы, как часть процесса кодирования известно, как отрицательно влияющее на эффективность кодирования, в частности, когда слайсы задуманы как независимо декодируемые. Однако многие приложения и реализации в настоящее время требуют разделения изображения. Например:
- Параллельная обработка: некоторые реализации, такие как те, которые исполняются в современных многоядерных CPU, разделяют исходное изображение на слайсы и отправляют каждый слайс в отдельное ядро для параллельного кодирования. Высококачественное кодирование в реальном времени видео высокого разрешения (например, 1280×720 и больше) не было бы возможно в настоящее время в многоядерном CPU общего назначения без разделения и параллельного кодирования. Кроме того, чтобы сократить затратное совместное использование информации между ядрами во время процесса кодирования/декодирования, обычно выгодно, чтобы слайсы кодировались независимо.
- Согласование размера MTU: при транспортировке кодированного битового потока в IP-сети пакеты подчиняются размеру максимальной единицы передачи (MTU). Если пакет содержит значительно меньше битов, чем размер MTU, тогда неэффективное использование битов заголовка пакета может существенно влиять на эффективность кодирования. Однако, если пакет содержит больше битов, чем размер MTU, сеть будет фрагментировать пакет. Кроме того, потерянный фрагмент пакета дает в результате проблему устойчивости к ошибкам, поскольку весь пакет является невосстановимым, если потерян один фрагмент. Один способ, чтобы избежать фрагментации пакета, состоит в разделении изображения на один или более слайсов, помещении каждого слайса в отдельный пакет, в то же время, удостоверяясь, что каждый пакет меньше, чем размер MCU.
- Устойчивость к ошибкам: некоторые приложения разделяют изображения на независимо декодируемые слайсы и применяют неодинаковые методы защиты от ошибок, чтобы защищать слайсы, считающиеся более важными.
Одним важным аспектом при рассмотрении практической реализации кодирования видео в аппаратном обеспечении является число каналов обращения к памяти. Для того чтобы уменьшить число выполняемых доступов считывания и записи к памяти, в Н.264 используется декодирование порядка макроблоков. В этом случае блок восстанавливается, затем применяется деблокирование (удаление блочности) для внутренних границ блока, а затем применяется деблокирование к границам с уже восстановленными блоками. После всего этого блок записывается обратно в память. Однако деблокирование не может быть применено к границам с блоками, которые еще не были восстановлены. Вследствие этого, пиксели, которые еще не обработаны деблокирующим фильтром (удаления блочности), сохраняются в буферной памяти, иногда упоминаемой как буфер линий. Поскольку макроблоки обрабатываются в порядке растрового сканирования, пиксели в граничной области на правой границе макроблока должны храниться в памяти до тех пор, пока не будет восстановлен следующий макроблок справа, и не может быть применено деблокирование. Однако для нижней границы макроблока информация о восстановленных пикселях должна храниться в буферной памяти до тех пор, пока не будет восстановлен и обработан макроблок в следующем ряду.
Если, например, деблокирующий фильтр на границах макроблока использует четыре пикселя с каждой стороны границы, тогда четыре линии пикселей вдоль нижней границы должны храниться до тех пор, пока не будет восстановлен следующий ряд макроблоков. В этом случае объем требуемой буферной памяти равен 4 линиям ширины изображения. Необходимая буферная память может равняться значительному объему памяти, в частности для видео высокого разрешения, что означает более высокие стоимости аппаратного обеспечения для декодера (поскольку буферная память находится на кристалле и, таким образом, является существенно более дорогой, чем память вне кристалла).
В данном документе, термин «граничный слой» используется для обозначения количества пикселей, которые должны быть сохранены в процессе деблокирования, как описано выше по тексту. Граничный слой блока содержит множество пикселей, значения которых используются деблокирующим фильтром во время декодирования последующего блока.
В HEVC проблема с требованиями к буферу линий становится еще более важной, поскольку стандарт HEVC имеет целью разрешения, более высокие, чем текущее определение высокого разрешения (1920 на 1080 пикселей). Кроме того, HEVC также имеет внутриконтурные (in-loop) фильтры, отличные от деблокирующего фильтра, например адаптивное к элементу дискретизации смещение (SAO) и адаптивный контурный фильтр (ALF). Эти контурные фильтры применяются поверх деблокирующего фильтра и вносят дополнительное увеличение требуемого размера буфера линий, поскольку пиксели на нижней границе LCU (наибольшей единицы кодирования) еще не были обработаны деблокированием и, вследствие этого, не могут использоваться в качестве ввода в SAO и ALF. Вследствие этого, буфер линий для декодера HEVC должен имеет больше линий, чем Н.264, что вместе с большей шириной изображения требует обеспечения намного большей внутрикристальной памяти для буферов линий.
«Working Draft 4 of High-Efficiency Video Coding», JCTVC-F803, Italy, July 2011 дает общее описание стандарта HEVC, в настоящее время еще находящегося в разработке.
Arild Fuldseth, Michael Horowitz, Shilin Xu, Andrew Segall, Mingua Zhou, “Tiles” («элементы мозаичного изображения»), JCTVC-F335, Italy, July 2011 предоставляет описание методики кодирования, упоминаемой как «элементы мозаичного изображения».
Сущность изобретения
Концепция, введенная в данный документ, состоит в ограничении минимального размера элемента мозаичного изображения для уровней HEVC видео. Дополнительная память линий может требоваться для столбцов, ближайших к правой границе элемента мозаичного изображения. То есть, может быть дополнительная граничная область из некоторого числа столбцов пикселей на правой границе элемента мозаичного изображения. (Значения пикселей этих столбцов должны храниться до тех пор, пока элемент мозаичного изображения справа, не будет декодирован (но не деблокирован), поскольку значения пикселей с каждой стороны границы требуются, для того чтобы правильно деблокировать границу). Однако доступ к этой дополнительной памяти линий должен осуществляться только один раз для каждого элемента мозаичного изображения и, таким образом, она может содержаться в памяти вне кристалла декодера и считываться, по мере необходимости, без значительного увеличения числа каналов обращения к памяти. Это подход мог бы вызывать задержку, если ширина элемента мозаичного изображения является слишком малой, но эта проблема может быть преодолена с помощью наложения ограничения на минимальную ширину элемента мозаичного изображения.
Дополнительная концепция, введенная в данный документ, состоит в ограничении максимального размера элемента мозаичного изображения для уровней HEVC видео. Она будет ограничивать объем внутрикристальной памяти, которая требуется для внутриконтурной фильтрации (а также для внутреннего (intra-) предсказания), что означает, что закодированный поток видео может быть декодирован декодером, имеющим буфер линий меньшей емкости и, следовательно, более низкую стоимость производства.
Таким образом, предоставлен видеокодер, выполненный с возможностью кодирования видеопоследовательности, причем видеокодер содержит модуль разделения, и по меньшей мере один модуль кодирования. Модуль разделения выполнен с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения. По меньшей мере один модуль кодирования выполнен с возможностью кодирования элементов мозаичного изображения.
Кодер может быть выполнен с возможностью оптимизации кодирования для конкретного видеодекодера, причем конкретный декодер выполнен с возможностью сохранения правой границы элемента мозаичного изображения в памяти вне кристалла. Установка минимального размера элемента мозаичного изображения накладывает верхнюю границу на частоту, с которой должен быть осуществлен доступ к памяти вне кристалла. Это сокращает влияние какой-либо задержки, вызываемой осуществлением доступа к памяти вне кристалла.
Размер элемента мозаичного изображения может быть по меньшей мере одним из: высоты элемента мозаичного изображения, ширины элемента мозаичного изображения и периметра элемента мозаичного изображения.
Дополнительно предоставлен способ в видеокодере, причем способ содержит разделение видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения. Способ дополнительно содержит кодирование элементов мозаичного изображения.
Дополнительно предоставлен видеодекодер, выполненный с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем видеодекодер содержит единицу кодирования и деблокирующий фильтр. Модуль декодирования единиц кодирования выполнен с возможностью декодирования единиц кодирования изображений в закодированной видеопоследовательности. Деблокирующий фильтр выполнен с возможностью сглаживания границ между единицами кодирования, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.
Дополнительно предоставлен способ в видеодекодере, причем видеодекодер выполнен с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения. Способ содержит декодирование единиц кодирования изображений в закодированной видеопоследовательности. Способ дополнительно содержит сглаживание границ между единицами кодирования с использованием деблокирующего фильтра, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.
Также предоставлен считываемый компьютером носитель, переносящий инструкции, которые при исполнении компьютерной логикой побуждают упомянутую компьютерную логику выполнять любой из способов, определенных в данном документе.
Краткое описание чертежей
Способ и устройство для ограничения размера элемента мозаичного изображения при кодировании видео теперь будут описаны, только в качестве примера, со ссылкой на сопровождающие чертежи, на которых:
Фигура 1 показывает первый пример разделения элемента мозаичного изображения;
Фигура 2 показывает второй пример разделения элемента мозаичного изображения;
Фигура 3 показывает видеокодер;
Фигура 4 показывает видеодекодер;
Фигура 5 иллюстрирует способ кодирования видеопоследовательности; и
Фигура 6 иллюстрирует способ декодирования видеопоследовательности.
Подробное описание изобретения
Как понятно из Фигур 1 и 2, если декодирование и фильтрация выполняются в порядке элементов мозаичного изображения, тогда только значения пикселей в граничной области элемента мозаичного изображения должны сохраняться во внутрикристальной памяти. Это представляет противоположность декодированию и фильтрации изображения без элементов мозаичного изображения, посредством чего граничная область линий полной ширины изображения должна сохраняться в линейном буфере. Следовательно, требуется меньшая буферная память, когда используются элементы мозаичного изображения. Способ и устройство, описанные в данном документе, таким образом, делают элементы мозаичного изображения обязательными для некоторых профилей и уровней, а также накладывают ограничение на максимальную ширину элемента мозаичного изображения.
В некоторых вариантах осуществления некоторая дополнительная память линий могла бы требоваться для столбцов, ближайших к правой границе элемента мозаичного изображения. То есть, может быть дополнительная граничная область из некоторого числа столбцов пикселей на правой границе элемента мозаичного изображения. Однако доступ к этой дополнительной памяти линий должен осуществляться только один раз для каждого элемента мозаичного изображения и, таким образом, она может содержаться в памяти вне кристалла декодера и считываться, по мере необходимости, без существенного увеличения числа каналов обращения к памяти. Это подход мог бы вызывать задержку, если ширина элемента мозаичного изображения является слишком малой, но этой проблеме можно противодействовать с помощью наложения дополнительного ограничения на минимальную ширину элемента мозаичного изображения.
Наличие нескольких элементов мозаичного изображения вертикально (как на Фигуре 1), также требует загрузку внутрикристальной памяти, более часто, при переключении обратно между рядами элементов мозаичного изображения. Следовательно, ограничение на минимальный размер элемента мозаичного изображения по вертикали также может быть наложено, чтобы противодействовать любой задержке, создаваемой этим.
Размер наибольшей единицы кодирования определяется площадью элемента мозаичного изображения, которая равна tile_width*tile_height (ширина элемента мозаичного изображения*высота элемента мозаичного изображения). Размер элемента мозаичного изображения может быть ограничен с помощью наложения ограничения на число LCU в элементе мозаичного изображения. Минимальное и максимальное значения для числа LCU могли бы задаваться для каждого уровня кодирования.
Другая альтернатива состоит в ограничении значения суммы tile_width+tile_height (ширина элемента мозаичного изображения*высота элемента мозаичного изображения), поскольку она определяет размер внутрикристальной памяти, требуемый в декодере. Следовательно, также можно ограничить значение суммы tile_width+tile_height максимальным или минимальным значениями (или, как минимальным, так и максимальным значениями).
Ограничения на размер элемента мозаичного изображения могут быть выражены по высоте числом LCU, по ширине числом LCU или числом LCU в элементе мозаичного изображения (tile_width_in_LCU*tile_height_in_LCU). Эти ограничения также могут быть выражены в пикселях.
В первом варианте осуществления ограничение maximum_tile_width (максимальная ширина элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).
Во втором варианте осуществления ограничение maximum_tile_height (максимальная высота элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).
В третьем варианте осуществления ограничение minimum_tile_width (минимальная ширина элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).
В четвертом варианте осуществления ограничение minimum_tile_height (минимальная высота элемента мозаичного изображения) применяется к каждому уровню (или для поднабора уровней).
В пятом варианте осуществления ограничение maximum_tile_width и maximum_tile_height применяется к каждому уровню (или для поднабора уровней).
В шестом варианте осуществления ограничение minimum_tile_width и minimum_tile_height применяется к каждому уровню (или для поднабора уровней).
В седьмом варианте осуществления ограничение максимума tile_width*tile_height применяется к каждому уровню (или для поднабора уровней).
В восьмом варианте осуществления ограничение минимума tile_width*tile_height применяется к каждому уровню (или для поднабора уровней).
В девятом варианте осуществления ограничение максимума tile_width*tile_height и минимума tile_width*tile_height применяется к каждому уровню (или для поднабора уровней).
В десятом варианте осуществления ограничение максимума tile_width+tile_height применяется к каждому уровню (или для поднабора уровней).
В одиннадцатом варианте осуществления ограничение минимума tile_width+tile_height применяется к каждому уровню (или для поднабора уровней).
В двенадцатом варианте осуществления ограничение максимума tile_width+tile_height и минимума tile_width+tile_height применяется к каждому уровню (или для поднабора уровней).
Фигура 3 показывает видеокодер 300. Видеокодер содержит модуль 310 разделения и модуль 320 кодирования. Модуль 310 разделения принимает видеопоследовательность и разделяет изображения видеопоследовательности на элементы мозаичного изображения. Элементы мозаичного изображения кодируются модулем 320 кодирования, и закодированные модули выводятся из кодера 300.
Фигура 4 показывает видеодекодер 400. Видеодекодер 400 содержит модуль 410 декодирования единиц кодирования и деблокирующий фильтр 420. Модуль 410 декодирования единиц кодирования принимает вывод кодера, который может быть передан из кодера декодеру с помощью любой сети связи. Модуль 410 декодирования единиц кодирования декодирует единицы кодирования каждого изображения видеопоследовательности как часть процесса декодирования видео. Декодированные единицы кодирования пропускаются через деблокирующий фильтр 420, который сглаживает края единиц кодирования, удаляя любые артефакты кодирования, которые могли быть введены во время процесса кодирования. Выводом деблокирующего фильтра является видеопоследовательность, которая может быть выведена на устройство отображения.
Фигура 5 иллюстрирует способ кодирования видеопоследовательности. Способ содержит разделение 510 видеопоследовательности на элементы мозаичного изображения. Элементы мозаичного изображения затем кодируются 520 с использованием основанной на блоках схемы кодирования. По меньшей мере одной размерностью элемента мозаичного изображения управляют, как описано в данном документе, чтобы способствовать оптимальному декодированию в декодере.
Фиг. 6 иллюстрирует способ декодирования видеопоследовательности. Способ содержит декодирование 610 единиц кодирования из закодированной видеопоследовательности. Способ дополнительно содержит применение 620 деблокирующего фильтра к единицам кодирования, чтобы сгладить любые артефакты кодирования. Декодер будет включать в себя средство для временного сохранения значений пикселей для граничных областей предшествующих элементов мозаичного изображения, таким образом, что они могут быть использованы для операции сглаживания на краях декодируемого в текущий момент элемента мозаичного изображения.
Способы и устройства, раскрытые в данном документе позволяют уменьшить объем внутрикристальной памяти, необходимый для буфера линий в видеодекодере. Это делает кодер менее дорогим и более легким для реализации.
Специалист в данной области техники поймет, что точный порядок и содержание действий, выполняемых в способе, описанном в данном документе, могут быть изменены в соответствии с требованиями конкретного набора параметров исполнения. Таким образом, порядок, в котором описаны и/или заявлены действия, не должен быть истолкован как строгое ограничение относительно порядка, в котором действия должны быть выполнены.
Кроме того, несмотря на то, что примеры были приведены в контексте конкретных стандартов кодирования видео, эти примеры не должны подразумеваться как ограничение стандартов кодирования видео, к которым могут быть применены раскрытые способ и устройство. Например, несмотря на то, что специфические примеры были приведены в контексте HEVC, принципы, раскрытые в данном документе, также могут быть применены к любой системе Н.264, другой системе кодирования видео и, конечно, любой системе кодирования видео, которая использует буфер линий.
ДОПОЛНЕНИЕ
Предоставлен видеокодер, выполненный с возможностью кодирования видеопоследовательности, причем видеокодер содержит: модуль разделения, выполненный с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения меньше, чем предварительно определенный максимальный размер элемента мозаичного изображения; и по меньшей мере один модуль кодирования, выполненный с возможностью кодирования элементов мозаичного изображения.
Кодер может быть выполнен с возможностью оптимизации кодирования для конкретного видеодекодера. Предварительно определенный максимальный размер элемента мозаичного изображения может быть определен таким образом, что деблокирующий фильтр в конкретном видеодекодере имеет достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения, имеющего максимальный размер элемента мозаичного изображения.
Максимальный размер элемента мозаичного изображения может зависеть от уровня качества кодирования.
Модуль разделения может быть дополнительно выполнен с возможностью определения ширины изображения видеопоследовательности и разделения видеопоследовательности на элементы мозаичного изображения, если ширина изображения превышает предварительно определенный максимальный размер элементов мозаичного изображения.
Размер элемента мозаичного изображения может быть больше, чем минимальный размер элемента мозаичного изображения.
Размер элемента мозаичного изображения может быть по меньшей мере одним из: высоты элемента мозаичного изображения, ширины элемента мозаичного изображения, площади элемента мозаичного изображения и периметра элемента мозаичного изображения.
Дополнительно предоставлен способ в видеокодере, причем способ содержит: разделение видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения меньше чем предварительно определенный максимальный размер элемента мозаичного изображения; и кодирование элементов мозаичного изображения.
Способ может дополнительно содержать оптимизацию кодирования для конкретного видеодекодера, посредством чего предварительно определенный максимальный размер элемента мозаичного изображения может быть определен таким образом, что деблокирующий фильтр в конкретном видеодекодере имеет достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения, имеющего максимальный размер элемента мозаичного изображения.
Дополнительно предоставлен видеодекодер, выполненный с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем видеодекодер содержит: модуль декодирования единиц кодирования, выполненный с возможностью декодирования единиц кодирования изображений в закодированной видеопоследовательности; и деблокирующий фильтр, выполненный с возможностью сглаживания границ между единицами кодирования, при этом деблокирующий фильтр содержит достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения.
Граничный слой элемента мозаичного изображения содержит множество пикселей, значения которых используются деблокирующим фильтром во время декодирования последующего элемента мозаичного изображения.
Видеодекодер может быть выполнен с возможностью приема закодированной видеопоследовательности, причем закодированная видеопоследовательность разделена на элементы мозаичного изображения и закодирована с использованием размера элемента мозаичного изображения, подходящего для видеодекодера.
Дополнительно предоставлен способ в видеодекодере, причем видеодекодер выполнен с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем способ содержит: декодирование единиц кодирования изображений в закодированной видеопоследовательности и сглаживание границ между единицами кодирования с использованием деблокирующего фильтра, при этом деблокирующий фильтр содержит достаточную буферную память для сохранения значений пикселей для граничного слоя элемента мозаичного изображения.
Дополнительно предоставлен считываемый компьютером носитель, переносящий инструкции, которые при исполнении компьютерной логикой побуждают упомянутую компьютерную логику выполнять любой из способов, определенных в данном документе.

Claims (15)

1. Видеокодер, выполненный с возможностью кодирования видеопоследовательности, причем видеокодер содержит:
модуль разделения, выполненный с возможностью разделения видеопоследовательности на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения; и,
по меньшей мере один модуль кодирования, выполненный с возможностью кодирования элементов мозаичного изображения.
2. Видеокодер по п. 1, при этом кодер выполнен с возможностью оптимизации кодирования для конкретного видеодекодера, причем конкретный декодер выполнен с возможностью сохранения правой границы элемента мозаичного изображения в памяти вне кристалла.
3. Видеокодер по п. 1 или 2, в котором минимальный размер элемента мозаичного изображения зависит от профиля кодирования и/или уровня кодирования.
4. Видеокодер по п. 1 или 2, в котором размер элемента мозаичного изображения также меньше чем максимальный размер элемента мозаичного изображения.
5. Видеокодер по п. 1 или 2, в котором модуль разделения дополнительно выполнен с возможностью определения ширины изображения видеопоследовательности и разделения видеопоследовательности на элементы мозаичного изображения, если ширина изображения превышает предварительно определенный максимальный размер элементов мозаичного изображения.
6. Видеокодер по п. 1, в котором размер элемента мозаичного изображения является по меньшей мере одним из: высоты элемента мозаичного изображения, ширины элемента мозаичного изображения, площади элемента мозаичного изображения и периметра элемента мозаичного изображения.
7. Способ кодирования в видеокодере, причем способ содержит этапы, на которых:
разделяют видеопоследовательность на элементы мозаичного изображения, при этом размер элемента мозаичного изображения больше, чем предварительно определенный минимальный размер элемента мозаичного изображения; и
кодируют элементы мозаичного изображения.
8. Способ по п. 7, причем способ дополнительно содержит этапы, на которых:
оптимизируют кодирование для конкретного видеодекодера, причем конкретный декодер выполнен с возможностью сохранения правой границы элемента мозаичного изображения в памяти вне кристалла.
9. Видеодекодер, выполненный с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем видеодекодер содержит:
модуль декодирования единиц кодирования, выполненный с возможностью декодирования единиц кодирования изображений в закодированной видеопоследовательности; и
деблокирующий фильтр, выполненный с возможностью сглаживания границ между единицами кодирования, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.
10. Видеодекодер по п. 9, в котором граничный слой элемента мозаичного изображения содержит множество пикселей, значения которых используются деблокирующим фильтром во время декодирования последующего элемента мозаичного изображения.
11. Видеодекодер по п. 9, при этом видеодекодер выполнен с возможностью приема закодированной видеопоследовательности, причем закодированная видеопоследовательность разделена на элементы мозаичного изображения и закодирована с использованием размера элемента мозаичного изображения, подходящего для видеодекодера.
12. Способ декодирования в видеодекодере, причем видеодекодер выполнен с возможностью декодирования закодированной видеопоследовательности, причем видеопоследовательность закодирована в элементах мозаичного изображения, причем способ содержит этапы, на которых:
декодируют единицы кодирования изображений в закодированной видеопоследовательности; и
сглаживают границы между единицами кодирования с использованием деблокирующего фильтра, при этом деблокирующий фильтр осуществляет доступ к правой границе элемента мозаичного изображения, сохраненной в памяти вне кристалла.
13. Способ по п. 12, в котором доступ к памяти вне кристалла осуществляют один раз для каждого элемента мозаичного изображения.
14. Способ по п. 12 или 13, в котором минимальный размер элемента мозаичного изображения выбирают в зависимости от ожидаемой временной задержки, чтобы осуществлять доступ к памяти вне кристалла.
15. Считываемый компьютером носитель, переносящий инструкции, которые при исполнении компьютерной логикой побуждают упомянутую компьютерную логику выполнять любой из способов по пп. 7, 8, 12, 13 и 14.
RU2014123207/08A 2011-11-08 2012-11-08 Размер элемента мозаичного изображения при кодировании видео RU2589341C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161557093P 2011-11-08 2011-11-08
US61/557,093 2011-11-08
PCT/EP2012/072189 WO2013068498A2 (en) 2011-11-08 2012-11-08 Tile size in video coding

Publications (2)

Publication Number Publication Date
RU2014123207A RU2014123207A (ru) 2015-12-20
RU2589341C2 true RU2589341C2 (ru) 2016-07-10

Family

ID=47227777

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014123207/08A RU2589341C2 (ru) 2011-11-08 2012-11-08 Размер элемента мозаичного изображения при кодировании видео

Country Status (9)

Country Link
US (1) US20130308709A1 (ru)
EP (1) EP2749025A2 (ru)
KR (1) KR20140074369A (ru)
CN (1) CN104025594A (ru)
BR (1) BR112014010007A2 (ru)
CA (1) CA2854426A1 (ru)
MX (1) MX2014005021A (ru)
RU (1) RU2589341C2 (ru)
WO (1) WO2013068498A2 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
CN107734346B (zh) * 2012-02-04 2020-11-20 Lg 电子株式会社 视频编码方法、视频解码方法和使用其的设备
US9270994B2 (en) * 2012-06-29 2016-02-23 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US9788002B2 (en) * 2012-11-29 2017-10-10 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP6208993B2 (ja) 2013-06-28 2017-10-04 ルネサスエレクトロニクス株式会社 画像復号装置及び画像復号装置の復号処理方法
CN103702126B (zh) * 2013-12-10 2017-01-18 清华大学深圳研究生院 一种基于视频标准hevc的并行编码优化方法
US10506244B2 (en) * 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
JP2017050766A (ja) * 2015-09-03 2017-03-09 Ｎｔｔエレクトロニクス株式会社 映像処理装置及び映像処理方法
CN115767106B (zh) * 2016-10-04 2023-10-10 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
CN114928733B (zh) 2016-10-12 2023-10-24 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
MX2021007874A (es) * 2018-12-27 2021-10-26 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y métodos correspondientes.
KR20210107090A (ko) * 2018-12-28 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
WO2021054438A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 画像処理装置および画像処理方法
CN114501003B (zh) * 2021-12-24 2024-03-12 北京达佳互联信息技术有限公司 视频解码方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913991B1 (en) * 1992-10-08 2001-08-08 Sharp Kabushiki Kaisha Image processing apparatus and method
EP1659532A2 (en) * 2004-11-19 2006-05-24 NTT DoCoMo, Inc. Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method
RU2353066C2 (ru) * 2004-06-04 2009-04-20 Квэлкомм Инкорпорейтед Устройство и способ реализации интерфейса высокоскоростной передачи данных
EP1169847B1 (en) * 1999-03-30 2010-01-13 Tessera Technologies Hungary Kft. A method and system for super resolution image capture using a mask

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191800B1 (en) * 1998-08-11 2001-02-20 International Business Machines Corporation Dynamic balancing of graphics workloads using a tiling strategy
US20070165738A1 (en) * 2005-10-27 2007-07-19 Barriac Gwendolyn D Method and apparatus for pre-coding for a mimo system
US8086037B2 (en) * 2008-02-15 2011-12-27 Microsoft Corporation Tiling and merging framework for segmenting large images
US8627165B2 (en) * 2008-03-24 2014-01-07 Micron Technology, Inc. Bitwise operations and apparatus in a multi-level system
US9300976B2 (en) * 2011-01-14 2016-03-29 Cisco Technology, Inc. Video encoder/decoder, method and computer program product that process tiles of video data
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913991B1 (en) * 1992-10-08 2001-08-08 Sharp Kabushiki Kaisha Image processing apparatus and method
EP1169847B1 (en) * 1999-03-30 2010-01-13 Tessera Technologies Hungary Kft. A method and system for super resolution image capture using a mask
RU2353066C2 (ru) * 2004-06-04 2009-04-20 Квэлкомм Инкорпорейтед Устройство и способ реализации интерфейса высокоскоростной передачи данных
EP1659532A2 (en) * 2004-11-19 2006-05-24 NTT DoCoMo, Inc. Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method

Also Published As

Publication number Publication date
KR20140074369A (ko) 2014-06-17
MX2014005021A (es) 2014-07-09
CA2854426A1 (en) 2013-05-16
WO2013068498A2 (en) 2013-05-16
US20130308709A1 (en) 2013-11-21
BR112014010007A2 (pt) 2017-04-25
RU2014123207A (ru) 2015-12-20
EP2749025A2 (en) 2014-07-02
WO2013068498A3 (en) 2013-08-15
CN104025594A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
RU2589341C2 (ru) Размер элемента мозаичного изображения при кодировании видео
US11265584B2 (en) EQT depth calculation
US11800109B2 (en) Method and apparatus for sub-picture based raster scanning coding order
US9313505B2 (en) Method and system for selectively breaking prediction in video coding
CN112188194B (zh) 帧内预测装置、方法、编解码装置及计算机可读存储介质
CN107277539B (zh) 减少用于上下文自适应熵解码中的行缓存的方法及装置
KR20220030991A (ko) 적응적 루프 필터링에서의 샘플 패딩
KR20220020268A (ko) 비디오 유닛 경계들 및 가상 경계들의 처리
US9344717B2 (en) Method and apparatus for sample adaptive offset in a video decoder
US11632575B2 (en) Binarization of partitioning related to extended quadtree
CN110115036B (zh) 一种用于从预定定向帧内预测模式集合中移除定向帧内预测模式的帧内预测装置
US20090279611A1 (en) Video edge filtering
EP2880861B1 (en) Method and apparatus for video processing incorporating deblocking and sample adaptive offset
KR20220031611A (ko) 적응적 루프 필터링에서의 분류
JP2007258882A (ja) 画像復号装置
TWI779545B (zh) 在視訊編解碼系統中以編碼樹單元為基礎進行切片分割之畫面編解碼方法和裝置
RU2815441C2 (ru) Способ заполнения отсчетов при адаптивной контурной фильтрации
RU2777967C1 (ru) Деблокирующий фильтр для границ подразделов, возникающих под действием инструмента кодирования интра-подразделов
WO2020136987A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
KR20220030953A (ko) 적응적 루프 필터링을 위한 샘플 결정

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20201109