RU2603548C2 - Получение режима внутреннего прогнозирования для цветоразностных значений - Google Patents

Получение режима внутреннего прогнозирования для цветоразностных значений Download PDF

Info

Publication number
RU2603548C2
RU2603548C2 RU2014147451/08A RU2014147451A RU2603548C2 RU 2603548 C2 RU2603548 C2 RU 2603548C2 RU 2014147451/08 A RU2014147451/08 A RU 2014147451/08A RU 2014147451 A RU2014147451 A RU 2014147451A RU 2603548 C2 RU2603548 C2 RU 2603548C2
Authority
RU
Russia
Prior art keywords
samples
color
brightness
prediction
sample
Prior art date
Application number
RU2014147451/08A
Other languages
English (en)
Other versions
RU2014147451A (ru
Inventor
Джеймс Александр ГЭМЕЙ
Николас Ян СОНДЕРС
Карл Джеймс ШАРМАН
Пол Джеймс СИЛКОК
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2014147451A publication Critical patent/RU2014147451A/ru
Application granted granted Critical
Publication of RU2603548C2 publication Critical patent/RU2603548C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/28—High-definition television systems involving bandwidth reduction, e.g. subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

Изобретение относится к области кодирования декодирования данных. Технический результат - обеспечение меньшей степени сжатия в каналах цветности. Способ декодирования видео, в котором выборки яркости и цветности прогнозируют по другим соответствующим опорным выборкам в соответствии с направлением прогнозирования, ассоциированным с текущей выборкой, подлежащей прогнозированию, при этом выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем выборки яркости, так, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности; содержит этапы, на которых: обнаруживают первое направление прогнозирования, определенное в отношении первой сетки с первым соотношением размеров, в отношении набора текущих выборок, подлежащих прогнозированию; и применяют отображение направления к направлению прогнозирования для генерирования второго направления прогнозирования, определенного в отношении второй сетки с другим соотношением размеров. 6 н. и 27 з.п. ф-лы, 45 ил.

Description

Область техники, к которой относится изобретение
Данное раскрытие относится к кодированию и декодированию данных.
Уровень техники
Описание "Уровня техники", представленное здесь, предназначено для общего представления контекста раскрытия. Работа названных в настоящее время авторов изобретения, в той степени, как она описана в этом разделе "Предшествующий уровень техники", так же, как и аспекты описания, которые, не могут быть квалифицированы, как предшествующий уровень техники во время подачи, ни в явном виде, ни скрыто не допущены, как предшествующий уровень техники, против настоящего раскрытия.
Существует несколько систем кодирования и декодирования видеоданных, в которых используется преобразование видеоданных в представление в области частоты, квантование коэффициентов в области частоты и затем применение определенной формы энтропийного кодирования для квантованных коэффициентов. Это позволяет достичь сжатия видеоданных. Соответствующая технология декодирования или разворачивания данных применяется для восстановления реконструированной версии оригинальных видеоданных.
Используемые в настоящее время видеокодеки (декодеры - кодеры), такие как используются в H.264/MPEG-4 Усовершенствованное видеокодирование (AVC) обеспечивают сжатие данных, в основном, только благодаря кодированию разности между последовательными видеокадрами. В таких кодеках используются регулярные массивы так называемых макроблоков, каждый из которых используется в качестве области сравнения с соответствующим макроблоком в предыдущем видеокадре, и область изображения в макроблоке затем кодируют в соответствии со степенью движения, определенной между соответствующими текущими и предыдущими макроблоками в последовательности видеоданных, или между соседними макроблоками в пределах одного кадра последовательности видеоданных.
Высокоэффективной кодирование видеоданных (HEVC), также известное как Н.265 или MPEG-H Часть 2, является предложенным преемником для H.264/MPEG-4 AVC. Для HEVC предполагается улучшение качества видеоизображения и удвоение степени сжатия данных по сравнению с Н.264, и обеспечение возможности масштабирования от 128×96 до 7680×4320 пикселей разрешения, что приблизительно эквивалентно скоростям передачи битов в диапазоне от 128 кбит/с до 800 Мбит/с.
В HEVC так называемая структура блока 4:2:0 предложена для оборудования потребителя, в которой объем данных, используемый в каждом канале цветности, составляет одну четверть канала яркости. Это связано с тем, что субъективно люди в большей степени чувствительны к вариациям яркости, чем к вариациям цвета, и, таким образом, возможно использовать большую степень сжатия и/или меньше информации в каналах цветности без субъективной потери качества.
HEVC заменяет макроблоки, определенные в существующих стандартах Н.264 и MPEG, более гибкой схемой на основе модулей кодирования (CU), которые представляют собой структуры переменного размера.
Следовательно, при кодировании данных изображения в видеокадрах, размеры CU можно выбирать в соответствии с кажущейся сложностью изображения или детектируемыми уровнями движения, вместо использования равномерно распределенных макроблоков. Следовательно, может быть достигнута гораздо большая степень сжатия в областях, в которых присутствует мало движения между кадрами, и с малыми вариациями в пределах кадра, в то время как лучшее качество изображения может быть сохранено в областях с большим движением между кадрами движения или с большей сложностью изображения.
Каждый CU содержит один или больше модулей прогнозирования (PU) с переменным размером блока, либо для прогнозирования внутри кадра, или для прогнозирования между кадрами, и один или больше модулей преобразования (TU), которые содержат коэффициенты для пространственного преобразования блоков и квантования.
Кроме того, блоки PU и TU предусмотрены для каждого из трех каналов; яркости (Y), который представляет яркость или канал яркости, и который можно рассматривать как канал серой шкалы, и два цветоразностных канала или канала цветности (chroma); Cb и Cr. Эти каналы обеспечивают цвет для изображения серой шкалы канала яркости. Термины Y, яркость и luma используются взаимозаменяемо в данном описании, и аналогично термины Cb и Cr цветности и chroma используются здесь взаимозаменяемо, соответственно, с учетом того, что термины цветность или chroma могут использоваться в общем смысле для "одного или обоих Cr и Cb", когда будет описываться один конкретный канал цветности, он будет обозначен термином Cb или Cr.
В общем случае PU рассматривается как независимый от канала за исключением того, что PU имеет часть яркости и часть цветности. В общем, это означает, что образцы, формирующие часть PU для каждого канала, представляют ту же область изображения, таким образом, что существует фиксированная взаимосвязь между PU, между тремя каналами. Например, для видеоизображения 4:2:0, PU 8×8 для яркости всегда имеет соответствующие PU 4×4 для цветности, при этом части цветности PU, представляющие те же области, что и часть яркости, но содержащие меньшее количество пикселей, благодаря свойствам подвыборки данных цветности 4:2:0 по сравнению с данными яркости в видеоизображении 4:2:0. Два канала цветности совместно используют информацию прогнозирования внутри кадра; и три канала совместно используют информацию прогнозирования между кадрами. Точно так же структуры TU также имеют фиксированную взаимосвязь между этими тремя каналами.
Однако для профессиональной широковещательной передачи и оборудования цифрового кино желательно иметь меньшую степень сжатия (или большее количество информации) в каналах цветности, и это может повлиять, на то, как работают современная и предложенная обработка HEVC.
Раскрытие изобретения
Настоящее раскрытие направлено на устранение или уменьшение проблем, возникающих при такой обработке.
Соответствующие аспекты и свойства настоящего раскрытия определены в приложенной формуле изобретения.
Следует понимать, что как представленное выше общее описание, так и следующее подробное описание изобретения являются примерными, но не являются ограничительными в отношении настоящей технологии.
Краткое описание чертежей
Более полная оценка раскрытия и множества его сопутствующих преимуществ будут легко достигнуты по мере их лучшего понимания, со ссылкой на следующее подробное описание изобретения, которое рассматривается совместно с приложенными чертежами, на которых:
на фиг. 1 схематично иллюстрируется система передачи и приема аудио/видео (A/V) данных, в которой используется сжатие и распаковка видеоданных;
на фиг. 2 схематично показана система отображения видео, в которой используется распаковка видеоданных;
на фиг. 3 схематично показана система накопителя аудио/видеоданных, используя сжатие и распаковку видеоданных;
на фиг. 4 схематично показана видеокамера, в которой используется сжатие видеоданных;
на фиг. 5 представлен общий обзор описания схемы устройства сжатия и распаковки видеоданных;
на фиг. 6 схематично показано генерирование прогнозируемых изображений;
на фиг. 7 схематично показан наибольший модуль кодирования (LCU);
на фиг. 8 схематично показан набор из четырех модулей кодирования (CU);
на фиг. 9 и 10 схематично представлены модули кодирования по фиг. 8, разделенные на меньшие модули кодирования;
на фиг. 11 схематично показан массив модулей прогнозирования (PU);
на фиг. 12 схематично показан массив модулей преобразования (TU);
на фиг. 13 схематично показано частично кодированное изображение;
на фиг. 14 схематично показан набор возможных направлений прогнозирования внутри кадра;
на фиг. 15 схематично показан набор режимов прогнозирования;
на фиг. 16 схематично показана диагональная развертка сверху вправо;
на фиг. 17 схематично показано устройство сжатия видеоданных;
на фиг. 18А и 18В схематично представлены возможные размеры блока;
на фиг. 19 схематично показано использование совместно размещенной информации из блоков цветности и яркости;
на фиг. 20 схематично показана ситуация, в которой совместно размещенная информация из одного канала цветности используется относительно другого канала цветности;
на фиг. 21 схематично показаны пиксели используемые для режима LM-ЦВЕТНОСТИ;
на фиг. 22 схематично показан набор направлений прогнозирования яркости;
на фиг. 23 схематично показаны направления для фиг. 22, в применении к горизонтальному прореженному каналу цветности;
на фиг. 24 схематично показаны направления для фиг. 22, отображенные на прямоугольную матрицу пикселей цветности;
на фиг. 25-28 схематично представлена интерполяция пикселя яркости и цветности;
на фиг. 29А и 29В схематично представлены таблицы параметров квантования для 4:2:0 и 4:2:2 соответственно;
на фиг. 30 и 31 схематично представлены таблицы изменения квантования;
на фиг. 32 схематично представлена компоновка для модификации углового шага;
на фиг. 33 схематично показано изменение угловых шагов;
на фиг. 34 и 35 схематично представлены структуры развертки;
на фиг. 36 схематично представлен выбор структуры развертки в соответствии с режимом прогнозирования;
на фиг. 37 схематично представлен выбор структуры развертки в соответствии с режим прогнозирования для прямоугольного блока цветности;
на фиг. 38 схематично представлена компоновка для выбора структуры развертки;
на фиг. 39 схематично представлена компоновка для выбора преобразования с разделением по частоте;
на фиг. 40 схематично представлен кодер САВАС;
на фиг. 41A-41D схематично представлено предложенное ранее выделение по-соседству; и
на фиг. 42А - 45 схематично представлено выделение переменной контекста в соответствии с вариантами осуществления раскрытия.
Осуществление изобретения
Рассматривая теперь чертежи, фиг. 1-4 предусмотрены для предоставления схематичной иллюстрации устройства или систем с использованием устройства сжатия и/или распаковки, которое описано ниже в связи с вариантами осуществления раскрытия.
Все из устройств сжатия и/или распаковки данных, которые будут описаны ниже, могут быть воплощены в виде аппаратных средств, в виде программного обеспечения, работающего в устройстве обработки данных общего назначения, таком как компьютер общего назначения, в виде программируемых аппаратных средств, таких как специализированная интегральная схема (ASIC) или программируемая пользователем вентильная матрица (FPGA) или как их комбинации. В случаях когда варианты осуществления воплощены в виде программных средств и/или встроенного программного обеспечения, следует понимать, что такие программное средство и/или встроенное программное обеспечение, и энергонезависимые носители для сохранения данных, на которых такие программное средство и/или встроенное программное обеспечение сохранены или по-другому предусмотрены, рассматриваются как варианты осуществления настоящего раскрытия.
На фиг. 1 схематично иллюстрируется система передачи и приема аудио/видеоданных, использующая сжатие и распаковку видеоданных.
Входной аудио/видеосигнал 10 подают в устройство 20 сжатия видеоданных, которое сжимает, по меньшей мере, видеокомпонент аудио/видеосигнала 10 для передачи по маршруту 30 передачи, такому как кабель, оптическое волокно, беспроводное соединение и т.п. Сжатый сигнал обрабатывается устройством 40 распаковки, для предоставления выходного аудио/видеосигнала 50. Для обратного пути, устройство 60 сжатия сжимает аудио/видеосигнал для передачи вдоль маршрута 30 передачи в устройство 70 распаковки.
Устройство 20 сжатия и устройство 70 распаковки поэтому могут формировать один узел соединения передачи. Устройство 40 распаковки и устройство 60 распаковки могут формировать другой узел соединения передачи. Конечно, в случаях когда соединение передачи является однонаправленным, только в одном из узлов могло бы потребоваться устройство сжатия, и в другом узле могло бы потребоваться только устройство для распаковки.
На фиг. 2 схематично иллюстрируется система отображения видеоизображения, в которой используется распаковка видеоданных. В частности, сжатый аудио/видеосигнал 100 обрабатывают в устройстве ПО распаковки для получения распакованного сигнала, который может отображаться на дисплее 120. Устройство ПО распаковки может быть воплощено как единая часть дисплея 120, например, может быть установлено в том же корпусе, что и устройство дисплея. В качестве альтернативы устройство 110 распаковки может быть предусмотрено как (например) так называемая телевизионная приставка (STB), следует отметить, что выражение "телевизионная приставка" не подразумевает требования того, чтобы приставка была установлена в какой-либо конкретной ориентации или положении относительно дисплея 120; это просто термин, используемый в данной области техники для обозначения устройства, которое может быть подключено к дисплею как периферийное устройство.
На фиг. 3 схематично иллюстрируется система сохранения аудио/видеоданных, в которой используются сжатие и распаковка видеоданных. Входной аудио/видеосигнал 130 поступает в устройство 140 сжатия, которое генерирует сжатый сигнал для сохранения устройством 150 сохранения, таким как устройство магнитного диска, устройство оптического диска, устройство на магнитной ленте, твердотельное устройство сохранения данных, такое как полупроводниковое запоминающее устройство или другое устройство сохранения. Для повторного воспроизведения сжатые данные считывают из устройства 150 сохранения и передают в устройство 160 распаковки для распаковки, для получения выходного аудио/видеосигнала 170.
Следует понимать, что сжатый или кодированный сигнал и носитель сохранения информации, на котором содержится такой сигнал, рассматриваются как варианты осуществления настоящего раскрытия.
На фиг. 4 схематично иллюстрируется видеокамера, в которой используется сжатие видеоданных. На фиг. 4 устройство изображения съемки 180, такое как датчик изображения на основе прибора с зарядовой связью (CCD) и соответствующие элементы управления и электронной схемы считывания, генерирует видеосигнал, который поступает в устройство 190 сжатия. Микрофон (или множество микрофонов) 200 генерируют аудиосигнал, который должен быть передан в устройство 190 сжатия. Устройство 190 сжатия генерирует сжатый аудио/видеосигнал 210, который должен быть сохранен и/или передан (в общем, обозначен как этап 220 на схеме).
Технологии, которые будут описаны ниже, относятся, в основном, к сжатию и распаковке видеоданных. Следует понимать, что множество существующих технологий могут использоваться для сжатия аудиоданных совместно с технологиями сжатия видеоданных, которые будут описаны для генерирования сжатого аудио/видеосигнала. Соответственно, отдельная дискуссия сжатия аудиоданных не будет предусмотрена. Следует также понимать, что скорость передачи данных, ассоциированных с видеоданными, в частности видеоданными качественной широковещательной передачи, обычно намного выше, чем скорость передачи данных, ассоциированных с аудиоданными (сжатыми или несжатыми). Следует поэтому понимать, что несжатые аудиоданные могут сопровождать сжатые видеоданные для формирования сжатого аудио/видеосигнала. Также, следует понимать, что, хотя настоящие примеры (показаны на фиг. 1-4) относятся к аудио/видеоданным, технологии, которые будут описаны ниже, могут найти использование в системе, которая просто работает (то есть сжимает, распаковывает, сохраняет, отображает и/или передает) с видеоданными. То есть в вариантах осуществления может применяться сжатие видеоданных без необходимости использовать любую ассоциированную обработку аудиоданных вообще.
На фиг. 5 схематично показан общий обзор устройства сжатия и распаковки видеоданных.
Контроллер 343 управляет общей работой устройства и, в частности, со ссылкой на режим сжатия, управляет процессом кодирования с проверкой (будет описан ниже), для выбора различных режимов работы, таких как размеры блоков CU, PU и TU.
Последовательные изображения входного видеосигнала 300 поступают в сумматор 310 и в блок 320 прогнозирования изображения. Блок 320 прогнозирования изображения будет описан ниже более подробно со ссылкой на фиг. 6. Сумматор 310 фактически выполняет операцию вычитания (отрицательное суммирование), состоящую в том, что он принимает входной видеосигнал 300 на входе "+" и вывод блока 320 прогнозирования изображения на входе таким образом, что прогнозируемое изображение вычитается из входного изображения. Результат представляет собой генерирование так называемого остаточного сигнала 330 изображения, представляющего разность между фактическим и прогнозируемым изображениями.
Одна из причин, по которой генерируется остаточный сигнал видеоизображения, состоит в следующем. Технологии кодирования данных, которые будут описаны, то есть технологии, которые применяются к сигналу остаточного изображения, проявляют тенденцию более эффективной работы, когда в изображении, предназначенном для кодирования, меньше "энергии". Здесь термин "эффективно" относится к генерированию малого количества кодированных данных; для конкретного уровня качества изображения желательно (и рассматривается как "эффективно"), генерировать так мало данных, насколько это практически возможно. Ссылка на "энергию" в остаточном изображении относится к количеству информации, содержащейся в остаточном изображении. Если прогнозируемое изображение было идентично реальному изображению, разность между ними двумя (то есть остаточное изображение) содержала бы нулевую информацию (ноль энергии), и была бы очень легко кодирована в кодированные данные с малым объемом. В общем, если добиться обоснованно хорошей работы процесса прогнозирования, можно ожидать, что данные остаточного изображения будут содержать меньше информации (меньше энергии), чем входное изображение, и так его будет проще кодировать с получением кодированных данных с малым объемом.
Данные 330 остаточного изображения подают в модуль 340 преобразования, который генерирует представление дискретного косинусного преобразования (DCT) данных остаточного изображения. Сама по себе технология DCT хорошо известна и не будет подробно описана здесь. Существуют, однако аспекты технологий, используемых в настоящем устройстве, которые будут более подробно описаны ниже, в частности, в отношении выбора разных блоков данных, в которых применяется операция DCT. Они будут описаны со ссылкой на фиг. 7-12, представленные ниже. В некоторых вариантах осуществления другое преобразование разделения частоты может избирательно использоваться вместо DCT в системе, известной как MDDT (направленное преобразование, зависимое от режима), которое будет описано ниже. Пока предполагается, что используется преобразование DCT.
Выход модуля 340 преобразования, который можно представить как набор коэффициентов DCT для каждого преобразованного блока данных изображения, подают в блок 350 квантования. Различные технологии квантования известны в области сжатия видеоданных, в диапазоне от простого умножения на коэффициент масштабирования квантования до применения сложных справочных таблиц под управлением параметра квантования. Общая цель является двойной. Во-первых, процесс квантования уменьшает количество возможных значений преобразованных данных. Во-вторых, процесс квантования позволяет увеличить вероятность того, что значения преобразованных данных равны нулю. Оба эти эффекта могут обеспечить более эффективную работу процесса энтропийного кодирования, который будет описан ниже, при генерировании малых объемов сжатых видеоданных.
Процесс развертки данных применяется модулем 360 развертки. Назначение процесса развертки состоит в том, чтобы изменить порядок квантованных преобразованных данных, так, чтобы собрать вместе как можно большее количество ненулевых квантованных преобразованных коэффициентов, и, конечно, потому, чтобы собрать вместе как можно больше коэффициентов со значением ноль. Эти свойства могут обеспечить так называемое неравномерное кодирование или аналогичные технологии, которые будут применены эффективно. Таким образом, процесс развертки подразумевает выбор коэффициентов из квантованных преобразованных данных, и, в частности, из блока коэффициентов, соответствующего блоку данных изображения, который был преобразован и квантован, в соответствии с "порядком развертки" таким образом, что (а), все коэффициенты выбирают один раз как часть развертки, и (b) развертка проявляет тенденцию предоставления требуемого изменения порядка. Один пример порядка развертки, которая может проявлять тенденцию получения полезных результатов, представляет собой так называемый порядок диагональной развертки сверху вправо. В некоторых вариантах осуществления может использоваться так называемая система MDC (развертка коэффициента зависимости от режима), таким образом, что структура развертки может изменяться от блока до блока. Такие компоновки будут более подробно описаны ниже. Теперь предполагается, что используется диагональная развертка сверху вправо.
Коэффициенты, полученные в результате развертки, затем передают в энтропийный кодер 370 (ЕЕ). И снова, могут использоваться различные типы энтропийного кодирования. Два примера представляют собой вариант так называемой системы CAB АС (адаптивное к контексту двоичное арифметическое кодирование) и варианты так называемой системы CAVLC (адаптивное к контексту кодирование переменной длины). В общем, САВАС рассматривается как обеспечивающее лучшую эффективность, и в некоторых исследованиях было показано, что оно обеспечивает уменьшение на 10-20% качества кодированных выходных данных при качестве изображения, сравнимом с CAVLC. Однако считается, что CAVLC представляет гораздо более низкий уровень сложности (в смысле его воплощения), чем САВАС. Следует отметить, что процесс развертки и процесс энтропийного кодирования представлены как отдельные процессы, но фактически могут быть скомбинированы или могут обрабатываться совместно. То есть считывание данных в энтропийный кодер может происходить в порядке развертки. Соответствующие обсуждения, применимые для соответствующих обратных процессов, будут описаны ниже. Следует отметить, что текущие документы HEVC, которые рассматривались во время подачи, больше не включают в себя возможности кодера коэффициента CAVLC.
Выход энтропийного кодера 370, вместе с дополнительными данными (упомянутыми выше и/или описанными ниже), например, определяющий подход, в соответствии с которым блок 320 прогнозирования, сгенерировавший изображение прогнозирования, обеспечивает сжатый выходной видеосигнал 380.
Однако обратный путь также обеспечивается, поскольку операция самого блока 320 прогнозирования зависит от распакованной версии сжатых выходных данных.
Причина такого свойства состоит в следующем. В качестве соответствующего этапа в процессе распаковки (будет описан ниже) генерируется распакованная версия остаточных данных. Такие распакованные остаточные данные должны быть добавлены к прогнозируемому изображению для генерирования выходного изображения (поскольку оригинальные остаточные данные представляли собой разность между входным изображением и прогнозируемым изображением). Для того чтобы такой процесс был сравнимым как между стороной сжатия, так и распакованной стороной, прогнозируемые изображения, генерируемые блоком 320 прогнозирования, должны быть одинаковыми в ходе процесса сжатия и во время процесса распаковки. Конечно, во время распаковки, устройство не имеет доступа к оригинальным входным изображениям, но только к распакованным изображениям. Поэтому при сжатии, устройство 320 прогнозирования основывает свое прогнозирование (по меньшей мере, для кодирования между изображениями) на распакованных версиях сжатых изображений.
Такой процесс энтропийного кодирования, выполняемый энтропийным кодером 370, рассматривается как кодирование "без потерь", то есть можно сказать, что его можно реверсировать для получения в точности тех же данных, которые были вначале поданы в энтропийный кодер 370. Таким образом, обратный путь может быть воплощен перед этапом энтропийного кодирования. Действительно, процесс развертки, выполняемый модулем 360 развертки, также рассматривается как выполняемый без потерь, но в настоящем варианте осуществления обратный путь 390 осуществляется с выхода квантователя 350 на вход взаимодополняющего обратного квантователя 420.
В общих чертах, энтропийный декодер 410, модуль 400 реверсной развертки, обратный квантователь 420 и модуль 430 обратного преобразования обеспечивают соответствующие инверсные функции энтропийного кодера 370, модуля 360 развертки, квантователя 350 и модуля 340 преобразования. От этого момента описание будет продолжено в отношении процесса сжатия; процесс распаковки входного сжатого видеосигнала будет описан ниже отдельно.
В процессе сжатия коэффициенты после развертки передают через обратный путь 390 из квантователя 350 в обратный квантователь 420, который выполняет обратную операцию модуля 360 развертки. Обратное квантование и процесс обратного преобразования выполняются модулями 420, 430 для генерирования сжатого-распакованного сигнала 440 остаточного изображения.
Сигнал 440 изображения добавляют в сумматор 450 к выходу блока 320 прогнозирования, для генерирования реконструированного выходного изображения 460. Это формирует входные данные для блока 320 прогнозирования изображения, как будет описано ниже.
Возвращаясь теперь к процессу, применяемому для распаковки принятого сжатого видеосигнала 470, сигнал подают в энтропийный декодер 410 и оттуда в цепочку модуля 400 обратной развертки, обратного квантователя 420 и модуля 430 обратного преобразования перед добавлением к выходу модуля 320 прогнозирования изображения через сумматор 450. В понятных терминах выход 460 сумматора 450 формирует выходной распакованный видеосигнал 480. На практике дополнительная фильтрация может применяться перед выводом сигнала.
Таким образом, устройство на фиг. 5 и 6 может действовать как устройство сжатия или устройство распаковки. Функции двух типов устройства накладываются в большой степени. Модуль 360 развертки и энтропийный кодер 370 не используется в режиме распаковки, и в операции блока 320 прогнозирования (который будет более подробно описан ниже), и другие модули следуют режиму и информации параметра, содержащимся в или по-другому ассоциированных с принятым сжатым потоком битов, вместо генерирования такой информации самостоятельно.
На фиг. 6 схематично иллюстрируется генерирование прогнозируемых изображений, и, в частности, операция блока 320 прогнозирования изображения.
Существуют два основных режима прогнозирования так называемое прогнозирование внутри изображения и так называемое прогнозирование между изображениями, или с компенсацией движения (МС).
Прогнозирование внутри изображения основывает прогнозирование содержания блока изображения данных в пределах одного изображения. Это соответствует, так называемому, кодированию I-кадра в других технологиях сжатия видеоданных. В отличие от кодирования I-кадра, в случае когда все изображение кодируют внутри изображения, в настоящих вариантах осуществления выбор между кодированием внутри изображения и между изображениями может быть выполнен на основе от блока к блоку, хотя в других вариантах осуществления раскрытия выбор все еще делают на основе от изображения к изображению.
Прогнозирование с компенсацией движения представляет собой пример прогнозирования изображения между изображениями, и в нем используется информация о движении, которая стремится определить источник в другом соседнем или расположенном рядом изображении, детали изображения, которые должны быть кодированы в текущем изображении. В соответствии с этим в идеальном примере, содержание блока данных изображения в прогнозируемом изображении может быть кодировано очень просто как опорное изображение (вектор движения), указывающий на соответствующий блок в том же или несколько отличающемся положении в расположенном рядом изображении.
Возвращаясь к фиг. 6, здесь показаны две компоновки прогнозирования изображения (соответствующие прогнозированию внутри и прогнозированию между изображениями), результаты которых выбирают с помощью мультиплексора 500 под управлением сигнала 510 режима, так, чтобы обеспечить блоки прогнозируемого изображения для передачи в сумматоры 310 и 450. Выбор делают в зависимости от того, какой выбор дает самую низкую "энергию" (которая, как описано выше, может рассматриваться как объем информации, требующей кодирования), и выбор передают в кодер в пределах кодированного выходного потока данных. Энергия изображения, в этом контексте, может быть детектирована, например, при выполнении пробного вычитания в области из двух версий прогнозируемого изображения из входного изображения, возведении в квадрат каждого значения пикселя изображения разности, суммировании возведенных в квадрат значений и идентификации, какая из этих двух версий приводит к повышению значения низкого среднеквадратичного изображения разности, относящегося к этой области изображения.
Фактическое прогнозирование в системе кодирования внутри изображения выполняется на основе блоков изображения, принятых как часть сигнала 460, то есть прогнозирование основано на кодированных - декодированных блоках изображения для того, чтобы точно такое же прогнозирование можно было выполнить в устройстве распаковки. Однако данные могут быть выведены из входного видеосигнала 300 с помощью селектора 520 режима внутри изображения, для управления операцией блока 530 прогнозирования изображения внутри изображения.
Для прогнозирования между изображениями блок 540 прогнозирования с компенсированным движение (МС) использует информацию о движении, такую как векторы движения, выведенные блоком 550 оценки движения из входного видеосигнала 300. Такие векторы движения применяют к обрабатываемой версии реконструированного изображения 460 с помощью блока 540 прогнозирования компенсированного движения, для генерирования блоков прогнозирования между изображениями.
Обработка, применяемая для сигнала 460, будет описана ниже. Вначале сигнал фильтруют с помощью модуля 560 фильтра, который будет описан более подробно ниже. Это улучшает применение фильтра "удаления блоков", для удаления или, по меньшей мере, проявления тенденции к уменьшению эффектов обработки на основе блока, выполняемой модулем 340 преобразования и при последующих операциях. Фильтр, адаптивный к выборке смещения (SAO) (более подробно описан ниже) также может использоваться. Кроме того, адаптивный контурный фильтр применяют, используя коэффициенты, выведенные при обработке реконструированного сигнала 460 и входного видеосигнала 300. Адаптивный контурный фильтр представляет собой фильтр такого типа, который, используя известные технологии, применяет адаптивные коэффициенты фильтра к данным, которые должны быть отфильтрованы. То есть коэффициенты фильтра могут изменяться в зависимости от различных факторов. Данные, определяющие, какие коэффициенты фильтра следует использовать, включены как часть кодированного выходного потока данных.
Адаптивная фильтрация представляет фильтрацию в контуре для восстановления изображения. LCU может быть отфильтрован, используя вплоть до 16 фильтров, с выбором фильтра и выводом статуса включено/выключено ALF в отношении каждого CU в пределах LCU. В настоящее время управление выполняется на уровне LCU, а не на уровне CU.
Отфильтрованный выход из модуля 560 фильтра фактически формирует выходной видеосигнал 480, когда устройство работает как устройство сжатия. Его также помещают в буфер в одном или больше хранилищ 570 изображения или кадра; сохранение последующих изображений является необходимым при обработке компенсированного прогнозирования движения, и, в частности, при генерировании векторов движения. Для сохранения в соответствии с требованиями к сохранению сохраненные изображения в хранилищах 570 изображения могут содержаться в сжатой форме и затем могут быть распакованы для использования при генерировании векторов движения. С этой конкретной целью может использоваться любая известная система сжатия/распаковки. Сохраненные изображения пропускают в фильтр 580 интерполяции, который генерирует более высокую версию разрешения сохраненных изображений; в этом примере промежуточные выборки (подвыборки) генерируют так, что разрешение интерполированного изображения выводят с помощью фильтра 580 интерполяции, которое составляет 4-кратное (в каждом измерении) значение, чем у канала яркости для схемы 4:2:0, является 8 кратным для канала яркости (в каждом измерении), чем у изображений, сохраняемых в хранилищах 570 изображении, для каналов цветности по схеме 4:2:0. Интерполированные изображения пропускают на вход блока 550 оценки движения и также блока 540 прогнозирования компенсированного движения.
В вариантах осуществления раскрытия предусмотрен дополнительный необязательный этап, который предназначен для умножения значения данных входного видеосигнала на коэффициент четыре, используя множитель 600 (эффективно просто сдвигающий данные на два бита), и применения соответствующей операции деления (сдвиг вправо на два бита) на выходе устройства, используя делитель или модуль 610 сдвига вправо. Таким образом, сдвиг влево и сдвиг вправо изменяют данные просто для внутренней операции устройства. Эта мера может обеспечить более высокую точность расчета внутри устройства, поскольку уменьшается эффект каких-либо ошибок, связанных с округлением данных.
Способ, в соответствии с которым данные разделяют для обработки сжатия, будет описан ниже. На основном уровне изображение, которое предназначено для сжатия, рассматривают как массив блоков из выборок. Для назначения настоящего описания наибольший такой рассматриваемый блок представляет собой так называемый наибольший модуль 700 кодирования (LCU), который представляет собой квадратный массив обычно из 64×64 выборок (размер LCU можно конфигурировать с помощью кодера, вплоть до максимального размера, такого как определено документами HEVC). Здесь описание относится к выборкам яркости. В зависимости от режима цветности, такого как 4:4:4, 4:2:2, 4:2:0 или 4:4:4:4 (данные GBR "плюс" данные ключа), существует разное количество соответствующих выборок цветности, соответствующих блоку яркости.
Ниже будут описаны три основных типа блоков: модули кодирования, модули прогнозирования и модули преобразования. В общих чертах, рекурсивное подразделение LCU позволяет вводить изображение, которое должно быть разделено, таким способом, что как размеры блока, так и параметры кодирования блока (такие как режимы прогнозирования или остаточного кодирования) могут быть установлены в соответствии с определенными характеристиками изображения, предназначенного для кодирования.
LCU может быть подразделен на так называемые модули кодирования (CU). Модули кодирования всегда являются квадратными и имеют размер от 8×8 выборок до полного размера LCU 700. Модули кодирования могут быть размещены в виде, своего рода, структуры дерева, таким образом, что первое подразделение может происходить, как показано на фиг. 8, при котором делят модули 710 кодирования из 32×32 выборок; и затем могут произойти последующие подразделения на избирательной основе, для того, чтобы подать некоторые модули кодирования 720 из 16×16 выборок (фиг. 9) и потенциально некоторые модули 730 кодирования размером 8×8 выборок (фиг. 10). В целом, этот процесс может обеспечить структуру дерева кодирования с адаптацией к содержанию из блоков CU, каждый из которых может быть настолько большим, как LCU, или настолько малым, как 8×8 выборок. Кодирование выходных видеоданных происходит на основе структуры модуля кодирования, то есть кодируют один LCU, и затем обработка переходит в следующий LCU, и так далее.
На фиг. 11 схематично иллюстрируется массив из модулей прогнозирования (PU). Модуль прогнозирования представляет собой основной модуль для переноса информации, относящейся к процессам прогнозирования изображения, или, другими словами, к дополнительным данным, добавленным к остаточным данным изображения после энтропийного кодирования, для формирования выходного видеосигнала из устройства по фиг. 5. В общем, модули прогнозирования не ограничены квадратной формой. Они могут принимать другие формы, в частности, прямоугольную форму, формируя половину одного из квадратных модулей кодирования (например, 8×8, CU могут иметь PU размером 8×4 или 4×8). Использование PU, которые совмещаются со свойством изображения, не является обязательной частью системы HEVC, но общая цель может состоять в том, чтобы обеспечить хороший кодер, который выравнивает границу соседних модулей прогнозирования так, чтобы они соответствовали (как можно более плотно) границе реальных объектов в изображении, так, чтобы разные параметры прогнозирования можно было применять для разных реальных объектов. Каждый модуль кодирования может содержать один или больше модулей прогнозирования.
На фиг. 12 схематично иллюстрируется массив из модулей преобразования (TU). Модуль преобразования представляет собой основной модуль процесса квантования и преобразования. Модули преобразования могут быть или могут не быть квадратными и могут иметь размер выборок от 4×4 до 32×32. Каждый модуль кодирования может содержать один или больше модулей преобразования. Акроним SDIP-P на фиг. 12 обозначает так называемое разделение прогнозирования внутри изображения на коротком расстоянии. При такой компоновке используются только одномерные преобразования, таким образом, что блок 4×N пропускают через N преобразований с входными данными, при этом преобразования основаны на ранее декодированных соседних блоках и ранее декодированных соседних строках в пределах текущего SDIP-P. SDIP-P в настоящее время не включен в HEVC, на время подачи настоящей заявки.
Как отмечено выше, кодирование происходит как один LCU, затем следующий LCU и так далее. В пределах LCU кодирование выполняется CU за CU. В пределах CU кодирование выполняют для одного TU, затем следующий TU и так далее.
Далее будет описан процесс прогнозирования внутри изображения. В общих чертах прогнозирование внутри изображения подразумевает генерирование прогнозирования текущим блоком (модулем прогнозирования) выборок из ранее кодированных и декодированных выборок того же изображения. На фиг. 13 схематично иллюстрируется частично кодированное изображение 800. Здесь изображение кодируют от верхнего левого к нижнему правому на основе LCU. Пример LCU, частично кодированного в результате обработки всего изображения, показан в блоке 810. Затененная область 820 выше и левее блока 810 уже была кодирована. При выполнении прогнозирования внутри изображения содержания блока 810 может использоваться любая затененная область 820, но не может использоваться незатененная область ниже нее. Следует, однако отметить, что для индивидуального TU в текущем LCU, иерархический порядок кодирования (CU за CU затем TU за TU), описанные выше, означают, что должны присутствовать ранее кодированные выборки в текущем LCU и доступные для кодирования этого TU, которые, например, расположены выше справа или ниже слева от TU.
Блок 810 представляет LCU; как описано выше, с целью обработки прогнозирования внутри изображения, он может быть подразделен на ряд меньших модулей прогнозирования и модулей преобразования. Пример текущего TU 830 показан в LCU 810.
Прогнозирование внутри изображения учитывает выборки, кодированные текущим рассматриваемым TU, такие как находящиеся выше и/или левее от текущего TU. Выборки - источники, по которым прогнозируют требуемые выборки, могут быть расположены в разных положениях или направлениях относительно текущего TU. Для принятия решения, какое направление является соответствующим для текущего модуля прогнозирования, селектор 520 режима примерного кодера может тестировать все комбинации доступных структур TU для каждого направления кандидата и выбирать направление PU и структуру TU с наилучшей эффективностью сжатия.
Изображение также может быть кодировано на основе "среза". В одном примере срез представляет собой горизонтально расположенную рядом друг с другом группу LCU. Но в более общих чертах, все остаточное изображение может формировать срез, или срез может представлять собой отдельный LCU, или срез может представлять собой ряд LCU, и так далее. Срезы могут обеспечить определенную устойчивость к ошибкам, поскольку их кодируют как независимые модули. Состояния кодера и декодера полностью сбрасывают на границе среза. Например, прогнозирование внутри изображения не выполняется за пределами границ среза; границы среза обрабатывают как границы изображения с этой целью.
На фиг. 14 схематично иллюстрируется набор возможных направлений прогнозирования (кандидаты). Полный набор из 34 направлений кандидатов является доступным для модуля прогнозирования из 8×8, 16×16 или 32×32 выборок. Особые случаи размера модуля прогнозирования с размером 4×4 и 64×64 выборки имеют уменьшенный набор направлений кандидатов, доступных для них (17 направлений кандидатов и 5 направлений кандидатов, соответственно). Направления определяют по горизонтальному и вертикальному смещениям относительно текущего положения блока, но их кодируют как "режимы" прогнозирования, набор, который показан на фиг. 15. Следует отметить, что так называемый режим DC представляет простое среднее арифметическое окружающих находящихся сверху и с левой стороны выборок.
На фиг. 16 схематично иллюстрируется так называемая диагональная развертка сверху вправо, которая представляет собой пример структуры развертки, которая может применяться модулем 360 развертки. На фиг. 16 показана структура для примерного блока коэффициентов 8×8 DCT, при этом коэффициент DC установлен в верхнем левом положении 840 блока, и с увеличением горизонтальной и вертикальной пространственных скоростей, представляемых коэффициентами, на увеличивающихся расстояниях вниз и вправо от верхнего - левого положения 840. Другие альтернативные порядки развертки могут использоваться вместо нее.
Вариации компоновок блока и структур CU, PU и TU будут описаны ниже. Они будут описаны в контексте устройства по фиг. 17, которое аналогично во многих отношениях тому, что представлено на описанных выше фиг. 5 и 6. Действительно, используется множество одинаковых номеров ссылочных позиций, и эти детали не будут описаны дополнительно.
Основная существенная разница между фиг. 5 и 6 относится к фильтру 560 (фиг. 6), который на фиг. 17 показан более подробно как содержащий фильтр 1000 удаления блочности и соответствующий блок 1030 принятия решения об ассоциированном кодировании, фильтр 1010 адаптивного смещения выборки (SAO) и ассоциированный генератор 1040 коэффициента, и фильтр 1020 адаптивного контура (ALF) и ассоциированный генератор 1050 коэффициента.
Фильтр 1000 удаления блочности пытается уменьшить искажение и улучшить визуальное качество и характеристики прогнозирования путем сглаживания резких углов, которые могут сформироваться между границами CU, PU и TU, когда используются технологии кодирования блока.
Фильтр 1010 SAO классифицирует реконструированные пиксели по разным категориям и затем пытается уменьшить искажение путем простого добавления смещения для каждой категории пикселей. Интенсивность пикселей и свойства кромки используются для классификации пикселя. Для дополнительного повышения эффективности кодирования, изображение может быть разделено на области для локализации параметров смещения.
ALF 1020 пытается восстановить сжатое изображение таким образом, чтобы разность между реконструированными кадрами и кадрами источника была сведена к минимуму. Коэффициенты ALF рассчитывают и передают на основе кадра). ALF затем может применяться для всего кадра или в локальных областях.
Как отмечено выше, в предложенных документах HEVC используют определенную схему выборок цветности, известную как схема 4:2:0. Схема 4:2:0 может использоваться для домашнего оборудования/бытового оборудования. Однако возможны некоторые другие схемы.
В частности так называемая схема 4:4:4 может быть пригодной для профессиональной, широковещательной передачи, мастеринга и цифровых кинофильмов, и, в принципе, может иметь наивысшее качество и скорость передачи данных.
Аналогично так называемая схема 4:2:2 может использоваться для профессиональной, широковещательной передачи, для мастеринга и цифровых кинофильмов с некоторой потерей точности воспроизведения.
Эти схемы и их соответствующие структуры блоков PU и TU описаны ниже.
Кроме того, другие схемы включают в себя монохромную схему 4:0:0.
В схеме 4:4:4 каждый из трех каналов Y, Cb и Cr имеет одинаковую скорость выборки. В принципе, поэтому в этой схеме присутствует вдвое больше данных цветности, чем данных яркости.
Следовательно, в HEVC, в этой схеме каждый из трех каналов Y, Cb и Cr мог бы иметь соответствующие блоки PU и TU, которые имеют одинаковый размер; например, блоки яркости 8×8 могли бы иметь соответствующие блоки цветности 8×8 для каждого из двух каналов цветности.
Следовательно, в этой схеме обычно используется непосредственная взаимосвязь 1:1 между размерами блока в каждом канале.
В схеме 4:2:2, для двух компонентов цветности получают выборку с половиной частоты выборки яркости (например, используя вертикальную или горизонтальную подвыборки, но с целью настоящего описания, предполагается горизонтальная подвыборка). Поэтому в принципе, в этой схеме присутствует такое же количество данных цветности, как и данных яркости, хотя данные цветности могли бы быть разделены между двумя каналами цветности.
Следовательно, при использовании HEVC, в этой схеме каналы Cb и Cr могут иметь разный размер блоков PU и TU по сравнению с каналом яркости; например, блок яркости 8×8 мог бы иметь соответствующие блоки цветности размером 4 в ширину × 8 в высоту для каждого канала цветности.
В частности поэтому в данной схеме блоки цветности могут не быть квадратными, даже притом, что они соответствуют квадратным блокам яркости.
В предложенной в настоящее время схеме HEVC 4:2:0, в двух компонентах цветности получают выборку для четверти частоты выборки яркости (например, используя вертикальную и горизонтальную подвыборки). Поэтому в принципе, в этой схеме присутствует только половина данных цветности, чем данных яркости, и данные цветности разделены между двумя каналами цветности.
Следовательно, в HEVC, в такой схеме снова каналы Cb и Cr имеют другой размер блоков PU и TU, чем в канале яркости. Например, блок яркости 8×8 может иметь соответствующие 4×4 блока цветности для каждого канала цветности.
Описанные выше схемы известны в уровне техники на уровне обсуждения как "отношение каналов", как в выражении "отношение каналов 4:2:0"; следует, однако понимать, что в представленном выше описании фактически это не всегда означает, что каналы Y, Cb и Cr сжимают или по-другому предоставляют с этим отношением. Следовательно, в то время как их называют отношением каналов, не следует понимать это буквально. Фактически, скорректированные отношения для схемы 4:2:0 представляет собой 4:1:1 (отношения для схемы 4:2:2 и схемы 4:4:4 фактически являются корректными).
Перед описанием конкретных компоновок со ссылкой на фиг. 18А и 18В, будет кратко представлена некоторая общая терминология.
Наибольший модуль кодирования (LCU) представляет собой корневое изображение объекта. Как правило, он охватывает область, эквивалентную 64×64 пикселям яркости. Его можно рекурсивно разделять для формирования иерархии дерева модулей кодирования (CU). В общих чертах, три канала (один канал яркости и два канала цветности) имеют одинаковую иерархию дерева CU. Однако после такого утверждения, в зависимости от отношения каналов, определенный CU яркости может содержать другое количество пикселей, чем соответствующие CU цветности.
CU в конце иерархии дерева, то есть CU наименьшего размера, получаемые в процессе рекурсивного разделения (которые могут называться CU листьев) затем разделяют на модули прогнозирования (PU). Три канала (канал яркости и два канала цветности) имеют одинаковую структуру PU за исключением случаев, когда соответствующие PU для канала цветности могли бы иметь слишком мало выборок, и в этом случае только один PU для этого канала является доступным. Это можно конфигурировать, но обычно минимальный размер PU внутри изображения составляет 4 выборки; минимальный размер PU между изображениями составляет 4 выборки яркости (или 2 выборки цветности для 4:2:0). Реконструкция минимального размера CU всегда является достаточно крупной для, по меньшей мере, одного PU для любого канала.
Листовые CU также разделяют на модули преобразования (TU). TU могут, и когда они слишком большие (например, больше 32×32 выборки), должны быть разделены на дополнительные TU. Накладывается предел, связанный в тем, что TU могут быть разделены до максимальной глубины дерева, сконфигурированного в настоящее время из 2 уровней, то есть может присутствовать не больше чем 16 TU для каждого CU. Иллюстративный наименьший допустимый размер TU составляет 4×4 выборки, и наибольший допустимый размер TU составляет 32×32 выборки. И снова, три канала имеют одинаковую структуру TU каждый раз, когда это возможно, но если TU не может быть разделен до определенной глубины для заданного канала, из-за ограничения по размеру, он остается с большим размером. Так называемая неквадратная компоновка преобразования квадрадерева (NSQT) является аналогичной, но способ разделения на четыре TU не обязательно должен представлять собой 2×2, но может 4×1 или 1×4.
Обращаясь к фиг. 18А и 18В, разные возможные размеры блоков сведены для блоков CU, PU и TU, при этом "Y" обозначает блоки яркости, и "С" обозначает в общем смысле представителя одного из блоков цветности, и цифры, относящиеся к пикселям. "Интер" относится к прогнозированию PU между изображениями (в отличие от прогнозирования PU внутри изображения). Во многих случаях показаны только размеры блока для блоков яркости. Соответствующие размеры ассоциированных блоков цветности соотносятся с размерами блока яркости в соответствии с отношениями канала. Таким образом, для 4:4:4 каналы цветности имеют такие же размеры блока, как и у блока яркости, показанного на фиг. 18A и 18B. Для 4:2:2 и 4:2:0, каждый из блоков цветности будет иметь меньшее количество пикселей, чем у соответствующего блока яркости, в соответствии с отношением каналов.
Компоновки, показанные на фиг. 18А и 18В, относятся к четырем возможным размерам CU: 64×64, 32×32, 16×16 и 8×8 пикселей яркости, соответственно. Каждый из этих CU имеет соответствующий вариант опций PU (показаны в столбце 1140) и опций TU (показаны в столбце 1150). Для возможных размеров CU, определенных выше, ряды и опции обозначены как 1100, 1110, 1120 и 1130 соответственно.
Следует отметить, что 64×64 в настоящее время является максимальным размером CU, но это ограничение будет меняться.
В каждом из рядов 1100…1130 показаны разные опции PU, применимые для этого размера CU. Опции TU, применимые для этих конфигураций PU, показаны с горизонтальным выравниванием с соответствующей опции (опций) PU.
Следует отметить, что в нескольких случаях предусмотрено множество опций PU. Как отмечено выше, цель устройства при выборе конфигурации PU состоит в том, чтобы соответствовать (как можно более тесно) границе реальных объектов в изображениях, так, что разные параметры прогнозирования могут применяться для разных реальных объектов.
Размеры и формы блока PU основаны на решении кодера, под управлением контроллера 343. Данный способ подразумевают проведение испытаний множества структур дерева TU для множества направлений, получение наилучшей "стоимости" на каждом уровне. Здесь стоимость может быть выражена как мера искажения, или шумы, или ошибки, или скорость передачи битов, получаемая из структуры каждого блока. Таким образом, кодер может попытаться выполнить две или больше (или даже все доступные) перестановки размеров блока и формы в пределах этих разрешенных трех подструктур дерева и иерархий, описанных выше, перед выбором одного из результатов испытаний, который получил самую низкую скорость передачи битов для определенной требуемой меры качества, или самое низкое искажение (или уровень ошибок или шумов, или комбинации этих мер) для требуемой скорости передачи битов, или комбинации этих мер.
Исходя из выбора конкретной конфигурации PU, различные уровни разделения могут применяться для генерирования соответствующих TU. Рассмотрим ряд 1100, в случае PU 64×64, этот размер блока слишком велик для использования в качестве TU и, таким образом, первый уровень разделения (с "уровня 0" (не разделен), до "уровня 1") является обязательным, в результате чего, получают массив из четырех TU яркости 32×32. Каждый из них может подвергаться дальнейшему разделению в иерархии дерева (с "уровня 1" до "уровня 2"), если требуется, при этом разделение выполняют перед преобразованием или квантованием, выполнявшимися этим TU. Максимальное количество уровней в дереве TU ограничено (например) документами HEVC.
Другие опции предусмотрены для размеров PU и форм, в случае пикселя CU яркости 64×64. Они ограничены использованием только с изображениями кодированными между изображениями и, в некоторых случаях с так называемой включенной опцией AMP. AMP относится к асимметричному разделению движения и позволяет асимметрично разделить PU.
Аналогично, в некоторых случаях предусмотрены опции для размеров и форм TU. Если разрешено NQST (неквадратное преобразование квадродерева, в принципе, позволяющее неквадратное TU), то разделение до уровня 1 и/или уровня 2 может быть выполнено, как показано, тогда как, если NQST не разрешено, размеры TU соответствуют структуре разделения соответствующего наибольшего TU для этого размера CU.
Аналогичные возможности предусмотрены для других размеров CU.
В дополнение к графическому изображению, показанному на фиг. 18А и 18В, цифровая часть той же информации представлена в следующей таблице, хотя представление на фиг. 18А и 18В, рассматривается как определяющее, "n/a" обозначает режим, который не разрешен. Горизонтальный размер пикселя указан первым. Если представлен третий чертеж, он относится к количеству случаев размера этого блока, как и в блоках (горизонтальный) × (вертикальный) × (количество случаев) блоков. N представляет собой целое число.
Figure 00000001
Figure 00000002
Варианты структуры блока 4:2:0, 4:2:2 и 4:4:4
Следует понимать, что обе схемы 4:2:0 и 4:4:4 имеют квадратные блоки PU для кодирования с прогнозированием внутри изображения. Кроме того, в настоящее время в схемах 4:2:0 разрешают использовать 4×4 пикселя для блоков PU & TU.
В вариантах осуществления настоящего раскрытия, далее предложено, чтобы для схемы 4:4:4 была разрешена рекурсия для блоков CU, вплоть до 4×4 пикселя, вместо 8×8 пикселей, поскольку, как отмечено выше, в режиме 4:4:4 блоки яркости и цветности будут иметь одинаковый размер (то есть не требуется делать подвыборку данных цветности), и таким образом, для CU 4×4, не требуется, чтобы PU или TU были меньше чем уже разрешенный минимум 4×4 пикселя.
Аналогично схеме 4:4:4 в варианте осуществления настоящего раскрытия каждый из каналов Y, Cr, Cb, или Y и двух каналов Cr, Cb вместе могли бы иметь соответствующие иерархии дерева CU. Флаг затем можно использовать для передачи сигнала, какая иерархия или компоновка иерархий должны использоваться. Такой подход мог бы также использоваться для схемы цветов RGB 4:4:4. Однако в качестве альтернативы иерархии дерева для цветности и яркости могут вместо этого быть независимыми.
В примере 8×8 CU в схеме 4:2:0 это приводит к четырем PU яркости 4×4 и одному PU цветности 4×4. Следовательно, в схеме 4:2:2, имеющей в два раза больше данных цветности, одна из опций в таком случае состоит в том, чтобы иметь два PU цветности 4×4, где (например) нижний блок цветности мог бы соответствовать по положению нижнему левому блоку яркости. Однако следует понимать, что использование одного неквадратного PU цветности размером 4×8 в этом случае могло больше соответствовать компоновкам формата цветности 4:2:0.
В схеме 4:2:0, в принципе, имеются некоторые неквадратные блоки TU, разрешенные для определенных классов кодирования с прогнозированием между изображениями, но не для кодирования с прогнозированием внутри изображения. Однако при кодировании с прогнозированием между изображениями, когда неквадратное преобразование квадродерева (NSQT) не разрешено (что принято по умолчанию в настоящее время значение для схемы 4:2:0), все TU будут квадратными. Следовательно, фактически схема 4:2:0 в настоящее время принудительно устанавливает квадратные TU. Например, TU яркости 16×16 для схемы 4:2:0 могут соответствовать соответствующим Cb & Cr 8×8 для TU цветности схемы 4:2:0.
Однако как отмечено выше, схема 4:2:2 может иметь неквадратный PU. Следовательно, в варианте осуществления настоящего раскрытия предложено разрешить неквадратные TU для схемы 4:2:2.
Например, в то время как TU яркости 16×16 для схемы 4:2:2 соответствует двум соответствующим Cb & Cr 8×8 TU цветности для схемы 4:2:2, в этом варианте осуществления они могут вместо этого соответствовать соответствующим Cb & Cr размером 8×16 для TU цветности для схемы 4:2:2.
Аналогично четыре TU яркости 4×4 для схемы 4:2:2 могли бы соответствовать двум соответствующим Cb+Cr размером 4×4 для TU для схемы 4:2:2, или в этом варианте осуществления вместо этого могли бы соответствовать соответствующим Cb & Cr размером 4×8 TU для схемы 4:2:2.
Использование неквадратных TU цветности и, следовательно, меньшего количества TU может быть более эффективными, поскольку они, вероятно, будут содержать меньше информации. Однако это может повлиять на процессы преобразования и развертки таких TU, как будет описано ниже.
Для схемы 4:4:4: возможно в вариантах осуществления раскрытия предотвратить разделение блоков яркости до (например) блоков 4×4, если происходит дополнительное разделение, чем у блоков цветности. Это может привести к более эффективному кодированию.
В конечном итоге для схемы 4:4:4 может быть предпочтительным иметь независимую от канала структуру TU и выбираемую на уровне последовательности, изображения, среза или на более тонком уровне.
Как отмечено выше, NSQT в настоящее время отключена в схеме 4:2:0 HEVC. Однако если для прогнозирования между изображениями NSQT будет включена, и будет разрешено разделение с асимметричным движением (AMP), это позволяет выполнять асимметричное разделение PU; таким образом, например, CU 16×16 может иметь PU 4×16 и PU 12x16. В этих обстоятельствах важно дополнительно рассмотреть структуру блока для каждой из схем 4:2:0 и 4:2:2.
Для схемы 4:2:0 в NSQT минимальная ширина/высота TU может быть ограничена 4 выборками яркости/цветности:
Следовательно, в неограничительном примере, структура PU размером 16×4/16×12 яркости имеет четыре TU 16×4 яркости и четыре TU 4×4 цветности, где TU яркости находятся в вертикальной компоновке блока 1×4, и TU цветности, находятся в компоновке блока 2×2.
В аналогичной компоновке, когда разделение было выполнено скорее вертикально, чем горизонтально, структура PU яркости 4×16/12×16 имеет четыре TU яркости 4×16 и четыре TU цветности 4×4, где TU яркости установлены в компоновке горизонтального блока 4×1, и TU цветности расположены в компоновке блока 2×2.
Для схемы 4:2:2, в NSQT, в качестве не ограничительного примера структура PU яркости 4×16/12×16 имеет четыре TU яркости 4×16 и четыре TU цветности 4×8, где TU яркости находится в горизонтальной компоновке блока размером 4×1; TU цветности находится в компоновке блока 2×2.
Однако следует понимать, что другую структуру можно рассмотреть для некоторых случаев. Следовательно, в варианте осуществления настоящего раскрытия, в NSQT, в качестве неограничительного примера, структура PU яркости 16×4/16×12 имеет четыре TU яркости 16×4 и четыре TU цветности 8×4, но теперь TU яркости и цветности расположены в компоновке вертикального блока 1×4, будучи выровненными с компоновкой PU (в отличие от компоновки в стиле 4:2:0 из четырех TU цветности 4×8, в компоновке блока 2×2).
Аналогично, PU 32×8 могут иметь четыре TU яркости 16×4 и четыре TU цветности 8×4, но теперь TU яркости и цветности расположены в компоновке блока 2×2.
Следовательно, в более общем случае для схемы 4:2:2, в NSQT размеры блока TU выбирают так, чтобы он совмещался с асимметричной компоновкой блока PU. Следовательно, NSQT с пользой обеспечивает возможность выравнивания границ TU с границами PU, что уменьшает высокочастотные артефакты, которые в противном случае могли бы возникнуть.
В общих чертах, варианты осуществления раскрытия могут относиться к способу кодирования видеоданных, устройству или программе, работающим в отношении изображений видеосигнала в формате 4:2:2. Изображение, предназначенное для кодирования, разделяют на модули кодирования, модули прогнозирования и модули преобразования, для кодирования, модуль кодирования представляет собой квадратный массив из выборок яркости и соответствующих выборок цветности, причем здесь используется один или больше модулей прогнозирования в модуле кодирования, и в модуле кодирования содержится один или больше модулей преобразования; в которых модуль прогнозирования представляет собой элементарный модуль прогнозирования так, что все выборки в пределах одного модуля прогнозирования будут спрогнозированы, используя общую технологию прогнозирования, и модуль преобразования представляет собой основной модуль преобразования и квантования.
Режим неквадратного преобразования (такой как режим NSQT) разрешают с тем, чтобы обеспечить возможность неквадратных модулей прогнозирования. В случае необходимости, обеспечивается возможность асимметричного разделения движения, с тем, чтобы разрешить асимметрию между двумя или больше модулями прогнозирования, соответствующими одному модулю кодирования.
Контроллер 343 управляет выбором размера блока модуля преобразования для выравнивания с компоновкой блока модуля прогнозирования, например, путем детектирования свойств изображения на участке изображения, соответствующем PU и выбора размеров блока TU в отношении этого PU, с тем, чтобы выровнять границы TU с кромками свойств изображения на участке изображения.
Описанные выше правила диктуют, какие комбинации размеров блока являются доступными. Кодер может только попробовать разные комбинации. Как описано выше, проверка может включать в себя две или больше, и вплоть до всех доступных опций. Проверочные процессы кодирования могут выполняться в соответствии с результатами измерений функции стоимости и результатом, выбранным в соответствии с оценкой функции стоимости.
Учитывая, что имеется три уровня вариаций, в соответствии с размером и формой CU, размером и формой PU, и размером и формой TU, это может привести к большому количеству взаимных замен, которые потребуется закодировать для проверки. Для уменьшения этих вариаций, система может выполнять кодирование для проверки, для размера CU, используя произвольно выбранную одну из конфигурации PU/TU, допустимую для каждого размера CU; затем, после выбора размера CU, могут быть выбраны размер и форма PU, используя кодирование для проверки разных опций PU, каждая с произвольно выбранной одной конфигурацией TU. Затем, после выбора CU и PU, система может попытаться проверить все допустимые конфигурации TU для выбора конечной конфигурации TU.
Другая возможность состоит в том, что некоторые кодеры могут использовать фиксированный выбор конфигурации блока, или могут обеспечить возможность ограниченного поднабора из набора комбинаций, описанных выше.
Прогнозирование внутри изображения
4:2:0 прогнозирование внутри изображения
Возвращаясь теперь к фиг. 22, для прогнозирования внутри изображения, HEVC разрешает угловое прогнозирование цветности.
В качестве введения, на фиг. 22 иллюстрируется 35 режимов прогнозирования, применимых для блоков яркости, 33 из которых устанавливают направления для опорных выборок, для текущих прогнозируемых положений ПО выборки. Остальные два режима представляют собой режим 0 (плоский) и режим 1 (dc).
В HEVC разрешено, чтобы цветность имела DC, вертикальный, горизонтальный, плоский, DM_CHROMA и LM_CHROMA режимы.
DM_CHROMA обозначает, что режим прогнозирования, который должен использоваться, представляет собой такой же, как и режим у PU яркости, расположенный в том же месте (то есть один из 35, показанных на фиг. 22).
LM_CHROMA (цветность в линейном режиме) обозначает, что совместно расположенные выборки яркости (с дополнительной выборкой, в соответствии с отношением каналов) используются для вывода прогнозируемых выборок цветности. В этом случае, если PU яркости, из которого мог бы быть выбран режим прогнозирования DM_CHROMA, выбрал режим DC, вертикальный, горизонтальный или плоский, эта запись в списке прогнозирования цветности будет заменена, используя режим 34. В режиме LM_CHROMA пиксели яркости, из которых прогнозируют пиксели цветности, масштабируют (и имеют приложенное смещение, если соответствует), в соответствии с линейной взаимозависимостью между яркостью и цветностью. Такая линейная взаимозависимость поступает из окружающих пикселей, и вывод может быть выполнен на основе от блока к блоку, при этом декодер заканчивает декодирование одного блока перед перемещением к следующему.
Известно, что в режимах 2-34 прогнозирования выборка углового диапазона составляет от 45 градусов до 225 градусов; то есть одну диагональную половину квадрата. Такой подход является полезным в случае схемы 4:2:0, в которой, как отмечено выше, используется только квадратный PU цветности для прогнозирования внутри изображения.
Варианты прогнозирования внутри изображения 4:2:2
Однако так же, как отмечено выше, схема 4:2:2 могла бы иметь прямоугольный (неквадратный) PU цветности, даже когда PU яркости является квадратным. Или действительно, может выполняться противоположное условие: прямоугольные PU яркости могут соответствовать квадратному PU цветности. Причина несоответствия состоит в том, что в 4:2:2, для цветности выполняют подвыборку в горизонтальном направлении (относительно яркости), но не в вертикальном. Таким образом, размер блока яркости и соответствующего блока цветности, как можно ожидать, будет разным. В соответствии с этим формат 4:2:2 представляет один пример (и существуют другие примеры, такие как 4:2:0) видеоформата, в котором выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности является отличным от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок образцов яркости имеет разное отношение аспектов с соответствующим блоком образцов цветности.
Следовательно, в варианте осуществления настоящего раскрытия, для PU цветности, имеющих разное соотношение размеров для соответствующего блока яркости, таблица отображения может потребоваться для направления. Предположим (например), соотношение размеров 1 к 2 для прямоугольных PU цветности, затем, например, режим 18 (в настоящее время под углом 135 градусов) может быть повторно отображен на 123 градуса. В качестве альтернативы выбор текущего режима 18 может быть повторно отображен на выбор текущего режима 22 для получения, в основном, того же эффекта.
Следовательно, в более общем случае для неквадратных PU, могут быть предусмотрены разное отображение между направлением опорной выборки, и выбранный режим прогнозирования внутри изображения может быть предусмотрен по сравнению с тем, который используется для квадратных PU.
Также в более общем случае любой из режимов, включая в себя ненаправленные режимы, также может быть повторно отображен на основе эмпирических данных.
Возможно, чтобы такое отображение приводило к соотношению "множество к одному", что делает спецификацию полного набора режимов избыточной для PU цветности 4:2:2. В этом случае, например, возможно, что только 17 режимов (соответствующих половине углового разрешения) являются необходимыми. В качестве альтернативы или в дополнение, эти режимы могут быть распределены неоднородно по углу.
Аналогично сглаживающий фильтр, используемый для опорной выборки, при прогнозировании пикселя в положении выборки, может использоваться по-разному; в схеме 4:2:0 он используется только для сглаживания пикселей яркости, но не пикселей цветности. Однако в схемах 4:2:2 и 4:4:4 этот фильтр также может использоваться для PU цветности. В схеме 4:2:2 снова фильтр может быть модифицирован в соответствии с разными отношениями размеров PU, например, когда он используется только для поднабора режимов, близких к горизонтальному. Примерный поднабор режимов предпочтительно представляет собой 2-18 и 34, или более предпочтительно 7-14. В 4:2:2 сглаживание может быть выполнено только для левого столбца опорных выборок, в вариантах осуществления раскрытия.
В общих чертах в вариантах осуществления, которые будут описаны, первое направление прогнозирования определено в отношении первой решетки первого соотношения размеров в отношении набора текущих выборок, которые должны быть спрогнозированы; и отображение направления применяется для направления прогнозирования, с тем, чтобы генерировать второе направление прогнозирования, определенное относительно второй решетки других отношений размеров. Первое направление прогнозирования может быть определено в отношении квадратного блока образцов яркости, включающих в себя текущую выборку яркости; и второе направление прогнозирования может быть выведено в отношении прямоугольного блока образцов цветности, включающих в себя текущий образец цветности.
Эти компоновки более подробно описаны ниже.
Варианты прогнозирования внутри изображения 4:4:4
В схеме 4:4:4 PU цветности и яркости имеют одинаковый размер, и, таким образом, режим прогнозирования внутри изображения для PU цветности может быть либо тем же, что и для расположенного в том же месте PU яркости (что позволяет сэкономить некоторое количество служебных сигналов в потоке битов, благодаря тому, что не требуется кодировать отдельный режим), или, в качестве альтернативы, он может быть выбран независимо.
В этом последнем случае поэтому в варианте осуществления настоящего раскрытия можно иметь 1, 2 или 3 разных режима прогнозирования для каждого из PU в CU;
В первом примере PU Y, Cb и Cr все могут использовать одинаковый режим прогнозирования внутри изображения.
Во втором примере Y PU может использовать один режим прогнозирования внутри изображения, и PU Cb и Cr оба используют другой независимо выбранный режим прогнозирования внутри изображения.
В третьем примере PU для Y, Cb и Cr каждый использует соответствующий независимо выбранный режим прогнозирования внутри изображения.
Следует понимать, что при наличии независимых режимов прогнозирования для каналов цветности (или каждого канала цветности) улучшается точность прогнозирования цвета. Но это происходит за счет дополнительной передачи служебных данных для передачи независимых режимов прогнозирования как часть данных кодирования.
Для устранения этого выбор количества режимов может быть обозначен в синтаксисе высокого уровня (например, в последовательности, в изображении или на уровне среза). В качестве альтернативы количество независимых режимов могло бы быть выведено из видеоформата; например, GBR мог бы иметь вплоть до 3, в то время как YCbCr мог быт быть ограничен 2.
В дополнение к независимому выбору режимов может быть разрешено, чтобы доступные режимы отличались от схемы 4:2:0 в схеме 4:4:4.
Например, поскольку PU яркости и цветности имеет одинаковый размер в 4:4:4, PU цветности могут получать пользу от доступа ко всем 35+LM_CHROMA + DM_CHROMA доступных направлений. Следовательно, для случая Y, Cb и Cr, каждый из которых имеет независимый режим прогнозирования, канал Cb мог бы иметь доступ к DM_CHROMA & LM_CHROMA, в то время как канал Cr мог бы иметь доступ к DM_CHROMA_Y, DM_CHROMA_Cb, LM_CHROMA_Y и LM_CHROMA_Cb, где эти каналы заменяют опорные значения для канала яркости со ссылками на каналы цветности Y или Cb.
В случае когда режимы прогнозирования яркости передают в виде сигналов, путем вывода списка из наиболее вероятных режимов и установки индекса для этого списка, тогда если режим (режимы) прогнозирования цветности будут независимыми, может потребоваться вывести независимые списки наиболее вероятных режимов для каждого канала.
В конечном итоге аналогично тому, что отмечено для представленного выше случая 4:2:2, в схеме 4:4:4 сглаживающий фильтр, используемый для опорной выборки при прогнозировании пикселя в положении выборки может использоваться для PU цветности аналогично PU яркости. В настоящее время, может применяться фильтр низкой частоты [1, 2, 1] для опорных выборок перед прогнозированием внутри изображения. Это используется только для TU яркости при использовании определенных режимов прогнозирования.
Один из режимов прогнозирования внутри изображения, доступных для TU цветности, состоит в том, чтобы основывать прогнозируемые выборки на, так называемых, выборках яркости. Такая компоновка схематично представлена на фиг. 19, на которой представлен массив из 1200 TU (из области изображения источника), представленный малыми квадратами в каналах Cb, Cr и Y, представляющими специальное выравнивание между свойствами изображения (схематично обозначенные квадратами 1200 с темнотой и светлой штриховкой) в каналах Cb и Y и в каналах Cr и Y. В этом примере предпочтительно заставить TU цветности основывать свои прогнозируемые выборки на выборках яркости, расположенных в том же месте. Однако свойства изображения не всегда соответствуют между тремя каналами. Фактически, определенные свойства могут появляться только в одном или двух из каналов, и обычно содержание изображения трех каналов может отличаться.
В вариантах осуществления раскрытия для TU Cr, LM_Chroma в случае необходимости могут быть размещены в расположенных в одном месте выборках из канала Cb (или, в других вариантах осуществления, может существовать другая зависимость, может быть выполнена по-другому). Такая компоновка схематично показана на фиг. 20. Здесь пространственно выровненные TU представлены между каналами Cr, Cb и Y. Дополнительный набор TU, помеченный как "источник", представляет собой схематическое представление цветного изображения, в том виде, как его можно видеть в целом. Свойства изображения (верхний левый треугольник и нижний правый треугольник), которые можно видеть в изображении источника, фактически не представляют изменения яркости, но только изменения цветности между двумя треугольными областями. В этом случае, основываясь на LM_Chroma для Cr выборок яркости можно получить плохое прогнозирование, но основывая его на выборках Cb, можно получить лучшее прогнозирование.
Решение, в соответствии с каким режимом использовать LM_Chroma, может быть принято контроллером 343 и/или контроллером 520 режима, на основе кодирования с проверкой разных опций (включая в себя опцию, основанную на LM_Chroma, для расположенных в одном месте выборок яркости или расположенных в одном месте выборок цветности), при этом решение, какой режим следует выбрать, принимается путем оценки функции стоимости, аналогично тому, как описано выше, в отношении разного кодирования с проверкой. Примеры функции стоимости представляют собой шум, искажение, частоту ошибок или скорость следования битов. Выбирают режим среди режимов, подвергаемых кодированию с проверкой, который позволяет получить самую низкую из любой одной или больше из этих функций стоимости.
На фиг. 21 схематично иллюстрируется способ, используемый для получения опорных выборок для прогнозирования внутри изображения в вариантах осуществления раскрытия. При рассмотрении фиг. 21 следует понимать, что кодирование выполняется в соответствии со структурой развертки, таким образом, что в общих чертах кодированные версии блоков выше и левее текущего блока, предназначенного для кодирования, доступны для процесса кодирования. Иногда используют выборки, расположенные ниже слева или выше справа, если они были ранее кодированы, как часть других уже кодированных TU в текущем LCU. Ссылка делается на фиг. 13, как, например, описано выше.
Затушеванная область 1210 представляет текущий TU, то есть TU, который в данный момент кодируют.
В схемах 4:2:0 и 4:2:2 столбец пикселей непосредственно слева от текущего TU не содержит расположенные в одном месте выборки яркости и цветности из-за горизонтальной подвыборки. Другими словами, это связано с тем, что форматы 4:2:0 и 4:2:2 имеют на половину меньше пикселей цветности, чем пикселей яркости (в горизонтальном направлении), таким образом, не каждое положение выборки яркости имеет расположенную в этом же месте выборку цветности. Поэтому хотя выборки яркости могут присутствовать в столбце пикселей непосредственно слева от TU, выборки цветности не присутствуют. Поэтому в вариантах осуществления раскрытия, столбец, расположенный на две выборки левее текущего TU, используется для обеспечения опорных выборок для LM_Chroma. Следует отметить, что ситуация отличается в схеме 4:4:4 тем, что столбец, расположенный непосредственно слева от текущего TU, действительно содержит расположенные в том же месте выборки яркости и цветности. Такой столбец поэтому должен использоваться для предоставления опорных выборок.
Опорные выборки используются следующим образом.
В режиме LM_Chroma прогнозируемые выборки цветности выводят из реконструированных выборок яркости, в соответствии с линейной взаимосвязью. Таким образом, в общих чертах, можно сказать, что прогнозируемые значения цветности в TU определяют из следующей формулы:
PC=а+bPL,
где PC представляет собой значение выборки цветности, PL представляет собой реконструированное значение выборки яркости в том же положении, и а, и b являются константами. Константы выводят для определенного блока, детектируя взаимосвязь между реконструированными выборками яркости и выборками цветности в ряду, который расположен непосредственно выше этого блока и в столбце, который расположен непосредственно левее этого блока, и эти положения представляют собой положения выборок, которые уже были кодированы (см. выше).
В вариантах осуществления раскрытия константы а и b выводят следующим образом:
Figure 00000003
где R представляет собой линейную функцию регрессии (наименьшие квадраты), и PL′ и PC′ представляют собой выборки яркости и цветности, соответственно, из соседнего ряда и столбца, как описано выше, и:
Figure 00000004
Для 4:4:4 значения PL′ и PC′ получают из столбца, расположенного непосредственно слева от текущего TU, и из ряда, расположенного непосредственно выше текущего TU. Для 4:2:2, значения PL′ и PC′ получают из ряда, непосредственно выше текущего TU и столбца в соседнем блоке, который расположен на два положения выборки от левой кромки текущего TU. Для 4:2:0 (для которого подвыборки выполняют вертикально и горизонтально) значения PL′ и PC′ в идеале можно было бы получить из ряда, который расположен на два ряда выше текущего TU, но фактически его получают из ряда в соседнем блоке, который находится в положении одной выборки выше текущего TU, и столбца в соседнем блоке, который находится в положении двух выборок от левой кромки текущего TU. Причина этого состоит в том, чтобы исключить необходимость поддержания дополнительных полных необработанных данных в запоминающем устройстве. В этом отношении, 4:2:2 и 4:2:0 обрабатывают с аналогичным подходом.
В соответствии с этим такие технологии применяются для способов кодирования видеоданных, имеющих режим прогнозирования цветности, в котором текущий блок выборок цветности, представляющих область изображения, кодируют путем вывода и кодирования взаимосвязи выборок цветности в отношении блока, расположенного в том же месте для выборок яркости (таких как реконструированные выборки яркости), представляющих ту же область изображения. Взаимосвязь (такую как линейная взаимосвязь) выводят путем сравнения расположенных в одном месте (по-другому выраженные как расположенные соответствующим образом) выборок яркости и цветности из соседних уже кодированных блоков. Выборки цветности выводят из выборок яркости в соответствии с взаимосвязью; и разность между прогнозируемыми выборками цветности и фактическими выборками цветности кодируют как остаточные данные.
Что касается первого разрешения выборки (такого как 4:4:4), в случае когда выборки цветности имеют такую же частоту выборки, как и у выборки яркости, выборки, находящиеся в том же месте, представляют собой выборки в положениях выборки, расположенных рядом с текущим блоком.
Что касается второго разрешения выборки (такого как 4:2:2 или 4:2:0), где выборки цветности имеют меньшую частоту выборки, чем у выборок яркости, ближайший столбец или ряд расположенных в том же месте выборок яркости и цветности от соседнего уже кодированного блока, используется для предоставления выборок, находящихся в том же месте. Или в случае когда второе разрешение выборок представляет собой разрешение выборки 4:2:0, выборки в соответствующих местах представляют собой ряд выборок, расположенных рядом с текущим блоком и ближайшим столбцом, или выборки яркости и цветности в соответствующем месте от соседних, уже кодированных блоков.
На фиг. 22 схематично иллюстрируется доступные углы прогнозирования для выборок яркости. Текущий пиксель, прогнозируют, как показано в центре схемы как пиксель 1220. Меньшие точки 1230 представляют соседние пиксели. Те, которые расположены в верхней или с левой сторон текущего пикселя, являются доступными как опорные выборки для генерирования прогнозирования, поскольку они были уже ранее кодированы. Другие пиксели в данный момент неизвестны (во время прогнозирования пикселя 1220) и будут сами спрогнозированы соответствующим образом.
Каждое пронумерованное направление прогнозирования указывает на опорные выборки 1230 из группы опорных выборок кандидатов верхней или левой кромок текущего блока, которые используются для генерирования текущего прогнозируемого пикселя. В случае блоков меньшего размера, когда направление прогнозирования указывает на места между опорными выборками, используется линейная интерполяция между соседними опорными выборками (с любой стороны положения выборки, на которое указывает направление, обозначенное текущим режимом прогнозирования).
Возвращаясь к прогнозированию внутри угла для выборок цветности, для схемы 4:2:0, меньшее количество направлений прогнозирования доступно из-за относительного недостатка выборок цветности. Однако если будет выбран режим DM_CHROMA, тогда текущий блок цветности будет использовать то же направление прогнозирования, что и расположенный в том же месте блок яркости. В свою очередь, это означает, что направления яркости для прогнозирования внутри изображения также доступны для цветности.
Однако для выборок цветности в 4:2:2, использование того же алгоритма прогнозирования и направления, что и для яркости, при выборе DM_CHROMA, можно рассматривать алогичным, при условии, что блоки цветности не имеют разное соотношение размеров с блоками яркости. Например, линия под углом 45° для квадратного массива яркости из выборок все еще должна отображаться на линии 45° для выборок цветности, хотя с массивом выборок прямоугольных размеров. Наложение прямоугольной сетки на квадратную сетку обозначает, что линия 45° затем фактически должна отображаться на линии 26,6°.
На фиг. 23 схематично иллюстрируются направления прогнозирования внутри кадров яркости, такие как применяются для пикселей цветности в 4:2:2, в отношении текущего пикселя, который прогнозирует 1220. Следует отметить, что существует на половину меньше пикселей по горизонтали, чем по вертикали, поскольку в схеме 4:2:2 частота горизонтальных выборок в канале цветности составляет половину по сравнению с каналом яркости.
На фиг. 24 схематично иллюстрируется преобразование или отображение пикселей цветности 4:2:2 на квадратную сетку, и затем, как такое преобразование изменяет направления прогнозирования.
Направления прогнозирования яркости показаны как пунктирные линии 1240. Пиксели 1250 цветности повторно отображают на квадратную сетку, предоставляя для прямоугольного массива половину ширины 1260 соответствующего массива яркости (как показано на фиг. 22). Направления прогнозирования, показанные на фиг. 23, были повторно отображены на прямоугольный массив. Как можно видеть, некоторые пары направлений (пара, представляющая собой направление яркости и направление цветности), либо накладывается, или находится в близкой взаимосвязи. Например, направление 2 в массиве яркости, по существу, накладывается на направление 6 в массиве цветности. Однако следует также отметить, что некоторые направления яркости, приблизительно их половина, не имеют соответствующего направления цветности. Пример представляет собой направление яркости номер 3. Кроме того, некоторые направления цветности (2-5) не имеют эквивалент в массиве яркости, и некоторые направления яркости (31-34) не имеют эквивалент в массиве цветности. Но, в общем, наложение, такое как показано на фиг. 24, демонстрирует, что было бы неуместно использовать тот же угол для обоих каналов яркости и цветности.
На фиг. 33 схематично иллюстрируется компоновка (которая может быть воплощена как часть функции контроллера 343) для модификации "углового шага", определяющего направления прогнозирования. На фиг. 33 угловой шаг подают в модификатор 1500, который, используя вспомогательные данные 1510, такие как справочная таблица, индексированная по входному угловому шагу, отображает входные угловые шаги на выходные угловые шаги, или данные, определяющие заданный алгоритм модификации или функцию, отображает направление, определенное входным угловым шагом на направление, определенное выходным угловым шагом.
Но перед подробным описанием операции на фиг. 33 будут представлены некоторые дополнительные предпосылки по выводу углов прогнозирования, и, в частности, "угловых шагов".
Как описано выше, в операции прогнозирования внутри изображения, выборки в пределах текущего блока могут быть спрогнозированы из одной или больше опорных выборок. Их выбирают из группы опорных выборов кандидатов, формирующих ряд, над текущим блоком 1560 и столбец слева от текущего блока. На фиг. 33 схематично иллюстрируется такой ряд 1520 и столбец 1530 опорных выборок кандидатов.
В среде опорных выборок кандидатов на фактическую выборку, которую требуется использовать для определенной операции прогнозирования, указывает направление прогнозирования. Это выражается как "угловой шаг". Для преобладающего вертикального направления прогнозирования (которое в данном контексте представляет собой направление, которое обращается к опорной выборке в ряду 1520), угловой шаг представляет собой смещение влево или вправо от положения 1540 выборки, которое смещается вертикально над положением 1550 текущей выборки, для которой выполняется прогнозирование. Для преобладающего горизонтального направления прогнозирования (которое в данном контексте представляет собой направление, которое обращается к опорной выборке в столбце 1530), угловой шаг представляет собой смещение выше или ниже углового положения 1570, которое смещается горизонтально влево от текущего положения 1550 выборки.
Поэтому следует понимать, что угловой шаг может быть равен нулю (в случае чисто горизонтального или чисто вертикального направления прогнозирования) или может представлять смещение в любом смысле (вверх/вниз/влево/вправо).
Фактически с целью расчетов вариантов осуществления раскрытия столбец 1530 и ряд 1520 можно рассматривать как линейный массив одиночного порядка, предоставляющий набор кандидатов опорных выборок, начинающийся снизу столбца 1530 и продолжающийся в правый конец ряда 1520. В вариантах осуществления раскрытия линейный массив фильтруют (с помощью фильтра, формирующего часть модуля 530 прогнозирования), с тем, чтобы применить операцию сглаживания или фильтрации низкой частоты вдоль линейного массива. Пример соответствующего сглаживающего фильтра представляет собой нормализованный фильтр 1-2-1, для которого можно сказать, что фильтр заменяет определенную выборку (только с целью действия в качестве опорной выборки) суммой ¼ выборки слева (в линейном массиве), ½ этой выборки и ¼ этой выборки справа (в линейном массиве). Сглаживающий фильтр можно применять для всего массива или для поднабора массивов (такого как выборки, происходящие из ряда или столбца)
Для вывода соответствующего угла прогнозирования для цветности, когда (а) выбирают DM_CHROMA и (b) режим DM_CHROMA, используемый в настоящее время, обозначает, что направление прогнозирования цветности должно представлять собой направление для совместно размещенного блока яркости, модификатор 1500 применяет следующую процедуру, для модификации значений углового шага. Следует отметить, что процедура относится к инверсии углового шага. Это значение можно использовать как удобное свойство для расчетов, выполняемых для генерирования прогнозирования, но оно представляет собой вариацию углового шага, который является существенным для настоящего описания.
(i) вывести угловой шаг для прогнозирования внутри изображения (и, в случае необходимости, его инверсию) в соответствии с направлением яркости
(ii) если направление яркости является, преимущественно, вертикальным (то есть например, режим с номерами от 18 до 34 включительно), тогда угловой шаг прогнозирования внутри изображения делят пополам (и его инверсию удваивают).
(iii) в противном случае, если направление яркости является, преимущественно, горизонтальным (то есть например, режим с номерами от 2 до 17 включительно) тогда угловой шаг прогнозирования внутри изображения удваивают (и его инверсию делят пополам).
Такие расчеты представляют пример применения с помощью модификатора 1500 заданного алгоритма, для модификации значений углового шага, для того, чтобы отобразить направление, выведенное в отношении сетки яркости положений выборки в направлении, применимом для 4:2:2 или другой сетки цветности в подвыборках для положений выборки. Аналогичный результат может быть получен с помощью модификатора 1500, который обращается, вместо этого, к справочной таблице, отображающей входные угловые шаги на выходные угловые шаги.
В соответствии с этим в этих вариантах осуществления направление прогнозирования определяет положение выборки относительно группы кандидатов опорных выборок, содержащих горизонтальный ряд и вертикальный столбец из выборок, соответственно, расположенных выше и слева от набора текущих выборок, предназначенных для прогнозирования. Модуль 530 прогнозирования воплощает операцию фильтрации, которая, как описано выше, упорядочивает группу кандидатов опорных выборок в виде линейного массива опорных выборок; и применяет сглаживающий фильтр для линейного массива опорных выборок в направлении вдоль линейного массива.
Процесс выполнения отображения может осуществляться, например, в отношении угловых шагов, в которых направление прогнозирования для текущей выборки определяют с помощью ассоциированного углового шага; угловой шаг для, преимущественно, вертикального направления прогнозирования представляет собой смещение вдоль горизонтального ряда положений выборки группы кандидатов опорных выборок относительно положения выборки в этом ряду, которое вертикально смещено от текущей выборки; угловой шаг для, в основном, горизонтального направления прогнозирования представляет собой смещение вдоль вертикального столбца положений выборки группы кандидатов опорных выборок, относительно положения выборки в этом столбце, которое горизонтально смещено от текущей выборки; и положение выборки вдоль горизонтального ряда или вертикального столбца, обозначенное смещением, предоставляет указатель на положение выборки, которую требуется использовать при прогнозировании текущей выборки.
В некоторых вариантах осуществления этап применения отображения по направлению может содержать подэтапы, на которых: применяют заданную функцию к угловому шагу, соответствующему первому направлению прогнозирования. Пример такой функции является таким, как описано выше, а именно:
выводят угловой шаг в соответствии с первым направлением прогнозирования; и
(i) если первое направление прогнозирования является, преимущественно, вертикальным, тогда уменьшают на половину соответствующий угловой шаг для генерирования углового шага для второго направления прогнозирования; или
(ii) если первое направление прогнозирования является, преимущественно, горизонтальным, тогда удваивают соответствующий угловой шаг для генерирования углового шага второго направления прогнозирования.
В вариантах осуществления раскрытия, если угловой шаг (такой как модифицированный шаг, как описано выведено выше) не является целым числом, угловой шаг используется для определения группы из двух или больше положений выборок в пределах группы кандидатов опорных выборок (например, двух выборок с каждой стороны положений, на которое указывает это направление) для интерполяции, для обеспечения прогнозирования текущей выборки.
В других вариантах осуществления раскрытия этап применения отображения по направлению содержит: используют первое направление прогнозирования для индексации справочной таблицы, таблица предоставляет соответствующие значения второго направления прогнозирования.
В соответствии с вариантами осуществления раскрытия этап детектирования первого направления прогнозирования может содержать: в случае операции кодирования, выбирают направление прогнозирования в соответствии с проверкой двух или больше кандидатов направлений прогнозирования; или, в случае операции декодирования, детектируют информацию, определяющую направление прогнозирования, ассоциированное с видеоданными, которые должны быть декодированы. Это представляет собой общий момент, по которому различают варианты осуществления систем кодирования и декодирования: в декодере определенные параметры предусмотрены в кодированных данных или ассоциированы с ними. В кодере такие параметры генерируют для передачи кодированных данных в декодер.
В вариантах осуществления раскрытия первое направление прогнозирования используется для прогнозирования выборок яркости из набора выборок; и второе направление прогнозирования, выведенное на этапе применения из первого направления прогнозирования, используют для прогнозирования выборок цветности для этого набора выборок.
Варианты осуществления раскрытия могут обеспечивать способ кодирования или декодирования видеоданных, в котором выборки яркости и первого, и второго компонентов цветности прогнозируют в соответствии с режим прогнозирования, ассоциированным с выборкой, которую требуется прогнозировать, содержит этап, на котором: прогнозируют выборки второго компонента цветности из выборок первого компонента цветности.
Варианты осуществления раскрытия могут обеспечивать способ кодирования или декодирования видеоданных, в котором наборы выборок прогнозируют из других соответствующих опорных выборок, в соответствии с направлением прогнозирования, которое ассоциировано с выборкой, предназначенной для прогнозирования, направление прогнозирования, определяющее положение выборки, относительно группы опорных выборок - кандидатов, расположенных относительно набора текущих выборок, которые предназначены для прогнозирования, содержит этапы, на которых:
упорядочивают группу кандидатов опорных выборок в виде линейного массива опорных выборок; и
применяют сглаживающий фильтр для поднабора линейного массива опорных выборок в направлении вдоль линейного массива.
Варианты осуществления раскрытия могут предоставлять способ кодирование или декодирования видеоданных, в котором выборки яркости и цветности изображения прогнозируют из других соответствующих опорных выборок, выведенных из того же изображения, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое отношение размеров, чем соответствующий блок выборок цветности, выборки цветности, представляющие первый и второй компоненты цветности;
способ, содержащий этапы, на которых:
выбирают режим прогнозирования, определяющий выбор одной или больше опорных выборок или значений для прогнозирования текущей выборки цветности первого компонента цветности; и
выбирают другой режим прогнозирования, определяющий другой выбор одной или больше опорных выборок или значений, для прогнозирования текущей выборки цветности второго компонента цветности, находящегося в том же месте, что и текущая выборка цветности первого компонента цветности.
Варианты осуществления раскрытия могут обеспечить способ кодирования или декодирования видеоданных, в котором выборки яркости и цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности будет отличаться от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности; способ содержит этап, на котором:
применяют другой соответствующий алгоритм прогнозирования для выборок яркости и цветности, в зависимости от различий отношений размеров.
На фиг. 33 показан пример такой технологии при использовании. Угловой шаг 1580 выводят в соответствии с сеткой яркости. (При этом возможно его также использовать в отношении прогнозирования выборки яркости, но достаточно для настоящего описания, чтобы его выводили в соответствии с сеткой яркости и процедурами. Другими словами, фактически он может не использоваться для прогнозирования яркости). Массив 4:2:2 выборок 1580 цветности показан, как с удвоенной шириной на той же сетке; но с использованием тех же точек направления 1590 прогнозирования для другой опорной выборки (другое смещение от расположенной вертикально выборки 1540) в этом случае. Поэтому угловой шаг модифицируют, в соответствии с процедурой, установленной выше, для получения модифицированного углового шага 1600, который указывает на правильную опорную выборку цветности, для представления того же направления прогнозирования в сетке цветности.
В соответствии с этим варианты осуществления настоящего раскрытия относятся к способам кодирования или декодирования видеоданных, устройству или программам, в которых прогнозируют выборки яркости и цветности из других соответствующих опорных выборок, в соответствии с направлением прогнозирования, ассоциированным с текущей выборкой, предназначенной для прогнозирования. В таких режимах как 4:2:2, выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, поэтому отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности. Вкратце, это означает, что блок выборок яркости имеет другое отношение размеров, чем соответствующий блок выборок цветности.
Модуль 530 прогнозирования внутри изображения, например, работает как детектор для детектирования первого направления прогнозирования, определенного в отношении первой сетки, с первым соотношением размеров относительно набора текущих выборок, предназначенных для прогнозирования; и в качестве модуля отображения направления, для применения отображения направления на направление прогнозирования, для генерирования второго направления прогнозирования, определенного в отношении второй сетки с другим соотношением размеров. В соответствии с этим модуль 530 прогнозирования представляет пример модуля отображения направления. Модуль 540 прогнозирования может предоставлять другой соответствующий пример.
В вариантах осуществления раскрытия первая сетка, используемая для детектирования первого направления прогнозирования, определена в отношении положений выборки одной из выборок яркости или цветности, и вторая сетка, используемая для детектирования второго направления прогнозирования, определена в отношении положений выборок других из выборок цветности или яркости. В конкретных примерах, описанных в настоящем описании, направление прогнозирования яркости может быть модифицировано для обеспечения направления прогнозирования цветности. Но может использоваться совершенно другой способ.
Данная технология, в частности, применима для прогнозирования внутри изображения, таким образом, что опорные выборки представляют собой выборки, выводимые из (например, реконструированные из сжатых данных, выведенных из) того же соответствующего изображения, что и выборки, предназначенные для прогнозирования.
По меньшей мере, в некоторых компоновках, первое направление прогнозирования определено в отношении квадратного блока выборок яркости, включающего в себя текущую выборку яркости; и второе направление прогнозирования определено в отношении прямоугольного блока выборок цветности, включающего в себя текущую выборку цветности.
При этом возможно обеспечить независимые режимы прогнозирования для двух компонентов цветности. В такой компоновке выборки цветности содержат выборки первого и второго компонентов цветности, и технология содержит: применяют описанный выше этап отображения направления в отношении первого компонента цветности (такого как Cb); и предоставляют другой режим прогнозирования в отношении второго компонента цветности (такого как Cr), что может (например) вовлекать прогнозирование второго компонента цветности из выборок первого компонента цветности.
Видеоданные могут иметь, например, формат 4:2:2.
В случае декодера или способа декодирования направления прогнозирования могут быть детектированы путем детектирования данных, определяющих направления прогнозирования в кодированных видеоданных.
В общих чертах варианты осуществления раскрытия могут предоставлять независимые режимы прогнозирования для компонентов цветности (например, для каждого из компонентов яркости и цветности по отдельности). Эти варианты осуществления относятся к способам видеокодирования, в которых выборки яркости и цветности изображения прогнозируют из других соответствующих опорных выборок, выведенных из того же изображения, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности будет отличаться от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое отношение размеров, чем соответствующий блок выборок цветности, и выборки цветности, представляющие первый и второй компоненты цветности.
Селектор 520 режима внутри изображения выбирает режим прогнозирования, определяющий выбор одной или больше опорных выборок для прогнозирования текущей выборки цветности первого компонента цветности (такого как Cb). Он также выбирает другой режим прогнозирования, определяющий другой выбор одной или больше опорных выборок для прогнозирования текущей выборки цветности второго компонента цветности (такого как Cr), расположенного в том же месте, что и текущая выборка цветности первого компонента цветности.
Фильтр опорной выборки в случае необходимости можно применять для горизонтальных выборок или вертикальных выборок (или для обеих). Как описано выше, фильтр может представлять собой нормализованный фильтр "1 2 1" с 3 выводами, в настоящее время применяемый для всех опорных выборок яркости за исключением нижней левой и верхней правой (выборки блока N×N собирают вместе, для формирования одного массив 1D с размером 2N+1, и затем в случае необходимости фильтруют). В вариантах осуществления раскрытия применяют только первые (левая кромка) или последние (верхняя кромка) N+1 выборок цветности для 4:2:2, но следует отметить, что нижняя левая, верхняя правая и верхняя левая затем не будут отрегулированы; или все выборки цветности (что касается яркости), для 4:2:2 и 4:4:4.
Варианты осуществления раскрытия также предоставляют способы кодирования или декодирования видеоданных, устройство или программы, для которых прогнозируют выборки яркости и первого, и второго компонентов цветности (например, из других соответствующих опорных выборок или значений), в соответствии с режимом прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, что подразумевает прогнозирование выборок второго компонента цветности из выборок первого компонента цветности. В некоторых вариантах осуществления режим прогнозирования, ассоциированный с выборкой, которая должна быть спрогнозирована, может обозначать направление прогнозирования, определяющее одну или больше из других соответствующих опорных выборок, из которых эта выборка должна быть спрогнозирована.
Варианты осуществления раскрытия также могут обеспечивать способы кодирования или декодирования видеоданных, устройство или программы, в которых выборки яркости и первого и второго компонента цветности прогнозируют из других соответствующих опорных выборок, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, используя фильтрацию опорных выборов.
Как описано со ссылкой на фиг. 19 и 20, возможно, чтобы разный режим прогнозирования содержал режим, в соответствии с которым выборки второго компонента цветности прогнозировали из выборок первого компонента цветности.
Следует отметить, что режимы 0 и 1 не являются режимами углового прогнозирования, и они не включены в эту процедуру. Эффект процедуры, показанной выше, состоит в том, чтобы отображать направления прогнозирования цветности на направления прогнозирования яркости на фиг. 24.
Для 4:2:0, когда выбирают любой из чисто горизонтального режима прогнозирования (режим 10 яркости) или чисто вертикального режима прогнозирования (режим 26 яркости), верхнюю или левую кромки прогнозируемого TU подвергают фильтрации только для канала яркости. Для горизонтального режима прогнозирования верхний ряд фильтруют в вертикальном направлении. Для вертикального режима прогнозирования фильтруют левый столбец в горизонтальном направлении.
Под фильтрацией столбца выборок в горизонтальном направлении можно понимать применение горизонтально ориентированного фильтра для каждой выборки по очереди столбцов выборок. Таким образом, для индивидуальной выборки ее значение будет модифицировано действием фильтра, на основе фильтруемого значения, генерируемого из текущего значения этой выборки и одной или больше других выборок в положениях выборки, смещенных от этой выборки в горизонтальном направлении (то есть одной или больше других выборок, расположенных слева и/или справа от рассматриваемой выборки).
Фильтрацию ряда выборок в вертикальном направлении можно понимать как применение вертикально-ориентированного фильтра к каждой выборке по очереди рядов выборок. Таким образом, для индивидуальной выборки ее значение будет модифицировано действием фильтра, на основе фильтруемого значения, генерируемого из текущего значения этой выборки и одной или больше других выборок в положениях выборки, смещенных от этой выборки в вертикальном направлении (то есть одной или больше других выборок, расположенных выше и/или ниже от рассматриваемой выборки).
Одно из назначений процесса фильтрации пикселя на кромке, описанного выше, состоит в том, чтобы уменьшить блок на основе эффектов кромки при прогнозировании, стремясь, таким образом, уменьшить энергию остаточных данных изображения.
В вариантах осуществления раскрытия соответствующий процесс фильтрации также предусмотрен для TU цветности в 4:4:4 и 4:2:2. Принимая во внимание горизонтальную подвыборку, одно из предложений состоит только в том, чтобы фильтровать только верхний ряд TU цветности в 4:2:2, но фильтровать как верхний ряд, так и левый столбец (соответственно, в соответствии с выбранным режимом) в 4:4:4. При этом считается соответствующим фильтровать только эти области, с тем, чтобы исключить фильтрацию слишком большого количества полезных деталей, которые (будучи отфильтрованными), приведут к увеличению энергии остаточных данных.
Для 4:2:0, когда выбирают режим DC, верхнюю и/или левую кромки прогнозируемого TU подвергают фильтрации только для канала яркости.
Фильтрация может быть выполнена таким образом, что в Режиме DC, фильтр выполняет операцию (1 × смежный за пределами выборки +3* кромка выборки)/4 усреднения для всех выборок на обеих кромках. Однако для верхнего левого участка функция фильтра представляет собой (2 × текущая выборка +1 × расположенная выше выборки +1 × левая выборка)/4.
Фильтр H/V представляет собой среднее между соседней внешней выборкой и выборкой кромки.
В вариантах осуществления раскрытия такой процесс фильтрации также предусмотрен для TU цветности в схемах 4:4:4 и 4:2:2. И снова, принимая во внимание горизонтальную подвыборку, в некоторых вариантах осуществления раскрытия, только верхний ряд выборок цветности фильтруют для схемы 4:2:2, но верхний ряд и левый столбец TU цветности фильтруют для схемы 4:4:4.
В соответствии с этим эта технология может применяться в отношении способа кодирования или декодирования видеоданных, устройства или программы, в которых выборки яркости и цветности в формате 4:4:4 или 4:2:2 прогнозируют по другим соответствующим выборкам, в соответствии с направлением прогнозирования, ассоциированным с блоками выборок, предназначенных для прогнозирования.
В вариантах осуществления технологии направление прогнозирования обнаруживают в отношении текущего блока, предназначенного для прогнозирования. Прогнозируемый блок выборок цветности генерируют в соответствии с другими выборками цветности, определенными направлением прогнозирования. Если обнаруживаемое направление прогнозирования будет, по существу, вертикальным (например, находится пределах ±n режимов утла от точно вертикального режима, где n равно (например) 2), левый столбец выборок фильтруют (например, в горизонтальном направлении) в блоке прогнозирования выборок цветности. Или, если обнаруживаемое направление прогнозирования является, по существу, горизонтальным (например, находится в пределах ±n режимов угла в точно горизонтальном режиме, где n равно (например) 2), верхний ряд выборок фильтруют (например, в вертикальном направлении) в прогнозируемом блоке выборок цветности. Затем разность между отфильтрованным прогнозированным блоком цветности и фактическим блоком цветности кодируют, например, как остаточные данные. В качестве альтернативы проверка может быть выполнена для точно вертикального или горизонтального режимов, вместо, по существу, горизонтального или вертикального режимов. Допуск ±n может применяться к одной из проверок (вертикальной или горизонтальной), но не для других.
Прогнозирование между изображениями
Следует отметить, что прогнозирование между изображениями в HEVC уже позволяет использовать прямоугольный PU, таким образом, что режимы 4:2:2 и 4:4:4 уже совместимы с PU для обработки прогнозирования между изображениями.
Каждый фрейм видеоизображения представляет собой дискретную выборку реальной сцены, и, в результате, каждый пиксель представляет собой пошаговую аппроксимацию градиента реального мира в цветах и яркости.
С учетом этого, при прогнозировании значения Y, Cb или Cr пикселя в новом видеокадре от значения предыдущего видеокадра, пиксели в этом предыдущем видеокадре интерполируют для формирования лучшей оценки оригинальных реальных градиентов, для обеспечения более точного выбора яркости или цвета для нового пикселя. Следовательно, векторы движения, используемые для указания между видеокадрами, не ограничиваются целочисленным разрешением пикселей. Скорее, они могут указывать на положение подпикселей в пределах интерполированного изображения.
4:2:0 прогнозирование между изображениями
Рассмотрим теперь фиг. 25 и 26, в схеме 4:2:0, как отмечено выше, обычно PU 1300 яркости 8×8 будет ассоциирован с PU 1310 цветности 4×4 Cb и Cr. Следовательно, для интерполяции данных пикселей яркости и цветности до одинаково эффективного разрешения, используют разные фильтры интерполяции.
Например, для PU яркости размером 8×8 для 4:2:0, интерполяция составляет ХА пикселя, и, таким образом, фильтр ×4 с 8 отводами применяют вначале горизонтально, и затем такой же фильтр ×4 с 8 отводами применяют вертикально, так что PU яркости эффективно растягивают в 4 раза в каждом направлении для формирования интерполированного массива 1320, как показано на фиг. 25. В то же время соответствующий PU цветности 4×4 для 4:2:0 представляет собой 1/8 пикселя, интерполированного для генерирования такого же возможного разрешения, и, таким образом, применяется фильтр ×8 с 4 отводами вначале горизонтально, и затем такой же фильтр ×8 с 4 отводами применяется вертикально, так, что PU цветности 4:2:0 эффективно растягивается 8 раз в каждом направлении для формирования массива 1330, как показано на фиг. 26.
Прогнозирование между изображениями 4:2:2
Аналогичная компоновка для 4:2:2 будет описана ниже со ссылкой на фиг. 27 и 28, на которых иллюстрируется PU 1350 яркости и пара соответствующих PU 1360 цветности.
Обращаясь к фиг. 28, как отмечено ранее, в схеме 4:2:2 PU 1360 цветности может быть неквадратным, и для случая PU яркости 8×8 для схемы 4:2:2 обычно применяется PU цветности с размерами 4 в ширину × на 8 в высоту для схемы 4:2:2 для каждого из каналов Cb и Cr. Следует отметить, что PU цветности вычерчены для назначения фиг. 28 как массив квадратной формы из неквадратных пикселей, но обычно следует отметить, что PU 1360 представляют собой массивы размером 4 (по горизонтали) ×8 (по вертикали) пикселей.
В то время как поэтому возможно использовать существующий фильтр яркости ×4 с 8 отводами вертикально для PU цветности, в варианте осуществления настоящего раскрытия предполагается, что существующего фильтра цветности ×8 с 4 отводами будет достаточно для вертикальной интерполяции, поскольку на практике интересуются только ровным расположением фракций интерполированного PU цветности.
Следовательно, на фиг. 27 показан PU 1350 яркости для 4:2:2 размером 8×8, интерполированный, как и прежде, с использованием фильтра ×4 с 8 отводами, и PU 1360 цветности 4:2:2 размером 4×8, интерполированный существующим фильтром цветности ×8 с 4 отводами в горизонтальном и вертикальном направлениях, но при этом только равномерные результаты фракции используются для формирования интерполированного изображения в вертикальном направлении.
Эти технологии применимы для способов кодирования или декодирования видеоданных, устройства или программ, в которых используется прогнозирование между изображениями, для кодирования входных видеоданных, в которых каждый компонент цветности имеет горизонтальное разрешение 1/М компонента яркости и вертикальное разрешение 1/N компонента яркости, где М и N представляют собой целые числа, равные 1 или больше. Например, для 4:2:2, М=2, N=1. Для 4:2:0, М=2, N=2.
Накопитель 570 кадра во время работы сохраняет одно или больше изображений, предшествующих текущему изображению.
Фильтр 580 интерполяции во время работы интерполирует версию с более высоким разрешением модулей прогнозирования сохраненных изображений так, что компонент яркости модуля интерполированного прогнозирования имеет горизонтальное разрешение Р раз соответствующей части сохраненного изображения, и вертикальное разрешение Q раз соответствующей части сохраненного изображения, где Р и Q представляют собой целые числа большие 1. В текущих примерах Р=Q=4, так что фильтр 580 интерполяции во время работы генерирует интерполированное изображение с разрешением 1/4 выборки.
Блок 550 оценки движения во время работы детектирует движение между изображениями между текущим изображением и одним или больше интерполированными сохраненными изображениями для генерирования векторов движения между модулем прогнозирования текущего изображения и появляется в одном или больше предыдущих изображений.
Модуль 540 прогнозирования со скомпенсированным движением во время работы генерирует прогнозирование со скомпенсированным движением модуля прогнозирования текущего изображения в отношении области интерполированного сохраненного изображения, на которую указывает соответствующий вектор движения.
Возвращаясь к описанию операции фильтра 580 интерполяции, варианты осуществления этого фильтра, во время работы, применяют фильтр интерполяции ×R по горизонтали и ×S по вертикали для компонентов цветности сохраненного изображения, для генерирования интерполированного модуля прогнозирования цветности, где R равно (U×М×Р), и S равно (V×N×Q), U и V представляют собой целые числа, равные 1 или больше; и для подвыборки интерполированного модуля прогнозирования цветности, таким образом, что его горизонтальное разрешение будет разделено с коэффициентом U, и его вертикальное разрешение будет разделено с коэффициентом V, в результате чего, получают блок из MP×NQ выборок.
Так, в случае 4:2:2, фильтр 580 интерполяции применяет интерполяцию ×8 в горизонтальном и вертикальном направлениях, но затем выполняет вертикальную подвыборку с коэффициентом 2, например, используя каждую 2-ую выборку в интерполированном выходе.
Эта технология поэтому позволяет использовать тот же (например, ×8) фильтр в отношении 4:2:0 и 4:2:2, но с дополнительным этапом подвыборки в случае, когда требуется обеспечить 4:2:2.
В вариантах осуществления раскрытия, как описано выше, модуль интерполированного прогнозирования цветности имеет высоту выборок в два раза большую, чем модуль прогнозирования в соответствии с форматом 4:2:0, интерполированный с использованием таких же фильтров интерполяции ×R и ×S.
Необходимость в обеспечении разных фильтров может быть исключена или устранена, используя эти технологии, и, в частности, путем использования одних и тех же горизонтальных ×R и вертикальных ×S фильтров интерполяции, в отношении входных видеоданных 4:2:0 и входных видеоданных 4:2:2.
Как описано выше, этап подвыборки модуля интерполированного прогнозирования цветности содержит: используют каждую V-ю выборку модуля интерполированного прогнозирования цветности в вертикальном направлении, и/или используют каждую U-ую выборку модуля интерполированного прогнозирования цветности в вертикальном направлении.
Варианты осуществления раскрытия могут вовлекать получение вектора движения яркости для модуля прогнозирования; и независимо выводят один или больше векторов движения цветности для этого модуля прогнозирования.
В вариантах осуществления раскрытия, по меньшей мере, один из R и S равен 2 или больше, и в вариантах осуществления раскрытия горизонтальный ×R и вертикальный ×S фильтры интерполяции также применяются для компонентов яркости сохраненного изображения.
Варианты прогнозирования между изображениями 4:4:4
Путем расширения тот же принцип использования только результатов выровненной фракции для существующего фильтра цветности ×8 с 4 выводами можно применять как вертикально, так и горизонтально для PU цветности 4:4:4 размером 8×8.
В дополнение к этим примерам фильтр цветности ×8 можно использовать для всей интерполяции, включающей в себя яркость.
Дополнительные варианты прогнозирования между изображениями
В одном варианте осуществления производного вектора движения (MV) один вектор получают для PU в срезе Р (и два вектора для PU в срезе В (где срез Р использует прогнозирование из предыдущего кадра, и срез В использует прогнозирование из предыдущего и следующего кадров, аналогично кадрам MPEG Р и В). Следует отметить, что в данном варианте осуществления в схеме 4:2:0 векторы являются общими для всех каналов, и, кроме того, данные цветности не требуется использовать для расчета векторов движения. Другими словами, во всех каналах используют вектор движения на основе данных яркости.
В варианте осуществления настоящего раскрытия в схеме 4:2:2 вектор цветности может быть выведен так, чтобы он был независимым от яркости (то есть один вектор для каналов Cb и Cr может быть выведен отдельно), и в схеме 4:4:4 векторы цветности могут быть дополнительно независимыми для каждого из каналов Cb и Cr.
Варианты осуществления раскрытия могут обеспечить способ кодирования или декодирования видеоданных, в котором выборки яркости и цветности изображения прогнозируют по другим соответствующим опорным выборкам, выведенным из того же изображения, в соответствии с режимом прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, представляющие первый и второй компоненты цветности; способ, содержащий: выбирают, по меньшей мере, для некоторых выборок, тот же режим прогнозирования для каждого из компонентов яркости и цветности, соответствующих области изображения.
Варианты осуществления раскрытия могут обеспечивать способ кодирования или декодирования видеоданных, в котором выборки яркости и цветности изображения прогнозируют по другим соответствующим опорным выборкам, выведенным из того же изображения, в соответствии с режимом прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, представляющие первый и второй компоненты цветности; способ, содержащий: выбирают, по меньшей мере, для некоторых выборок, разные соответствующие режимы прогнозирования для каждого из компонентов яркости и цветности, соответствующих области изображения.
В любом случае либо тот же режим прогнозирования или другие соответствующие режимы прогнозирования можно использовать для каждого из компонентов яркости и цветности, соответствующих области изображения, при этом выбор выполняют в соответствии с последовательностью изображения, для изображения или области изображения.
Для выбора схемы режима прогнозирования при операции кодирования варианты осуществления могут, например, выполнять первое кодирование с проверкой области изображения, используя тот же режим прогнозирования для компонентов цветности и яркости; выполнять второе кодирование с проверкой этой области изображения, используя другие соответствующие режимы прогнозирования для компонентов цветности и яркости; и выбирая либо тот же режим прогнозирования или разные соответствующие режимы прогнозирования для использования в отношении последовательности изображений, изображения или области изображения на основе данных, кодированных первым и вторым кодированиями с проверкой.
Обработка результатов проверки в вариантах осуществления раскрытия может подразумевать детектирование одного или больше заданных свойств данных, кодированных первым и вторым кодированием с проверкой; и выбора либо того же режима прогнозирования, или других соответствующих режимов прогнозирования для использования в отношении последовательности изображений, изображения или области изображения на основе детектируемых одного или больше свойств. Одно или больше свойств, например, могут содержать свойства, выбранные из набора, состоящего из: шумы изображения; искажение изображения; и количество данных изображения. Выбор может быть выполнен для индивидуальных цветоделеных срезов изображения или блоков изображения. Варианты осуществления раскрытия во время работы могут ассоциировать информацию с кодированным видеосигналом (например, как часть кодированного потока данных, как один или больше флагов данных в пределах потока данных), обозначающую: используется ли один и тот же режим прогнозирования или разные режимы прогнозирования; и в случае, когда используется один и тот же режим прогнозирования, идентификацию этого одного режима прогнозирования; или, в случае, когда используются разные соответствующие режимы прогнозирования, идентификацию этих разных соответствующих режимов прогнозирования, например, используя схему нумерации, описанную в этой заявке в отношении режимов прогнозирования.
Для вариантов осуществления, выполняющих операцию декодирования, способ может содержать: детектируют информацию, ассоциированную с видеоданными для декодирования, информация, определяющая, является ли тот же режим прогнозирования или разные режимы прогнозирования ассоциированными с видеоданными для декодирования. Если такая информация (например, флаг размером один бит в заданном положении относительно потока данных) обозначает, что используются один и тот же режим прогнозирования, декодер применяет информацию режима прогнозирования, определенную в отношении одного компонента (такого как яркость) для декодирования других компонентов (таких как цветность). В противном случае, декодер применяет индивидуально установленные режимы прогнозирования для каждого компонента.
В вариантах осуществления раскрытия, как описано, изображение формирует часть видеосигнала 4:2:2 или 4:4:4.
Преобразования
В HEVC большая часть изображений кодирована как векторы движения из ранее кодированных/декодированных кадров, при этом векторы движения сообщают декодеру, из каких мест в этих других декодируемых кадрах следует копировать хорошие аппроксимации текущего изображения. Результат представляет собой приблизительную версию текущего изображения. HEVC затем кодирует так называемый остаток, который представляют собой ошибку между аппроксимированной версией и прямым изображением. Этот остаток требует намного меньше информации, чем непосредственное установление фактического изображения. Однако все еще, в общем, является предпочтительным сжатие этой остаточной информации для дополнительного уменьшения общей скорости передачи битов.
Во многих способах кодирования, включая в себя HEVC, такие данные преобразуют в домен пространство - частота, используя целочисленное косинусное преобразование (ICT), и обычно некоторое сжатие выполняют затем путем сохранения данных с низкой пространственной частотой и отбрасывания данных с высокой пространственной частотой, в соответствии с требуемым уровнем сжатия.
Преобразования 4:2:0
Преобразования пространственной частоты, используемые в HEVC, обычно представляют собой преобразования, которые генерируют коэффициенты в степени 4 (например, 64 коэффициента частоты), поскольку это особенно удобно для общих способов квантования/сжатия. Квадратные TU в схеме 4:2:0 все имеют степени 4 и, следовательно, этого легко достичь.
Если обеспечиваются варианты опции NSQT, некоторые неквадратные преобразования доступны для неквадратных TU, таких как 4×16, но снова следует отметить, что в результате из них получают коэффициенты 64, то есть снова степень 4.
Варианты преобразования 4:2:2 и 4:4:4
Схема 4:2:2 может привести к неквадратным TU, которые не являются степенью 4; например, TU 4×8 имеют 32 пикселя, и 32 не является степенью 4.
В варианте осуществления настоящего раскрытия поэтому неквадратное преобразование для коэффициентов, не являющихся степенью 4, могут использоваться, подтверждая то, что модификации могут потребоваться для последующего процесса квантования.
В качестве альтернативы в варианте осуществления настоящего раскрытия неквадратные TU разделяют на квадратные блоки, имеющие площади в степени 4 для преобразования, и затем полученные в результате коэффициенты могут быть подвержены перемежению.
Например, для блоков 4×8 нечетные/четные вертикальные выборки могут быть разделены на два квадратных блока. В качестве альтернативы для блока 4×8 верхние 4×4 пикселей и нижние 4×4 пикселей могут формировать два квадратных блока. И снова, в качестве альтернативы, для блоков 4×8 вейвлет разложение Хаара можно использовать для формирования блока 4×4 нижней и верхней частоты.
Любые из этих опций могут быть сделаны доступными, и выбор конкретной альтернативы может быть передан в виде сигналов в декодер или может быть выведен декодером.
Другие режимы преобразования
В схеме 4:2:0 предложен флаг (так называемый ′qpprime_y_zero_transquant_bypass_flag′), позволяющий включать остаточные данные в поток битов без потерь (то есть без преобразования, квантования или дополнительной фильтрации). В схеме 4:2:0 флаг применяется для всех каналов.
В соответствии с этим такие варианты осуществления представляют способ кодирование или декодирования видеоданных, устройство или программу, в которых прогнозируют выборки яркости и цветности, и разность между выборками и соответствующими прогнозируемыми выборками кодируют, используя индикатор, выполненный с возможностью обозначения, должны ли быть включены данные контраста яркости в выходной поток битов без потерь; и для независимого обозначения, должны ли цветоразностные данные быть включены в поток битов без потерь.
В варианте осуществления настоящего раскрытия предложено, чтобы флаг для канала яркости был отделен от каналов цветности. Следовательно, для схемы 4:2:2, такие флаги должны быть предусмотрены отдельно для канала яркости и для каналов цветности, и для схемы 4:4:4, такие флаги должны быть предусмотрены либо отдельно для каналов яркости и цветности, или один флаг должен быть предусмотрен для каждого из трех каналов. Это распознает увеличенные скорости данных цветности, ассоциированные со схемами 4:2:2 и 4:4:4, и позволяет, например, использовать данные яркости без потерь вместе со сжатыми данными цветности.
Для кодирования с прогнозированием внутри изображения направленное преобразование, зависимое от режима (MDDT), позволяет заменить горизонтальный или вертикальный ICT (или оба ICT) для TU на целочисленное синусное преобразование, в зависимости от направления прогнозирования внутри изображения. В схеме 4:2:0 это не применяется для TU цветности. Однако в варианте осуществления настоящего раскрытия предложено применять его для TU цветности 4:2:2 и 4:4:4, следует отметить, что IST только в настоящее время определены для 4 измерений преобразования выборки (либо горизонтальные, или вертикальные), и поэтому в настоящее время не может применяться по вертикали для TU цветности 4×8. MDDT будет дополнительно описан ниже.
В способах кодирования видеоданных могут быть размещены различные варианты осуществления раскрытия так, что они будут обозначать, должны ли данные контраста яркости быть включены в выходной поток битов без потерь; и независимо от обозначения, должны ли быть данные цветоразности включены в поток битов без потерь, и кодировать или включать соответствующие данные в форме, определенной такими обозначениями.
Квантование
В схеме 4:2:0 расчет квантования является таким же для цветности, как и для яркости. Только параметры квантования (QP) отличаются.
QP для цветности рассчитывают из QP яркости следующим образом:
Figure 00000005
где таблица масштабирования определена, как можно видеть на фиг. 29А или 29В (для 4:2:0 и 4:2:2, соответственно), и "chroma_qp_index_offset" и "second_chroma_qp_index_offset" определены в устанавливаемом параметре изображении и могут быть одинаковыми или разными для Cr и Cb. Другими словами, значение в квадратных скобках определяет, в каждом случае "индекс" в таблице масштабирования (фиг. 29А и 29В), и таблица масштабирования затем передает пересмотренное значение Qp ("значение").
Следует отметить, что "chroma_qp_index_offset" и "second_chroma_qp_index_oriset" могут вместо этого называться cb_qp_offset и cr_qp_offset, соответственно.
Каналы цветности обычно содержат меньше информации, чем в канале яркости и, следовательно, имеют коэффициенты с меньшей магнитудой; это ограничение по цветности QP может предотвратить потерю каких-либо деталей цветности при значительных уровнях квантования.
Взаимосвязь знаменателя QP в 4:2:0 является логарифмической таким образом, что увеличение на 6 в QP эквивалентно удвоению знаменателя (размер этапа квантования описан в другом месте, в этом описании, хотя следует отметить, что он может быть дополнительно модифицирован с помощью матриц Q перед использованием). Следовательно, наибольшая разница в таблице масштабирования 51-39=12 представляет коэффициент 4-кратного изменения знаменателя.
Однако в варианте осуществления настоящего раскрытия, для схемы 4:2:2, которая потенциально содержит в два раза больше информации цветности, чем схема 4:2:0, максимальное значение QP цветности в таблице масштабирования может быть повышено до 45 (то есть имеющее знаменатель). Аналогично, для схемы 4:4:4, максимальное значение QP цветности в таблице масштабирования может быть повышено до 51 (то есть при том же знаменателе). В этом случае таблица масштабирования фактически является избыточной, но может поддерживаться просто для эффективности операций (то есть таким образом, что система работает со ссылкой на таблицу одинаково для каждой схемы). Следовательно, в более общем смысле, в варианте осуществления настоящего раскрытия, знаменатель QP цветности модифицируют в соответствии с количеством информации в схеме кодирования относительно схемы 4:2:0.
В соответствии с этим варианты осуществления раскрытия относятся к способу кодирования или декодирования видеоданных, работающих для квантования блоков, преобразованных по частоте компонентных видеоданных яркости и цветности в формате 4:4:4 или 4:2:2, в соответствии с выбранным параметром квантования, который определяет размер шага квантования. Ассоциацию параметра квантования (такого как, например, соответствующая таблица на фиг. 29А или 29В) определяют между параметрами квантования яркости и цветности, где ассоциация осуществляется таким образом, что максимальный размер шага квантования цветности меньше, чем максимальный размер шага квантования яркости для формата 4:2:2 (например, 45), но равен максимальному размеру шага квантования яркости для формата 4:4:4 (например, 51). Процесс квантования работает таким образом, что каждый компонент данных, преобразованных по частоте, делят на соответствующее значение, выводимое из соответствующего размера шага квантования, и результат округляют до целочисленного значения для генерирования соответствующего блока квантованных данных пространственной частоты.
Следует понимать, что этапы деления и округления представляют собой примеры, обозначающие обобщенный этап квантования, в соответствии с соответствующим размером шага квантования (или данными, выведенными из него, например, с помощью приложения Q матриц).
Варианты осуществления раскрытия включают в себя этап выбора параметра квантования или индекса (QP для яркости), для квантования пространственных коэффициентов частоты, при этом параметр квантования действует как опорный для соответствующего одного из набора размеров шага квантования, в соответствии с таблицами QP, применимыми для данных яркости. Процесс определения ассоциации параметра квантования может затем содержать: для компонентов цветности, ссылку на таблицу модифицируемых параметров квантования (такую как таблица на фиг. 29А или 29В), в соответствии с выбранным параметром квантования, что, в свою очередь, может вовлекать (i) для первого компонента цветности, добавляют первое смещение (такое как chroma_qp_index_offset) к параметру квантования и выбирают модифицированный индекс квантования, соответствующий входу в эту запись в таблице для индекса квантования, плюс первое смещение; и (ii) для второго компонента цветности, добавляют второе смещение (такое как second_chroma_qp_index_offset) к параметру квантования и выбирают модифицированный индекс квантования, соответствующий входу в эту запись в таблице для индекса квантования, плюс второе смещение; и обращаясь к соответствующему размеру шага квантования в наборе, в соответствии с параметром квантования для данных яркости и первому и второму модифицированным индексам квантования для первого и второго компонентов цветности. Другими словами, это представляет собой пример процесса, подразумевающего выбор параметра квантования для квантования пространственных коэффициентов частоты, при этом параметр квантования действует как ссылка на соответствующий один из набора размеров шага квантования; и в котором этап определения содержит: для компонентов цветности, ссылку на таблицу модифицированных параметров квантования, в соответствии с выбранным параметром квантования, этап ссылки, содержащий: для каждого компонента цветности, добавляют соответствующее смещение к параметру квантования и выбирают модифицированный параметр квантования, соответствующий входу в эту запись в таблице, для параметра квантования, плюс соответствующее смещение; и ссылку на соответствующий размер шага квантования в наборе, в соответствии с параметром квантования для данных яркости и для первого и второго модифицированных параметров квантования для первого и второго компонентов цветности.
Эти технологии являются особенно применимыми для компоновок, в которых последовательные значения размеров шага квантования в наборе соотносятся логарифмически, таким образом, что изменение параметра квантования m (где m представляет собой целое число) представляет изменение размера шага квантования на коэффициент р (где р представляет собой целое число большее 1). В настоящих вариантах осуществления m=6 и р=2.
В вариантах осуществления раскрытия, как описано выше, максимальный параметр квантования яркости равен 51; максимальный параметр квантования цветности равен 45 для формата 4:2:2; и максимальный параметр квантования цветности равен 51 для формата 4:4:4.
В вариантах осуществления раскрытия первое и второе значения смещения могут быть переданы в ассоциации с кодированными видеоданными.
В схеме 4:2:0 матрицы А преобразования, первоначально формируют (модулем преобразования 340) из истинно нормализованных N×N DCT и А′, используя:
Figure 00000006
где i и j обозначают положение в пределах матрицы. Такое масштабирование относительно нормализованной матрицы преобразования обеспечивает увеличение точности, исключает необходимость в дробных расчетах и увеличивает внутреннюю точность.
Игнорирование разности, связанной с округлением Aij, поскольку X умножают как на А, так и на AT (транспонирование матрицы А), полученные в результате коэффициенты отличаются от коэффициентов истинно нормализованных M×N (М=высота; Н=ширина) DCT на общий коэффициент масштабирования, равный:
Figure 00000007
Следует отметить, что общий коэффициент масштабирования может отличаться от этого примера. Также следует отметить, что умножение матрицы как на А, так и на AT, может быть выполнено различными способами, например, с использованием так называемого способа Баттерфляй. Существенным является тот факт, является ли выполняемая операция эквивалентной традиционному умножению матрицы, с учетом того, что она выполняется в определенном традиционном порядке операций.
Такой коэффициент масштабирования эквивалентен двоичной операции побитного сдвига влево на количество битов transformShift, поскольку в HEVC этот результат представляет степень 2:
Figure 00000008
Для уменьшения требований в отношении внутренней точности битов, коэффициенты сдвигают вправо (используя положительное округление) дважды во время процесса преобразования:
Figure 00000009
Figure 00000010
В результате, коэффициенты, по мере того как они выходят из процесса прямого преобразования и поступают в блок квантования, являются эффективно сдвинутыми влево на величину:
Figure 00000011
В 4:2:0, коэффициенты, разделенные частотой (например, DCT), генерируемые в результате преобразования частоты, больше на коэффициент
Figure 00000012
, чем можно было бы получить с нормализованным DCT.
В некоторых вариантах осуществления раскрытия блоки являются либо квадратными, или прямоугольными с отношением размера 2:1. Поэтому для размера блока N×М, либо:
N=M, и в этом случае resultingShift представляет собой целое число и S=N=M=sqrt (NM); или
0,5N=2M или 2N=0,5M, и в этом случае resultingShift все еще представляет собой целое число и S=sqrt (NM)
Figure 00000013
Эти коэффициенты впоследствии квантуют, где знаменатель квантования выводят в соответствии с параметром QP квантования.
Следует отметить, что resultingShift эквивалентен целому числу, таким образом, что общий коэффициент масштабирования представляет собой целое число в степени 2, общий сдвиг влево ′resultingShift′ в процессе преобразования также учитывают на этом этапе путем применения эквивалентного, но противоположного сдвига вправо, ′quantTransformRightShift′.
Такая операция сдвига битов возможна, поскольку resultingShift представляет собой целое число.
Также следует отметить, что соотношение знаменателя-QP (параметра квантования или индекса) следует кривой мощности по основанию 2, как упомянуто выше, в том, что увеличение QP на 6 имеет эффект удвоения знаменателя, в то время как увеличение QP на 3 имеет эффект увеличения знаменателя на коэффициент sqrt (2) (квадратный корень 2).
В связи с тем, что формат цветности равен 4:2:2, для TU существуют два отношения ширина: высота (N:M):
N=M (как указано выше), где S=N=M=sqrt (NM) (resultingShift представляет собой целое число),
0,5N=2M и 2N=0,5M (как указано выше), где S=sqrt (NM) (resultingShift представляет собой целое число),
N=2M, где S=sqrt (NM)
2M=N, где S=sqrt (NM)
4N=0,5M, где S=sqrt (NM)
В этих трех последних ситуациях resultingShift не является целым числом. Например, такой подход может применяться, в случае когда, по меньшей мере, некоторые из блоков выборок видеоданных содержат выборки M×N, где квадратный корень N/M не равен степени 2 целого числа. Такие размеры блока могут возникнуть в отношении выборок цветности, в некоторых из настоящих вариантов осуществления.
В соответствии с этим в таких случаях следующие технологии являются соответствующими, то есть в способах кодирования или декодирования видеоданных, устройстве или программах, работающих для генерирования блоков данных, квантованных по пространственной частоте, путем выполнения преобразования частоты для блоков выборок видеоданных, используя матрицу преобразования, содержащую массив целочисленных значений, каждое из которых масштабировано в отношении соответствующих значений нормализованной матрицы преобразования на величину, зависящую от размера матрицы преобразования, и для квантования данных пространственной частоты, в соответствии с выбранным размером шага квантования, имеющим этап преобразования частоты блока выборок видеоданных путем умножения матрицы блока на матрицу преобразования и транспонирования матрицы преобразования, для генерирования блока масштабирования коэффициентов пространственной частоты, каждый из которых больше на общий коэффициент масштабирования (например, resultingShift), чем коэффициенты пространственной частоты, которые могли бы быть получены из нормированного преобразования частоты этого блока выборок видеоданных.
Поэтому на этапе квантования соответствующая операция сдвига битов не может использоваться для отмены операции простым способом.
Для этого было предложено следующее решение:
На этапе квантователя применить сдвиг вправо:
Figure 00000014
где значение S′ выведено так, что
Figure 00000015
quantTransformRightShift представляет собой целое число
Разность между сдвигами на 1/2 эквивалентна умножению на корень из (2), то есть в этой точке коэффициенты в sqrt в (2) раза больше, чем они должны быть, что делает сдвиг бита сдвигом на целый бит.
Для процесса квантования применяют параметр квантования (QP+3), что означает, что знаменатель квантования эффективно увеличивается на коэффициент sqrt (2), устраняя, таким образом, коэффициент масштабирования sqrt (2) из предыдущего этапа.
В соответствии с этим эти этапы могут быть сведены вместе (в контексте способа кодирования или декодирования видеоданных (или соответствующего устройства или программы), которые работают для генерирования блоков квантованных данных, пространственной частоты, путем выполнения преобразования частоты по блокам выборок видеоданных, используя матрицу преобразования, содержащую массив целочисленных значений, каждый из которых масштабируют в отношении соответствующих значений нормализованной матрицы преобразования, и для квантования данных пространственной частоты в соответствии с выбранным размером этапа квантования, в котором используется преобразование частоты блока выборок видеоданных путем матричного умножения блока на матрицу преобразования и для генерирования блока масштабированных коэффициентов пространственной частоты, каждый из которых больше на общий коэффициент масштабирования, чем коэффициенты пространственной частоты, которые могли бы быть получены из нормированного частотного преобразования каждого блока выборок видеоданных) следующим образом: выбирают размер этапа квантования для квантования коэффициентов пространственной частоты; применяют сдвиг на n битов (например, quantTransformRightShift) для деления каждого из масштабированных коэффициентов пространственной частоты на коэффициент 2n, где n представляет собой целое число; и детектируют остаточный коэффициент масштабирования (например, resultingShift-quantTransformRightShifi), который представляет собой общий коэффициент масштабирования, разделенный на 2". Например, в ситуации, описанной выше, размер шага квантования затем должен в соответствии с остаточным коэффициентом масштабирования использоваться для генерирования модифицированного размера шага квантования; и каждый из масштабированных коэффициентов пространственной частоты в блоке делят на значение, зависящее от модифицированного размера шага квантования, и округляют результат до целочисленного значения для генерирования блока квантованных данных пространственной частоты. Как описано выше, модификация размера шага квантования может осуществляться просто путем добавления смещения к QP, для выбора другого размера шага квантования, когда QP отображают на таблицу размеров шага квантования.
Коэффициенты теперь имеют правильную магнитуду для оригинального QP.
Матрица преобразования может содержать массив целочисленных значений, каждое из которых масштабировано в отношении соответствующих значений нормализованной матрицы преобразования на величину, зависящую от размера матрицы преобразования.
Из этого следует, что требуемое значение для S′ всегда может быть выведено следующим образом:
Figure 00000016
В качестве альтернативного предложения S′ может быть выведено таким образом, что:
Figure 00000017
В этом случае
Figure 00000018
, и приложенный параметр квантования представляет собой (QP-3)
В любом в этих случаев (добавление 3 к QP или в вычитании 3 из QP) этап выбора размера шага квантования содержит выбор индекса квантования (например, QP), индекс квантования, определяющий соответствующий вход в таблицу размеров шага квантования, и этап модификации содержит изменение индекса квантования для выбора другого размера шага квантования, таким образом, что отношение разных размеров шага квантования к первоначально выбранному размеру шага квантования, по существу, равно остаточному коэффициенту масштабирования.
Все это работает особенно хорошо, когда как и в первом варианте осуществления, последовательные значения размеров шага квантования в таблице соотносятся логарифмически, таким образом, что изменение индекса квантования (например, QP) для m (где m представляет собой целое число) представляет изменение размера шага квантования на коэффициент р (где р представляет собой целое число больше 1). В настоящих вариантах осуществления m=6 и р=2, таким образом, что увеличение QP в 6 раз представляет удвоение применяемого размера шага квантования, и уменьшение в QP в 6 раз представляет уменьшение вдвое, полученного в результате размера шага квантования.
Как описано выше, модификация может осуществляться путем выбора индекса квантования (например, основания QP) в отношении выборок яркости; генерируя смещения индекса квантования, относительно индекса квантования, выбранного для выборок яркости, для выборок каждого или обоих компонентов цветности; изменения смещения индекса квантования, в соответствии с остаточным коэффициентом масштабирования; и передачи смещения индекса квантования в ассоциации с кодированными видеоданными. В вариантах осуществления HEVC смещение QP для двух каналов цветности передают в потоке битов. Эти этапы соответствуют системе, в которой смещение QP (за счет остаточного коэффициента масштабирования), равное ±3, может быть встроено в эти смещения, или для них может быть выполнено последовательное приращение/уменьшение, когда их используют для вывода QP цветности.
Следует отметить, что смещение QP не обязательно должно быть равным ±3, если используют блоки разных размеров; при этом ±3 просто представляет смещение, применимое для форм и соотношений размеров блока, описанных выше в отношении, например, видеоданных 4:2:2.
В некоторых вариантах осуществления n (величина сдвига битов, в том виде, как применяется) выбирают таким образом, что 2n будет больше чем или равно общему коэффициенту масштабирования. В других вариантах осуществления n выбирают таким образом, что 2n меньше чем или равно общему коэффициенту масштабирования. В вариантах осуществления раскрытия (используя любую из этих компоновок), сдвиг n бита может быть выбран таким, чтобы он был следующим ближайшим (в любом направлении) к общему коэффициенту масштабирования, таким образом, что остаточный коэффициент масштабирования представляет коэффициент, имеющий магнитуду меньше чем 2.
В других вариантах осуществления модификация размера шага квантования может быть выполнена просто путем умножения размера шага квантования на коэффициент, зависящий от остаточного коэффициента масштабирования. То есть модификация не обязательно должна включать в себя модификацию QP индекса.
Следует также отметить, что размер шага квантования, как описано, не обязательно представляет собой фактический размер шага квантования, на который делят преобразованную выборку. Размер шага квантования, выведенный таким образом, может быть дополнительно модифицирован. Например, в некоторых компоновках, размер шага квантования дополнительно модифицирован по соответствующим входам в матрицу по значениям (Qmatrix) таким образом, что разные конечные размеры шага квантования используются в разных положениях коэффициента в квантованном блоке коэффициентов.
Также известно, что в схеме 4:2:0, наибольший TU цветности составляет 16×16, тогда как для схемы 4:2:2 возможны TU 16×32, и для схемы 4:4:4 возможны TU цветности 32×32. Следовательно, в варианте осуществления настоящего раскрытия предложены матрицы квантования (Q матрицы) для TU цветности 32×32. Аналогично, Q матрицы должны быть определены для неквадратных TU, таких как TU 16×32, в одном варианте осуществления, который представляет собой подвыборку более крупной квадратной матрицы Q
Qmatrices могут быть определены по одному из следующих значений:
значения в сетке (как для Qmatrices размером 4×4 и 8×8);
пространственно интерполированные из меньших или более крупных матриц;
- в HEVC более крупные Qmatrices могут быть выведены из соответствующих групп коэффициентов меньшего размера опорных матриц, или меньшего размера матрицы могут быть выведены на основе подвыборки из более крупных матриц. Следует отметить, что такая интерполяция или подвыборка могут осуществляться в пределах соотношения канала - например, большая матрица для соотношения канала может быть интерполирована из меньшей матрицы для этого соотношения каналов.
относительно других Qmatrices (то есть значения разности или дельта);
- следовательно, необходимо передать только значения дельта.
Рассмотрим небольшой пример, только для иллюстрации, конкретная матрица для одного отношения канала может быть определена, такая как матрица 4×4 в соответствии со схемой 4:2:0
(а b)
(c d)
где а, b, с и d представляют собой соответствующие коэффициенты. Это действует как опорная матрица.
Варианты осуществления раскрытия могли бы затем определять набор значений разности для матрицы аналогичного размера в отношении другого соотношения канала:
(diff1 diff2)
(diif3 diff4)
таким образом, что для генерирования Qmatrix для другого соотношения каналов, матрица разностей представляет собой матрицу, добавленную к опорной матрице.
Вместо различий матрица мультипликативных коэффициентов может быть определена для другого соотношения каналов, таким образом, что либо (i), матрица мультипликативных коэффициентов представляет собой матрицу, умноженную на опорную матрицу, для генерирования Qmatrix для другого соотношения каналов, или (ii), каждый коэффициент в опорной матрице индивидуально умножают на соответствующий коэффициент для генерирования Qmatrix, для другого соотношения канала,
как функция другой Qmatrix;
- например, коэффициент масштабирования в отношении другой матрицы (таким образом, что каждый из а, b, с и d в представленном выше примере умножают на один и тот же коэффициент, или к ним добавляют одинаковую разность). Это уменьшает требования к данным для преобразования разности или данных коэффициента.
- следовательно, только коэффициенты функций необходимы для передачи (такие как коэффициент масштабирования),
как уравнение/функция (например, линейная кривая, состоящая из кусочков, экспонента, полином);
- следовательно, только коэффициенты уравнений необходимо передавать для вывода матрицы,
или любую комбинацию, указанную выше. Например, каждый из а, b, с и d фактически может быть определен по функции, которая может включать в себя зависимость от положений (i, j) коэффициента в матрице (i, j) может представлять собой, например, положение коэффициента, слева направо, после которого следует положение коэффициента сверху вниз матрицы. Пример представляет собой:
Figure 00000019
Следует отметить, что Q матрицы могут называться листами масштабирования в среде HEVC. В вариантах осуществления, в которых квантование применяют после процесса развертки, данные развертки могут представлять собой линейный поток последовательных выборок данных. В таких случаях концепция Qmatrix все еще применяется, но матрица (или список развертки) можно рассматривать как матрицу 1×N, таким образом, что порядок значений данных N в пределах матрицы 1×N соответствует порядку выборок, полученных при развертке, к которым требуется применять соответствующее значение Qmatrix. Другими словами, существует взаимозависимость 1:1 между порядком данных в данных, полученных при развертке, пространственной частотой, в соответствии со структурой развертки, и порядком данных в Qmatrix 1×N.
Следует отметить, что возможно, в некоторых вариантах осуществления, выполнить обход или пропуск этапа DCT (разделение по частоте), но при этом оставляют этап квантования.
Другая полезная информация включает в себя необязательный индикатор того, к какой матрице относятся данные значения, то есть предыдущий канал или первый (первичный) канал; например, матрица для Cr может представлять коэффициент масштабирования для матрицы для значений Y или для Cb, как обозначено.
В соответствии с вариантами осуществления раскрытие может предоставлять способ кодирования или декодирования видеоданных (и соответствующее устройство или компьютерную программу), работающие для генерирования блоков квантованных данных пространственной частоты (в случае необходимости) выполнения преобразования частоты для блоков выборок видеоданных и квантования видеоданных (таких как данные пространственной частоты) в соответствии с выбранным размером шага квантования и матрицей данных, модифицирующей размер шага квантования, для использования в разных соответствующих положениях блока в пределах упорядоченного блока выборок (такого как упорядоченный блок выборок преобразованных по частоте), способ работает в отношении, по меньшей мере, двух разных форматов подвыборки цветности.
Для, по меньшей мере, одного из форматов подвыборки цветности определяют одну или больше матриц квантования, в качестве одной или больше заданных модификаций в отношении одной или больше опорных матриц квантования, определенных для ссылки на один из форматов подвыборки цветности.
В вариантах осуществления раскрытия этап определения содержит: определяют одну или больше матриц квантования как матрицу значений, каждая из которых интерполирована из соответствующего множества значений опорной матрицы квантования. В других вариантах осуществления этап определения содержит: определяют одну или больше матриц квантования как матрицу значений, для каждой из которых выполняют подвыборку из значений опорной матрицы квантования. В вариантах осуществления раскрытия этап определения содержит: определяют одну или больше матриц квантования как матрицу разностей в отношении соответствующих значений опорной матрицы квантования.
В вариантах осуществления раскрытия этап определения содержит: определяют одну или больше матриц квантования как заданную функцию значений опорной матрицы квантования. В таких случаях заданная функция может представлять собой полиномиальную функцию.
В вариантах осуществления раскрытия предусматриваются одно или оба из следующих, например, как часть или в ассоциации с кодированными видеоданными: (i) опорные данные индикатора для обозначения в отношении кодированных видеоданных, опорной матрицы квантования; и (ii) данные индикатора модификации, для обозначения, в отношении значений кодированных данных, одной или больше заданных модификаций.
Такие технологии в особенности применимы в случае, когда два из форматов подвыборки цветности представляют собой форматы 4:4:4 и 4:2:2.
Количество матриц Q в HEVC 4:2:0 в настоящее время равно 6 для каждого размера преобразования: 3 для соответствующих каналов, и один набор для кодирования внутри и между изображениями. В случае схемы GBR 4:4:4 следует понимать, что либо один набор матриц квантования может использоваться для всех каналов, или могут использоваться три соответствующих набора матриц квантования.
В вариантах осуществления раскрытия, по меньшей мере, одна из матриц представляет собой матрицу 1×N. Это может представлять собой случай (как описано здесь), когда одна или больше из матриц, фактически, представляет собой список масштабирования и т.п., который представляет собой линейный упорядоченный массив коэффициентов 1×N.
Предложенные решения улучшают постепенное увеличение или постепенное уменьшение применяемого QP. Однако это может быть достигнуто множеством способов:
В HEVC смещения QP для двух каналов цветности передают в потоке битов ±3 может быть встроено в эти смещения, или для них может быть выполнено постепенное приращение/постепенное уменьшение, когда их используют для вывода QP цветности.
Как описано выше, в HEVC (QP яркости + смещение цветности) используют в качестве индекса для таблицы, для вывода QP цветности. Эта таблица может быть модифицирована соответствующим образом до ±3 (то есть постепенное увеличение/постепенное уменьшение значений оригинальной таблицы на 3)
После вывода QP цветности для каждого нормального процесса HEVC, результаты могут затем быть постепенно увеличены (или постепенно уменьшены) на 3.
В качестве альтернативы для модификации QP, коэффициент sqrt (2) или 1/sqrt (2) может использоваться для модификации коэффициентов квантования.
Для прямого/обратного квантования процессы деления/умножения реализованы при использовании (% QP 6) как индекс к таблице, чтобы получить коэффициент квантования или размер шага квантования, inverseQStep/scaledQStep. (Здесь, % QP 6 обозначает QP по модулю 6). Следует отметить, что, как описано выше, это, возможно, не представляет конечный размер шага квантования, который применяют к преобразованным данным; это может быть дополнительно модифицировано Qmatrices перед использованием.
Принятые по умолчанию таблицы HEVC имеют длину 6, которая охватывает октаву (удвоение) значений. Это просто представляет собой средство уменьшения требований к сохранению; таблицы расширяют для фактического использования, путем выбора входной записи в таблице, в соответствии с модулем QP (mod 6) и с последующим умножением или делением на соответствующую степень 2, в зависимости от разности (QP - QP модуль 6) заданного основного значения.
Такая компоновка может изменяться для обеспечения возможности смещения ±3 значения QP. Смещение может применяться в процессе поиска в таблице, или вместо этого, может выполняться процесс модуля, описанный выше, используя модифицированный QP. Предполагая, что смещение применяется при поиске в таблице, однако дополнительные входы в записи в таблице могут быть предусмотрены следующим образом:
Одна альтернатива состоит в том, чтобы расширить таблицы на 3 входа, где новые входы представляют собой следующее (для значений индекса 6-8).
Примерная таблица, показанная на фиг. 30, могла бы быть индексирована по [(QP % 6)+3] ("способ последовательного приращения QP"), где обозначение QP % 6 обозначает " QP модуль 6".
Пример таблицы, показанный на фиг. 31, может быть проиндексирован по [(QP % 6)-3] ("способ последовательного уменьшения QP"), который имеет дополнительные входы для значений индекса от -1 до -3:
Энтропийное кодирование
Основное энтропийное кодирование содержит: назначают кодовые слова для входных символов данных, где самые короткие доступные кодовые слова назначают для наиболее вероятных символов во входных данных. В среднем, результат представляет собой гораздо меньшее представление входных данных без потерь.
Такая основная схема может быть улучшена дополнительно путем распознавания того, что вероятность символа часто является условной в современных данных предшествующего уровня техники, и, следовательно, делает процесс назначения контекста адаптивным.
В такой схеме переменные контекста (CV) используют для определения выбора соответствующих моделей вероятности, и такие CV предусмотрены для схемы 4:2:0 в HEVC.
Для расширения энтропийного кодирования схемы 4:2:2, в которой, например, используется TU цветности размером 4×8, вместо TU 4×4, для TU яркости 8×8, в случае необходимости, переменные контекста могут быть предусмотрены путем простого вертикального повторения эквивалентных выборов CV.
Однако в варианте осуществления настоящего раскрытия выбор CV не повторяют для верхних - левых коэффициентов (то есть для коэффициентов с высокой энергией, DC и/или с низкой пространственной частотой) и вместо этого выводят новые CV. В этом случае, например, отображение может быть выведено из карты яркости. Такой подход также можно использовать для схемы 4:4:4.
Во время кодирования в схеме 4:2:0 выполняют так называемую зигзагообразную развертку через коэффициенты в порядке от высоких к низким частотам. Однако снова следует отметить, что TU цветности в схеме 4:2:2 могут не быть квадратными, и, таким образом, в варианте осуществления настоящего раскрытия разная развертка цветности предлагается с наклоненным углом развертки, чтобы сделать его в большей степени горизонтальным, или в более общем случае, чувствительным к соотношению размеров TU.
Аналогично, соседство для карты существенности выбора CV и системы c1/c2 для "более чем одного" и "более чем двух" выборов CV может быть адаптировано, соответственно.
Аналогично в варианте осуществления настоящего раскрытия последнее наименее значимое положение коэффициента (которое становится исходной точкой во время декодирования) также можно отрегулировать для схемы 4:4:4, с наименьшими значимыми положениями для TU цветности, которые кодируют по-разному из последнего значимого положения в расположенном в том же месте TU яркости.
Развертка коэффициента также может быть выполнена в режиме прогнозирования, в зависимости от определенных размеров TU. Следовательно, другой порядок развертки можно использовать для некоторых размеров TU, зависящих от режима прогнозирования внутри изображения.
В схеме 4:2:0 применяют только развертку коэффициента, зависящего от режима (MDCS), для TU яркости 4×4/8×8 и TU цветности 4×4, для прогнозирования внутри изображения. MDCS используются в зависимости от режима прогнозирования внутри изображения, под углами ±4 от рассматриваемых горизонтального и вертикального направлений.
В варианте осуществления настоящего раскрытия предложено, чтобы схема MDCS 4:2:2 применялась для TU цветности размером 4×8 и 8×4 для прогнозирования внутри изображения. Аналогично, предложено, чтобы в схеме MDCS 4:4:4 применялись TU от 8×8 до 4×4 цветности. MDCS для 4:2:2 также может быть выполнена только в горизонтальном или вертикальном направлениях, и чтобы диапазоны углов моли отличаться для цветности 4:4:4 по сравнению с яркостью 4:4:4, и по сравнению с цветностью 4:2:2, и по сравнению с яркостью 4:2:2, по сравнению с яркостью 4:2:0.
Контурные фильтры
Удаление блочности
Удаление блочности применяется для всех границ CU, PU и TU, и форма CU/PU/TU не учитывается при этом. Сила и размер фильтра зависят от локальной статистики, и удаление блочности имеет гранулярность пикселей яркости 8×8.
Следовательно, предполагается, что текущее удаление блочности, применяемое для схемы 4:2:0, также должно быть применимо для схем 4:2:2 и 4:4:4.
Смещение, адаптивное к выборке
При смещении, адаптивном к выборке (SAO), каждый канал является полностью независимым. SAO разделяет данные изображения для каждого канала, используя квадродерево, и полученные в результате блоки имеют, по меньшей мере, один LCU по размеру. Листовые блоки выравнивают с границами LCU, и каждый лист может работать в одном из трех режимов, как определяется кодером ("Смещение центральной полосы", "Смещение боковой полосы" или "Смещение кромки"). Каждый лист устанавливает категорию для своих пикселей, и кодер выводит значение смещения для каждой из этих 16 категорий путем сравнения входных данных SAO с данными источника. Эти значения смещения передают в декодер. Смещение для категории декодируемых пикселей добавляют к его значению для минимизации отклонения от источника.
Кроме того, SAO включают или отключают на уровне изображения; если оно будет включено для яркости, оно также может быть отдельно включено для каждого канала цветности. SAO поэтому будет применяться только для цветности, если оно применяется для яркости.
Следовательно, процесс в большой степени является прозрачным для лежащей в его основе блок-схеме, и при этом ожидается, что текущее SAO, применяемое для схемы 4:2:0 также должно быть применим для схем 4:2:2 и 4:4:4.
Адаптивная фильтрация контура
В схеме 4:2:0 адаптивная фильтрация контура (ALF) отключена по умолчанию. Однако в принципе (то есть если разрешено), ALF может применяться ко всему изображению для цветности.
При ALF выборки яркости могут быть отсортированы на одну из многих категорий, как определено документами HEVC; в каждой категории используется разный фильтр на основе Винера.
В отличие от этого выборки цветности 4:2:0 не разделяют на категории - здесь присутствует только один фильтр на основе Винера для Cb и один для Cr.
Следовательно, в варианте осуществления настоящего раскрытия с учетом увеличенной информации цветности в схемах 4:2:2 и 4:4:4 предложено, чтобы выборки цветности были разделены по категориям; например на К категорий для 4:2:2 и на J категорий для 4:4:4.
В то время как схема ALF 4:2:0 может быть отключена для яркости на основе каждого CU, используя флаг управления ALF (вплоть до уровня CU, установленного глубиной управления ALF), она может быть отключена для цветности на основе каждого изображения. Следует отметить, что в HEVC, такая глубина в настоящее время ограничена только уровнем LCU.
Следовательно, в варианте осуществления настоящего раскрытия в схемах 4:2:2 и 4:4:4 предусмотрены один или два флага управления ALF для цветности, определенные для канала.
Синтаксис
В HEVC синтаксис уже присутствует для обозначения схем 4:2:0, 4:2:2 или 4:4:4 и обозначает уровень последовательности. Однако в варианте осуществления настоящего раскрытия предложено также обозначать кодирование 4:4:4 GBR на этом уровне.
MDDT и MDCS
Использование направленного преобразования, зависящего от режима, и развертки коэффициента, зависящего от режима, будет описано ниже. Следует отметить, что оба такие подхода могут быть воплощены в одной и той же системе, или один из них может использоваться, а другой нет, или ни один из них может не использоваться.
MDCS будет описана вначале со ссылкой на фиг. 34-38.
Так называемая структура диагональной развертки сверху вправо была описана выше со ссылкой на фиг. 16. Структура развертки используется для вывода порядка, в соответствии с которым обрабатывают коэффициенты, разделенные по частоте, такие как коэффициенты DCT. Диагональная структура сверху вправо представляет собой один пример структур развертки, но другие структуры также доступны. Два дополнительных примера схематично показаны на фиг. 34 и 35, в этот раз, используя пример блока 4×4. Они представляют собой: структуру горизонтальной развертки (фиг. 34) и структуру вертикальной развертки (фиг. 35).
В MDCS структуру развертки выбирают из группы из двух или больше кандидатов структур развертки, в зависимости от используемого режима прогнозирования.
Существующие проблемы, в качестве примера, относятся к группе из трех кандидатов структур развертки, диагональная структура сверху вправо, горизонтальная структура и вертикальная структура. Но могут использоваться разные группы из двух или больше структур кандидатов.
Рассмотрим фиг. 36, на которой структура вертикальной развертки используется для режимов 6-14, которые представляют собой режимы, которые находятся в пределах горизонтального (преимущественно горизонтального) порогового угла (или количества режимов). Структура горизонтальной развертки используется для режимов 22-30, которые представляют собой режимы, которые находятся в пределах вертикального (преимущественно вертикального) порогового угла (или количества режимов). Диагональная развертка сверху вправо, упомянутая со ссылкой на фиг. 36 как практически "диагональная" развертка, используется для других режимов.
На фиг. 37 схематично иллюстрируется возможное отображение двух кандидатов структур развертки (вертикальной и горизонтальной) для направленных режимов прогнозирования, применимых для прямоугольных выборок цветности массива. Структура отличается от используемой (фиг. 36) для выборок яркости.
На фиг. 38 схематично иллюстрируется компоновка для выбора структуры развертки. Она может формировать часть функций, например, контроллера 343.
Селектор 1620 отвечает за режим прогнозирования для текущего блока и справочной таблицы 1630, которая отображает режим прогнозирования, для структуры развертки. Селектор 1620 выводит данные, обозначающие выбранную структуру развертки.
MDCS может быть разрешена для 4:2:2 и 4:4:4. Отображение структур развертки для режимов прогнозирования может быть таким же, как для 4:2:0, или может быть другим. Отношение каждого канала может иметь соответствующее отображение (и в этом случае селектор 1620 также может реагировать на соотношение каналов), или отображение может соответствовать отношениям между каналами. MDCS может применяться только к некоторым размерам блока, например, для размера блока не больше, чем пороговый размер блока. Например, максимальные размеры TU, в котором применяется MDCS, могут представлять собой:
Figure 00000020
Для цветности MDCS может быть отключена, ограничена только TU 4×4 (яркости) или ограничена TU, используя только горизонтальную или вертикальную развертку. Воплощение свойства MDCS может меняться в зависимости от соотношения каналов.
Варианты осуществления раскрытия поэтому обеспечивают способ кодирования 4:2:2 или 4:4:4: видеоданных, в котором разности между прогнозируемыми и оригинальными выборками разделяют по частоте и кодируют, при этом способ содержит этапы, на которых прогнозируют выборки яркости и/или цветности изображения из других соответствующих опорных выборок, выведенных из того же изображения, в соответствии с режимом прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, режим прогнозирования выбирают для каждого из множества блоков выборок, из набора из двух или больше режимов прогнозирования -кандидатов; детектируют разность между выборками и соответствующими прогнозируемыми выборками; выполняют частотное разделение детектируемых разностей для блока выборок, используя преобразование разделения частоты для генерирования соответствующего набора коэффициентов с разделенной частотой; выбирают структуру развертки из набора из двух или больше кандидатов структур развертки, каждая структура развертки, определяющая порядок кодирования набора коэффициентов, разделенных по частоте, в зависимости от режима прогнозирования для этого блока выборок, используя отображение между структурой развертки и режимом прогнозирования, отображение между разными данными как между выборками цветности и яркости для, по меньшей мере, формата 4:4:4: (таким образом, другими словами, отображение будет разным для данных цветности 4:4:4 и данных яркости 4:4:4, и может быть разным или может не быть разным между данными яркости 4:2:2 и данными цветности 4:2:2); и кодирование разделенных по частоте данных разности в порядке разделенных по частоте коэффициентов, в соответствии с выбранной структурой развертки.
Отображение может быть разным для данных яркости 4:2:2 и цветности.
Отображение может быть разным для видеоданных 4:2:2 и 4:4:4.
В вариантах осуществления раскрытия размер текущего блока выборок яркости составлял 4×4 или 8×8 выборок. В качестве альтернативы варианты осуществления раскрытия содержат выбор размера текущего блока выборок из набора размеров кандидатов; и применение этапа выбора структуры развертки, если выбранный размер блока представлял собой один из заданного поднабора для набора размеров кандидатов. Таким образом, обработку отображения можно применять в отношении некоторых размеров блока, но не для других. Отображение может применяться (для 4:2:2) только в отношении выборок яркости.
В вариантах осуществления раскрытия набор структур - кандидатов развертки отличается для использования в отношении выборок яркости и цветности.
Этап выбора может быть выполнен с возможностью выбора горизонтальной структуры развертки в отношении набора преобладающе горизонтальных режимов прогнозирования, для выбора структуры вертикальной развертки в отношении набора преобладающе вертикальных режимов прогнозирования и для выбора диагональной структуры развертки в отношении других режимов прогнозирования.
Варианты осуществления раскрытия также направлены на способ декодирования видеоданных 4:2:2 или 4:4:4, в котором разность между прогнозированными и оригинальными выборами разделяют по частоте и кодируют, содержащий: прогнозируют выборки яркости и/или цветности изображения из других соответствующих опорных выборок, выведенных из того же изображения, в соответствии с режимом прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, режим прогнозирования выбирают для каждого из множества блоков выборок, из набора из двух или больше режимов - кандидатов прогнозирования; выбирают структуру развертки из набора из двух или больше структур - кандидатов развертки, причем каждая структура развертки, определяющая порядок кодирования набора коэффициентов, разделенных по частоте, в зависимости от режима прогнозирования для этого блока выборок, используя отображение между структурой развертки и режимом прогнозирования, отображение между ними является разным, как между выборками цветности и яркости, для, по меньшей мере, формата 4:4:4 (таким образом, что другими словами, отображение отличается для данных цветности 4:4:4 и данных яркости 4:4:4 яркости, и может отличаться или может не отличаться, как между данными яркости 4:2:2 и цветности 4:2:2); и декодируют разделенные по частоте данные разности, представляющие разделенную по частоте версию данных, обозначающую разность между выборками, предназначенными для декодирования, и соответствующими прогнозируемыми выборками, в порядке коэффициентов, разделенных по частоте, в соответствии с выбранной структурой развертки.
Что касается MDDT, на фиг. 39 схематично иллюстрируется компоновка для выбора преобразования с разделением по частоте, в соответствии с режимом прогнозирования. Компоновка может формировать часть функции модуля преобразования или контроллера.
Селектор 1700 принимает данные, определяющие текущий режим прогнозирования, и выбирает преобразование (из набора двух или больше кандидатов на преобразование), в зависимости от этого режима. Преобразование применяют с помощью механизма 1710 преобразования для преобразования выборки изображения в коэффициенты преобразования по частоте, на основе данных, обозначающих текущее преобразование, сохраненных в хранилище данных преобразования.
Примеры кандидата преобразований включают в себя дискретное косинусное преобразование (DCT), дискретное синусное преобразование (DST), преобразование Карунена-Лоэве; и преобразование, определенное соответствующими матрицами из рядов и столбцов для умножения матрицы на текущий блок выборок.
MDDT может быть разрешено, например, в отношении блоков цветности 4×4 в системе 4:4:4. Однако в вариантах осуществления раскрытия, MDDT разрешено в отношении данных 4:2:2.
В соответствии с этим варианты осуществления раскрытия могут обеспечить способ кодирования видеоданных 4:2:2 или 4:4:4, содержащий: выполняют прогнозирование выборок яркости и/или цветности изображения из других соответствующих опорных выборок, выведенных из того же изображения, в соответствии с режимом прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, режим прогнозирования выбирают для каждого множества блоков выборок из набора из двух или больше режимов - кандидатов прогнозирования; детектируют разности между выборками и соответствующими прогнозируемыми выборками; выбирают преобразование с разделением по частоте из двух или больше преобразований кандидатов разделений по частоте, в соответствии с режимом прогнозирования, ассоциированным с текущим блоком выборок, используя отображение между режимом преобразованием и прогнозирования, отображение между ними является разным, как между выборками цветности и яркости, для, по меньшей мере, формата 4:4:4 (таким образом, другими словами, отображение является разным для данных цветности 4:4:4 и яркости 4:4:4, и может быть или может не быть разным, как между данными яркости 4:2:2 и цветности 4:2:2); и кодируют детектированные разности с помощью разделения по частоте разности, используя выбранное преобразование с разделением по частоте.
Кандидаты преобразования могут содержать два или больше преобразований, выбранных из списка, состоящего из: дискретного косинусного преобразования; дискретного синусного преобразования; преобразования Карунена-Лоэве; и преобразований, определенных соответствующими матрицами из рядов и столбцов, для умножения матрицы на текущий блок выборок (таким образом, что, например, преобразование определяется TXTT, где Т представляет собой матрицу преобразования, верхний индекс Т обозначает транспонирование матрицы, и X обозначает блок выборок в матричной форме).
Как раньше, в вариантах осуществления раскрытия режим прогнозирования, ассоциированный с блоком выборок, которые должны быть прогнозированы, обозначает направление прогнозирования, определяющее одну или больше из других соответствующих опорных выборок, из которых каждая выборка для этого блока должна быть спрогнозирована, или может, например, обозначать режим прогнозирования dc.
В вариантах осуществления раскрытия отображение, предусмотренное между режимом прогнозирования и преобразованием с разделением по частоте, может быть разным между данными яркости и цветности для формата 4:2:2.
В вариантах осуществления раскрытия размер текущего блока выборок яркости представляет собой 4×4 выборок. В качестве альтернативы способ может содержать: выбирают размер текущего блока выборок из набора размеров кандидатов; и применяет этап выбора преобразования с частотным разделением, если выбранный размер блока является одним из заданного поднабора для набора размеров кандидатов, таким образом, что MDDT используется только для некоторых, но не для всех размеров блоков (например, TU).
В вариантах осуществления раскрытия этап кодирования детектированных разностей содержит: выбирают структуру развертки из набора из двух или больше кандидатов структур развертки, каждая структура развертки, определяющая порядок кодирования наборов коэффициентов, разделенных по частоте, в зависимости режима прогнозирования для этого блока выборок; и кодируют разделенные по частоте данные разности в порядке разделенных по частоте коэффициентов, в соответствии с выбранной структурой развертки. Другими словами, это представляет систему, в которой используется как MDCS, так и MDDT.
Флаг кодированного блока
Флаг кодированного блока (CBF) используется для обозначения (для TU яркости) содержит ли этот TU любые ненулевые коэффициенты. Он обеспечивает простой ответ типа да/нет, который позволяет процессу кодирования пропускать блоки, которые не содержат данные, предназначенные для кодирования.
В некоторых компоновках CBF используют для данных цветности, но они предусмотрены на каждом уровне разделения. Это связано с тем, что компоненты цветности часто имеют меньшее количество информации и, таким образом, может быть найден блок цветности, который содержит нулевые данные, на более высоком уровне разделения, чем уровень, на котором был найден соответствующий блок яркости, не содержащий данных.
В некоторых вариантах осуществления, однако цветность обрабатывают точно так же, как яркость, с целью распределения флагов CBF.
Кодирование САВАС и контекстное моделирование
На фиг. 40 схематично иллюстрируется операция энтропийного кодера САВАС.
Кодер САВАС работает в отношении двоичных данных, то есть данных, представленных только двумя символами 0 и 1. Кодер использует так называемый процесс контекстного моделирования, который выбирает "контекст" или вероятностную модель для последующих данных на основе ранее кодированных данных. Выбор контекста осуществляется детерминированным способом таким образом, что то же определение, на основе ранее декодированных данных, могло быть выполнено в декодере без необходимости добавления дополнительных данных (устанавливающих контекст), к кодированному потоку данных, передаваемому в декодер.
Как показано на фиг. 40, входные данные, которые должны быть кодированы, могут быть переданы в двоичный преобразователь 1900, если они не находятся уже в двоичной форме; если данные уже находятся в двоичной форме, выполняют обход преобразователя 1900 (с использованием переключателя 1910 на схеме). В настоящих вариантах выполнения преобразование в двоичную форму фактически осуществляется путем выражения квантованного DCT (или других разделенных по частоте) данных коэффициента, в виде последовательности двоичных "карт", которые будут дополнительно описаны ниже.
Двоичные данные могут затем обрабатываться по одному из двух путей обработки, "регулярного " пути и пути "обхода" (которые показаны схематично как отдельные пути, но которые* в вариантах осуществления раскрытия, описанных ниже, фактически могут быть воплощены на тех же этапах обработки, просто используя некоторые другие параметры). На обходном пути используется так называемый кодер 1920 обхода, который не обязательно использует контекстное моделирование в той же форме, что и нормальный путь. В некоторых примерах кодирования САВАС такой путь обхода может быть выбран, если существует потребность в особенно быстрой обработке партии данных, но в настоящих вариантах осуществления отмечены два свойства так называемых "обходных" данных: во-первых, обходные данные обрабатывают с помощью кодера (1950, 1960) САВАС, используя просто фиксированную контекстную модель, представляющую 50% вероятности; и во-вторых, обходные данные относятся к определенным категориям данных, один конкретный пример представляет собой данные знака коэффициента. В противном случае выбирают регулярный путь, используя схематичные переключатели 1930, 1940. Это улучшает обрабатываемые данные с помощью модуля 1950 моделирования контекста, после которого следует механизм 1960 кодирования.
Энтропийный кодер, показанный на фиг. 40, кодирует блок данных (то есть например, данные, соответствующие блоку коэффициентов, относящихся к блоку остаточного изображения), как одно значение, если блок сформирован полностью из данных со значением ноль. Для каждого блока, который не попадает в эту категорию, то есть для блока, который содержит, по меньшей мере, некоторые ненулевые данные, подготавливают "карту значимости". Карта значимости обозначает для каждого положения в блоке данных, предназначенном для кодирования, что соответствующий коэффициент в блоке не равен нулю. Данные карты значимости, находящиеся в двоичной форме, сами собой кодируются в соответствии с подходом САВАС. Использование карты значимости помогает при сжатии, поскольку данные не требуется кодировать для коэффициента с магнитудой, которую карта значимости обозначает как равную нулю. Кроме того, карта значимости может включать в себя специальный код для обозначения конечного ненулевого коэффициента в блоке, таким образом, что все из конечной высокой частоты/завершающих нулевых коэффициентов могут быть исключены из кодирования. После карты значимости следуют в кодированном потоке битов данные, определяющие значения ненулевых коэффициентов, установленных картой значимости.
Дополнительные уровни данных карты также подготавливают и кодируют, используя подход САВАС. Пример представляет карту, которая определяет в качестве двоичного значения (1 = да, 0 = нет), имеют ли данные коэффициента в положении на карте, где карта значимости была обозначена как фактически "ненулевая", значение "единица". Другая карта устанавливает, имеют ли данные коэффициента в положении карты, которое карта значимости обозначила как "ненулевое", фактически, значение равное "двум". Дополнительно карта обозначает, для тех положений карты, где карта значения обозначила, что данные коэффициента "не равны нулю", имеют ли данные значение, "большее чем два". Другая карта обозначает, снова для данных, идентифицированных как "ненулевые", знак значения данных (используя заданное двоичное обозначение, такое как 1 для +, 0 для - или, конечно, другой способ).
В вариантах осуществления раскрытия карта значимости и другие карты генерируют из квантованных коэффициентов DCT, например, с помощью модуля 360 развертки, и подвергают зигзагообразному процессу развертки (или процессу развертки, выбранному из описанных выше) до выполнения кодирования САВАС.
В общих чертах кодирование САВАС подразумевает прогнозирование контекста, или вероятностной модели, для следующего бита, предназначенного для кодирования, на основе других ранее кодированных данных. Если следующий бит является таким же, как бит, идентифицированный как "наиболее вероятно" с помощью вероятностной модели, тогда кодирование информации, такое как "следующий бит, согласуется с вероятностной моделью", может быть выполнено с большей эффективностью. Менее эффективно кодировать, что "следующий бит не согласуется с вероятностной моделью", поэтому вывод контекстных данных настолько важен для хорошей работы кодера. Термин "адаптивный" означает, что контексты модели или вероятностные модели адаптированы или изменяются во время кодирования, в попытке обеспечения хорошего соответствия со (все еще не кодированными) следующими данными.
Используя простую аналогию, в письменном английском языке, буква "U" встречается относительно редко. Но в положении буквы непосредственно после буквы "Q", она, действительно, следует очень часто. Так, вероятностная модель может устанавливать вероятность "U" как очень низкое значение, но если текущая буква представляет собой "Q", вероятностная модель для "U" в качестве следующей буквы может быть установлена как очень высокое значение вероятности.
Кодирование САВАС используют в настоящих компоновках для, по меньшей мере, карты значимости и карт, обозначающих, равны ли ненулевые значения единице или двум. Обработка обхода, которая в данных вариантах осуществления идентична кодированию САВАС, но учитывая тот факт, что вероятностная модель является фиксированной на равном (0.5:0.5) распределении вероятности единиц и нолей, используется для, по меньшей мере, данных знака, и карта обозначает, что значение >2. Для этих положений данных, обозначенных как >2, можно использовать отдельное так называемое кодирование данных сброса, для кодирования фактического значения данных. Это может включать в себя технологию кодирования Голомба-Райса.
Контекстное моделирование САВАС и процесс кодирования более подробно описаны в публикации WD4: Working Draft 4 of High-Efficiency Video Coding, JCTVC-F803_d5, Draft ISO/IEC 23008-HEVC; 201x(E) 2011-10-28.
Контекстные переменные сбрасывают в конце обработки среза.
Далее будет сделана ссылка на способ кодирования видеоданных, содержащий: прогнозируют блоки из выборок яркости и/или цветности изображения из других соответствующих опорных выборок или значений; детектируют разности между выборками в блоке и соответствующими прогнозированными выборами; выполняют разделение по частоте детектируемых разностей в отношении каждого блока для генерирования соответствующего массива разделенных по частоте коэффициентов, упорядоченных в соответствии с увеличенными пространственными частотами, представленными коэффициентами; и выполняют энтропийное кодирование разделенных по частоте коэффициентов, используя адаптивный к контексту арифметический код, который кодирует коэффициенты в отношении контекстных переменных, обозначающих вероятность коэффициента, имеющего определенное значение коэффициента; в котором этап энтропийного кодирования содержит: разделяют каждый массив на две или больше группы коэффициентов, группы представляют собой неквадратные подмассивы; и выбирают переменную контекста для кодирования коэффициента в соответствии с пространственными частотам, представленными этими коэффициентами и, в зависимости от значений коэффициентов в одной или больше расположенных рядом группах коэффициентов в этом массиве или в массиве, соответствующем соседнему блоку выборок.
Иногда это известно как выделение контекстной переменной по соседству, что позволяет устанавливать структуру выделения контекстной переменной для положения коэффициента на основе от подмассива к подмассиву (подмассив представляет собой часть блока коэффициентов) в соответствии с тем, присутствуют ли какие-либо ненулевые коэффициенты в соседних подмассивах. Структура развертки, выбранная для использования с частотно-разделенными данными, может быть соответствующей, таким образом, что этап энтропийного кодирования содержит кодирование коэффициентов массива в порядке, зависимом от структуре развертки, выбранной из набора из одной или больше структур - кандидата развертки. Каждый подмассив коэффициентов можно рассматривать как последовательный набор коэффициентов в порядке, определенном структурой развертки, применимой к этому массиву, где т представляет собой целочисленный коэффициент для количества коэффициентов в массиве. Например, т может быть равен 16.
На фиг. 41А - 41D схематично иллюстрируется ситуация для ранее предложенного выделения по-соседству.
В вариантах осуществления раскрытия этап выбора выделяет коэффициенты в группе для одного из установленных кандидатов в контекстных переменных таким образом, что в пределах каждой группы последовательные поднаборы коэффициентов, в порядке развертки, выделяют для соответствующих кандидатов контекстных переменных. В примерах, показанных на фиг. 42А - 43В, используется порядок вертикальной развертки, и выделение выполняют в этом порядке. На фиг. 44, используется горизонтальный порядок развертки, и выделение выполняют в этом порядке.
Как отмечено выше, этап выбора зависит от того, имеют ли расположенные рядом коэффициенты нулевое значение. Здесь могут присутствовать два кандидата контекстных переменных для каждой группы коэффициентов.
Возвращаясь теперь к фиг. 42А, 42В, 43А, 43В и 44, формат показанных чертежей является таким, что коэффициенты являются упорядоченными в пределах массива так, что горизонтальная пространственная частота повышается слева вправо в массиве и вертикальная пространственная частотах увеличивается сверху вниз массива.
Существуют две опции того, как работать с потерянными данными (например, данные на кромках изображения или среза, или данные, которые еще не были кодированы. В одной из опций (фиг. 42А), если группа коэффициентов рядом с текущей группой еще не была разделена по частоте, на этапе выбора назначают нулевые значения для этой группы, с целью выбора контекстной переменной для коэффициента в текущей группе. В другой опции (фиг. 42В), если первая группа коэффициентов рядом с текущей группой еще не была разделена по частоте, но вторая группа, соседняя с текущей группой была разделена по частоте, тогда при выборе назначают значения второй группы для первой группы с целью выбора контекстной переменной для коэффициента в текущей группе.
Обращаясь к фиг. 42А - 42В, если обе группы справа и снизу от текущей группы содержат данные ненулевых коэффициентов, то одну контекстную переменную выделяют, используя этап выбора для первых m коэффициентов текущей группы, в порядке развертки, и другую контекстную переменную для остающихся коэффициентов текущей группы. Если группа справа от текущей группы имеет ненулевые данные, но группа ниже текущей группы не имеет таких данных, тогда одну переменную контекста выделяют для этапа выбора для верхней половины текущей группы, и другую контекстную переменную для остальных коэффициентов текущей группы. Если группа ниже текущей группы имеет ненулевые данные, но группа справа от текущей группы не имеет такие данные, то одну контекстную переменную выделяют на этапе выбора для первых р коэффициентов текущей группы, в порядке развертки, и другую контекстную переменную для остающихся коэффициентов текущей группы. Если группа ниже текущей группы имеет ненулевые данные, но группа справа от текущей группы не имеет такие данные, тогда одну контекстную переменную выделяют путем выбора этапа для левой половины текущей группы, и другую контекстную переменную для остальных коэффициентов текущей группы. В представленных примерах m и р представляют собой целые числа, и m не равно р. В частности, в представленных примерах текущая группа содержит подмассив из 8×2 или 2×8 коэффициентов; и m=13, и р=6.
Показанный способ применим для блоков выборок, которые имеют размер, по меньшей мере, 8 выборок, по меньшей мере, в одном измерении. Пример составляет блок 8×8 или больше.
Эта технология применима, в случае когда, по меньшей мере, некоторые из блоков выборок (TU) являются квадратными, или, по меньшей мере, некоторые из блоков выборок (TU) являются неквадратными.
Рассмотрим теперь фиг. 45, варианты осуществления раскрытия также направлены на способ кодирования видеоданных, содержащий: прогнозируют блоки яркости и/или цветности выборок изображения из других соответствующих опорных выборок или значений; детектируют разности между выборками в блоке и в соответствующими прогнозируемыми выборками; выполняют разделение по частоте детектируемых разностей в отношении каждого блока, для того, чтобы генерировать соответствующий массив разделенных по частоте коэффициентов, упорядоченных в соответствии с пространственными частотами, представленными коэффициентами, причем один из коэффициентов представляет значение dc блока; и выполняют энтропийное кодирование разделенных по частоте коэффициентов, используя адаптивный к контексту арифметический код, который кодирует коэффициенты в отношении переменных контекста, обозначающих вероятность коэффициента, имеющую определенное значение коэффициента; в котором этап энтропийного кодирования содержит: выполняют разделение каждого массива на две или больше группы коэффициентов, причем группы являются неквадратными подмассивами; и генерируют выделение контекстных переменных для кодирования соответствующих коэффициентов, генерируемых в отношении неквадратного подмассива, в соответствии с пространственными частотами, представленными этим коэффициентом, путем повторения положения контекстных переменных выделений, применимых для квадратного подмассива, но без повторения положения выделения переменной контекста для коэффициента dc. Как показано на фиг. 45, структура выделения для подмассива 8×16 представляет собой структуру с повторяющимся значением, выведенную из структуры выделения подмассива 8×8, но выделение dc (верхний левый угол на чертеже) не повторяется по величине. Другими словами, переменная контекста, выделенная для коэффициента dc, не выделяется для любого другого коэффициента. Сигналы данных
Следует понимать, что сигналы данных, генерируемые вариантами устройства кодирования, описанного выше, и среда сохранения или передачи, переносящая такие сигналы, рассматриваются для представления в вариантах осуществления настоящего раскрытия.
В случае описания выше способов обработки, кодирования или декодирования, следует понимать, что устройство, выполненное с возможностью выполнения таких способов, также рассматривается как представляющее варианты осуществления раскрытия. Также следует понимать, что устройство сохранения, передачи, съемки и/или отображения видеоданных, в которое встроены такие технологии, рассматривается как представляющее вариант осуществления настоящего раскрытия.
В той мере как варианты осуществления раскрытия были описаны как воплощенные, по меньшей мере частично, с использованием управляемого программного устройства обработки данных, следует понимать, что энергонезависимый считываемый устройством носитель информации, на котором записано такое программное обеспечение, такой как оптический диск, магнитный диск, полупроводниковое запоминающее устройство и т.п., также рассматривается как вариант осуществления настоящего раскрытия.
Следует понимать, что множество модификаций и вариаций настоящего раскрытия возможно с учетом представленного выше описания. Поэтому следует понимать, что в пределах объема приложенной формулы изобретения, технология может быть выполнена на практике по-другому, чем, в частности, описано здесь.
Соответствующие варианты осуществления определены следующими пронумерованными пунктами:
(1) Способ кодирования или декодирования видеоданных, в котором выборки яркости и цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, подлежащей прогнозированию, при этом выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем выборки яркости, так, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности;
содержащий этапы, на которых:
обнаруживают первое направление прогнозирования, полученное в отношении сетки с первым соотношением размеров, в отношении набора текущих выборок, предназначенных для прогнозирования; и
применяют направления отображения к направлению прогнозирования, так, чтобы сгенерировать второе направление прогнозирования, определенное в отношении сетки выборок с другим соотношением размеров того же набора текущих выборок, подлежащих прогнозированию.
(2) Способ по (1), в котором первое направление прогнозирования определено в отношении одной из выборок яркости или цветности, а второе направление прогнозирование определено в отношении другой одной из выборок яркости или цветности.
(3) Способ по (1), в котором опорные выборки представляют собой выборки того же соответствующего изображения, что и выборки, подлежащие прогнозированию.
(4) Способ по любому из (1)-(3), в котором:
первое направление прогнозирования определено в отношении квадратного блока выборок яркости, включающего в себя текущую выборку яркости; а
второе направление прогнозирования определено в отношении прямоугольного блока выборок цветности, включающего в себя текущую выборку цветности.
(5) Способ по любому из (1)-(4), в котором выборки цветности содержат выборки первого и второго компонентов цветности, дополнительно содержащий этапы, на которых:
применяют этап отображения направления в отношении первого компонента цветности;
предоставляют другой режим прогнозирования в отношении второго компонента цветности.
(6) Способ по (5), содержащий этап, на котором:
предоставляют другие соответствующие режимы прогнозирования для каждого из компонентов яркости и цветности.
(7) Способ по (5) или (6), в котором различные режимы прогнозирования содержат режим, с помощью которого выполняют прогнозирование выборок второго компонента цветности из выборок первого компонента цветности.
(8) Способ по (6), в котором первый компонент цветности представляет собой компонент Cb, а второй компонент цветности представляет собой компонент Cr.
(9) Способ по любому из (1)-(8), содержащий этап фильтрации опорных выборок.
(10) Способ по любому из (1)-(9), содержащий этап предоставления выборок яркости и выборок цветности, в качестве видеосигнала в формате 4:2:2.
(11) Способ по любому из (1)-(10), в котором приложение отображения направления содержит следующие этапы, на которых:
(i) выводят угловой шаг для прогнозирования внутри изображения и его инверсию в соответствии с направлением яркости;
(ii) если направление яркости является преобладающе вертикальным, тогда при уменьшении наполовину углового шага для прогнозирования внутри изображения его уменьшают наполовину и увеличивают вдвое его инверсию; и
(iii) в противном случае если направление яркости является преобладающе горизонтальным, тогда удваивают угловой шаг для прогнозирования внутри изображения и уменьшают наполовину его инверсию.
(12) Способ кодирования или декодирования видеоданных, в котором яркость и первые, и вторые выборки компонента цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, способ, содержащий этап, на котором: прогнозируют выборки второго компонента цветности по выборкам первого компонента цветности.
(13) Способ кодирования или декодирования видеоданных, в котором яркость и первую и вторую выборки компонента цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, способ, содержащий этап фильтрации опорных выборок.
(14) Способ кодирования или декодирования видеоданных, в котором выборки яркости и цветности изображения прогнозируют по другим соответствующим опорным выборкам того же изображения, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличаются от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок из выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности, выборки цветности, представляющие первый и второй компоненты цветности;
содержащий этапы, на которых:
выбирают режим прогнозирования, определяющий выбор одной или больше опорных выборок для прогнозирования текущей выборки цветности первого компонента цветности; и
выбирают другой режим прогнозирования, определяющий другой выбор одной или больше опорных выборок, для прогнозирования текущей выборки цветности второго компонента цветности, расположенного в том же месте, что и текущая выборка цветности первого компонента цветности.
(15) Способ кодирования или декодирования видеоданных, в котором выборки яркости и цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается для отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности; способ, содержащий этап, на котором:
применяют другой соответствующий алгоритм прогнозирования для выборок яркости и цветности, в зависимости от разности соотношения размеров.
(16) Программное обеспечение, которое при его выполнении компьютером, обеспечивает выполнение компьютером способа в соответствии с любым из (1)-(16).
(17) Считываемый компьютером энергонезависимый носитель информации, на котором содержится программное обеспечение по (16).
(18) Сигнал данных, содержащий кодированные данные, генерируемые в соответствии со способом по любому из (1) - (15).
(19) Устройство кодирования или декодирования видеоданных, в котором выборки яркости и цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности;
содержащее:
устройство обнаружения, выполненное с возможностью обнаружения первого направления прогнозирования, определенного в отношении сетки из первого отношения размеров в отношении набора текущих выборок, предназначенных для прогнозирования;
блок отображения направления, выполненный с возможностью применения отображения направления к направлению прогнозирования, так, чтобы генерировать второе направление прогнозирования, определенное в отношении сетки выборок с другим соотношением размеров того же набора текущих выборок, предназначенных для прогнозирования.
(20) Устройство кодирования или декодирования видеоданных, в котором выборки яркости и цветности изображения прогнозируют по другим соответствующим опорным выборкам того же изображения, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности таким образом, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности, выборки цветности, представляющие первый и второй компоненты цветности;
содержащее:
селектор, выполненный с возможностью выбора режима прогнозирования, определяющий выбор одной или больше опорных выборок, для прогнозирования текущей выборки цветности первого компонента цветности; и выбора другого режима прогнозирования, определяющего другой выбор одной или больше опорных выборок, для прогнозирования текущей выборки цветности второго компонента цветности, расположенного в том же месте с текущей выборкой цветности первого компонента цветности.
(21) Устройство кодирования или декодирования видеоданных, в котором выборки яркости и выборки цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, выборки цветности, имеющие более низкую горизонтальную и/или вертикальную частоту выборки, чем у выборок яркости, таким образом, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности; содержащее:
модуль прогнозирования, выполненный с возможностью применения другого соответствующего алгоритма прогнозирования для выборок яркости и цветности, в зависимости от разности в отношении размера.
(22) Устройство кодирования или декодирования видеоданных, в котором выборки яркости и первого, и второго компонентов цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, устройство, содержащее модуль прогнозирования, выполненный с возможностью прогнозирования выборки второго компонента цветности по выборкам первого компонента цветности.
(23) Устройство кодирования или декодирования видеоданных, в котором выборки яркости и первого, и второго компонентов цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с выборкой, предназначенной для прогнозирования, устройство, содержащее фильтр, выполненный с возможностью фильтрации опорных выборок.

Claims (33)

1. Способ декодирования видео, в котором выборки яркости и цветности прогнозируют по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с текущей выборкой, подлежащей прогнозированию, при этом выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем выборки яркости, так, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности;
содержащий этапы, на которых:
обнаруживают первое направление прогнозирования, определенное в отношении первой сетки с первым соотношением размеров, в отношении набора текущих выборок, подлежащих прогнозированию; и
применяют отображение направления к направлению прогнозирования для генерирования второго направления прогнозирования, определенного в отношении второй сетки с другим соотношением размеров.
2. Способ по п. 1, в котором первая сетка, используемая для обнаружения первого направления прогнозирования, определена в отношении положений выборки одной из выборок яркости или цветности, и вторая сетка, используемая для обнаружения второго направления прогнозирования, определена в отношении положений выборок другой из выборок цветности или яркости.
3. Способ по п. 1, в котором направление прогнозирования представляет собой направление прогнозирования внутри изображения, а опорные выборки представляют собой выборки, выведенные из того же соответствующего изображения, что и выборки, подлежащие прогнозированию.
4. Способ по любому из пп. 1-3, в котором:
первое направление прогнозирования определено в отношении квадратного блока выборок яркости, включающего в себя текущую выборку яркости; а
второе направление прогнозирования определено в отношении прямоугольного блока выборок цветности, включающего в себя текущую выборку цветности.
5. Способ по п. 1, в котором выборки цветности содержат выборки первого и второго компонентов цветности, дополнительно содержащий этапы, на которых:
применяют этап отображения направления в отношении первого компонента цветности; и
предоставляют другой режим прогнозирования в отношении второго компонента цветности.
6. Способ по п. 5, содержащий этап, на котором:
обеспечивают другие соответствующие режимы прогнозирования для каждого из компонентов цветности и яркости.
7. Способ по п. 5, в котором другой режим прогнозирования содержит режим, в котором выборки второго компонента цветности прогнозируют по выборкам первого компонента цветности.
8. Способ по п. 5, в котором первый компонент цветности представляет собой компонент Cb, а второй компонент цветности представляет собой компонент Cr.
9. Способ по п. 5, содержащий этап предоставления выборок яркости и выборок цветности в качестве видеосигнала формата 4:2:2.
10. Способ по п. 5, в котором направление прогнозирования определяет положение выборки относительно группы кандидатов опорных выборок, содержащих горизонтальный ряд и вертикальный столбец из выборок, соответственно, расположенных выше и слева от набора текущих выборок, подлежащих прогнозированию.
11. Способ по п. 10, содержащий этапы, на которых:
упорядочивают группы кандидатов опорных выборок в виде линейного массива опорных выборок; и
применяют сглаживающий фильтр для опорных выборок линейного массива в направлении вдоль линейного массива.
12. Способ по п. 10, в котором:
направление прогнозирования для текущей выборки определяют с помощью ассоциированного углового шага; при этом
угловой шаг для, преимущественно, вертикального направления прогнозирования представляет собой смещение вдоль горизонтального ряда положений выборки группы кандидатов опорных выборок относительно положения выборки в указанном ряду, которое вертикально смещено от текущей выборки;
угловой шаг для, в основном, горизонтального направления прогнозирования представляет собой смещение вдоль вертикального столбца положений выборки группы кандидатов опорных выборок относительно положения выборки в указанном столбце, горизонтально смещенного от текущей выборки; а
положение выборки вдоль горизонтального ряда или вертикального столбца, обозначенное смещением, обеспечивает указатель на положение выборки, используемой при прогнозировании текущей выборки.
13. Способ по п. 12, в котором этап применения отображения по направлению содержит подэтап, на котором: применяют заданную функцию к угловому шагу, соответствующему первому направлению прогнозирования.
14. Способ по п. 13, в котором этап применения отображения по направлению содержит этапы, на которых:
выводят угловой шаг в соответствии с первым направлением прогнозирования; и
если первое направление прогнозирования является, преимущественно, вертикальным, уменьшают наполовину соответствующий угловой шаг для генерирования углового шага для второго направления прогнозирования; или
если первое направление прогнозирования является, преимущественно, горизонтальным, тогда удваивают соответствующий угловой шаг для генерирования углового шага второго направления прогнозирования.
15. Способ по п. 14, в котором, если угловой шаг не является целым числом, угловой шаг используется для определения группы из двух или более положений выборок в пределах группы кандидатов опорных выборок для интерполяции для обеспечения прогнозирования текущей выборки.
16. Способ по п. 1, в котором этап применения отображения по направлению содержит подэтап, на котором: используют первое направление прогнозирования для индексации справочной таблицы, причем таблица выполнена с возможностью обеспечения соответствующих значений второго направления прогнозирования.
17. Способ по п. 1, в котором этап обнаружения первого направления прогнозирования содержит подэтап, на котором обнаруживают информацию, определяющую направление прогнозирования, ассоциированное с видеоданными, подлежащими декодированию.
18. Способ по п. 1, в котором:
первое направление прогнозирования используют для прогнозирования выборок яркости из набора выборок; а
второе направление прогнозирования, выведенное на этапе применения из первого направления прогнозирования, используют для прогнозирования выборок цветности для указанного набора выборок.
19. Способ кодирования видеоданных, в котором прогнозируют выборки яркости и цветности по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с текущей выборкой, подлежащей прогнозированию, при этом выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем выборки яркости, так, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое соотношение размеров, чем соответствующий блок выборок цветности; причем способ содержит этапы, на которых:
обнаруживают первое направление прогнозирования, определенного в отношении первой сетки с первым соотношением размеров, в отношении набора текущих выборок, подлежащих прогнозированию; и
применяют отображение направления к направлению прогнозирования для генерирования второго направления прогнозирования, определенное в отношении второй сетки с другим соотношением размеров.
20. Способ по п. 19, в котором этап обнаружения первого направления прогнозирования содержит подэтап, на котором выбирают направление прогнозирования в соответствии с проверкой двух или более кандидатов направлений прогнозирования.
21. Способ по п. 19, в котором первая сетка, используемая для обнаружения первого направления прогнозирования, определена в отношении положений выборки одной из выборок яркости или цветности, и вторая сетка, используемая для обнаружения второго направления прогнозирования, определена в отношении положений выборок другой из выборок цветности или яркости.
22. Способ по п. 19 или 21, в котором:
первое направление прогнозирования определено в отношении квадратного блока выборок яркости, включающего в себя текущую выборку яркости; а
второе направление прогнозирования определено в отношении прямоугольного блока выборок цветности, включающего в себя текущую выборку цветности.
23. Способ по п. 19, в котором выборки цветности содержат выборки первого и второго компонентов цветности, дополнительно содержащий этапы, на которых:
применяют этап отображения направления в отношении первого компонента цветности;
предоставляют другой режим прогнозирования в отношении второго компонента цветности; и
предоставляют выборки яркости и выборки цветности в качестве видеосигнала формата 4:2:2.
24. Машиночитаемый энергонезависимый носитель информации, хранящий программное обеспечение, вызывающее при его исполнении компьютером выполнение компьютером способа по любому из пп. 1-23.
25. Устройство декодирования видеоданных, характеризующееся тем, что выполнено с возможностью прогнозирования выборок яркости и цветности изображения из других соответствующих опорных выборок, в соответствии с направлением прогнозирования, ассоциированным с текущей выборкой, подлежащей прогнозированию, причем выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем выборки яркости, так, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое отношение размеров, чем соответствующий блок выборок цветности; при этом
устройство содержит:
устройство обнаружения, выполненное с возможностью обнаружения первого направления прогнозирования, определенного относительно первой сетки с первым соотношением размеров относительно набора текущих выборок, подлежащих прогнозированию; и
модуль отображения направления, выполненный с возможностью применения отображения направления на направление прогнозирования, для генерирования второго направления прогнозирования, определенного в отношении второй сетки с другим соотношением размеров.
26. Устройство по п. 25, в котором первая сетка, используемая для обнаружения первого направления прогнозирования, определена в отношении положений выборки одной из выборок яркости или цветности, и вторая сетка, используемая для обнаружения второго направления прогнозирования, определена в отношении положений выборок другой из выборок цветности или яркости.
27. Устройство по п. 25 или 26, в котором:
первое направление прогнозирования определено в отношении квадратного блока выборок яркости, включающего в себя текущую выборку яркости; а
второе направление прогнозирования определено в отношении прямоугольного блока выборок цветности, включающего в себя текущую выборку цветности.
28. Устройство по п. 25, в котором выборки цветности содержат выборки первого и второго компонентов цветности, а модуль отображения направления дополнительно выполнен с возможностью:
осуществления отображения направления в отношении первого компонента цветности;
предоставления другого режима прогнозирования в отношении второго компонента цветности; и
предоставления выборки яркости и выборки цветности в качестве видеосигнала формата 4:2:2.
29. Устройство кодирования видеоданных, характеризующееся тем, что выполнено с возможностью прогнозирования выборки яркости и цветности по другим соответствующим опорным выборкам, в соответствии с направлением прогнозирования, ассоциированным с текущей выборкой, подлежащей прогнозированию, при этом выборки цветности имеют более низкую горизонтальную и/или вертикальную частоту выборки, чем выборки яркости, так, что отношение горизонтального разрешения яркости к горизонтальному разрешению цветности отличается от отношения вертикального разрешения яркости к вертикальному разрешению цветности так, что блок выборок яркости имеет другое отношение размеров, чем соответствующий блок выборок цветности; при этом
устройство содержит:
устройство обнаружения, выполненное с возможностью обнаружения первого направления прогнозирования, определенного относительно первой сетки с первым соотношением размеров относительно набора текущих выборок, подлежащих прогнозированию; и
модуль отображения направления, выполненный с возможностью применения отображения направления на направление прогнозирования, для генерирования второго направления прогнозирования, определенного в отношении второй сетки с другим соотношением размеров.
30. Устройство по п. 29, в котором первая сетка, используемая для обнаружения первого направления прогнозирования, определена в отношении положений выборки одной из выборок яркости или цветности, и вторая сетка, используемая для обнаружения второго направления прогнозирования, определена в отношении положений выборок другой из выборок цветности или яркости.
31. Устройство по п. 29 или 30, в котором:
первое направление прогнозирования определено в отношении квадратного блока выборок яркости, включающего в себя текущую выборку яркости; а
второе направление прогнозирования определено в отношении прямоугольного блока выборок цветности, включающего в себя текущую выборку цветности.
32. Устройство по п. 29, в котором выборки цветности содержат выборки первого и второго компонентов цветности, а модуль отображения направления дополнительно выполнен с возможностью:
осуществления отображения направления в отношении первого компонента цветности;
предоставления другого режима прогнозирования в отношении второго компонента цветности; и
предоставления выборки яркости и выборки цветности в качестве видеосигнала формата 4:2:2.
33. Устройство хранения, передачи, съемки или отображения видеоизображений, содержащее устройство по любому из пп. 25-32.
RU2014147451/08A 2012-04-26 2013-04-26 Получение режима внутреннего прогнозирования для цветоразностных значений RU2603548C2 (ru)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
GB1207459.7A GB2501535A (en) 2012-04-26 2012-04-26 Chrominance Processing in High Efficiency Video Codecs
GB1207459.7 2012-04-26
GB1211075.5A GB2501553A (en) 2012-04-26 2012-06-22 Predictive video coding and decoding based upon aspect ratios of blocks of sampled luminance and chrominance components
GB1211075.5 2012-06-22
GB201211619A GB2501554B (en) 2012-04-26 2012-06-29 Data encoding and decoding
GB1211619.0 2012-06-29
PCT/GB2013/051072 WO2013160695A1 (en) 2012-04-26 2013-04-26 Intra prediction mode derivation for chrominance values

Publications (2)

Publication Number Publication Date
RU2014147451A RU2014147451A (ru) 2016-06-20
RU2603548C2 true RU2603548C2 (ru) 2016-11-27

Family

ID=46330504

Family Applications (4)

Application Number Title Priority Date Filing Date
RU2017116180A RU2751080C2 (ru) 2012-04-26 2013-04-26 Зависимый от режима коэффициент сканирования и преобразование направления для разных форматов дискретизации цвета
RU2014147445/08A RU2599935C2 (ru) 2012-04-26 2013-04-26 Кодирование и декодирование данных
RU2014147453A RU2619888C2 (ru) 2012-04-26 2013-04-26 Зависимый от режима коэффициент сканирования и преобразование направления для разных форматов дискретизации цвета
RU2014147451/08A RU2603548C2 (ru) 2012-04-26 2013-04-26 Получение режима внутреннего прогнозирования для цветоразностных значений

Family Applications Before (3)

Application Number Title Priority Date Filing Date
RU2017116180A RU2751080C2 (ru) 2012-04-26 2013-04-26 Зависимый от режима коэффициент сканирования и преобразование направления для разных форматов дискретизации цвета
RU2014147445/08A RU2599935C2 (ru) 2012-04-26 2013-04-26 Кодирование и декодирование данных
RU2014147453A RU2619888C2 (ru) 2012-04-26 2013-04-26 Зависимый от режима коэффициент сканирования и преобразование направления для разных форматов дискретизации цвета

Country Status (13)

Country Link
US (20) US9948929B2 (ru)
EP (8) EP2842321A2 (ru)
JP (11) JP2015518339A (ru)
KR (6) KR101994597B1 (ru)
CN (14) CN104285445A (ru)
AU (5) AU2013254444B2 (ru)
BR (3) BR112014026021B1 (ru)
CA (6) CA2870591C (ru)
GB (13) GB2501535A (ru)
MX (3) MX346235B (ru)
RU (4) RU2751080C2 (ru)
TW (5) TWI711301B (ru)
WO (9) WO2013160656A2 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2741507C1 (ru) * 2017-10-09 2021-01-26 Нокиа Текнолоджиз Ой Устройство и способ для кодирования и декодирования видео
RU2759218C2 (ru) * 2017-06-21 2021-11-11 Вид Скейл, Инк. Адаптивное квантование для кодирования 360-градусного видео
RU2783334C1 (ru) * 2019-03-07 2022-11-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Кодирование видео или изображений на основе преобразования сигнала яркости с масштабированием сигнала цветности
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction

Families Citing this family (207)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2618917T3 (es) * 2010-04-23 2017-06-22 M&K Holdings Inc. Aparato de codificación de imagen
PL2658263T3 (pl) * 2010-12-22 2023-03-13 Lg Electronics Inc. Sposób predykcji wewnątrzramkowej i urządzenie wykorzystujące ten sposób
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
JP2014534746A (ja) * 2011-11-07 2014-12-18 インテル コーポレイション クロスチャネル残差予測
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
JP6270861B2 (ja) * 2012-11-08 2018-01-31 キヤノン株式会社 符号化単位の変換単位を符号化および復号するための方法、装置およびシステム
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP2981087B1 (en) 2013-03-29 2019-10-30 JVC KENWOOD Corporation Picture decoding device, picture decoding method, and picture decoding program
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
EP2984837B1 (en) * 2013-04-08 2018-01-17 GE Video Compression, LLC Inter-component prediction
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
KR102125601B1 (ko) * 2013-07-24 2020-06-22 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비변환 코딩을 위한 스캐닝 순서 조정 기법
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
CA2925183C (en) 2013-10-14 2020-03-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
RU2654129C2 (ru) 2013-10-14 2018-05-16 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015098562A1 (ja) 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置および方法
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP5897159B2 (ja) 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
US10230992B2 (en) 2014-03-03 2019-03-12 Sony Corporation Strong intra smoothing for in RExt
CA2939431C (en) 2014-03-04 2020-09-22 Microsoft Techology Licensing, Llc Block flipping and skip mode in intra block copy prediction
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2015182342A1 (ja) * 2014-05-26 2015-12-03 シャープ株式会社 画像復号装置、および、画像符号化装置
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
KR102413529B1 (ko) 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
CN106664416B (zh) * 2014-07-06 2019-11-05 Lg电子株式会社 处理视频信号的方法及其装置
RU2679201C2 (ru) 2014-09-30 2019-02-06 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Правила для режимов внутрикадрового прогнозирования, когда активируется волновая параллельная обработка данных
GB2532420A (en) 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
CN107211149A (zh) * 2015-02-05 2017-09-26 联发科技股份有限公司 调色板语法的解码操作装置与方法
WO2016136106A1 (ja) * 2015-02-27 2016-09-01 Kddi株式会社 符号化装置及び復号装置
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
JP6747430B2 (ja) * 2015-03-27 2020-08-26 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN107646194B (zh) * 2015-05-21 2020-08-07 华为技术有限公司 用于视频运动补偿的装置和方法
TWI750637B (zh) * 2015-06-08 2021-12-21 美商Ｖｉｄ衡器股份有限公司 螢幕內容編碼區塊內複製模式
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
ES2677193B1 (es) * 2015-08-28 2019-06-19 Kt Corp Procedimiento y dispositivo para procesar señales de vídeo
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
US20180302629A1 (en) * 2015-10-30 2018-10-18 Sony Corporation Image processing apparatus and method
US20180332292A1 (en) * 2015-11-18 2018-11-15 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
CN108293116A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 视频解码方法及设备和视频编码方法及设备
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
WO2017138831A1 (en) 2016-02-12 2017-08-17 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
CA3014299A1 (en) 2016-02-12 2017-08-17 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
MX2018009722A (es) * 2016-02-12 2019-01-24 Thomson Licensing Un metodo y dispositivo para codificacion/decodificacion intra-predictiva de una unidad de codificacion comprendiendo datos de imagen, tal codificacion intra-predictiva dependiente de un arbol de prediccion y un arbol de transformacion.
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
WO2017203930A1 (en) * 2016-05-27 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
CN109479137B (zh) * 2016-05-28 2021-09-21 联发科技股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
CN114222140A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 视频信号的解码方法
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
US10687003B2 (en) 2016-08-04 2020-06-16 Omnivision Technologies, Inc. Linear-logarithmic image sensor
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116437079A (zh) 2016-09-20 2023-07-14 株式会社Kt 对视频进行解码和编码的方法以及传输方法
EP3509298A4 (en) * 2016-09-30 2020-07-22 LG Electronics Inc. -1- METHOD AND DEVICE FOR BLOCK PARTITIONING AND INTRAPREDICATION IN AN IMAGE CODING SYSTEM
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
CN116647680A (zh) * 2016-10-28 2023-08-25 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
US20190342545A1 (en) * 2016-10-28 2019-11-07 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus for same
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US10666937B2 (en) 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
PT3552393T (pt) * 2016-12-23 2023-05-30 Huawei Tech Co Ltd Um aparelho de codificação para sinalizar um modo de intra-predição direcional de extensão dentro de um conjunto de modos de intra-predição direcional
KR102574714B1 (ko) 2016-12-23 2023-09-06 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
WO2018117891A1 (en) 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd. An intra-prediction apparatus for removing a directional intra-prediction mode from a set of predetermined directional intra-prediction modes
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
CN116684604A (zh) 2017-03-31 2023-09-01 松下电器（美国）知识产权公司 图像编码装置、图像解码装置及存储介质
MX2019012294A (es) * 2017-04-13 2020-01-27 Lg Electronics Inc Metodo de codificacion/decodificacion de imagenes y dispositivo para el mismo.
CN110574374B (zh) * 2017-04-28 2022-02-25 夏普株式会社 图像解码装置
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
CN117560488A (zh) * 2017-07-06 2024-02-13 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
CN110999293B (zh) * 2017-07-31 2022-11-04 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
CN107483934B (zh) * 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
RU2669874C1 (ru) * 2017-09-15 2018-10-16 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способы и устройство сжатия изображений. Способ и устройство восстановления изображений
CA3065914A1 (en) 2017-09-21 2019-03-28 Kt Corporation Video signal processing method and device
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN115695788A (zh) * 2018-01-15 2023-02-03 三星电子株式会社 编码方法及其设备以及解码方法及其设备
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
EP3764645A4 (en) 2018-03-09 2021-12-08 Electronics and Telecommunications Research Institute METHOD AND APPARATUS FOR IMAGE CODING / DECODING USING SAMPLE FILTER
JP6982525B2 (ja) * 2018-03-16 2021-12-17 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
SG11202009298TA (en) 2018-03-25 2020-12-30 Ki Baek Kim Image encoding/decoding method and device
WO2019188467A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
JP7073495B2 (ja) * 2018-04-01 2022-05-23 エルジー エレクトロニクス インコーポレイティド 量子化パラメータ導出に基づく映像コーディング装置及び方法
WO2019194147A1 (en) 2018-04-02 2019-10-10 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
EP3787287A4 (en) 2018-04-24 2022-04-13 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND APPARATUS, AND VIDEO DECODING METHOD AND APPARATUS
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
WO2019234608A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with more than four sub-blocks
WO2020005093A1 (en) * 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Device and method for intra-prediction
US10284860B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN112425161A (zh) * 2018-07-11 2021-02-26 英迪股份有限公司 基于帧内预测的视频编码方法和装置
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN113132722B (zh) * 2018-08-09 2023-02-17 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
WO2020036132A1 (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11457214B2 (en) * 2018-08-23 2022-09-27 Interdigital Vc Holdings France, Sas Coding of quantization matrices using parametric models
CN110876061B (zh) * 2018-09-03 2022-10-11 华为技术有限公司 色度块预测方法及装置
WO2020060185A1 (ko) 2018-09-19 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10469845B1 (en) 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
CN112740276A (zh) 2018-09-23 2021-04-30 华为技术有限公司 用于帧内参考样本插值滤波器切换的方法和装置
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
WO2020073924A1 (en) * 2018-10-09 2020-04-16 Mediatek Inc. Method and apparatus of encoding or decoding using reference samples determined by predefined criteria
US11140404B2 (en) * 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
CN112997504B (zh) * 2018-11-09 2023-04-18 北京字节跳动网络技术有限公司 基于分量的环路滤波器
WO2020098786A1 (en) * 2018-11-16 2020-05-22 Mediatek Inc. Method and apparatus of luma-chroma separated coding tree coding with constraints
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
WO2020111843A1 (ko) * 2018-11-28 2020-06-04 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
CN117579817A (zh) * 2018-12-07 2024-02-20 夏普株式会社 运动图像解码装置及运动图像编码装置
CN116744008A (zh) * 2018-12-15 2023-09-12 华为技术有限公司 图像重建方法和装置
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
FI3884675T3 (fi) * 2018-12-21 2024-02-14 Beijing Dajia Internet Information Tech Co Ltd Videokoodausmenetelmät ja -laitteistot affiinien liikevektorien johtamiseksi kroma-komponentteja varten
EP3895423A4 (en) 2018-12-23 2022-06-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS USING AN ADAPTIVE LOOP FILTER
MX2021010337A (es) 2019-02-27 2021-09-28 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
WO2020182620A1 (en) * 2019-03-08 2020-09-17 Canon Kabushiki Kaisha An adaptive loop filter
CN113545049B (zh) 2019-03-08 2024-04-19 北京字节跳动网络技术有限公司 视频处理中对基于模型的整形的约束
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
CN114143548B (zh) * 2019-03-11 2023-02-14 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
KR20210094057A (ko) * 2019-03-24 2021-07-28 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 크로마 인트라 예측을 위한 방법 및 장치
CN116320472A (zh) * 2019-03-25 2023-06-23 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
WO2020207491A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Calculation in matrix-based intra prediction
WO2020211809A1 (en) * 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. On adaptive loop filtering for video coding
JP7214894B2 (ja) 2019-04-16 2023-01-30 エルジー エレクトロニクス インコーポレイティド イントラ予測ベースの映像コーディングにおける変換
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
WO2020211862A1 (en) * 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Restriction on applicability of cross component mode
AU2020263199B2 (en) 2019-04-23 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
CN117714687A (zh) * 2019-04-26 2024-03-15 华为技术有限公司 根据亮度分量的亮度qp获取色度分量的色度qp的方法及装置
CN113785566A (zh) * 2019-04-27 2021-12-10 韦勒斯标准与技术协会公司 基于帧内预测处理视频信号的方法和设备
CN110266316B (zh) * 2019-05-08 2023-02-21 创新先进技术有限公司 一种数据压缩、解压方法、装置和设备
KR102648569B1 (ko) 2019-05-13 2024-03-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환 스킵 모드의 블록 치수 설정들
WO2020228716A1 (en) * 2019-05-13 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Usage of transquant bypass mode for multiple color components
CN113841397A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像编码和解码方法及装置
CN113853787B (zh) 2019-05-22 2023-12-22 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
KR20230151080A (ko) 2019-06-11 2023-10-31 엘지전자 주식회사 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
CN116828176A (zh) 2019-06-11 2023-09-29 Lg电子株式会社 解码设备、编码设备和发送设备
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Ｖｃ控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
JP7030246B2 (ja) * 2019-06-25 2022-03-04 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
CN116668699A (zh) * 2019-07-05 2023-08-29 Lg电子株式会社 图像编码/解码设备和图像数据的发送方法
WO2021004445A1 (en) 2019-07-07 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
CN114208191B (zh) 2019-08-06 2024-01-12 北京字节跳动网络技术有限公司 基于颜色格式的视频区域分割
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
JP2022544413A (ja) 2019-08-15 2022-10-18 バイトダンス インコーポレイテッド パレット・エスケープ・シンボルのためのエントロピーコーディング
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
EP4013058A4 (en) * 2019-08-27 2023-02-22 Hyundai Motor Company VIDEO ENCODING AND DECODING USING DIFFERENTIAL ENCODING
MX2022002247A (es) * 2019-09-02 2022-03-22 Beijing Bytedance Network Tech Co Ltd Particion de region de video basada en formato de color.
JP7322285B2 (ja) * 2019-09-14 2023-08-07 バイトダンス インコーポレイテッド クロマデブロックフィルタリングのための量子化パラメータオフセット
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Ｔｖｓ Ｒｅｇｚａ株式会社 画質回路、映像処理装置および信号特徴検出方法
BR112022005150A2 (pt) * 2019-09-19 2022-06-14 Bytedance Inc Método de processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
EP4018662A4 (en) 2019-09-21 2023-05-03 Beijing Bytedance Network Technology Co., Ltd. SIZE LIMITATION BASED ON CHROMA INTRA MODE
JP2022548521A (ja) 2019-09-23 2022-11-21 アリババ グループ ホウルディング リミテッド 参照ダウンサンプリングありの動き補償補間のためのフィルタ
EP4022922A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR COMBINED INTRA-INTER PREDICTION
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
EP4029273A4 (en) 2019-10-14 2023-03-15 ByteDance Inc. USE OF CHROMA QUANTIZATION PARAMETERS IN VIDEO ENCODING
WO2021108676A1 (en) * 2019-11-27 2021-06-03 Beijing Dajia Internet Information Technology Co., Ltd Deblocking filtering for video coding
WO2021118977A1 (en) 2019-12-09 2021-06-17 Bytedance Inc. Using quantization groups in video coding
EP4049448A4 (en) * 2019-12-24 2023-03-08 Telefonaktiebolaget Lm Ericsson (Publ) VIRTUAL BORDER PROCESSING FOR ADAPTIVE LOOP FILTERING
WO2021138354A1 (en) * 2019-12-30 2021-07-08 Beijing Dajia Internet Information Technology Co., Ltd. Cross component determination of chroma and luma components of video data
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
US11197001B2 (en) * 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2021222871A1 (en) * 2020-04-30 2021-11-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
GB2599433A (en) * 2020-10-02 2022-04-06 Sony Group Corp Data encoding and decoding
TWI776294B (zh) * 2020-11-30 2022-09-01 中華電信股份有限公司 光框架交換機
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
WO2023131211A1 (en) * 2022-01-05 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1509045A2 (en) * 2003-07-16 2005-02-23 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using intercolor plane prediction
EP1909508A1 (en) * 2005-07-22 2008-04-09 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein, and computer readable recording medium having image decoding program recorded

Family Cites Families (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602285A (en) * 1983-04-08 1986-07-22 Ampex Corporation System and method for transforming and filtering a video image
GB9013217D0 (en) * 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
JPH07121687A (ja) * 1993-10-20 1995-05-12 Sony Corp 画像コーデック用プロセッサおよびアクセスパターン変換方法
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
CN1183769C (zh) * 1996-05-28 2005-01-05 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
FR2752474B1 (fr) 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
KR100442229B1 (ko) * 1996-09-13 2004-10-08 엘지전자 주식회사 간이형hdtv비디오디코더및디코딩방법
TW366648B (en) * 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
WO1999016252A1 (en) * 1997-09-19 1999-04-01 Sony Electronics Inc. Motion compensated digital video decoding with buffered picture storage memory map
AR025609A1 (es) 1999-09-13 2002-12-04 Hoffmann La Roche Formulaciones lipidas solidas
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
KR20060111735A (ko) * 2002-01-18 2006-10-27 가부시끼가이샤 도시바 동화상 복호화방법 및 장치
CN100448285C (zh) 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
AU2003246127A1 (en) * 2003-06-06 2005-01-04 Mediatek Inc. Apparatus and method for format converting and mixing video signal
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7193656B2 (en) * 2003-08-14 2007-03-20 Broadcom Corporation Line address computer for providing coefficients to a chroma filter
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
EP2373033A3 (en) * 2004-01-30 2011-11-30 Panasonic Corporation Picture coding and decoding method, apparatus, and program thereof
KR100813958B1 (ko) 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
JP2008535317A (ja) 2005-03-23 2008-08-28 アルカテル−ルーセント デジタルマルチメディアコンテンツに関してネットワークノードからプレイリスト検索を達成するためのシステムおよび方法
WO2006118383A1 (en) * 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
WO2007027008A1 (en) * 2005-07-15 2007-03-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
WO2007046644A1 (en) 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
JP5143120B2 (ja) * 2006-03-23 2013-02-13 サムスン エレクトロニクス カンパニー リミテッド 画像の符号化方法及び装置、復号化方法及び装置
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
CA2665182A1 (en) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for recording the programs
US8121195B2 (en) * 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8184711B2 (en) * 2007-09-12 2012-05-22 Sony Corporation Image processing device and image processing method
JP2009081579A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101493905B1 (ko) * 2008-08-12 2015-03-02 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4952685B2 (ja) * 2008-08-26 2012-06-13 株式会社Ｊｖｃケンウッド 映像信号符号化装置
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
CN102187670B (zh) * 2008-10-15 2014-05-14 法国电信公司 通过前向移动期间的补偿来预测图像
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
CN101742328B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
JP5275454B2 (ja) * 2009-03-31 2013-08-28 パナソニック株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP5234368B2 (ja) * 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8477845B2 (en) 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
TW201125370A (en) * 2009-10-30 2011-07-16 Panasonic Corp Decoding method, decoder apparatus, encoding method, and encoder apparatus
TW201143448A (en) * 2009-10-30 2011-12-01 Panasonic Corp Image encoding method, image decoding method, image encoding device and image decoding device
WO2011061880A1 (ja) * 2009-11-19 2011-05-26 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011080806A1 (ja) 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
CN102845063B (zh) * 2010-02-08 2016-05-11 诺基亚技术有限公司 用于视频编码的设备、方法和计算机程序
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
JPWO2011129090A1 (ja) * 2010-04-13 2013-07-11 パナソニック株式会社 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置
CN102236502A (zh) 2010-04-21 2011-11-09 上海三旗通信科技有限公司 一种移动终端压力触控手势识别的人机交互方式
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
WO2012011432A1 (ja) * 2010-07-20 2012-01-26 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
SI3125561T1 (en) * 2010-08-17 2018-06-29 M&K Holdings Inc. Procedure for restoring the internal predictive mode
CN108737843B (zh) * 2010-09-27 2022-12-27 Lg 电子株式会社 用于分割块的方法和解码设备
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101938657B (zh) * 2010-10-07 2012-07-04 西安电子科技大学 高效视频编码中编码单元自适应划分方法
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
WO2012078001A2 (ko) * 2010-12-08 2012-06-14 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform
JP2012186617A (ja) 2011-01-31 2012-09-27 Sony Corp 画像処理装置および方法
SG10201606972VA (en) 2011-02-10 2016-10-28 Sony Corp Image processing device and image processing method
JP2012175615A (ja) 2011-02-24 2012-09-10 Sony Corp 画像処理装置及び画像処理方法
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US10499059B2 (en) * 2011-03-08 2019-12-03 Velos Media, Llc Coding of transform coefficients for video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
KR101753551B1 (ko) * 2011-06-20 2017-07-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체
JP5678814B2 (ja) * 2011-06-20 2015-03-04 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
JP5990948B2 (ja) * 2011-06-22 2016-09-14 セイコーエプソン株式会社 プロジェクター
WO2012176684A1 (ja) * 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
JP5614381B2 (ja) * 2011-06-23 2014-10-29 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
WO2012176406A1 (ja) * 2011-06-23 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
BR112014005496A8 (pt) * 2011-09-08 2022-07-05 Motorola Mobility Llc Métodos e aparelhos para quantificação e dequantificação de um bloco retangular de coeficientes
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB2496201A (en) 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
GB2496194A (en) 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496197A (en) 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
PL3280139T3 (pl) * 2011-11-08 2020-07-27 Kabushiki Kaisha Toshiba Metoda dekodowania obrazu i urządzenie do dekodowania obrazu
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
JP5995448B2 (ja) * 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
US8581753B2 (en) * 2012-01-19 2013-11-12 Sharp Laboratories Of America, Inc. Lossless coding technique for CABAC in HEVC
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
US9749633B2 (en) * 2012-01-19 2017-08-29 Vid Scale, Inc. System and method of video coding quantization and dynamic range control
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9123278B2 (en) * 2012-02-24 2015-09-01 Apple Inc. Performing inline chroma downsampling with reduced power consumption
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1509045A2 (en) * 2003-07-16 2005-02-23 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using intercolor plane prediction
EP1909508A1 (en) * 2005-07-22 2008-04-09 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein, and computer readable recording medium having image decoding program recorded

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2759218C2 (ru) * 2017-06-21 2021-11-11 Вид Скейл, Инк. Адаптивное квантование для кодирования 360-градусного видео
RU2741507C1 (ru) * 2017-10-09 2021-01-26 Нокиа Текнолоджиз Ой Устройство и способ для кодирования и декодирования видео
US11166013B2 (en) 2017-10-09 2021-11-02 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US11671588B2 (en) 2017-10-09 2023-06-06 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
RU2802846C2 (ru) * 2018-09-11 2023-09-05 Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка Способ кодирования трехмерных данных, способ декодирования трехмерных данных, устройство кодирования трехмерных данных и устройство декодирования трехмерных данных
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
RU2810900C2 (ru) * 2019-02-22 2023-12-29 Бейджин Байтдэнс Нетворк Текнолоджи Ко., Лтд. Выбор соседней выборки для внутреннего предсказания
RU2783334C1 (ru) * 2019-03-07 2022-11-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Кодирование видео или изображений на основе преобразования сигнала яркости с масштабированием сигнала цветности
RU2805997C2 (ru) * 2019-03-07 2023-10-24 ЭлДжи ЭЛЕКТРОНИКС ИНК. Кодирование видео или изображений на основе преобразования сигнала яркости с масштабированием сигнала цветности
RU2817904C1 (ru) * 2019-03-07 2024-04-23 ЭлДжи ЭЛЕКТРОНИКС ИНК. Кодирование видео или изображений на основе преобразования сигнала яркости с масштабированием сигнала цветности
RU2817294C2 (ru) * 2019-06-20 2024-04-12 Квэлкомм Инкорпорейтед Прогнозирование во внутреннем dc-режиме при кодировании видео

Also Published As

Publication number Publication date
EP2842316A1 (en) 2015-03-04
US20150043641A1 (en) 2015-02-12
US20150117527A1 (en) 2015-04-30
CN108347604A (zh) 2018-07-31
CA2870596C (en) 2019-02-12
WO2013160694A1 (en) 2013-10-31
GB2501555A (en) 2013-10-30
US10616572B2 (en) 2020-04-07
CN104247426A (zh) 2014-12-24
GB201211070D0 (en) 2012-08-01
CN108134931B (zh) 2022-03-01
KR102104400B1 (ko) 2020-04-24
CN108366257A (zh) 2018-08-03
WO2013160696A1 (en) 2013-10-31
WO2013160695A1 (en) 2013-10-31
CN108134931A (zh) 2018-06-08
RU2014147451A (ru) 2016-06-20
GB2501546A (en) 2013-10-30
CN109068135B (zh) 2023-03-14
GB2501550A (en) 2013-10-30
KR20180030263A (ko) 2018-03-21
CA2871556A1 (en) 2013-10-31
US10841572B2 (en) 2020-11-17
JP6128707B2 (ja) 2017-05-17
US20220150468A1 (en) 2022-05-12
CA2870596A1 (en) 2013-10-31
TW201937934A (zh) 2019-09-16
WO2013160698A1 (en) 2013-10-31
AU2013254448A1 (en) 2014-11-06
US9686547B2 (en) 2017-06-20
BR112014026021B1 (pt) 2023-12-19
GB201211629D0 (en) 2012-08-15
GB201211072D0 (en) 2012-08-01
GB2501556A (en) 2013-10-30
GB2501554A (en) 2013-10-30
US10499052B2 (en) 2019-12-03
JP5986294B2 (ja) 2016-09-06
CA3128787C (en) 2023-09-26
GB201211067D0 (en) 2012-08-01
RU2014147445A (ru) 2016-06-10
US11252402B2 (en) 2022-02-15
GB2501557A (en) 2013-10-30
US9693058B2 (en) 2017-06-27
GB201211628D0 (en) 2012-08-15
EP4243421A2 (en) 2023-09-13
US9948929B2 (en) 2018-04-17
AU2016204227A1 (en) 2016-07-14
KR101994597B1 (ko) 2019-06-28
US20190191154A1 (en) 2019-06-20
KR101840025B1 (ko) 2018-03-20
CN104255029A (zh) 2014-12-31
TW201817239A (zh) 2018-05-01
JP6328613B2 (ja) 2018-05-23
GB2501553A (en) 2013-10-30
CN110933409A (zh) 2020-03-27
CA2870602C (en) 2022-08-09
EP2842315A1 (en) 2015-03-04
CN104285445A (zh) 2015-01-14
US10205941B2 (en) 2019-02-12
US11109019B2 (en) 2021-08-31
TWI611689B (zh) 2018-01-11
JP6503492B2 (ja) 2019-04-17
US20170339402A1 (en) 2017-11-23
CN104247425A (zh) 2014-12-24
CN107734330A (zh) 2018-02-23
RU2619888C2 (ru) 2017-05-19
EP2842321A2 (en) 2015-03-04
BR112014026024A2 (pt) 2017-06-27
GB201211066D0 (en) 2012-08-01
MX2014012847A (es) 2015-10-22
JP6407389B2 (ja) 2018-10-17
GB201211619D0 (en) 2012-08-15
CN108366257B (zh) 2022-03-25
BR112014026021A8 (pt) 2021-06-22
CA2870602A1 (en) 2013-10-31
US20190222833A1 (en) 2019-07-18
GB201207459D0 (en) 2012-06-13
BR112014026035A2 (pt) 2020-06-30
CN104272739B (zh) 2018-04-20
RU2014147453A (ru) 2016-06-20
EP2842317A1 (en) 2015-03-04
KR20170054561A (ko) 2017-05-17
MX345237B (es) 2017-01-23
GB2501566A (en) 2013-10-30
KR20150003219A (ko) 2015-01-08
CN109068135A (zh) 2018-12-21
RU2751080C2 (ru) 2021-07-08
WO2013160699A1 (en) 2013-10-31
JP6050478B2 (ja) 2016-12-21
CA3028883A1 (en) 2013-10-31
CN108347604B (zh) 2022-03-04
CN104247425B (zh) 2018-11-06
WO2013160656A2 (en) 2013-10-31
JP2017055444A (ja) 2017-03-16
GB201211075D0 (en) 2012-08-01
JP2018129858A (ja) 2018-08-16
BR112014026024A8 (pt) 2021-06-22
US10531083B2 (en) 2020-01-07
RU2599935C2 (ru) 2016-10-20
BR112014026035B1 (pt) 2023-02-07
JP2015518340A (ja) 2015-06-25
CN104272739A (zh) 2015-01-07
GB2501554B (en) 2014-09-24
GB201220836D0 (en) 2013-01-02
CA2870591A1 (en) 2013-10-31
TWI711301B (zh) 2020-11-21
JP2015518341A (ja) 2015-06-25
EP2842315B1 (en) 2023-07-12
CN111182299A (zh) 2020-05-19
CA3128787A1 (en) 2013-10-31
US20190253702A1 (en) 2019-08-15
AU2013254444B2 (en) 2015-10-29
TWI677236B (zh) 2019-11-11
AU2013254448B2 (en) 2015-11-19
US10291909B2 (en) 2019-05-14
JP2015518339A (ja) 2015-06-25
BR112014026021A2 (pt) 2017-06-27
EP4243421A3 (en) 2023-11-29
EP2842314B1 (en) 2021-06-02
EP3442229A1 (en) 2019-02-13
MX343351B (es) 2016-11-03
CN104255029B (zh) 2017-11-24
RU2017116180A3 (ru) 2020-05-27
US20150063457A1 (en) 2015-03-05
AU2013254444A1 (en) 2014-10-23
TWI586152B (zh) 2017-06-01
CN110225337A (zh) 2019-09-10
JP2018142970A (ja) 2018-09-13
KR101734974B1 (ko) 2017-05-15
KR20170041288A (ko) 2017-04-14
US9674531B2 (en) 2017-06-06
US20180227577A1 (en) 2018-08-09
EP4243420A2 (en) 2023-09-13
US10440358B2 (en) 2019-10-08
JP2018042263A (ja) 2018-03-15
US20150078447A1 (en) 2015-03-19
EP4243420A3 (en) 2023-11-22
JP2015518343A (ja) 2015-06-25
JP6606794B2 (ja) 2019-11-20
CN110933409B (zh) 2023-06-27
US10827169B2 (en) 2020-11-03
WO2013160700A1 (en) 2013-10-31
CN104255030B (zh) 2018-04-03
KR20190077110A (ko) 2019-07-02
US20150172652A1 (en) 2015-06-18
AU2013254443A1 (en) 2014-10-23
GB201211623D0 (en) 2012-08-15
CA2870591C (en) 2023-10-03
US20180124392A1 (en) 2018-05-03
US20180160112A1 (en) 2018-06-07
TWI575942B (zh) 2017-03-21
TW201408081A (zh) 2014-02-16
JP2016201813A (ja) 2016-12-01
GB2501547A (en) 2013-10-30
MX346235B (es) 2017-03-13
WO2013160693A2 (en) 2013-10-31
WO2013160697A1 (en) 2013-10-31
US20200177874A1 (en) 2020-06-04
GB201211069D0 (en) 2012-08-01
WO2013160694A4 (en) 2014-01-03
KR20140145606A (ko) 2014-12-23
GB2501549A (en) 2013-10-30
RU2017116180A (ru) 2019-01-28
AU2016204227B2 (en) 2018-09-06
US20200014916A1 (en) 2020-01-09
JP2015518342A (ja) 2015-06-25
CA3028883C (en) 2021-10-26
US10674144B2 (en) 2020-06-02
AU2018217304A1 (en) 2018-09-06
CA2871556C (en) 2017-08-29
TW201408080A (zh) 2014-02-16
US20200213584A1 (en) 2020-07-02
CN111182299B (zh) 2024-02-09
AU2018217304B2 (en) 2020-08-06
JP6231647B2 (ja) 2017-11-15
US20170272743A1 (en) 2017-09-21
GB2501551A (en) 2013-10-30
US20150085924A1 (en) 2015-03-26
US9826231B2 (en) 2017-11-21
US9686548B2 (en) 2017-06-20
MX2014012846A (es) 2015-10-22
US20170359576A1 (en) 2017-12-14
GB201211073D0 (en) 2012-08-01
US11770519B2 (en) 2023-09-26
GB2501535A (en) 2013-10-30
JP5965054B2 (ja) 2016-08-03
GB2501548A (en) 2013-10-30
US20150063460A1 (en) 2015-03-05
WO2013160693A3 (en) 2013-12-19
US10244232B2 (en) 2019-03-26
TW201408079A (zh) 2014-02-16
US10419750B2 (en) 2019-09-17
EP2842314A2 (en) 2015-03-04
WO2013160656A3 (en) 2013-12-19
MX2014012565A (es) 2014-12-05
CN107734330B (zh) 2020-04-28
JP2015515236A (ja) 2015-05-21
JP6325606B2 (ja) 2018-05-16
CN104255030A (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
RU2603548C2 (ru) Получение режима внутреннего прогнозирования для цветоразностных значений
KR102579286B1 (ko) 비디오 샘플들의 변환된 블록을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템
US11595663B2 (en) Secondary transform designs for partitioned transform units in video coding
GB2564150A (en) Image data encoding and decoding