RU2595602C1 - Способ и устройство для кодирования видео и способ и устройство для декодирования видео - Google Patents

Способ и устройство для кодирования видео и способ и устройство для декодирования видео Download PDF

Info

Publication number
RU2595602C1
RU2595602C1 RU2015101791/08A RU2015101791A RU2595602C1 RU 2595602 C1 RU2595602 C1 RU 2595602C1 RU 2015101791/08 A RU2015101791/08 A RU 2015101791/08A RU 2015101791 A RU2015101791 A RU 2015101791A RU 2595602 C1 RU2595602 C1 RU 2595602C1
Authority
RU
Russia
Prior art keywords
unit
coding
coding unit
depth
size
Prior art date
Application number
RU2015101791/08A
Other languages
English (en)
Inventor
Дзунг-Хие МИН
Воо-Дзин ХАН
Ил-Коо КИМ
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Application granted granted Critical
Publication of RU2595602C1 publication Critical patent/RU2595602C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности декодирования. Устройство декодирования изображения содержит энтропийный декодер, который извлекает из битового потока информацию, которая показывает режим внутрикадрового предсказания, примененный к текущему блоку, который должен быть декодирован; модуль определения опорных пикселей, который определяет одни из соседних пикселей, смежных с текущим блоком, и отфильтрованных соседних пикселей, отфильтрованных из упомянутых соседних пикселей, в качестве опорных пикселей на основе по меньшей мере одного из размера текущего блока и режима внутрикадрового предсказания текущего блока; модуль выполнения внутрикадрового предсказания, который выполняет внутрикадровое предсказание в отношении текущего блока, используя упомянутую извлеченную информацию и упомянутые определенные опорные пиксели, при этом изображение разбито на множество максимальных единиц кодирования согласно информации о максимальном размере единицы кодирования, в отношении максимальной единицы кодирования выполнено иерархическое разбиение на одну или более единиц кодирования с глубинами в соответствии с информацией разбиения. 26 ил., 3 табл.

Description

Область техники, к которой относится изобретение
Характерные варианты осуществления относятся к способу и устройству для кодирования видео и к способу и устройству для декодирования видео, выполненным с возможностью улучшения эффективности сжатия видео посредством выполнения внутрикадрового предсказания с помощью отфильтрованных соседних пикселей.
Уровень техники
В способах сжатия видео, таких как MPEG-1, MPEG-2, MPEG-4 и H.264/MPEG-4 Расширенное Кодирование Видео (AVC), чтобы закодировать видео один кадр разбивается на макроблоки. После этого, каждый макроблок кодируется в соответствии со всеми режимами кодирования, доступными в межкадровом предсказании или внутрикадровом предсказании, и затем, чтобы закодировать макроблок, выбирается один режим кодирования в соответствии с требуемым скоростью передачи битов для кодирования макроблока и искажением между исходным макроблоком и декодированным макроблоком.
По мере того как разрабатывается и предлагается аппаратное обеспечение для воспроизведения и хранения видеоконтента с высоким разрешением или высоким качеством, растет потребность в видеокодеке для эффективного кодирования или декодирования видеоконтента с высоким разрешением или высоким качеством. В обычном видеокодеке, видео кодируется в соответствии с ограниченным режимом предсказания, основанным на макроблоке, заранее определенного размера.
Раскрытие изобретения
Техническая задача
В обычном видеокодеке, видео кодируется в соответствии с ограниченным режимом предсказания, основанным на макроблоке, заранее определенного размера.
Решение задачи
Характерные варианты осуществления предоставляют способ и устройство для кодирования видео и способ и устройство для декодирования видео, выполненные с возможностью улучшения эффективности сжатия видео посредством фильтрации соседних пикселей текущего блока и выполнения внутрикадрового предсказания текущего блока при помощи отфильтрованных соседних пикселей.
Преимущественный результат изобретения
В соответствии с настоящим изобретением может быть улучшена эффективность кодирования.
Краткое описание чертежей
Фиг. 1 является структурной схемой устройства для кодирования видео в соответствии с характерным вариантом осуществления;
Фиг. 2 является структурной схемой устройства для декодирования видео в соответствии с характерным вариантом осуществления;
Фиг. 3 является схемой для описания концепции единиц кодирования в соответствии с характерным вариантом осуществления;
Фиг. 4 является структурной схемой кодировщика изображения, основанного на единицах кодирования в соответствии с характерным вариантом осуществления;
Фиг. 5 является структурной схемой декодера изображения, основанного на единицах кодирования в соответствии с характерным вариантом осуществления;
Фиг. 6 является схемой, иллюстрирующей более глубокие единицы кодирования согласно глубинам и элементов разбиения, в соответствии с характерными вариантами осуществления;
Фиг. 7 является схемой для описания взаимосвязи единицы кодирования с единицами преобразования в соответствии с характерным вариантом осуществления.
Фиг. 8 является схемой для описания информации кодирования единиц кодирования соответствующей кодируемой глубины в соответствии с характерным вариантом осуществления;
Фиг. 9 является схемой более глубоких единиц кодирования согласно глубинам в соответствии с характерным вариантом осуществления.
Фиг. 10-12 являются схемами для описания взаимосвязи между единицами кодирования, единицами предсказания и единицами преобразования в соответствии характерным вариантом осуществления;
Фиг. 13 является схемой для описания взаимосвязи между единицей кодирования, единицей предсказания или элементом разбиения, и единицей преобразования в соответствии с информацией о режиме кодирования из Таблицы 1;
Фиг. 14 является структурной схемой устройства с внутрикадровым предсказанием в соответствии с характерным вариантом осуществления;
Фиг. 15 является таблицей, показывающей количество режимов внутрикадрового предсказания согласно размеров единиц кодирования, в соответствии с характерным вариантом осуществления;
Фиг. 16A-16С иллюстрируют режимы внутрикадрового предсказания, которые применяются к единице кодирования заранее определенного размера, в соответствии с характерным вариантом осуществления;
Фиг. 17 иллюстрирует режимы внутрикадрового предсказания, которые применяются к единице кодирования заранее определенного размера, в соответствии с другим характерным вариантом осуществления;
Фиг. 18A-18C являются схемами для описания режимов внутрикадрового предсказания различной направленности в соответствии с характерным вариантом осуществления;
Фиг. 19 является схемой, иллюстрирующей текущую единицу кодирования и соседние пиксели, которые будут фильтроваться, в соответствии с характерным вариантом осуществления;
Фиг. 20 является схемой для описания процесса фильтрации соседних пикселей в соответствии с характерным вариантом осуществления;
Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео в соответствии с характерным вариантом осуществления; и
Фиг. 22 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео в соответствии с характерным вариантом осуществления.
Лучший вариант осуществления изобретения
В соответствии с аспектом характерного варианта осуществления предоставляется способ кодирования видео, включающий в себя этапы, на которых: фильтруют соседние пиксели текущего блока, который будет закодирован, чтобы сформировать отфильтрованные соседние пиксели; выбирают отфильтрованные соседние пиксели или исходные соседние пиксели в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущего блока; и выполняют внутрикадровое предсказание текущего блока, при помощи выбранных опорных пикселей.
В соответствии с другим аспектом характерного варианта осуществления предоставляется способ декодирования видео, включающий в себя этапы, на которых: фильтруют соседние пиксели текущего блока, который будет декодирован, чтобы сформировать отфильтрованные соседние пиксели; извлекают из битового потока информацию о режиме внутрикадрового предсказания, который применялся к текущему блоку; выбирают отфильтрованные соседние пиксели или исходные соседние пиксели в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущего блока; и выполняют внутрикадровое предсказание текущего блока при помощи извлеченной информации о режиме внутрикадрового предсказания и выбранных опорных пикселей.
В соответствии с другим аспектом характерного варианта осуществления предоставляется устройство кодирования видео, включающее в себя: модуль фильтрации соседних пикселей, для фильтрации соседних пикселей текущего блока, который будет закодирован, чтобы сформировать отфильтрованные соседние пиксели; модуль определения опорных пикселей, для выбора отфильтрованных соседних пикселей или исходных соседних пикселей в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущего блока; и модуль выполнения внутрикадрового предсказания, для выполнения внутрикадрового предсказания текущего блока, при помощи выбранных опорных пикселей.
В соответствии с другим аспектом характерного варианта осуществления предоставляется устройство декодирования видео, включающее в себя: модуль фильтрации соседних пикселей, для фильтрации соседних пикселей текущего блока, который будет декодирован, чтобы сформировать отфильтрованные соседние пиксели; энтропийный декодер, для извлечения из битового потока информации о режиме внутрикадрового предсказания, который применялся к текущему блоку; модуль определения опорных пикселей, для выбора отфильтрованных соседних пикселей или исходных соседних пикселей в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущего блока; и модуль выполнения внутрикадрового предсказания, для выполнения внутрикадрового предсказания текущего блока, при помощи извлеченной информации о режиме внутрикадрового предсказания и выбранных опорных пикселей.
Вариант осуществления изобретения
Здесь и далее характерные варианты осуществления более полно будут описаны со ссылкой на сопроводительные чертежи, на которых показаны характерные варианты осуществления. В характерных вариантах осуществления, в зависимости от контекста, понятие единица может относиться или нет к размерной единице. В настоящем техническом описании понятие изображение может обозначать неподвижное изображение применительно к видео, или подвижное изображение, то есть само видео.
Здесь и далее «единица кодирования» является единицей кодирования данных, в которую кодируются данные изображения на стороне кодировщика, и единицей закодированных данных, из которой декодируются закодированные данные изображения на стороне декодера, в соответствии с характерными вариантами осуществления. Также, кодируемая глубина означает глубину, на которой кодируется единица кодирования.
Сначала, со ссылкой на Фиг. 1-13 будут описаны способ и устройство для кодирования видео и способ и устройство для декодирования видео в соответствии с характерным вариантом осуществления.
Фиг. 1 является структурной схемой устройства 100 кодирования видео в соответствии с характерным вариантом осуществления.
Устройство 100 кодирования видео включает в себя модуль 110 разбиения на максимальные единицы кодирования, модуль 120 определения единицы кодирования и модуль 130 вывода.
Модуль 110 разбиения на максимальные единицы кодирования разбивает текущий кадр, основываясь на максимальной единице кодирования для текущего кадра изображения. Если текущий кадр больше максимальной единицы кодирования, то данные изображения текущего кадра могут быть разбиты на, по меньшей мере, одну максимальную единицу кодирования. Максимальная единица кодирования в соответствии с характерным вариантом осуществления может быть единицей данных размером 32×32, 64×64, 128×128, 256×256, и т.д., при этом форма единицы данных является квадратом, с шириной и высотой в квадратах 2. Данные изображения могут выдаваться модулю 120 определения единицы кодирования в соответствии с, по меньшей мере, одной максимальной единицей кодирования.
Единица кодирования в соответствии с характерным вариантом осуществления может характеризоваться максимальным размером и глубиной. Глубина обозначает количество раз, на которое была разбита максимальная единица кодирования в пространственном отношении, чтобы получить единицу кодирования, и по мере углубления или увеличения глубины, более глубокие единицы кодирования, согласно глубинам, могут разбиваться от максимальной единицы кодирования до минимальной единицы кодирования. Глубина максимальной единицы кодирования является самой верхней глубиной, а уровень глубины минимальной единицы кодирования является самой низкой глубиной. Так как размер единицы кодирования, соответствующий каждой глубине, уменьшается по мере увеличения глубины максимальной единицы кодирования, то единица кодирования, соответствующая верхней глубине, может включать в себя множество единиц кодирования, соответствующих нижним глубинам.
Как описано выше, данные изображения текущего кадра разбиты на максимальные единицы кодирования в соответствии с максимальным размером единицы кодирования, и каждая из максимальных единиц кодирования может включать в себя более глубокие единицы кодирования, которые разбиты в соответствии с глубинами. Так как максимальная единица кодирования в соответствии с характерным вариантом осуществления разбивается согласно глубинам, то данные изображения пространственной области, включенные в максимальную единицу кодирования, могут иерархически классифицироваться согласно глубинам.
Максимальная глубина и максимальный размер единицы кодирования, которые ограничивают суммарное количество раз, которое высота и ширина максимальной единицы кодирования иерархически разбивается, могут быть определены заранее.
Модуль 120 определения единицы кодирования кодирует, по меньшей мере, одну разбитую область, полученную посредством разбиения области максимальной единицы кодирования, согласно глубинам, и определяет глубину для выдачи окончательно закодированных данных изображения в соответствии с, по меньшей мере, одной разбитой областью. Другими словами, модуль 120 определения единицы кодирования определяет кодируемую глубину посредством кодирования данных изображения в более глубоких единицах кодирования, согласно глубинам, в соответствии с максимальной единицей кодирования текущего кадра, и выбирает глубину с минимальной ошибкой кодирования. Таким образом, в итоге выдаются закодированные данные изображения в единице кодирования, соответствующей кодируемой глубине. Также, единицы кодирования, соответствующие кодируемой глубине, могут рассматриваться как закодированные единицы кодирования.
Определенная кодируемая глубина и закодированные данные изображения в соответствии с определенной кодируемой глубиной выдаются модулю 130 вывода.
Данные изображения в максимальной единице кодирования кодируются на основании более глубоких единиц кодирования, соответствующих, по меньшей мере, либо эквивалентной глубине, либо глубине ниже максимальной глубины, а результаты кодирования данных изображения сравниваются на основании каждой из более глубоких единиц кодирования. После сравнения ошибок кодирования более глубоких единиц кодирования может выбираться глубина кодирования, с минимальной ошибкой кодирования. Для каждой максимальной единицы кодирования может выбираться, по меньшей мере, одна кодируемая глубина.
Размер максимальной единицы кодирования разбивается, по мере того как иерархически разбиваются единицы кодирования, согласно глубинам, и по мере того как растет количество единиц кодирования. Также, если даже в одной максимальной единице кодирования присутствуют две единицы кодирования, соответствующие одной и той же глубине, то определяют, разбить ли каждую из единиц кодирования, соответствующих одной и той же глубине, на более низкую глубину посредством измерения ошибки кодирования данных изображения каждой единицы кодирования, по отдельности. Соответственно, даже когда данные изображения включены в одну максимальную единицу кодирования, данные изображения разбиваются на области, согласно глубинам, и ошибки кодирования могут различаться по областям в одной максимальной единице кодирования, и таким образом кодируемая глубина может отличаться по областям в данных изображения. Таким образом, в одной максимальной единице кодирования могут быть определены одна или более кодируемые глубины, и данные изображения максимальной единицы кодирования могут быть разделены в соответствии с единицами кодирования, по меньшей мере, одной кодируемой глубины.
Соответственно, модуль 120 определения единицы кодирования может определять единицы кодирования с древовидной структурой, включенные в максимальную единицу кодирования. Единицы кодирования с древовидной структурой в соответствии с характерным вариантом осуществления включают в себя единицы кодирования, соответствующие глубине, определенной как кодируемая глубина, из числа всех более глубоких единиц кодирования, включенных в максимальную единицу кодирования. Единица кодирования кодируемой глубины может иерархически определяться согласно глубинам в той же области максимальной единицы кодирования, и может независимо определяться в других областях. Аналогично, кодируемая глубина в текущей области может независимо определяться из кодируемой глубины в другой области.
Максимальная глубина в соответствии с характерным вариантом осуществления является индексом, относящимся к количеству разбиений от максимальной единицы кодирования до минимальной единицы кодирования. Первая максимальная глубина в соответствии с характерным вариантом осуществления может обозначать суммарное количество разбиений от максимальной единицы кодирования до минимальной единицы кодирования. Вторая максимальная глубина в соответствии с характерным вариантом осуществления может обозначать суммарное количество глубин от максимальной единицы кодирования до минимальной единицы кодирования. Например, когда глубина максимальной единицы кодирования равна 0, глубина единицы кодирования, при которой максимальная единица кодирования разбивается один раз, может быть установлена как 1, а глубина единицы кодирования, при которой максимальная единица кодирования разбивается дважды, может быть установлена как 2. В данном случае, если минимальная единица кодирования является единицей кодирования, при которой максимальная единица кодирования разбивается 5 раз, то существует 5 уровней глубины из уровней 0, 1, 2, 3 и 4, и таким образом первая максимальная глубина может быть установлена как 4, а вторая максимальная глубина может быть установлена как 5.
Кодирование с предсказанием и преобразование могут выполняться в соответствии с максимальной единицей кодирования. Кодирование с предсказанием и преобразование также могут выполняться согласно более глубоким единицам кодирования в соответствии с глубиной, равной, или глубинами, меньшими, чем максимальная глубина, в соответствии с максимальной единицей кодирования. Преобразование может выполняться в соответствии со способом ортогонального преобразования или способом целочисленного преобразования.
Так как количество более глубоких единиц кодирования растет всякий раз, когда максимальная единица кодирования разбивается согласно глубинам, то кодирование, включающее в себя кодирование с предсказанием и преобразование, производятся по все более глубоким единицам кодирования, формируемым по мере увеличения глубины. Для удобства описания, кодирование с предсказанием и преобразование далее будут описаны на основании единицы кодирования текущей глубины, в максимальной единице кодирования.
Устройство 100 кодирования видео может гибко выбирать размер и форму единицы данных для кодирования данных изображения. Чтобы закодировать данные изображения, выполняются операции, такие как: кодирование с предсказанием, преобразование и энтропийное кодирование, и на данном этапе одна и та же единица данных может использоваться для всех операций, или для каждой операции могут использоваться разные единицы данных.
Например, устройство 100 кодирования видео может выбрать не только единицу кодирования для кодирования данных изображения, но также единицу данных, отличную от единицы кодирования, чтобы выполнить кодирование с предсказанием данных изображения в единице кодирования.
Для того чтобы выполнить кодирование с предсказанием в максимальной единице кодирования, кодирование с предсказанием может выполняться согласно единице кодирования, соответствующей кодируемой глубине, т.е. согласно единице кодирования, которая далее не разбивается на единицы кодирования, соответствующие более низкой глубине. Здесь и далее, единица кодирования, которая далее не разбивается и становится базовой единицей для кодирования с предсказанием, будет именоваться как единица предсказания. Элемент разбиения, получаемый посредством разбиения единицы предсказания, может включать в себя единицу предсказания или единицу данных, получаемые посредством разбиения, по меньшей мере, одного из: высоты или ширины единицы предсказания.
Например, когда единица кодирования размером 2N2N (где N является положительным целочисленным значением) далее не разбивается и становится единицей предсказания размером 2N2N, то размер элемента разбиения может быть 2N2N, 2NN, N2N или NN. Примеры типов разбиения включают в себя: симметричное разбиение, которое получают посредством симметричного разбиения высоты или ширины единицы предсказания; разбиение, получаемое посредством асимметричного разбиения высоты или ширины единицы предсказания, такое как 1:n или n:1; разбиение, которое получают посредством геометрического разбиения единицы предсказания; и разбиение произвольной формы.
Режим предсказания единицы предсказания может быть, по меньшей мере, одним из: внутрикадрового режима, межкадрового режима и режима с пропуском. Например, внутрикадровый режим или межкадровый режим могут выполняться над элементами разбиения размером 2N×2N, 2N×N, N×2N или N×N. Также режим с пропуском может выполняться только над элементами разбиения 2N×2N. Кодирование независимо выполняется над одной единицей предсказания в единице кодирования, тем самым выбирая режим предсказания, с минимальной ошибкой кодирования.
Устройство 100 кодирования видео также может выполнять преобразование над данными изображения в единице кодирования на основании не только единицы кодирования применительно к кодированию данных изображения, но также на основании единицы данных, которая отличается от единицы кодирования.
Для того чтобы выполнять преобразование в единице кодирования, преобразование может выполняться на основании единицы данных, размером, меньше либо равным единице кодирования. Например, единица данных для преобразования может включать в себя единицу данных для внутрикадрового режима и единицу данных для межкадрового режима.
Единица данных, используемая в качестве базового элемента преобразования, далее будет именоваться как единица преобразования. Глубина преобразования, указывающая количество разбиений, чтобы получить единицу преобразования посредством разбиения высоты и ширины единицы кодирования, также может быть установлена в единице преобразования. Например, в текущей единице кодирования размером 2N×2N, глубина преобразования может быть 0, когда размер единицы преобразования также составляет 2N×2N, может быть 1, когда как высота, так и ширина текущей единицы кодирования разбиты на две равные части, суммарно разбивая на 4^1 единицы преобразования, и таким образом размер единицы преобразования составляет N×N, и может быть 2, когда как высота, так и ширина текущей единицы кодирования разбиты на четыре равные части, суммарно разбивая на 4^2 единицы преобразования, и таким образом размер единицы преобразования составляет N/2×N/2. Например, единица преобразования может быть установлена в соответствии с иерархической древовидной структурой, в которой единица преобразования верхней глубины преобразования разбита на четыре единицы преобразования более низкой глубины преобразования в соответствии с иерархическими характеристиками глубины преобразования.
Аналогично единице кодирования, единица преобразования в единице кодирования может быть рекурсивно разбита на области более мелкого размера, чтобы единица преобразования могла определяться независимо в единицах областей. Таким образом, данные остатка в единице кодирования могут разделяться в соответствии с преобразованием с древовидной структурой, согласно глубинам преобразования.
Информация кодирования согласно единицам кодирования, соответствующим кодируемой глубине, требует не только информации о кодируемой глубине, но также информацию, связанную с кодированием с предсказанием и преобразованием. Соответственно, модуль 120 определения единицы кодирования не только определяет кодируемую глубину, с минимальной ошибкой кодирования, но также определяет тип разбиения в единице предсказания, режим предсказания в соответствии с единицами предсказания и размер единицы преобразования для преобразования.
Единицы кодирования в соответствии с древовидной структурой в максимальной единице кодирования и способ определения элемента разбиения в соответствии с характерными вариантами осуществления будут описаны подробнее позже, со ссылкой на Фиг. 3-12.
Модуль 120 определения единицы кодирования может измерять ошибку кодирования более глубоких единиц кодирования согласно глубинам посредством использования Оптимизации Скорости к Искажению, основанной на множителях Лагранжа.
Модуль 130 вывода выдает данные изображения максимальной единицы кодирования, которые закодированы на основании, по меньшей мере, одной кодируемой глубины, определенной модулем 120 определения единицы кодирования, и информацию о режиме кодирования, в соответствии с кодируемой глубиной, в битовых потоках.
Закодированные данные изображения могут быть получены посредством кодирования данных остатка изображения.
Информация о режиме кодирования согласно кодируемой глубине может включать в себя информацию о кодируемой глубине, о типе разбиения в единице предсказания, режим предсказания и размер единицы преобразования.
Информация о кодируемой глубине может определяться при помощи информации разбиения согласно глубинам, которая указывает на то, выполняется ли кодирование по единицам кодирования более низкой глубины, чем текущая глубина. Если текущая глубина текущей единицы кодирования является кодируемой глубиной, то кодируются и выдаются данные изображения в текущей единице кодирования, и таким образом информация разбиения может быть определена как показывающая, что не следует разбивать текущую единицу кодирования на более низкую глубину. В качестве альтернативы, если текущая глубина текущей единицы кодирования не является кодируемой глубиной, то кодирование выполняется над единицей кодирования более низкой глубины, и таким образом информация разбиения может быть определена, как показывающая на необходимость разбить текущую единицу кодирования для получения единиц кодирования более низкой глубины.
Если текущая глубина не является кодируемой глубиной, то кодирование выполняется над единицей кодирования, которая разбита на единицу кодирования более низкой глубины. Поскольку существует, по меньшей мере, одна единица кодирования более низкой глубины в одной единице кодирования текущей глубины, то кодирование повторно выполняется для каждой единицы кодирования более низкой глубины, и таким образом кодирование может рекурсивно выполняться для единиц кодирования, имеющих ту же самую глубину.
Поскольку единицы кодирования с древовидной структурой определены для одной максимальной единицы кодирования, и для единицы кодирования кодируемой глубины определена информация о, по меньшей мере, одном режиме кодирования, то информация о, по меньшей мере, одном режиме кодирования может быть определена для одной максимальной единицы кодирования. Также, кодируемая глубина данных изображения максимальной единицы кодирования может быть разной в соответствии с местоположениями, поскольку данные изображения иерархически разбиты согласно глубинам, и таким образом информация о кодируемой глубине и режим кодирования могут быть установлены для данных изображения.
Соответственно, модуль 130 вывода может назначать информацию кодирования о соответствующей кодируемой глубине и режиме кодирования, по меньшей мере, одному из: единице кодирования, единице предсказания и минимальной единице, включенным в максимальную единицу кодирования.
Минимальная единица в соответствии с характерным вариантом осуществления является прямоугольной единицей данных, полученной посредством разбиения минимальной единицы кодирования, составляющей самую низкую глубину, на 4. В качестве альтернативы, минимальная единица может быть максимальной прямоугольной единицей данных, которая может быть включена во все из единиц кодирования, единиц предсказания, единиц разбиения и единиц преобразования, включенных в максимальную единицу кодирования.
Например, информация кодирования, выдаваемая посредством модуля 130 вывода, может быть классифицирована на информацию кодирования в соответствии с единицами кодирования и информацию кодирования в соответствии с единицами предсказания. Информация кодирования в соответствии с единицами кодирования может включать в себя информацию о режиме предсказания и о размере элементов разбиения. Информация кодирования в соответствии с единицами предсказания может включать в себя информацию об оцененном направлении межкадрового режима, об индексе опорного изображения межкадрового режима, о векторе движения, о составляющей цветности внутрикадрового режима, и о способе интерполяции внутрикадрового режима. Также в SPS (Наборе Параметров Последовательности) или заголовок битового потока может быть вставлена информация о максимальном размере единицы кодирования, определенной в соответствии с кадрами, последовательностями макроблоков (слайсами) или GOP, и информация о максимальной глубине.
В устройстве 100 кодирования видео, более глубокая единица кодирования может быть единицей кодирования, получаемой посредством деления надвое высоты или ширины единицы кодирования верхней глубины, которая на один уровень выше. Другими словами, когда размер единицы кодирования текущей глубины составляет 2N×2N, то размер единицы кодирования более низкой глубины составляет N×N. Также, единица кодирования текущей глубины, размером 2N×2N, может включать в себя максимум 4 единицы кодирования более низкой глубины.
Соответственно, устройство 100 кодирования видео может формировать единицы кодирования с древовидной структурой посредством определения единиц кодирования оптимальной формы и оптимального размера применительно к каждой максимальной единице кодирования, на основании размера максимальной единицы кодирования и максимальной глубины, определенной, принимая во внимание характеристики текущего кадра. Также, поскольку кодирование может выполняться над каждой максимальной единицей кодирования посредством использования одного из различных режимов предсказания и преобразований, то оптимальный режим кодирования может определяться, принимая во внимание характеристики единицы кодирования различных размеров изображения.
Таким образом, если изображение с высоким разрешением или большим объемом данных кодируется в обычном макроблоке, то количество макроблоков на кадр чрезмерно возрастает. Соответственно, растет количество частей сжатой информации, формируемой для каждого макроблока, и таким образом становится трудным передать сжатую информацию и падает эффективность сжатия данных. Тем не менее, посредством использования устройства 100 кодирования видео, эффективность сжатия изображения может быть повышена, поскольку единица кодирования регулируется при рассмотрении характеристик изображения при увеличении максимального размера единицы кодирования при рассмотрении размера изображения.
Фиг. 2 является структурной схемой устройства 200 декодирования видео в соответствии с характерным вариантом осуществления.
Устройство 200 декодирования видео включает в себя приемник 210, модуль 220 извлечения данных изображения и информации кодирования и декодер 230 данных изображения. Определения различных терминов, таких как единица кодирования, глубина, единица предсказания, единица преобразования и информация о различных режимах кодирования, применительно к различным операциям устройства 200 декодирования видео, идентичны тем, что описаны со ссылкой на Фиг. 1 и устройство 100 кодирования видео.
Приемник 210 принимает и анализирует битовый поток закодированного видео. Модуль 220 извлечения данных изображения и информации кодирования извлекает закодированные данные изображения для каждой единицы кодирования из проанализированного битового потока, при этом единицы кодирования обладают древовидной структурой в соответствии с каждой максимальной единицей кодирования и выдает извлеченные данные изображения декодеру 230 данных изображения. Модуль 220 извлечения данных изображения и информации кодирования может извлекать информацию о максимальном размере единицы кодирования текущего кадра, из заголовка о текущем кадре или SPS.
Также модуль 220 извлечения данных изображения и информации кодирования извлекает информацию о кодируемой глубине и режиме кодирования из единиц кодирования с древовидной структурой в соответствии с каждой максимальной единицей кодирования, из проанализированного битового потока. Извлеченная информация о кодируемой глубине и режиме кодирования выдается декодеру 230 данных изображения. Другими словами, данные изображения в битовом потоке разбиты на максимальные единицы кодирования, так что декодер 230 данных изображения декодирует данные изображения для каждой максимальной единицы кодирования.
Информация о кодируемой глубине и режиме кодирования в соответствии с максимальной единицей кодирования может быть установлена применительно к информации о, по меньшей мере, одной единице кодирования, соответствующей кодируемой глубине, а информация о режиме кодирования может включать в себя информацию: о типе разбиения соответствующей единицы кодирования, которая соответствует кодируемой глубине; о режиме предсказания; и размер единицы преобразования. Так же в качестве информации о кодируемой глубине может быть извлечена информация разбиения согласно глубинам.
Информация о кодируемой глубине и режиме кодирования в соответствии с каждой максимальной единицей кодирования, извлеченные модулем 220 извлечения данных изображения и информации кодирования, является информацией о кодируемой глубине и режиме кодирования, определенными для формирования минимальной ошибки кодирования, когда кодировщик, такой как устройство 100 кодирования видео, неоднократно выполняет кодирование для каждой более глубокой единицы кодирования согласно глубинам в соответствии с каждой максимальной единице кодирования. Соответственно, устройство 200 декодирования видео может восстанавливать изображение посредством декодирования данных изображения согласно кодируемой глубине и режиму кодирования, которые формируют минимальную ошибку кодирования.
Поскольку информация кодирования о кодируемой глубине и режиме кодирования может быть назначена заранее определенной единице данных, соответствующей одному из: единице кодирования; единице предсказания; и минимальной единицы, то модуль 220 извлечения данных изображения и информации кодирования может извлекать информацию о кодируемой глубине и режиме кодирования в соответствии с заранее определенными единицами данных. Может предполагаться, что заранее определенные единицы данных, которым назначена одинаковая информация о кодируемой глубине и режиме кодирования, могут быть единицами данных, включенными в одну и ту же максимальную единицу кодирования.
Декодер 230 данных изображения восстанавливает текущий кадр посредством декодирования данных изображения в каждой максимальной единице кодирования на основании информации о кодируемой глубине и режиме кодирования в соответствии с максимальными единицами кодирования. Другими словами, декодер 230 данных изображения может декодировать закодированные данные изображения на основании извлеченной информации о типе разбиения, режиме предсказания и единице преобразования для каждой единицы кодирования из числа единиц кодирования с древовидной структурой, включенных в каждую максимальную единицу кодирования. Процесс декодирования может включать в себя предсказание, включающее в себя внутрикадровое предсказание и компенсацию движения, и обратное преобразование. Обратное преобразование может выполняться в соответствии со способом обратного ортогонального преобразования или обратного целочисленного преобразования.
Декодер 230 данных изображения может выполнять внутрикадровое предсказание или компенсацию движения в соответствии с элементом разбиения и режимом предсказания каждой единицы кодирования, на основании информации о типе разбиения и режиме предсказания единицы предсказания единицы кодирования согласно кодируемым глубинам.
Также, декодер 230 данных изображения может выполнять обратное преобразование в соответствии с каждой единицей преобразования в единице кодирования, на основании информации о размере единицы преобразования единицы кодирования согласно кодируемым глубинам, чтобы выполнять обратное преобразование в соответствии с максимальными единицами кодирования.
Декодер 230 данных изображения может определять, по меньшей мере, одну кодируемую глубину текущей максимальной единицы кодирования посредством использования информации разбиения согласно глубинам. Если информация разбиения указывает на то, что при текущей глубине данные изображения далее не разбиваются, то текущая глубина является кодируемой глубиной. Соответственно, декодер 230 данных изображения может декодировать закодированные данные, по меньшей мере, одной единицы кодирования, соответствующей каждой кодируемой глубине в текущей максимальной единице кодирования, посредством использования информации о: типе разбиения единицы предсказания, режиме предсказания и размере единицы преобразования для каждой единицы кодирования соответствующей кодируемой глубины, и выдать данные изображения текущей максимальной единицы кодирования.
Другими словами, единицы данных, содержащие информацию кодирования, включающую в себя одинаковую информацию разбиения, могут собираться вместе посредством просмотра набора информации кодирования, назначенного для заранее определенной единицы данных из числа единицы кодирования, единицы предсказания и минимальной единицы, и собранные единицы данных могут рассматриваться как являющиеся одной единицей данных, которая должна декодироваться декодером 230 данных изображения в одном и том же режиме кодирования.
Устройство 200 декодирования видео может получать информацию о, по меньшей мере, одной единице кодирования, которая формирует минимальную ошибку кодирования, когда кодирование выполняется рекурсивно применительно к каждой максимальной единице кодирования, и может использовать информацию для декодирования текущего кадра. Другими словами, могут декодироваться единицы кодирования с древовидной структурой, определенные как оптимальные единицы кодирования в каждой максимальной единице кодирования. Также максимальный размер единицы кодирования определяется, принимая во внимание разрешение и объем данных изображения.
Соответственно, даже если данные изображения имеют высокое разрешение и большой объем данных, то данные изображения могут эффективно декодироваться и восстанавливаться посредством использования размера единицы кодирования и режима кодирования, которые адаптивно определяются в соответствии с характеристиками данных изображения, посредством использования информации об оптимальном режиме кодирования, принятой от кодировщика.
Теперь со ссылкой на Фиг. 3-13 будет описан способ определения единиц кодирования, с древовидной структурой, единицы предсказания и единицы преобразования в соответствии с характерным вариантом осуществления.
Фиг. 3 является схемой для описания концепции единиц кодирования в соответствии с характерным вариантом осуществления.
Размер единицы кодирования может выражаться в ширине×высоту и может быть 64×64, 32×32, 16×16, и 8×8. Единица кодирования размером 64×64 может быть разбита на элементы разбиения размером 64×64, 64×32, 32×64 или 32×32, а единица кодирования размером 32×32 может быть разбита на элементы разбиения размером 32×32, 32×16, 16×32 или 16×16, единица кодирования размером 16×16 может быть разбита на элементы разбиения размером 16×16, 16×8, 8×16 или 8×8, и единица кодирования размером 8×8 может быть разбита на элементы разбиения размером 8×8, 8×4, 4×8 или 4×4.
В видеоданных 310, разрешение составляет 1920×1080, максимальный размер единицы кодирования составляет 64, а максимальная глубина составляет 2. В видеоданных 320, разрешение составляет 1920×1080, максимальный размер единицы кодирования составляет 64, а максимальная глубина составляет 3. В видеоданных 330, разрешение составляет 352×288, максимальный размер единицы кодирования составляет 16, а максимальная глубина составляет 1. Максимальная глубина, показанная на Фиг. 3, обозначает суммарное количество разбиений от максимальной единицы кодирования до минимальной единицы кодирования.
Если разрешение высокое или объем данных большой, то максимальный размер единицы кодирования может быть большим настолько, чтобы не только увеличить эффективность кодирования, но также точно отражать характеристики изображения. Соответственно, максимальный размер единицы кодирования видеоданных 310 и 320 с более высоким разрешением, чем видеоданные 330, может быть равен 64.
Поскольку максимальная глубина видеоданных 310 составляет 2, то единицы 315 кодирования видеоданных 310 могут включать в себя максимальную единицу кодирования с размером по горизонтальной оси, равным 64, и единицы кодирования с размерами по горизонтальной оси, равными 32 и 16, поскольку глубины увеличиваются на два уровня, посредством разбиения максимальной единицы кодирования дважды. Между тем, поскольку максимальная глубина видеоданных 330 составляет 1, то единицы 335 кодирования видеоданных 330 могут включать в себя максимальную единицу кодирования с размером по горизонтальной оси, равным 16, и единицы кодирования размером по горизонтальной оси, равным 8, поскольку глубины увеличиваются на один уровень, посредством разбиения максимальной единицы кодирования единожды.
Поскольку максимальная глубина видеоданных 320 составляет 3, то единицы 325 кодирования видеоданных 320 могут включать в себя максимальную единицу кодирования с размером по горизонтальной оси, равным 64, и единицы кодирования с размерами по горизонтальной оси, равными 32, 16 и 8, поскольку глубины увеличиваются на 3 уровня, посредством разбиения максимальной единицы кодирования три раза. По мере увеличения глубины более точно может отображаться подробная информация.
Фиг. 4 является структурной схемой кодировщика 400 изображений, основанного на единицах кодирования, в соответствии с характерным вариантом осуществления.
Кодировщик 400 изображений выполняет операции модуля 120 определения единицы кодирования устройства 100 кодирования видео для кодирования данных изображения. Другими словами, модуль 410 внутрикадрового предсказания выполняет внутрикадровое предсказание по единицам кодирования во внутрикадровом режиме, для текущего кадра 405, а модуль 420 оценки движения и модуль 425 компенсации движения выполняют межкадровую оценку и компенсацию движения по единицам кодирования в межкадровом режиме для текущего кадра 405 посредством использования текущего кадра 405 и опорного кадра 495.
Выходные данные от модуля 410 внутрикадрового предсказания, модуля 420 оценки движения и модуля 425 компенсации движения выдаются в качестве квантованных коэффициентов преобразования посредством модуля 430 преобразования и квантователя 440. Квантованные коэффициенты преобразования восстанавливаются в качестве данных в пространственной области посредством обратного квантователя 460 и модуля 470 обратного преобразования, и восстановленные данные в пространственной области выдаются в качестве опорного кадра 495, после того как были дополнительно обработаны модулем 480 удаления блочности и модулем 490 низкочастотной фильтрации. Квантованные коэффициенты преобразования могут выводиться в качестве битового потока 455 посредством энтропийного кодировщика 450.
Для того чтобы кодировщик 400 изображения мог применяться в устройстве 100 кодирования видео, все элементы кодировщика 400 видео, т.е., модуль 410 внутрикадрового предсказания, модуль 420 оценки движения, модуль 425 компенсации движения, модуль 430 преобразования, квантователь 440, энтропийный кодировщик 450, обратный квантователь 460, модуль 470 обратного преобразования, модуль 480 удаления блочности и модуль 490 низкочастотной фильтрации, выполняют операции на основании каждой единицы кодирования из числа единиц кодирования с древовидной структурой, при этом принимая во внимание максимальную глубину каждой максимальной единицы кодирования.
В частности, модуль 410 внутрикадрового предсказания, модуль 420 оценки движения и модуль 425 компенсации движения определяют элементы разбиения и режим предсказания каждой единицы кодирования из числа единиц кодирования с древовидной структурой, при этом принимая во внимание максимальный размер и максимальную глубину текущей максимальной единицы кодирования, а модуль 430 преобразования определяет размер единицы преобразования в каждой единице кодирования из числа единиц кодирования с древовидной структурой.
Фиг. 5 является структурной схемой декодера 500 изображений, основанного на единицах кодирования, в соответствии с характерным вариантом осуществления.
Модуль 510 анализа анализирует закодированные данные изображения, которые будут декодированы, и информацию о кодировании, требуемую для декодирования из битового потока 505. Закодированные данные изображения выдаются в качестве обратно квантованных данных посредством энтропийного декодера 520 и обратного квантователя 530, и обратно квантованные данные восстанавливаются в данные изображения в пространственной области посредством модуля 540 обратного преобразования.
Модуль 550 внутрикадрового предсказания выполняет внутрикадровое предсказание по единицам кодирования во внутрикадровом режиме в отношении данных изображения в пространственной области, а модуль 560 компенсации движения выполняет компенсацию движения по единицам кодирования в межкадровом режиме посредством использования опорного кадра 585.
Данные изображения в пространственной области, которые прошли через модуль 550 внутрикадрового предсказания и модуль 560 компенсации движения могут выдаваться в качестве восстановленного кадра 595, после того как дополнительно обрабатываются модулем 570 удаления блочности и модулем 580 низкочастотной фильтрации. Также, данные изображения, которые дополнительно обработаны модулем 570 удаления блочности и модулем 580 низкочастотной фильтрации, могут выдаваться в качестве опорного кадра 585.
Для того чтобы декодировать данные изображения в декодере 230 данных изображения устройства 200 декодирования видео, декодер 500 изображений может выполнять операции, которые выполняются после модуля 510 анализа.
Для того чтобы декодер 500 изображения мог применяться в устройстве 200 декодирования видео, все элементы декодера 500 изображений, т.е., модуль 510 анализа, энтропийный декодер 520, обратный квантователь 530, модуль 540 обратного преобразования, модуль 550 внутрикадрового предсказания, модуль 560 компенсации движения, модуль 570 удаления блочности и модуль 580 низкочастотной фильтрации выполняют операции, основанные на единицах кодирования с древовидной структурой для каждой максимальной единицы кодирования.
В частности, модуль 550 внутрикадрового предсказания и модуль 560 компенсации движения выполняют операции, основанные на элементах разбиения и режиме предсказания для каждой из единиц кодирования с древовидной структурой, а модуль 540 обратного преобразования выполняет операции, основанные на размере единицы преобразования для каждой единицы кодирования.
Фиг. 6 является схемой, иллюстрирующей более глубокие единицы кодирования согласно глубинам, и элементы разбиения, в соответствии с характерным вариантом осуществления.
Устройство 100 кодирования видео и устройство 200 декодирования видео используют иерархические единицы кодирования, чтобы принимать во внимание характеристики изображения. Максимальная высота, максимальная ширина и максимальная глубина единиц кодирования могут адаптивно определяться в соответствии с характеристиками изображения или могут быть иным образом установлены пользователем. Размеры более глубоких единиц кодирования согласно глубинам могут быть определены в соответствии с заранее определенным максимальным размером единицы кодирования.
В иерархической структуре 600 единиц кодирования в соответствии с характерным вариантом осуществления максимальная высота и максимальная ширина единиц кодирования, каждая составляет 64, а максимальная глубина составляет 4. Поскольку глубина увеличивается по вертикальной оси иерархической структуры 600, то разбиваются как высота, так и ширина более глубокой единицы кодирования. Также, единица предсказания и элементы разбиения, которые являются основами для кодирования с предсказанием каждой более глубокой единицы кодирования, показаны по горизонтальной оси иерархической структуры 600.
Другими словами, единица 610 кодирования является максимальной единицей кодирования в иерархической структуре 600, при этом глубина равна 0, и размер, т.е., высота на ширину, составляет 64×64. Глубина увеличивается по вертикальной оси, и существуют единица 620 кодирования размером 32×32 и глубиной 1, единица 630 кодирования размером 16×16 и глубиной 2, единица 640 кодирования размером 8×8 и глубиной 3 и единица 650 кодирования размером 4×4 и глубиной 4. Единица 650 кодирования размером 4×4 и глубиной 4 является минимальной единицей кодирования.
Единица предсказания и элементы разбиения единицы кодирования организованы по горизонтальной оси согласно каждой глубине. Другими словами, если единица 610 кодирования размером 64×64 и глубиной 0 является единицей предсказания, то единица предсказания может быть разбита на элементы разбиения, заключенные в единице 610 кодирования, т.е.: элемент 610 разбиения, размером 64×64; элементы 612 разбиения размером 64×32; элементы 614 разбиения, размером 32×64, или элементы 616 разбиения размером 32×32.
Аналогично, единица предсказания единицы 620 кодирования размером 32×32 и глубиной 1, может быть разбита на элементы разбиения, заключенные в единице 620 кодирования, т.е. элемент 620 разбиения размером 32×32, элементы 622 разбиения размером 32×16, элементы 624 разбиения размером 16×32 и элементы 626 разбиения размером 16×16.
Аналогично, единица предсказания единицы 630 кодирования размером 16×16 и глубиной 2, может быть разбита на элементы разбиения, заключенные в единице 630 кодирования, т.е. элемент разбиения размером 16×16, заключенный в единице 630 кодирования, элементы 632 разбиения размером 16×8, элементы 634 разбиения размером 8×16 и элементы 636 разбиения размером 8×8.
Аналогично, единица предсказания единицы 640 кодирования размером 8×8 и глубиной 3, может быть разбита на элементы разбиения, заключенные в единице 640 кодирования, т.е. элемент разбиения размером 8×8, заключенный в единице 640 кодирования, элементы 642 разбиения размером 8×4, элементы 644 разбиения размером 4×8 и элементы 646 разбиения размером 4×4.
Единица 650 кодирования размером 4×4 и глубиной 4 является минимальной единицей кодирования и единицей кодирования с самой нижней глубиной. Единица предсказания единицы 650 кодирования назначается только элементу разбиения размером 4×4.
Для того чтобы определить, по меньшей мере, одну кодируемую глубину единиц кодирования, составляющих максимальную единицу 610 кодирования, модуль 120 определения единицы кодирования устройства 100 кодирования видео выполняет кодирование для единиц кодирования, соответствующих каждой глубине, заключенных в максимальной единице 610 кодирования.
Количество более глубоких единиц кодирования согласно глубинам, включающим в себя данные в том же диапазоне и того же размера, растет по мере увеличения глубины. Например, четыре единицы кодирования, соответствующие глубине 2, требуются, чтобы охватить данные, которые заключены в одной единице кодирования, соответствующей глубине 1. Соответственно, для того чтобы сравнивать результаты кодирования одних и тех же данных согласно глубинам, выполняется кодирование единицы кодирования, соответствующей глубине 1, и каждой из четырех единиц кодирования, соответствующих глубине 2.
Для того чтобы выполнить кодирование для текущей глубины из числа глубин, может выбираться минимальная ошибка кодирования для текущей глубины посредством выполнения кодирования для каждой единицы предсказания в единицах кодирования, соответствующих текущей глубине, по горизонтальной оси иерархической структуры 600. В качестве альтернативы, поиск минимальной ошибки кодирования может производиться посредством сравнения минимальных ошибок кодирования согласно глубинам, посредством выполнения кодирования для каждой глубины, по мере того как глубина увеличивается по вертикальной оси иерархической структуры 600. Глубина и элемент разбиения с минимальной ошибкой кодирования в единице 610 кодирования могут выбираться в качестве кодируемой глубины и типа разбиения единицы 610 кодирования.
Фиг. 7 является схемой для описания взаимосвязи единицы 710 кодирования и единиц 720 преобразования в соответствии с характерным вариантом осуществления.
Устройство 100 или 200 кодирования видео кодирует или декодирует изображение в соответствии с единицами кодирования размеров, меньше либо равных максимальной единице кодирования применительно к каждой максимальной единице кодирования. Размеры единиц преобразования для преобразования во время кодирования могут выбираться на основании единиц данных, которые не больше соответствующих единиц кодирования.
Например, в устройстве 100 или 200 кодирования видео, если размер единицы 710 кодирования равен 64×64, то преобразование может выполняться посредством использования единиц 720 преобразования размером 32×32.
Также, данные единицы 710 кодирования размером 64×64 могут кодироваться, выполняя преобразование по каждой из единиц преобразования размера 32×32, 16×16, 8×8 и 4×4, которые меньше 64×64, а затем может выбираться единица преобразования с минимальной ошибкой кодирования.
Фиг. 8 является схемой для описания информации кодирования единиц кодирования, соответствующих кодируемой глубине, в соответствии с характерным вариантом осуществления.
Модуль 130 вывода устройства 100 кодирования видео может кодировать и передавать информацию 800 о типе разбиения, информацию 810 о режиме предсказания и информацию 820 о размере единицы преобразования для каждой единицы кодирования, соответствующей кодируемой глубине, в качестве информации о режиме кодирования.
Информация 800 указывает информацию о форме элемента разбиения, полученного посредством разбиения единицы предсказания текущей единицы кодирования, при этом элемент разбиения является единицей данных для кодирования с предсказанием текущей единицы кодирования. Например, текущая единица CU_0 кодирования размером 2N×2N может быть разбита на любой из: элемент 802 разбиения размером 2N×2N, элемент 804 разбиения размером 2N×N, элемент 806 разбиения размером N×2N и элемент 808 разбиения размером N×N. В данном случае, информация 800 о типе разбиения установлена таким образом, чтобы указывать один из: элемент 804 разбиения размером 2N×N, элемент 806 разбиения размером N×2N и элемент 808 разбиения размером N×N.
Информация 810 указывает режим предсказания каждого элемента разбиения. Например, информация 810 может указывать режим кодирования с предсказанием, выполняемый над элементом разбиения, указываемым информацией 800, т.е., внутрикадровый режим 812, внутрикадровый режим 814 или режим 816 с пропуском.
Информация 820 указывает единицу преобразования, на которой должно основываться выполнение преобразования текущей единицы кодирования. Например, единица преобразования может быть первой единицей 822 внутрикадрового преобразования, второй единицей 824 внутрикадрового преобразования, первой единицей 826 межкадрового преобразования или второй единицей 828 внутрикадрового преобразования.
Модуль 220 извлечения данных изображения и информации кодирования устройства 200 декодирования видео может извлекать и использовать информацию 800, 810 и 820 для декодирования, в соответствии с каждой более глубокой единицей кодирования.
Фиг. 9 является схемой более глубоких единиц кодирования согласно глубинам в соответствии с характерным вариантом осуществления.
Информация разбиения может использоваться для указания изменения глубины. Информация разбиения указывает, разбита ли единица кодирования текущей глубины на единицы кодирования более низкой глубины.
Единица 910 предсказания для кодирования с предсказанием единицы 900 кодирования глубиной 0 и размером 2N_0×2N_0 может включать в себя элементы разбиения типа 912 разбиения размером 2N_0×2N_0, типа 914 разбиения размером 2N_0×N_0, типа 916 разбиения размером N_0×2N_0 и типа 918 разбиения размером N_0×N_0. Фиг. 9 иллюстрирует только типы с 912 по 918 разбиения, которые получены посредством симметричного разбиения единицы 910 предсказания, но ими тип разбиения не ограничивается, и элементы разбиения единицы 910 предсказания могут включать в себя асимметричные элементы разбиения, элементы разбиения заранее определенной формы и элементы разбиения геометрической формы.
Кодирование с предсказанием неоднократно выполняется над одним элементом разбиения размером 2N_0×2N_0, двумя элементами разбиения размером 2N_0×N_0, двумя элементами разбиения размером N_0×2N_0 и четырьмя элементами разбиения размером N_0×N_0, в соответствии с каждым типом разбиения. Кодирование с предсказанием при внутрикадровом режиме и межкадровом режиме может выполняться по элементам разбиения размеров 2N_0×2N_0, N_0×2N_0, 2N_0×N_0 и N_0×N_0. Кодирование с предсказанием в режиме с пропуском выполняется только по элементу разбиения размером 2N_0×2N_0.
Ошибки кодирования, включая кодирование с предсказанием по типам с 912 по 918 разбиения, сравниваются, и среди типов разбиения определяется тип с минимальной ошибкой кодирования. Если ошибка кодирования является наименьшей при одном из типов с 912 по 916 разбиения, единица 910 предсказания может не разбиваться на более низкую глубину.
Если ошибка кодирования является наименьшей при типе 918 разбиения, глубина меняется с 0 на 1 для разбиения по типу 918 разбиения на операции 920, и кодирование неоднократно выполняется по единицам 930 кодирования с глубиной 2 и размером N_0×N_0 с целью поиска минимальной ошибки кодирования.
Единица 940 предсказания для кодирования с предсказанием единицы 930 кодирования с глубиной 1 и размером 2N_1×2N-1 (=N_0×N_0) может включать в себя элементы разбиения типа 942 разбиения размером 2N_1×2N_1, типа 944 разбиения размером 2N_1×N_1, типа 946 разбиения размером N_1×2N_1 и типа 948 разбиения размером N_1×N_1.
Если ошибка кодирования является наименьшей при типе 948 разбиения, то глубина меняется с 1 на 2 для разбиения на тип 948 разбиения на операции 950, и кодирование неоднократно повторяется по единицам 960 кодирования, глубиной 2 и размером N_2×N_2, с целью поиска минимальной ошибки кодирования.
Когда максимальная глубина равна d, операция разбиения в соответствии с каждой глубиной может выполняться вплоть до того, пока глубина не станет d-1, и информация разбиения может кодироваться вплоть до того, когда глубина равна одному из от 0 до d-2. Другими словами, когда кодирование выполняется вплоть до того момента, когда глубина равна d-1, после того как единица кодирования, соответствующая глубине d-2, разбивается на операции 970, то единица предсказания 990 для кодирования с предсказанием единицы 980 кодирования глубиной d-1 и размером 2N_(d-1)×2N_(d-1) может включать в себя элементы разбиения типа 992 разбиения размером 2N_(d-1)×2N_(d-1), типа 994 разбиения размером 2N_(d-1)×N_(d-1), типа 996 разбиения размером N_(d-1)×2N_(d-1) и типа 998 разбиения размером N_(d-1)×N_(d-1).
Кодирование с предсказанием может неоднократно выполняться по одному элементу разбиения размером 2N_(d-1)×2N_(d-1), двум элементам разбиения размером 2N_(d-1)×N_(d-1), двум элементам разбиения размером N_(d-1)×2N_(d-1), четырем элементам разбиения размером N_(d-1)×N_(d-1) из типов с 992 по 998 разбиения, с целью найти тип разбиения с минимальной ошибкой кодирования.
Даже если тип 998 разбиения имеет минимальную ошибку кодирования, поскольку максимальная глубина равна d, единица CU_(d-1) кодирования с глубиной d-1 далее не разбивается на более низкую глубину, а кодируемая глубина для единиц кодирования, составляющих текущую максимальную единицу 900 кодирования, определяется как d-1, а тип разбиения текущей максимальной единицы 900 кодирования может быть определен как N_(d-1)×N_(d-1). Также, поскольку максимальная глубина равна d, а минимальная единица 980 кодирования с наименьшей глубиной равной d-1 далее не разбивается на более низкую глубину, то информация разбиения для минимальной единицы 980 кодирования не устанавливается.
Единица 999 данных может быть минимальной единицей для текущей максимальной единицы кодирования. Минимальная единица в соответствии с характерным вариантом осуществления может быть прямоугольной единицей данных, полученной посредством разбиения минимальной единицы 980 кодирования на 4. Посредством неоднократного выполнения кодирования, устройство 100 кодирования видео может выбрать глубину с минимальной ошибкой кодирования посредством сравнения ошибок кодирования согласно глубинам единицы 900 кодирования для определения кодируемой глубины и установить соответствующий тип разбиения и режим предсказания в качестве режима кодирования кодируемой глубины.
Раз так, то минимальные ошибки кодирования согласно глубинам, сравниваются по всем глубинам с 1 по d, и глубина с минимальной ошибкой кодирования может быть определена в качестве кодируемой глубины. Кодируемая глубина, тип разбиения единицы предсказания и режим предсказания могут кодироваться и передаваться в качестве информации о режиме кодирования. Также, поскольку единица кодирования разбивается с глубины 0 до кодируемой глубины, то только информация разбиения кодируемой глубины устанавливается в 0, а информация разбиения глубин за исключением кодируемой глубины устанавливается в 1.
Модуль 220 извлечения данных изображения и информации кодирования устройства 200 декодирования видео может извлекать и использовать информацию о кодируемой глубине и единице предсказания единицы 900 кодирования для декодирования элемента 912 разбиения. Устройство 200 декодирования видео может определить глубину, на которой информация разбиения равна 0, в качестве кодируемой глубины, посредством использования информации разбиения согласно глубинам, и использовать информацию о режиме кодирования соответствующей глубины для декодирования.
Фиг. 10-12 являются схемами для описания взаимосвязи между единицами 1010 кодирования, единицами 1060 предсказания и единицами 1070 преобразования в соответствии с характерным вариантом осуществления.
Единицы 1010 кодирования являются единицами кодирования с древовидной структурой, соответствующими кодируемым глубинам, определяемым устройством 100 кодирования видео, в максимальной единице кодирования. Единицы 1060 предсказания являются элементами разбиения единиц предсказания каждой из единиц 1010 кодирования, а единицы 1070 преобразования являются единицами преобразования каждой из единиц 1010 кодирования.
Когда глубина максимальной единицы кодирования равна 0 в единицах 1010 кодирования, то глубины единиц 1012 и 1054 кодирования равны 1, глубины единиц 1014, 1016, 1018, 1028, 1050 и 1052 кодирования равны 2, глубины единиц 1020, 1022, 1024, 1026, 1030, 1032 и 1048 равны 3, а глубины единиц 1040, 1042, 1044 и 1046 равны 4.
В единицах 1060 предсказания, некоторые единицы 1014, 1016, 1022, 1032, 1048, 1050, 1052 и 1054 кодирования получены посредством разбиения единиц кодирования на единицы кодирования 1010. Другими словами, типы разбиения в единицах 1014, 1022, 1050 и 1054 кодирования имеют размер 2N×N, типы разбиения в единицах 1016, 1048 и 1052 кодирования имеют размер N×2N, а тип разбиения единицы 1032 кодирования имеет размер N×N. Единицы предсказания и элементы разбиения единиц 1010 кодирования меньше либо равны каждой единице кодирования.
Преобразование или обратное преобразование выполняется над данными изображения единицы 1052 кодирования в единицах 1070 преобразования в единицах данных, которые меньше единицы 1052 кодирования. Также, единицы 1014, 1016, 1022, 1032, 1048, 1050 и 1052 кодирования в единицах 1070 преобразования отличаются от тех, что состоят из единиц 1060 предсказания в плане размеров и форм. Другими словами, устройства 100 и 200 кодирования и декодирования видео могут выполнять внутрикадровое предсказание, оценку движения, компенсацию движения, преобразование и обратное преобразование по индивидуальным единицам данных в одной и той же единице кодирования.
Соответственно, кодирование рекурсивно выполняется по каждой из единиц кодирования с иерархической структурой в каждой области максимальной единицы кодирования для определения оптимальной единицы кодирования, и таким образом могут быть получены единицы кодирования с рекурсивной древовидной структурой. Информация кодирования может включать в себя информацию о единице кодирования, информацию о типе разбиения, информацию о режиме предсказания и информацию о размере единицы преобразования. Таблица 1 показывает информацию кодирования, которая может быть установлена устройством 100 и 200 кодирования и декодирования видео.
Таблица 1
Информация Разбиения 0 (Кодирование по Единице Кодирования Размером 2N×2N и Текущей Глубиной d) Информация Разбиения 1
Режим предсказания Тип Разбиения Размер единиц Преобразования Неоднократно Кодируют Единицы Кодирования с Более Низкой Глубиной, равной d+1
Внутрикадровый Межкадровый С пропуском (только 2N×2N) Симметричный Тип Разбиения Асимметричный Тип Разбиения Информация Разбиения единицы Преобразования равна 0 Информация Разбиения единицы Преобразования равна 1
2N×2N
2N×N
N×2N
N×N		 2N×nU2
2N×nD
nL×2N
nR×2N		 2N×2N N×N (Симметричный Тип) N/2×N/2 (Асимметричный тип)
Модуль 130 вывода устройства 100 кодирования видео может выводить информацию кодирования о единицах кодирования с древовидной структурой, а модуль 220 извлечения данных изображения и информации кодирования устройства 200 декодирования видео может извлекать информацию кодирования о единицах кодирования с древовидной структурой из принимаемого битового потока.
Информация разбиения указывает на то, разбита ли текущая единица кодирования на единицы кодирования более низкой глубины. Если информация разбиения текущей глубины d равна 0, то глубина, при которой текущая единица кодирования далее не разбивается на более низкую глубину, является кодируемой глубиной, и таким образом для кодируемой глубины могут быть определены информация о типе разбиения, режиме предсказания и размере единицы преобразования. Если текущая единица кодирования дополнительно разбивается в соответствии с информацией разбиения, то кодирование независимо выполняется для четырех разбиваемых единиц кодирования более низкой глубины.
Режим предсказания может быть одним из внутрикадрового режима, межкадрового режима и режима с пропуском. Внутрикадровый режим и межкадровый режим могут быть определены при всех типах разбиения, а режим с пропуском определяется только при типе разбиения размера 2N×2N.
Информация о типе разбиения может указывать симметричные типы разбиения с размерами 2N×2N, 2N×N, N×2N и N×N, которые получаются посредством симметричного разбиения высоты или ширины единицы предсказания, и асимметричные типы разбиения с размерами 2N×nU, 2N×nD, nL×2N и nR×2N, которые получаются посредством асимметричного разбиения высоты или ширины единицы предсказания. Асимметричные типы разбиения с размерами 2N×nU и 2N×nD могут быть соответственно получены посредством разбиения высоты единицы предсказания в соотношении 1:3 и 3:1, а асимметричные типы разбиения с размерами nL×2N и nR×2N могут быть соответственно получены посредством разбиения ширины единицы предсказания в соотношении 1:3 и 3:1.
Размер единицы преобразования может быть установлен из двух типов при внутрикадровом режиме и из двух типов при межкадровом режиме. Другими словами, если информация разбиения единицы преобразования равна 0, то размер единицы преобразования может быть 2N×2N, что является размером текущей единицы кодирования. Если информация разбиения единицы преобразования равна 1, то единицы преобразования могут быть получены посредством разбиения текущей единицы кодирования. Также, если тип разбиения текущей единицы кодирования с размером 2N×2N является симметричным типом разбиения, то размер единицы преобразования может быть N×N, а если тип разбиения текущей единицы кодирования является асимметричным типом разбиения, то размер единицы преобразования может быть N/2×N/2.
Информация кодирования о единицах кодирования с древовидной структурой может включать в себя, по меньшей мере, одно из: единицу кодирования, соответствующую кодируемой глубине, единицу предсказания и минимальную единицу. Единица кодирования, соответствующая кодируемой глубине, может включать в себя, по меньшей мере, одно из: единицу предсказания и минимальную единицу, содержащую точно такую же информацию кодирования.
Соответственно, определяется, включены ли соседние единицы данных в ту же единицу кодирования, соответствующую кодируемой глубине, посредством сравнения информации кодирования соседних единиц данных. Также соответствующая единица кодирования, соответствующая кодируемой глубине, определяется посредством использования информации кодирования единицы данных, и таким образом может определяться распределение кодируемых глубин в максимальной единице кодирования.
Соответственно, если текущая единица кодирования предсказывается на основании информации кодирования соседних единиц данных, то можно непосредственно опираться на и использовать информацию кодирования единиц данных в более глубоких единицах кодирования, соседних для текущей единицы кодирования.
В качестве альтернативы, если текущая единица кодирования предсказывается на основании информации кодирования соседних единиц данных, то производится поиск единиц данных, соседних для текущей единицы кодирования, используя информацию кодирования единиц данных, и найденные соседние единицы кодирования могут служить опорными для предсказания текущей единицы кодирования.
Фиг. 13 является схемой для описания взаимосвязи между единицей кодирования, единицей предсказания или элементом разбиения, и единицей преобразования, в соответствии с информацией режима кодирования в Таблице 1.
Максимальная единица кодирования 1300 включает в себя единицы 1302, 1304, 1306, 1312, 1314, 1316 и 1318 кодирования кодируемых глубин. Здесь, поскольку единица 1318 кодирования является единицей кодирования кодируемой глубины, информация разбиения может быть установлена в 0. Информация о типе разбиения единицы 1318 кодирования размера 2N×2N может быть установлена как одно из: тип 1322 разбиения размером 2N×2N; тип 1324 разбиения размером 2N×N; тип 1326 разбиения размером N×2N; тип 1328 разбиения размером N×N, тип 1332 разбиения размером 2N×nU; тип 1334 разбиения размером 2N×nD; тип 1336 разбиения размером nL×2N; и тип 1338 разбиения размером nR×2N.
Когда тип разбиения установлен как симметричный, т.е. тип 1322, 1324, 1326 или 1328 разбиения, и если информация разбиения (флаг размера TU) единицы преобразования равен 0 то устанавливается единица 1342 преобразования с размером 2N×2N, а если флаг размера TU равен 1, то устанавливается единица 1344 преобразования с размером N×N.
Когда тип разбиения установлен как асимметричный, т.е., тип 1332, 1334, 1336 или 1338 разбиения, и если флаг размера TU равен 0, то устанавливается единица 1352 преобразования размером 2N×2N, а если флаг размера TU равен 1, то устанавливается единица 1354 преобразования размером N/2×N/2.
Обращаясь к Фиг. 13, флаг размера TU является флагом со значением либо 0, либо 1, но флаг размера TU не ограничивается только до 1 бита, и единица преобразования может иерархически разбиваться, образуя древовидную структуру по мере роста флага размера TU от 0.
В данном случае, размер единицы преобразования, который был фактически использован, может выражаться посредством использования флага размера TU единицы преобразования, в соответствии с характерным вариантом осуществления, совместно с максимальным размером и минимальным размером единицы преобразования. В соответствии с характерным вариантом осуществления устройство 100 кодирования видео выполнено с возможностью кодирования информации о максимальном размере единицы преобразования, информации о минимальном размере единицы преобразования и флаге максимального размера TU. Результат кодирования информации о максимальном размере единицы преобразования, информации о минимальном размере единицы преобразования и флаге максимального размера TU может вставляться в SPS. В соответствии с характерным вариантом осуществления устройство 200 декодирования видео может декодировать видео при помощи информации о максимальном размере единицы преобразования, информации о минимальном размере единицы преобразования и флаге максимального размера TU.
Например, если размер текущей единицы кодирования равен 64×64, а максимальный размер единицы преобразования равен 32×32, то затем размер единицы преобразования может быть 32×32, когда флаг размера TU равен 0, может быть 16×16, когда флаг размера TU равен 1, и может быть 8×8, когда флаг размера TU равен 2.
В качестве другого примера, если размер текущей единицы кодирования равен 32×32, а минимальный размер единицы преобразования равен 32×32, то затем размер единицы преобразования может быть 32×32, когда флаг размера TU равен 0. В данном случае флаг размера TU не может быть установлен в значение, отличное от 0, поскольку размер единицы преобразования не может быть меньше, чем 32×32.
В качестве другого примера, если размер текущей единицы кодирования равен 64×64, а флаг максимального размера TU равен 1, то затем флаг размера TU может быть 0 или 1. В данном случае, флаг размера TU не может быть установлен в значение, отличное от 0 или 1.
Таким образом, если задано что флаг максимального размера TU является 'MaxTransformSizeIndex', минимальный размер единицы преобразования 'MinTransformSize', а размер единицы образования равен 'RootTuSize' при флаге размера TU равен 0, то затем текущий минимальный размер единицы преобразования 'CurrMinTuSize', который может определяться в текущей единице кодирования, может быть задан Уравнением (1):
CurrMinTuSize = max(MinTransformSize,RootTuSize/ (2^MaxTransformSizeIndex)) (1)
В сравнении с текущим минимальным размером единицы преобразования 'CurrMinTuSize', который может определяться в текущей единице кодирования, размер единицы кодирования 'RootTuSize' при флаге размера TU, равном 0, может обозначать максимальный размер единицы преобразования, который может быть выбран в системе. В Уравнении (1), 'RootTuSize/(2^MaxTransformSizeIndex)' обозначает размер единицы преобразования, когда размер единицы преобразования 'RootTuSize' при флаге размера TU, равном 0, разбит несколько раз, соответствуя флагу максимального размера TU, а 'MinTransformSize' обозначает минимальный размер преобразования. Таким образом, меньшее значение из 'RootTuSize/(2^MaxTransformSizeIndex)' и 'MinTransformSize' может быть текущим минимальным размером единицы преобразования 'CurrMinTuSize', которое может быть определено в текущей единице кодирования.
В соответствии с характерным вариантом осуществления максимальный размер единицы преобразования RootTuSize может меняться согласно типу режима предсказания.
Например, если текущим режимом предсказания является межкадровый режим, то RootTuSize может определяться при помощи Уравнения (2) ниже. В Уравнении (2), 'MaxTransformSize' обозначает максимальный размер единицы преобразования, а 'PUSize' обозначает текущий размер единицы предсказания.
RootTuSize = min(MaxTransformSize, PUSize) (2)
То есть если текущим режимом предсказания является межкадровый режим, то размер единицы преобразования 'RootTuSize' при флаге размера TU, равном 0, может быть меньшим значением из максимального размера единицы преобразования и текущего размера единицы предсказания.
Если режимом предсказания текущей единицы разбиения является внутрикадровый режим, то 'RootTuSize' может определяться при помощи Уравнения (3) ниже. В Уравнении (3) 'PartitionSize' обозначает размер текущей единицы разбиения.
RootTuSize = min(MaxTransformSize, PartitionSize) (3)
То есть, если текущим режимом предсказания является внутрикадровый режим, то размер единицы преобразования 'RootTuSize' при флаге размера TU, равном 0, может быть меньшим значением из максимального размера единицы преобразования и размером текущей единицы разбиения.
Тем не менее, текущий максимальный размер единицы преобразования 'RootTuSize', который меняется в зависимости от типа режима предсказания в единице разбиения, является всего лишь примером и этим не ограничивается.
Теперь подробно будет описано внутрикадровое предсказание, выполняемое модулем 410 внутрикадрового предсказания устройства 100 кодирования видео, проиллюстрированным на Фиг. 4, и модулем 550 внутрикадрового предсказания устройства 200 декодирования видео, проиллюстрированным на Фиг. 5. В нижеследующем описании единица кодирования обозначает текущий кодируемый блок в процессе кодирования изображения, а единица декодирования обозначает текущий декодируемый блок в процессе декодирования изображения. Единица кодирования и единица декодирования отличаются только в том, что единица кодирования используется в процессе кодирования, а единица декодирования используется при декодировании. Для связанности терминов, за исключением конкретного случая, единица кодирования и единица декодирования именуются как единица кодирования, как в процессе кодирования, так и декодирования. Также, единица кодирования может быть единицей предсказания, элементом разбиения предсказания и блоком. Также, специалист в соответствующей области должен понимать, исходя из настоящего технического описания, что способ и устройство внутрикадрового предсказания в соответствии с характерным вариантом осуществления также могут применяться для выполнения внутрикадрового предсказания в обычном видеокодеке.
Фиг. 14 является структурной схемой устройства 1200 внутрикадрового предсказания в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 14, устройство 1200 внутрикадрового предсказания включает в себя модуль 1210 фильтрации соседних пикселей, модуль 1220 определения опорных пикселей и модуль 1230 выполнения внутрикадрового предсказания.
Модуль 1210 фильтрации соседних пикселей фильтрует соседние пиксели, используемые для выполнения внутрикадрового предсказания текущей единицы кодирования, которая будет закодирована, чтобы сформировать отфильтрованные соседние пиксели. Фильтрация соседних пикселей далее будет описана со ссылкой на Фиг. 19 и 20.
Фиг. 19 является схемой, иллюстрирующей текущую единицу 1700 кодирования и соседние пиксели 1710 и 1720, которые будут фильтроваться, в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 19, модуль 1210 фильтрации соседних пикселей фильтрует X соседние пиксели 1710 сверху от текущей единицы 1700 кодирования и Y соседние пиксели 1720 слева от текущей единицы 1700 кодирования, по меньшей мере, единожды, чтобы сформировать отфильтрованные соседние пиксели. В данном случае, если текущая единица 1700 кодирования имеет размер NN, то модуль 1210 фильтрации соседних пикселей может фильтровать 4N соседних пикселей, так что 2N соседних пикселей 1710 находятся сверху от текущей единицы 1700 кодирования, и 2N соседних пикселей 1720 находятся слева от текущей единицы 1700 кодирования. То есть X=2N и Y=2N. Количество соседних пикселей 1710 и 1720, фильтруемых модулем 1210 фильтрации соседних пикселей, этим не ограничивается и может быть изменено, принимая во внимание направленность режима внутрикадрового предсказания, который применяется к текущей единице 1700 кодирования.
Также, на Фиг. 19, если X+Y исходных соседних пикселей 1710 и 1720 сверху и слева от текущей единицы 1700 кодирования представлены ContextOrg[n] (где n является целым числом от 0 до X+Y-1), и крайний снизу соседний пиксель из Y соседних пикселей 1720 имеет значение n=0, т.е. ContextOrg[0], то крайний справа соседний пиксель из X соседних пикселей 1710 имеет значение n=X+Y-1, т.е., ContextOrg[X+Y-1].
Фиг. 20 является схемой для описания процесса фильтрации соседних пикселей в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 20, если 4N исходные соседние пиксели сверху и слева от текущей единицы кодирования с размером N×N представлены ContextOrg[n] (где n является целым числом от 0 до 4N-1), то модуль 1210 фильтрации соседних пикселей фильтрует исходные соседние пиксели посредством вычисления средневзвешенных значений между исходными соседними пикселями, чтобы сформировать первые отфильтрованные соседние пиксели ContextFiltered1[n]. Например, модуль 1210 фильтрации соседних пикселей 1210 формирует первые отфильтрованные соседние пиксели посредством применения фильтра 3-порядка (3-tap) к исходным соседним пикселям ContextOrg[n], как представлено Уравнением (4).
ContextFiltered1[n] = (ContextOrg[n-1]+2*ContextOrg[n]+ContextOrg[n+1])/4 (4)
Обращаясь к Уравнению (4), модуль 1210 фильтрации соседних пикселей вычисляет средневзвешенное значение соседнего пикселя ContextOrg[n] который фильтруется в настоящий момент, из исходного соседнего пикселя ContextOrg[n-1] и соседнего пикселя ContextOrg[n+1], расположенных слева и справа от соседнего пикселя ContextOrg[n], чтобы сформировать первый отфильтрованный соседний пиксель. Крайние отфильтрованные соседние пиксели из числа первых отфильтрованных соседних пикселей имеют значения исходных соседних пикселей. То есть, ContextFiltered1[0]=ContextOrg[0] и ContextFiltered1[4N-1]=ContextOrg[4N-1].
Аналогичным образом модуль 1210 фильтрации соседних пикселей может вычислить средневзвешенные значения между первыми отфильтрованными соседними пикселями ContextFiltered1[n], чтобы сформировать вторые отфильтрованные соседние пиксели ContextFiltered2[n]. Например, модуль 1210 фильтрации соседних пикселей формирует вторые отфильтрованные соседние пиксели посредством применения фильтра 3-порядка к первым отфильтрованным соседним пикселям ContextFiltered1[n], как представлено Уравнением (5).
ContextFiltered2[n] = (ContextFiltered1[n-1]+2*ContextFiltered1[n]+ContextFiltered1[n+1])/4 (5)
Обращаясь к Уравнению (5), модуль 1210 фильтрации соседних пикселей вычисляет средневзвешенное значение соседнего пикселя ContextFiltered1[n], который фильтруется в настоящий момент, из первого отфильтрованного соседнего пикселя ContextFiltered1[n-1] и соседнего пикселя ContextFiltered1[n+1], расположенных слева и справа от соседнего пикселя ContextFiltered1[n], чтобы сформировать второй отфильтрованный соседний пиксель. Крайние отфильтрованные соседние пиксели из числа вторых отфильтрованных соседних пикселей имеют значения первых соседних пикселей. То есть, ContextFiltered2[0]=ContextFiltered1[0] и ContextFiltered2[4N-1]=ContextFiltered1[4N-1]. Описанный выше процесс фильтрации соседних пикселей может повторяться более чем дважды. Также, количество порядков фильтра для фильтрации соседних пикселей не ограничивается тремя, как описано выше, и может гибко изменяться. Также количество порядков фильтра и коэффициент фильтра для фильтрации соседних пикселей могут применяться адаптивно.
Модуль 1220 определения опорного пикселя определяет отфильтрованные соседние пиксели или исходные соседние пиксели в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущей единицы кодирования. Более подробно, модуль 1220 определения опорных пикселей выбирает исходные соседние пиксели, первые отфильтрованные соседние пиксели или вторые отфильтрованные соседние пиксели в качестве опорных пикселей в соответствии с размером текущей единицы кодирования и типом режима внутрикадрового предсказания, выполняемого в настоящий момент. Например, если ссылочный индекс режима предсказания, использующего исходные соседние пиксели, равен 0, ссылочный индекс режима предсказания, использующего первые отфильтрованные соседние пиксели, равен 1, и ссылочный индекс режима предсказания, использующего вторые отфильтрованные соседние пиксели, равен 2, то модуль 1220 определения опорных пикселей может определить тип соседних пикселей, которые будут использоваться для выполнения внутрикадрового предсказания, в соответствии с размером текущей единицы кодирования и типом режима внутрикадрового предсказания, который будет выполняться в текущий момент, как показано на Таблице 2.
Таблица 2
Режим Предсказания Размер Единицы Кодирования Режим Предсказания Размер Единицы Кодирования
0 4×4 8×8 16×16 32×32 64×64 N×N (N>64)   4×4 8×8 16×16 32×32 64×64 N×N (N>64)
1 0 1 0 0 0 0 17 - - 2 2 - -
2 0 1 0 0 0 0 18 - - 2 2 - -
3 0 1 0 0 0 0 19 - - 2 2 - -
4 0 1 0 0 0 0 20 - - 2 2 - -
5 1 2 2 2 2 2 21 - - 2 2 - -
6 1 2 2 2 - - 22 - - 2 2 - -
7 1 2 2 2 - - 23 - - 2 2 - -
8 1 2 2 2 - - 24 - - 2 2 - -
9 - - 2 2 - - 25 - - 2 2 - -
10 - - 2 2 - - 26 - - 2 2 - -
11 - - 2 2 - - 27 - - 2 2 - -
12 - - 2 2 - - 28 - - 2 2 - -
13 - - 2 2 - - 29 - - 2 2 - -
14 - - 2 2 - - 30 - - 2 2 - -
15 - - 2 2 - - 31 - - 2 2 - -
16 - - 2 2 - - 32 - - 2 2 - -
Обращаясь к Таблице 2, например, если текущая единица кодирования имеет размер 32×32, и внутрикадровое предсказание выполняется посредством использования режима 4 внутрикадрового предсказания, то ссылочный индекс равен 0, и таким образом модуль 1220 определения опорных пикселей определяет исходные соседние пиксели ContextOrg[n] в качестве опорного пикселя, который будет использоваться для выполнения внутрикадрового предсказания в текущей единице кодирования. Режимы внутрикадрового предсказания в Таблице 2 представляют собой режимы внутрикадрового предсказания, показанные в Таблице 3. Также, знак «-» в Таблице 2 представляет собой то, что режим внутрикадрового кодирования для соответствующего размера единицы кодирования не определен. Таблица 2 основана на режимах внутрикадрового предсказания, показанных в Таблице 3, и показана в качестве примера. При другой Таблице 3, поскольку согласно размерам единиц кодирования устанавливаются другие режимы внутрикадрового предсказания, ссылочные индексы в Таблице 2 могут быть установлены по-другому.
Вновь обращаясь к Фиг. 14, если модуль 1220 определения опорных пикселей определяет опорные пиксели, которые будут использоваться для выполнения внутрикадрового предсказания текущей единицы кодирования, из исходных соседних пикселей и отфильтрованных соседних пикселей, то модуль 1230 выполнения внутрикадрового предсказания выполняет внутрикадровое предсказания посредством использования определенных опорных пикселей в соответствии с режимом внутрикадрового предсказания, который доступен согласно размеру текущей единицы кодирования, чтобы сформировать предсказанную единицу кодирования.
Фиг. 15 является таблицей, показывающей количество режимов внутрикадрового предсказания согласно размерам единиц кодирования в соответствии с характерным вариантом осуществления.
В соответствии с характерным вариантом осуществления количество режимов внутрикадрового предсказания, которые могут применяться к единице кодирования (единице декодирования в процессе декодирования), может быть задано переменным. Например, обращаясь к Фиг. 15, если размер единицы кодирования, для которой выполняется внутрикадровое предсказание, равен N×N, то количество фактически выполняемых режимов внутрикадрового предсказания для единиц кодирования размером 2×2, 4×4, 8×8, 16×16, 32×32, 64×64 и 128×128, может быть соответственно установлено как 5, 9, 9, 17, 33, 5 и 5 (в Примере 2). В качестве другого примера, когда размер единицы кодирования, которая должна быть предсказана внутрикадровым образом, равна N×N, то количество режимов фактически выполняемого внутрикадрового предсказания для единиц кодирования размера 2×2, 4×4, 8×8, 16×16, 32×32, 64×64 и 128×128 может быть установлено как 3, 17, 34, 34, 34, 5 и 5. Количество режимов фактически выполняемого внутрикадрового предсказания по-разному установлены согласно размерам единиц кодирования, так как расходы на кодирование информации режима предсказания отличаются в соответствии с размерами единиц кодирования. Другими словами, небольшая единица кодирования занимает небольшую часть всех данных изображении, но может иметь большие расходы, для того чтобы передать дополнительную информацию, такую как информация режима предсказания единицы кодирования. Соответственно, если небольшая единица кодирования кодируется при помощи чересчур большого количества режимов кодирования, то может вырасти количество бит, и таким образом может упасть эффективность сжатия. Также большая единица кодирования, например, единица кодирования, равная или больше, чем 64×64, как правило, соответствует плоской области данных изображения, и таким образом кодирование большой области при помощи чересчур большого количества режимов кодирования может также уменьшить эффективность сжатия.
Таким образом, в соответствии с характерным вариантом осуществления единицы кодирования грубо классифицируются на, по меньшей мере, три размера, такие как N1×N1 (где 2=N1=4, и N1 является целым числом), N2×N2 (где 8=N2=32, и N2 является целым числом) и N3×N3 (где 64=N3, и N3 является целым числом). Если количество режимов внутрикадрового предсказания, выполняемого для единиц кодирования размером N1×N1, равно A1 (где A1 является положительным целым числом), количество режимов внутрикадрового предсказания, выполняемого для единиц кодирования размером N2×N2, равно A2 (где A2 является положительным целым числом), и количество режимов внутрикадрового предсказания, выполняемого для единиц кодирования размером N3×N3, равно A3 (где A3 является положительным целым числом), то количество режимов предсказания выполняемых в соответствии с размерами единиц кодирования может быть установлено так, чтобы выполнялось условие A3=A1=A2. То есть, если текущий кадр разбит на небольшие единицы кодирования, средние единицы кодирования и большие единицы кодирования, то может быть установлено, чтобы средние единицы кодирования имели наибольшее количество режимов кодирования, и может быть установлено, чтобы небольшие единицы кодирования и большие единицы кодирования имели относительно небольшое количество режимов предсказания. Тем не менее, характерный вариант осуществления этим не ограничивается, и может быть установлено, чтобы небольшие и большие единицы кодирования также имели большое число режимов кодирования. На Фиг. 15 в качестве примера показано и может меняться количество режимов кодирования согласно размерам единиц кодирования.
Фиг. 16A является таблицей, показывающей режимы внутрикадрового предсказания, которые применяются к единице кодирования с заранее определенным размером, в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 15 и 16A, например, когда внутрикадровое предсказание выполняется для единицы кодирования размером 4×4, то единица кодирования может иметь вертикальный режим (режим 0), горизонтальный режим (режим 1), режим прямого хода (DC) (режим 2), режим диагонально вниз-влево (режим 3), режим диагонально вниз-вправо (режим 4), режим вертикально-вправо (режим 5), режим горизонтально-вниз (режим 6), режим вертикально-влево (режим 7) и режим горизонтально-вверх (режим 8).
Фиг. 16B иллюстрирует направления режимов внутрикадрового предсказания, показанных на Фиг. 16A. На Фиг. 16B числа на концах стрелок представляют собой режимы предсказания, соответствующие направлениям предсказания, указанным стрелками. В данном случае, режим 2 является режимом DC, не имеющим направленности и вследствие этого не показанным на Фиг. 16B.
Фиг. 16C является схемой для описания способа выполнения внутрикадрового предсказания для единицы кодирования при помощи режимов внутрикадрового предсказания, показанных на Фиг. 16A.
Обращаясь к Фиг. 16C, предсказанная единица кодирования формируется посредством выполнения доступного режима внутрикадрового предсказания в соответствии с размером текущей единицы кодирования при помощи использования соседних пикселей с A по M текущей единицы кодирования. В качестве примера будет описана операция выполнения кодирования с предсказанием текущей единицы кодирования размером 4×4 в соответствии с режимом 0, т.е., вертикальным режимом, показанным на Фиг. 16A. Исходно значения соседних пикселей с A по D сверху текущей единицы кодирования предсказываются как значения пикселей текущей единицы кодирования. То есть, значение соседнего пикселя A предсказывается в качестве значения четырех пикселей в первом столбце текущей единицы кодирования, значение соседнего пикселя B предсказывается в качестве значения четырех пикселей во втором столбце текущей единицы кодирования, значение соседнего пикселя C предсказывается в качестве значения четырех пикселей в третьем столбце текущей единицы кодирования, а значение соседнего пикселя D предсказывается в качестве значения четырех пикселей в четвертом столбце текущей единицы кодирования. После этого, значения пикселей текущей единицы кодирования, предсказанные при помощи соседних пикселей с A по D, вычитаются из значений пикселя исходной текущей единицы кодирования, чтобы вычислить значение ошибки, и затем кодируется значение ошибки. Между тем, когда применяются различные режимы внутрикадрового предсказания, то соседними пикселями, используемыми в качестве опорных пикселей, могут быть исходные соседние пиксели или отфильтрованные соседние пиксели, как описано выше.
Фиг. 17 иллюстрирует режимы внутрикадрового предсказания, которые применяются к единице кодирования с заранее определенным размером, в соответствии с другим характерным вариантом осуществления.
Обращаясь к Фиг. 15 и 17, например, когда внутрикадровое предсказание выполняется для единицы кодирования размером 2×2, то единица кодирования может суммарно иметь пять режимов, такие как вертикальный режим, горизонтальный режим, режим DC, плоскостной режим и режим диагонально вниз-вправо.
Между тем, если единица кодирования размером 32×32 имеет 33 режима внутрикадрового предсказания, как показано на Фиг. 15, то требуется установить направления 33 режимов внутрикадрового предсказания. В соответствии с характерным вариантом осуществления, для того чтобы установить режим предсказания, имеющий различные направления в дополнение к режимам предсказания, проиллюстрированным на Фиг. 16A-16C и 17, направления предсказания для выбора соседних пикселей, используемых в качестве опорных пикселей для пикселей единицы кодирования, устанавливаются при помощи параметров (dx, dy). Например, если каждый из 33 режимов предсказания заданы как режим N (где N является целым числом от 0 до 32), то режим 0 может быть установлен в качестве вертикального режима, режим 1 может быть установлен в качестве горизонтального режима, режим 2 может быть установлен в качестве режима DC, режим 3 может быть установлен в качестве плоскостного режима, а каждый из режимов с 4 по 31 могут быть заданы в качестве режимов предсказания с направленностью tan-1(dy/dx) при помощи (dx,dy) представленных как одно из (1,-1), (1,1), (1,2), (2,1), (1,-2), (2,1), (1,-2), (2,-1), (2,-11), (5,-7), (10,-7), (11,3), (4,3), (1,11), (1,-1), (12,-3), (1,-11), (1,-7), (3,10), (5,-6), (7,-6), (7,-4), (11,1), (6,1), (8,3), (5,3), (5,7), (2,7), (5,-7) и (4,-3), показанные в Таблице 3.
Таблица 3
Режим # dx dy Режим # dx dy
режим 4 1 -1 режим 18 1 -11
режим 5 1 1 режим 19 1 -7
режим 6 1 2 режим 20 3 -10
режим 7 2 1 режим 21 5 -6
режим 8 1 -2 режим 22 7 -6
режим 9 2 -1 режим 23 7 -4
режим 10 2 -11 режим 24 11 1
режим 11 5 -7 режим 25 6 1
режим 12 10 -7 режим 26 8 3
режим 13 11 3 режим 27 5 3
режим 14 4 3 режим 28 5 7
режим 15 1 11 режим 29 2 7
режим 16 1 -1 режим 30 5 -7
режим 17 12 -3 режим 31 4 -3
Режим 0 является вертикальным режимом, режим 1 является горизонтальным режимом, режим 2 является режимом DC, режим 3 является плоскостным режимом, а режим 32 является билинейным режимом.
Фиг. 18A-18C являются схемами для описания режимов внутрикадрового предсказания с разными направленностями в соответствии с характерным вариантом осуществления.
Как описано выше в отношении Таблицы 3, режимы внутрикадрового предсказания в соответствии с характерным вариантом осуществления могут иметь различные направленности tan-1(dy/dx) посредством использования множества параметров (dx,dy).
Обращаясь к Фиг. 18A, соседние пиксели A и B по продолженной линии 160 с углом tan-1(dy/dx) согласно значений (dx,dy) в Таблице 3 применительно к текущему пикселю P в текущей единице кодирования, которая будет предсказана, могут использоваться в качестве предсказывающего параметра текущего пикселя P. В данном случае, соседние пиксели, используемые в качестве предсказывающих параметров, могут быть ранее закодированными и восстановленными пикселями предыдущей единицы кодирования сверху и слева от текущей единицы кодирования. Также, если продолженная линия 160 проходит между двумя соседними пикселями, расположенными в местоположениях с целочисленными значениями, то в качестве предсказывающего параметра текущего пикселя P может использоваться один из соседних пикселей, находящийся ближе к продолженной линии 160, чем другой.
Также, если продолженная линия 160 проходит между двумя соседними пикселями, расположенными в местоположениях с целочисленными значениями, то в качестве предсказывающего параметра текущего пикселя P может использоваться один из соседних пикселей, находящийся ближе к текущему пикселю P, чем другой, или в качестве предсказывающего параметра может использоваться средневзвешенное значение, вычисленное, принимая во внимание расстояния от соседних пикселей до пересечения продолженной линии 160 с линией, соединяющей соседние пиксели.
Фиг. 18B и 18C являются схемами для описания процесса формирования предсказывающего параметра, когда продолженная линия 160 проходит между соседними пикселями, расположенными в местоположениях с целочисленными значениями, в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 18B, если продолженная линия 160 с углом tan-1(dy/dx), определяемым согласно значения (dx,dy) каждого режима, проходит между соседними пикселями A 151 и B 152, расположенными в местоположениях с целочисленными значениями, как описано выше, то в качестве предсказывающего параметра текущего пикселя P может использоваться либо один из соседних пикселей A 151 и B 152, находящийся ближе к продолженной линии 160, либо средневзвешенное значение, вычисленное, принимая во внимание расстояния от соседних пикселей A 151 и B 152 до пересечения продолженной линии 160 с линией, соединяющей соседние пиксели A 151 и B 152. Например, если расстояние между пересечением и соседним пикселем A 151 равно f, а расстояние между пересечением и соседним пикселем B 152 равно g, то предсказывающий параметр текущего пикселя P может получаться как (A*g+B*f)/(f+g). В данном случае, f и g могут быть расстояниями, выраженными целочисленными значениями. При фактической реализации в программном или аппаратном обеспечении, предсказывающий параметр текущего пикселя P может быть получен посредством выполнения операции сдвига, такой как (g*A+f*B+2)>>2. Как проиллюстрировано на Фиг. 18B, если продолженная линия 160 проходит в местоположении ¼ между соседними пикселями A 151 и B 152, которое ближе к соседнему пикселю A 151, то предсказывающий параметр текущего пикселя P может быть получен как (3*A+B)/4. Данное значение может быть получено посредством выполнения операции сдвига, такой как (3*A+B+2)>>2, принимая во внимание округление.
Между тем, если продолженная линия 160 проходит между соседними пикселями A 151 и B 152, то отрезок между соседними пикселями A 151 и B 152 может быть разбит на заранее определенное число отрезков, и вычислено средневзвешенное значение, принимая во внимание расстояние между пересечением, а соседние пиксели A 151 и B 152 в каждом отрезке могут использоваться в качестве предсказывающих параметров. Например, обращаясь к Фиг. 18C, отрезок между соседними пикселями A 151 и B 152 разбивается на пять отрезков с P1 по P5, и в каждом отрезке может определяться характерное средневзвешенное значение, вычисляемое, принимая во внимание расстояния между пересечением и соседними пикселями A 151 и B 152, и может использоваться в качестве предсказывающего параметра текущего пикселя P. Более подробно, если продолженная линия 160 проходит через отрезок P1, то значение соседнего пикселя A 151 может определяться в качестве предсказывающего значения текущего пикселя P. Если продолженная линия 160 проходит через отрезок P2, то в качестве предсказывающего параметра текущего пикселя P может определяться средневзвешенное значение, вычисленное, принимая во внимание расстояния между центром отрезка P2 и соседними пикселями A 151 и B 152, т.е. (3*A+1*B+2)>>2. Если продолженная линия 160 проходит через отрезок P3, то в качестве предсказывающего параметра текущего пикселя P может определяться средневзвешенное значение, вычисленное, принимая во внимание расстояния между центром отрезка P3 и соседними пикселями A 151 и B 152, т.е. (2*A+2*B+2)>>2. Если продолженная линия 160 проходит через отрезок P4, то в качестве предсказывающего параметра текущего пикселя P может определяться средневзвешенное значение, вычисленное, принимая во внимание расстояния между центром отрезка P4 и соседними пикселями A 151 и B 152, т.е. (1*A+3*B+2)>>2. Если продолженная линия 160 проходит через отрезок P5, то в качестве предсказывающего параметра текущего пикселя P может определяться значение соседнего пикселя B 152.
Также, как проиллюстрировано на Фиг. 18A, если продолженная линия 160 соприкасается с двумя соседними пикселями, такими как соседний пиксель A на верхней стороне и соседним пикселем B с левой стороны, то в качестве предсказывающего параметра текущего пикселя P может использоваться среднее значение соседних пикселей A и B. В качестве альтернативы, соседний пиксель A может использоваться, если значение dx*dy является положительным числом, а соседний пиксель B может использоваться, если значение dx*dy является отрицательным числом. Также, как описано выше, соседние пиксели, используемые в качестве опорных пикселей, могут быть исходными пикселями или отфильтрованными пикселями.
Режимы внутрикадрового предсказания, имеющие разные направленности в Таблице 3, могут быть предварительно установлены на стороне кодировщика и стороне декодера, и таким образом каждая единица кодирования может передавать индексы, соответствующие только установленным режимам внутрикадрового предсказания.
В соответствии с характерным вариантом осуществления, так как кодирование с предсказанием выполняется в соответствии с режимами внутрикадрового предсказания, гибко устанавливаемыми согласно размерам единицы кодирования, то эффективность сжатия изображения может быть улучшена в соответствии с характеристиками изображения. Также, в соответствии с характерным вариантом осуществления, так как для выполнения внутрикадрового предсказания избирательно используются либо исходные соседние пиксели, либо отфильтрованные соседние пиксели, то предсказание может выполняться более гибко, и таким образом может быть улучшена эффективность сжатия изображения.
В соответствии с другим характерным вариантом осуществления, вместо использования соседних пикселей, определенных ранее согласно размерам текущей единицы кодирования и типу режима внутрикадрового предсказания, который будет выполняться в настоящий момент, модуль 1230 выполнения внутрикадрового предсказания может выполнять предсказание для текущей единицы кодирования согласно доступному режиму предсказания посредством раздельного использования в качестве опорных пикселей исходных соседних пикселей, первых отфильтрованных пикселей и вторых отфильтрованных пикселей, а модуль 1220 определения опорных пикселей может выбирать соседние пиксели с минимальными затратами в качестве опорных пикселей, которые будут окончательно использованы для выполнения внутрикадрового предсказания текущей единицы кодирования.
Фиг. 21 является блок-схемой, иллюстрирующей способ кодирования видео в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 21, на операции 1910, фильтруются соседние пиксели текущей единицы кодирования, которая кодируется, для формирования отфильтрованных соседних пикселей. Как описано выше, модуль 1210 фильтрации соседних пикселей фильтрует соседние пиксели сверху и слева от текущей единицы кодирования, по меньшей мере, единожды, чтобы сформировать отфильтрованные соседние пиксели. В данном случае, единица кодирования может быть получена посредством разбиения текущего кадра согласно максимальной единице кодирования, то есть единицы кодирования максимального размера, и кодируемой глубины, то есть иерархической информации разбиения максимальной единицы кодирования.
В операции 1920, отфильтрованные соседние пиксели или исходные соседние пиксели выбираются в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущей единицы кодирования. Как описано выше, модуль 1220 определения опорных пикселей может выбрать опорные пиксели согласно размерам текущей единицы кодирования и типу режима внутрикадрового предсказания, который будет выполняться в настоящий момент, как показано на Таблице 2. В соответствии с другим характерным вариантом осуществления модуль 1220 определения опорных пикселей может сравнивать результирующие затраты на кодирование с внутрикадровым предсказанием, выполняемое посредством использования по отдельности исходных соседних пикселей и отфильтрованных соседних пикселей, и может определять соседний пиксель, используемый в конечном итоге для выполнения внутрикадрового предсказания. Также, модуль 1220 определения опорных пикселей может осуществлять сигнализацию для указания того, какой соседний пиксель выбран для выполнения внутрикадрового предсказания текущей единицы кодирования из исходных соседних пикселей и отфильтрованных соседних пикселей. Другими словами, информация о режиме внутрикадрового предсказания может содержать информацию о ссылочном индексе, указывающую, какой соседний пиксель выбран из исходных соседних пикселей и отфильтрованных соседних пикселей для выполнения внутрикадрового предсказания текущей единицы кодирования. Когда опорные пиксели, которые должны использоваться, предварительно установлены на кодирующей стороне и декодирующей стороне, как показано в Таблице 2, то передача информации о ссылочном индексе не требуется.
В операции 1930 внутрикадровое предсказание выполняется для текущей единицы кодирования при помощи выбранных опорных пикселей. Как описано выше, модуль 1230 выполнения внутрикадрового предсказания формирует предсказанную единицу кодирования посредством выполнения внутрикадрового предсказания текущей единицы кодирования, применяя режим внутрикадрового предсказания, который доступен в текущей единице кодирования посредством использования выбранных опорных пикселей, и выдает предсказанную единицу кодирования.
Фиг. 22 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео в соответствии с характерным вариантом осуществления.
Обращаясь к Фиг. 22, в операции 2010, соседние пиксели текущей единицы декодирования, которая будет декодирована, фильтруется для формирования отфильтрованных соседних пикселей.
На операции 2020 информация о режиме внутрикадрового предсказания, который применялся к текущей единице декодирования, извлекается из битового потока. Информация о режиме внутрикадрового предсказания может включать в себя информацию о режиме внутрикадрового предсказания, который применялся к текущей единице декодирования, и информацию о ссылочном индексе, представляющую собой, используются ли в качестве опорных пикселей исходные соседние пиксели или отфильтрованные соседние пиксели. Если, как показано в Таблице 1, одинаковый тип опорных пикселей, которые должны использоваться согласно режимам внутрикадрового предсказания и размеру текущей единицы декодирования, установлен на стороне кодировщика и стороне декодера, то не требуется передавать информацию о ссылочном индексе.
В операции 2030 отфильтрованные соседние пиксели или исходные соседние пиксели выбираются в качестве опорных пикселей, которые будут использоваться для выполнения внутрикадрового предсказания текущей единицы декодирования. Как описано выше, если информация о ссылочном индексе дополнительно включена в битовый поток, то опорные пиксели выбираются в соответствии с извлеченной информацией о ссылочном индексе. Если, как показано в Таблице 2, опорные пиксели могут определяться на основании размера и режима внутрикадрового предсказания текущей единицы декодирования, то определение того, использовать ли в качестве опорных пикселей исходные соседние пиксели или отфильтрованные соседние пиксели, может происходить на основании размера и режима внутрикадрового предсказания текущей единицы декодирования.
В операции 2040, внутрикадровое предсказание выполняется для текущей единицы декодирования при помощи извлеченной информации о режиме внутрикадрового предсказания и выбранных опорных пикселей.
Настоящее изобретение также может быть воплощено в качестве машиночитаемого кода на машиночитаемом носителе записи. Машиночитаемый носитель записи является любым устройством хранения данных, который может хранить данные, которые впоследствии считываются компьютерной системой. Примеры машиночитаемого носителя записи включают в себя постоянную память (ROM), оперативную память (RAM), CD-ROM, магнитные ленты, гибкие диски и оптические устройства хранения данных. Машиночитаемый носитель записи также может распределяться через сеть, объединяющую компьютерные системы, так что машиночитаемый код храниться и исполняется распределенным образом.
Несмотря на то, что настоящее изобретение было, в частности, показано и описано со ссылкой на его характерные варианты осуществления, специалисту в соответствующей области должно быть понятно, что могут быть выполнены различные изменения в форме и деталях, не отступая при этом от сущности и объема изобретения, как определено нижеследующей формулой изобретения. Характерные варианты осуществления должны рассматриваться только в духе, присущем описанию, а не в целях ограничения. Вследствие этого, объем изобретения определяется не подробным описанием изобретения, а нижеследующей формулой изобретения, и все отличия в рамках объема должны толковаться как включенные в настоящее изобретение.

Claims (1)

  1. Устройство декодирования изображения, содержащее:
    энтропийный декодер, который извлекает из битового потока информацию, которая показывает режим внутрикадрового предсказания, примененный к текущему блоку, который должен быть декодирован;
    модуль определения опорных пикселей, который определяет одни из соседних пикселей, смежных с текущим блоком, и отфильтрованных соседних пикселей, отфильтрованных из упомянутых соседних пикселей, в качестве опорных пикселей на основе по меньшей мере одного из размера текущего блока и режима внутрикадрового предсказания текущего блока;
    модуль выполнения внутрикадрового предсказания, который выполняет внутрикадровое предсказание в отношении текущего блока, используя упомянутую извлеченную информацию и упомянутые определенные опорные пиксели, при этом
    изображение разбито на множество максимальных единиц кодирования согласно информации о максимальном размере единицы кодирования,
    в отношении максимальной единицы кодирования выполнено иерархическое разбиение на одну или более единиц кодирования с глубинами в соответствии с информацией разбиения,
    единица кодирования текущей глубины представляет собой одну из прямоугольных единиц данных, полученных разбиением единицы кодирования более высокой глубины,
    когда информацией разбиения указывается разбиение для текущей глубины, единица кодирования текущей глубины разбита на единицы кодирования более низкой глубины, независимо от соседних единиц кодирования, и
    единица кодирования текущей глубины разбита на по меньшей мере одну единицу предсказания.
RU2015101791/08A 2009-08-17 2015-01-21 Способ и устройство для кодирования видео и способ и устройство для декодирования видео RU2595602C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090075855A KR101510108B1 (ko) 2009-08-17 2009-08-17 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR10-2009-0075855 2009-08-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2014101050/08A Division RU2546619C1 (ru) 2009-08-17 2014-01-14 Способ и устройство для кодирования видео и способ и устройство для декодирования видео

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2015129684A Division RU2615323C2 (ru) 2009-08-17 2015-07-20 Способ и устройство для кодирования видео и способ и устройство для декодирования видео

Publications (1)

Publication Number Publication Date
RU2595602C1 true RU2595602C1 (ru) 2016-08-27

Family

ID=43588578

Family Applications (7)

Application Number Title Priority Date Filing Date
RU2013114272/08A RU2517293C1 (ru) 2009-08-17 2010-08-17 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2012105532/08A RU2517193C2 (ru) 2009-08-17 2010-08-17 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2014101050/08A RU2546619C1 (ru) 2009-08-17 2014-01-14 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2014122343/08A RU2602383C2 (ru) 2009-08-17 2014-06-02 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2015101795/08A RU2595604C1 (ru) 2009-08-17 2015-01-21 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2015101791/08A RU2595602C1 (ru) 2009-08-17 2015-01-21 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2015129684A RU2615323C2 (ru) 2009-08-17 2015-07-20 Способ и устройство для кодирования видео и способ и устройство для декодирования видео

Family Applications Before (5)

Application Number Title Priority Date Filing Date
RU2013114272/08A RU2517293C1 (ru) 2009-08-17 2010-08-17 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2012105532/08A RU2517193C2 (ru) 2009-08-17 2010-08-17 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2014101050/08A RU2546619C1 (ru) 2009-08-17 2014-01-14 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2014122343/08A RU2602383C2 (ru) 2009-08-17 2014-06-02 Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2015101795/08A RU2595604C1 (ru) 2009-08-17 2015-01-21 Способ и устройство для кодирования видео и способ и устройство для декодирования видео

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2015129684A RU2615323C2 (ru) 2009-08-17 2015-07-20 Способ и устройство для кодирования видео и способ и устройство для декодирования видео

Country Status (23)

Country Link
US (8) US8605784B2 (ru)
EP (7) EP2454883A4 (ru)
JP (5) JP5650742B2 (ru)
KR (1) KR101510108B1 (ru)
CN (6) CN104811710B (ru)
AU (1) AU2010285492B2 (ru)
BR (5) BR122013019723B1 (ru)
CA (6) CA2823885C (ru)
CY (2) CY1119795T1 (ru)
DK (3) DK3448030T3 (ru)
ES (3) ES2649978T3 (ru)
HR (2) HRP20171827T1 (ru)
HU (3) HUE051705T2 (ru)
LT (2) LT2911396T (ru)
MX (2) MX337921B (ru)
MY (5) MY178504A (ru)
NO (2) NO2911396T3 (ru)
PL (3) PL2911396T3 (ru)
PT (2) PT2911396T (ru)
RU (7) RU2517293C1 (ru)
SI (2) SI2911402T1 (ru)
WO (1) WO2011021839A2 (ru)
ZA (6) ZA201201153B (ru)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
USRE47243E1 (en) * 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
CN106131549B (zh) 2010-04-13 2019-04-05 三星电子株式会社 执行去块滤波的对视频进行解码的设备
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
HUE053802T2 (hu) 2010-07-14 2021-07-28 Ntt Docomo Inc Kis komplexitású intra predikció videó kódoláshoz
KR101530284B1 (ko) 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
HUE040604T2 (hu) * 2010-08-17 2019-03-28 M&K Holdings Inc Berendezés intra predikció mód dekódolására
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
RU2544799C2 (ru) * 2010-09-30 2015-03-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
KR101838183B1 (ko) * 2010-09-30 2018-03-16 한국전자통신연구원 적응적 예측 블록 필터링을 이용한 영상 부호화/복호화 장치 및 방법
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
US10142630B2 (en) * 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
WO2012081895A1 (ko) 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR102086145B1 (ko) 2010-12-13 2020-03-09 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR101831311B1 (ko) * 2010-12-31 2018-02-23 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR101824241B1 (ko) * 2011-01-11 2018-03-14 에스케이 텔레콤주식회사 인트라 부가정보 부호화/복호화 장치 및 방법
US8948271B2 (en) * 2011-01-13 2015-02-03 Texas Instruments Incorporated Method and apparatus for a low complexity transform unit partitioning structure for HEVC
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
US9420294B2 (en) 2011-02-23 2016-08-16 Lg Electronics Inc. Intra-prediction method using filtering, and apparatus using the method
WO2012121575A2 (ko) 2011-03-10 2012-09-13 한국전자통신연구원 인트라 예측 방법 및 그 장치
KR20120103517A (ko) 2011-03-10 2012-09-19 한국전자통신연구원 인트라 예측 방법 및 그 장치
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
WO2012161445A2 (ko) * 2011-05-20 2012-11-29 주식회사 케이티 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
CA3017176C (en) 2011-06-28 2020-04-28 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using intra prediction
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
EP2728872A4 (en) 2011-07-01 2016-05-11 Samsung Electronics Co Ltd VIDEO CODING METHOD WITH INTRAPRADICATION ON THE BASIS OF A TEST PROCESS FOR UNIFORM REFERENCE POSSIBILITY, VIDEO DECODING METHOD AND DEVICE THEREFOR
WO2013005966A2 (ko) * 2011-07-01 2013-01-10 한국전자통신연구원 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR20130004173A (ko) 2011-07-01 2013-01-09 한국항공대학교산학협력단 비디오 부호화 방법 및 복호화 방법과 이를 이용한 장치
PL3139596T3 (pl) 2011-09-13 2020-03-31 Hfi Innovation Inc. Sposób i urządzenie do kodowania wewnątrzklatkowego w HEVC
CN108063943B (zh) 2011-10-17 2021-11-02 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
HUE060005T2 (hu) 2011-10-24 2023-01-28 Gensquare Llc Képdekódoló berendezés
EP2942954B1 (en) * 2011-10-24 2020-06-03 Innotive Ltd Image decoding apparatus
WO2013062194A1 (ko) 2011-10-24 2013-05-02 (주)인터앱 복원 블록을 생성하는 방법 및 장치
PL2945380T3 (pl) 2011-10-24 2022-05-09 Innotive Ltd Sposób i aparat do dekodowania trybu intra-predykcji
MX2014005114A (es) * 2011-10-28 2014-08-27 Samsung Electronics Co Ltd Metodo y aparato para intra-prediccion de video.
WO2013067942A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 一种帧内预测方法和装置
LT3197162T (lt) 2011-12-15 2020-05-11 Tagivan Ii Llc Skaisčio-spalvio koduoto bloko žymų (cbf) signalo perdavimas vaizdo kodavime
WO2013105622A1 (ja) * 2012-01-13 2013-07-18 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
CN103220506B (zh) 2012-01-19 2015-11-25 华为技术有限公司 一种编解码方法和设备
CN104247423B (zh) * 2012-03-21 2018-08-07 联发科技（新加坡）私人有限公司 可伸缩视频编码系统的帧内模式编码方法和装置
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
WO2014107073A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
WO2015135169A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Constrained depth intra mode coding for 3d video coding
US20170339403A1 (en) * 2014-11-04 2017-11-23 Samsung Electronics Co., Ltd. Method and device for encoding/decoding video using intra prediction
CN104333759B (zh) * 2014-11-26 2019-05-10 广东中星微电子有限公司 一种用于svac标准的图像预测方法
US11477484B2 (en) * 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
JP6115968B2 (ja) * 2015-08-04 2017-04-19 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
CN108293116A (zh) 2015-11-24 2018-07-17 三星电子株式会社 视频解码方法及设备和视频编码方法及设备
KR20180075558A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
US10362314B2 (en) * 2015-11-27 2019-07-23 Mediatek Inc. Apparatus and method for video coding by intra-prediction
WO2017105141A1 (ko) 2015-12-17 2017-06-22 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
KR101910873B1 (ko) * 2015-12-28 2018-10-23 연세대학교 산학협력단 예측 모드 맵을 이용한 비디오 코딩의 부호화 방법 및 복호화 방법
US9942548B2 (en) 2016-02-16 2018-04-10 Google Llc Entropy coding transform partitioning information
EP3396953A4 (en) 2016-02-16 2019-01-16 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ENCODING / DECODING AN IMAGE
US10390021B2 (en) 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
KR102346713B1 (ko) * 2016-04-12 2022-01-03 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
US10523949B2 (en) 2016-05-25 2019-12-31 Arris Enterprises Llc Weighted angular prediction for intra coding
US11758136B2 (en) * 2016-06-24 2023-09-12 Electronics And Telecommunications Research Institute Method and apparatus for transform-based image encoding/decoding
EP3509299B1 (en) * 2016-09-05 2024-05-01 Rosedale Dynamics LLC Image encoding/decoding method and device therefor
CN116389728A (zh) * 2016-09-20 2023-07-04 株式会社Kt 对视频进行解码和编码的方法以及传输方法
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US11044472B2 (en) * 2017-01-02 2021-06-22 Industry-University Cooperation Foundation Hanyang University Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
WO2018208349A1 (en) * 2017-05-09 2018-11-15 Google Llc Directional intra-prediction coding
GB2564150A (en) * 2017-07-05 2019-01-09 Sony Corp Image data encoding and decoding
JP2019041165A (ja) 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
WO2019124205A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
MX2020006500A (es) * 2017-12-29 2020-09-17 Ericsson Telefon Ab L M Metodos que proporcionan codificacion y/o decodificacion de video usando valores de referencia y dispositivos relacionados.
CN108429904A (zh) * 2018-06-11 2018-08-21 山东超越数控电子股份有限公司 一种视频光端机时钟电路系统
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
CN110213595B (zh) * 2019-06-25 2021-07-30 浙江大华技术股份有限公司 基于帧内预测的编码方法、图像处理设备和存储装置
CN110166773B (zh) * 2019-06-25 2021-08-31 浙江大华技术股份有限公司 帧内预测方法、视频编码方法、视频处理装置、存储介质
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2329615C2 (ru) * 2003-12-01 2008-07-20 Самсунг Электроникс Ко., Лтд. Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
EP1983758A1 (en) * 2006-02-06 2008-10-22 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus and image decoding method
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3263939D1 (en) 1981-12-09 1985-07-04 Teijin Ltd 5-fluoro-2'-deoxyuridine derivatives and a process for the preparation thereof
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7302006B2 (en) * 2002-04-30 2007-11-27 Hewlett-Packard Development Company, L.P. Compression of images and image sequences through adaptive partitioning
US20040136485A1 (en) * 2002-12-19 2004-07-15 Bennett Forrest H. Method and apparatus for quantum mechanical analysis of molecular systems
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
BRPI0413988A (pt) 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para decodificar blocos intra-inter codificador hìbridos
US7680351B2 (en) 2004-05-21 2010-03-16 Broadcom Corporation Video deblocking method and apparatus
KR100677118B1 (ko) * 2004-06-11 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 그 장치
JP2006005438A (ja) 2004-06-15 2006-01-05 Sony Corp 画像処理装置およびその方法
EP1613091B1 (en) * 2004-07-02 2009-08-26 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
CN100542289C (zh) * 2004-07-13 2009-09-16 杜比实验室特许公司 视频压缩的无偏舍入
CN1306824C (zh) * 2004-07-29 2007-03-21 联合信源数字音视频技术（北京）有限公司 图像边界像素扩展系统及其实现方法
KR20060043051A (ko) 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100657919B1 (ko) * 2004-12-13 2006-12-14 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
US7751478B2 (en) 2005-01-21 2010-07-06 Seiko Epson Corporation Prediction intra-mode selection in an encoder
DE602006020556D1 (de) 2005-04-01 2011-04-21 Panasonic Corp Bilddecodierungsvorrichtung und bilddecodierungsverfahren
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
CN101848391B (zh) * 2005-09-26 2014-11-26 三菱电机株式会社 运动图像编码装置以及运动图像译码装置
KR100750145B1 (ko) 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
CN101001383A (zh) * 2006-01-12 2007-07-18 三星电子株式会社 基于多层的视频编码/解码方法和编码器/解码器
KR100745765B1 (ko) 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
CN101083769B (zh) * 2006-06-02 2011-05-25 三星电子株式会社 处理n比特视频数据的编/解码器和编/解码方法
CN101502119B (zh) 2006-08-02 2012-05-23 汤姆逊许可公司 用于视频编码的自适应几何分割方法和设备
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
EP2232874B1 (en) * 2008-01-08 2012-12-05 Telefonaktiebolaget L M Ericsson (publ) Adaptive filtering
US9008174B2 (en) 2008-01-10 2015-04-14 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2329615C2 (ru) * 2003-12-01 2008-07-20 Самсунг Электроникс Ко., Лтд. Способ масштабируемого кодирования и декодирования видеосигнала и устройство для его осуществления
EP1983758A1 (en) * 2006-02-06 2008-10-22 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus and image decoding method
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding

Also Published As

Publication number Publication date
EP3174292B1 (en) 2018-11-28
ZA201201153B (en) 2015-08-26
US9071839B2 (en) 2015-06-30
US9049458B2 (en) 2015-06-02
CN103220522B (zh) 2016-12-28
ZA201405219B (en) 2015-09-30
CA2888495C (en) 2018-01-16
CN102484719B (zh) 2015-07-01
US9036703B2 (en) 2015-05-19
CN104967845B (zh) 2018-05-01
CY1119802T1 (el) 2018-06-27
EP2911402B1 (en) 2017-11-22
BR122015021744A2 (pt) 2016-04-26
JP2014079012A (ja) 2014-05-01
EP2911402A1 (en) 2015-08-26
ES2649978T3 (es) 2018-01-16
MY171306A (en) 2019-10-08
EP2911396B1 (en) 2017-11-22
US20130329791A1 (en) 2013-12-12
HUE036414T2 (hu) 2018-07-30
DK2911396T3 (en) 2017-12-04
CA2888489A1 (en) 2011-02-24
US9374591B2 (en) 2016-06-21
LT2911396T (lt) 2017-12-11
ZA201405220B (en) 2015-06-24
MY172727A (en) 2019-12-11
DK2911402T3 (en) 2017-12-04
RU2546619C1 (ru) 2015-04-10
EP2677746A2 (en) 2013-12-25
EP3448030A1 (en) 2019-02-27
JP5856190B2 (ja) 2016-02-09
PL3448030T3 (pl) 2020-07-13
BR122013019723B1 (pt) 2022-06-21
JP5937253B2 (ja) 2016-06-22
CA3019998C (en) 2021-01-05
SI2911402T1 (en) 2018-01-31
MY172871A (en) 2019-12-13
EP2911396A1 (en) 2015-08-26
US20140254673A1 (en) 2014-09-11
PL2911402T3 (pl) 2018-04-30
MY178504A (en) 2020-10-14
ZA201503353B (en) 2017-09-27
CA2768694C (en) 2017-06-13
US20150249834A1 (en) 2015-09-03
BR122013019723A2 (pt) 2016-04-26
RU2015129684A (ru) 2017-01-24
MX337921B (es) 2016-03-28
BR122015021747B1 (pt) 2021-10-19
JP2015156708A (ja) 2015-08-27
KR20110018189A (ko) 2011-02-23
PT2911396T (pt) 2017-11-30
CN104967845A (zh) 2015-10-07
CA3019998A1 (en) 2011-02-24
EP2677746A3 (en) 2014-10-01
RU2602383C2 (ru) 2016-11-20
US20130315303A1 (en) 2013-11-28
RU2615323C2 (ru) 2017-04-04
CA2888489C (en) 2017-12-05
JP5650742B2 (ja) 2015-01-07
CA2888490C (en) 2018-11-20
US8989266B2 (en) 2015-03-24
RU2517293C1 (ru) 2014-05-27
ZA201503354B (en) 2016-01-27
US8787458B2 (en) 2014-07-22
US8605784B2 (en) 2013-12-10
EP2911395A1 (en) 2015-08-26
EP3174292A1 (en) 2017-05-31
RU2012105532A (ru) 2013-08-27
BR122015021745B1 (pt) 2021-10-19
CN104811709B (zh) 2016-08-31
RU2014122343A (ru) 2015-12-10
BR112012001687B1 (pt) 2022-06-14
CY1119795T1 (el) 2018-06-27
US20120140824A1 (en) 2012-06-07
JP2015156707A (ja) 2015-08-27
RU2013114272A (ru) 2014-05-20
NO2911402T3 (ru) 2018-04-21
US20150055699A1 (en) 2015-02-26
AU2010285492A1 (en) 2012-01-12
KR101510108B1 (ko) 2015-04-10
JP5937252B2 (ja) 2016-06-22
MX2011013035A (es) 2012-02-21
US8665950B2 (en) 2014-03-04
EP2454883A4 (en) 2014-10-01
HUE051705T2 (hu) 2021-03-29
CA2823885C (en) 2014-11-04
JP5620554B2 (ja) 2014-11-05
HRP20171828T1 (hr) 2018-01-12
CN104811710A (zh) 2015-07-29
CN104811700A (zh) 2015-07-29
ZA201304970B (en) 2013-09-25
PT2911402T (pt) 2017-11-30
JP2013255273A (ja) 2013-12-19
EP3448030B1 (en) 2020-03-11
LT2911402T (lt) 2017-12-11
BR122015021747A2 (pt) 2016-04-26
CA2823885A1 (en) 2011-02-24
CN104811700B (zh) 2016-11-02
CA2888490A1 (en) 2011-02-24
ES2780126T3 (es) 2020-08-24
RU2517193C2 (ru) 2014-05-27
CN104811710B (zh) 2018-05-01
CN104811709A (zh) 2015-07-29
AU2010285492B2 (en) 2014-06-05
DK3448030T3 (da) 2020-03-23
US20110038415A1 (en) 2011-02-17
CA2768694A1 (en) 2011-02-24
JP2013502808A (ja) 2013-01-24
US20150117530A1 (en) 2015-04-30
RU2595604C1 (ru) 2016-08-27
MY158769A (en) 2016-11-15
CA2888495A1 (en) 2011-02-24
BR112012001687A2 (pt) 2016-04-12
CN103220522A (zh) 2013-07-24
HRP20171827T1 (hr) 2018-01-12
WO2011021839A2 (en) 2011-02-24
EP2454883A2 (en) 2012-05-23
HUE036631T2 (hu) 2018-07-30
BR122015021744B1 (pt) 2021-10-19
SI2911396T1 (en) 2018-01-31
PL2911396T3 (pl) 2018-04-30
WO2011021839A3 (en) 2011-04-21
BR122015021745A2 (pt) 2016-04-26
ES2649981T3 (es) 2018-01-16
CN102484719A (zh) 2012-05-30
NO2911396T3 (ru) 2018-04-21

Similar Documents

Publication Publication Date Title
RU2595602C1 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
RU2697628C1 (ru) Способ и устройство кодирования режима внутрикадрового предсказания для блока предсказания изображений и способ и устройство декодирования режима внутрикадрового предсказания для блока предсказания изображений
RU2647690C1 (ru) Способ кодирования видео и устройство кодирования видео с использованием блоков предсказания на основании блоков кодирования, определенных в соответствии с древовидной структурой, и способ декодирования видео и устройство декодирования видео с использованием блоков предсказания на основании блоков кодирования, определенных в соответствии с древовидной структурой
USRE47445E1 (en) Method and apparatus for encoding video, and method and apparatus for decoding video
RU2581553C2 (ru) Способ кодирования видео с использованием регулирований смещения согласно классификации пикселов и устройство для этого, способ и устройство декодирования видео для этого
KR101457396B1 (ko) 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
KR101701342B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR102169608B1 (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
US20110243222A1 (en) Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR20110065089A (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101927970B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101882950B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101780026B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101727065B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
AU2013202078B2 (en) Method and apparatus for encoding video, and method and apparatus for decoding video