RU2404537C2 - Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений - Google Patents

Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений Download PDF

Info

Publication number
RU2404537C2
RU2404537C2 RU2008101377A RU2008101377A RU2404537C2 RU 2404537 C2 RU2404537 C2 RU 2404537C2 RU 2008101377 A RU2008101377 A RU 2008101377A RU 2008101377 A RU2008101377 A RU 2008101377A RU 2404537 C2 RU2404537 C2 RU 2404537C2
Authority
RU
Russia
Prior art keywords
prediction
encoding
intra
component
dynamic image
Prior art date
Application number
RU2008101377A
Other languages
English (en)
Other versions
RU2008101377A (ru
Inventor
Сунити СЕКИГУТИ (JP)
Сунити СЕКИГУТИ
Йосими МОРИЯ (JP)
Йосими МОРИЯ
Казуо СУГИМОТО (JP)
Казуо СУГИМОТО
Йосихиса ЯМАДА (JP)
Йосихиса ЯМАДА
Кохтаро АСАИ (JP)
Кохтаро АСАИ
Токумити МУРАКАМИ (JP)
Токумити МУРАКАМИ
Юити ИДЕХАРА (JP)
Юити ИДЕХАРА
Original Assignee
Мицубиси Электрик Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Мицубиси Электрик Корпорейшн filed Critical Мицубиси Электрик Корпорейшн
Publication of RU2008101377A publication Critical patent/RU2008101377A/ru
Application granted granted Critical
Publication of RU2404537C2 publication Critical patent/RU2404537C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

Изобретение относится к системам кодирования/декодирования цифровых сигналов изображения, используемых для технологии кодирования и сжатия изображений или технологии передачи данных сжатых изображений. Техническим результатом является создание способа формирования битового потока для обеспечения совместимости между битовыми потоками. Указанный технический результат достигается тем, что предложено устройство кодирования динамического изображения для формирования битового потока посредством выполнения над цифровым сигналом динамического изображения кодирования со сжатием, которое выполняется посредством преобразования и квантования цифрового сигнала динамического изображения на основе блоков, причем устройство содержит: блок кодирования для мультиплексирования в битовом потоке идентифицирующей информации, которая указывает, следует ли интра-кодировать все изображения, соответствующие цифровому сигналу динамического изображения, и указывает на наличие или отсутствие фильтра устранения блочности на каждой границе между блоками, служащими единичными элементами преобразования и квантования. 4 н.п. ф-лы, 24 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение имеет отношение к устройству для кодирования цифровых сигналов изображений, устройству для декодирования цифровых сигналов изображений, способу кодирования цифровых сигналов изображений и способу декодирования цифровых сигналов изображений, используемых для технологии кодирования и сжатия изображений или технологии передачи данных сжатых изображений.
Уровень техники
Система кодирования видеосигналов международного стандарта, такая как MPEG или ITU-T H.26x (например, стандарт "Information Technology Coding of Audio-Visual Objects Part 10: Advanced Video Coding", ISO/IEC 14496-10, 2003 (в дальнейшем называемый не патентным документом 1)), традиционно основывается на использовании стандартизированного формата входного сигнала, называемого форматом 4:2:0. Формат 4:2:0 является форматом, в котором цветовой сигнал динамического изображения в виде компонентов RGB или подобном виде преобразовывается в компонент яркости (Y) и два компонента цветности (Cb, Cr), и количество отсчетов компонента цветности уменьшается на половину от количества компонентов яркости как в горизонтальном, так и в вертикальном направлениях. Компонент цветности визуально различается меньше, чем компонент яркости. В соответствии с этим традиционная система кодирования видеосигнала международного стандарта была основана на предпосылке, что количество первоначальной информации, которая должна быть закодирована, сокращается посредством субдискретизации компонентов цветности перед выполнением кодирования, как упомянуто выше. При кодировании видеосигналов для деловых целей, таких как широковещание видео, может использоваться формат 4:2:2 с субдискретизацией компонентов Cb и Cr для уменьшения количества отсчетов компонентов на половину от количества отсчетов компонента яркости только в горизонтальном направлении. Таким образом, цветовое разрешение в вертикальном направлении становится равным яркости, таким образом, увеличивая цветовую воспроизводимость по сравнению с форматом 4:2:0. С другой стороны, недавний рост разрешения и количества оттенков видеоизображения сопровождался исследованиями системы для выполнения кодирования посредством поддержки количества отсчетов, равного количеству компонентов яркости, без субдискретизации компонентов цветности. Формат, в котором количества отсчетов компонентов яркости и цветности полностью равны, называют форматом 4:4:4. Традиционный формат 4:2:0 был ограничен определениями компонентов Y, Cb и Cr цветового пространства вследствие предпосылки субдискретизации компонентов цветности. Однако в случае формата 4:4:4, поскольку нет различия в соотношении количества отсчетов между цветовыми компонентами, могут непосредственно использоваться компоненты R, G и B в дополнение к компонентам Y, Cb и Cr, и может использоваться множество определений цветового пространства. Примером системы кодирования видеосигнала, нацеленной на формат 4:4:4, является публикация Woo-Shik Kim, Dae-Sung Cho и Hyun Mun Kim, "INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004 (в дальнейшем называемая не патентным документом 2).
В формате 4:2:0 кодирования AVC из не патентного документа 1 в области макроблока, составленного из компонентов яркости с размером 16×16 пикселей, соответствующие компоненты цветности являются блоками с размером 8×8 пикселей для обоих компонентов Cb и Cr. При предсказании с компенсацией движения в формате 4:2:0 мультиплексируются информация о размере блока, которая становится элементом предсказания с компенсацией движения только для компонентов яркости, информация опорного изображения, используемая для предсказания, и информации вектора движения каждого блока, и предсказание с компенсацией движения выполняется для компонентов цветности с помощью той же самой информации, как и для компонентов яркости. Формат 4:2:0 имеет такие характеристики в определении цветового пространства, что почти все элементы структурной информации об изображении интегрированы в компонент (текстуры) яркости, для компонента цветности видимость искажений ниже, чем для компонента яркости, и вклад в воспроизводимость видеосигнала является малым, и предсказание и кодирование в формате 4:2:0 основывается на таких характеристиках формата. С другой стороны, в случае формата 4:4:4 три цветовых компонента несут одинаковую информацию о текстуре. Система для выполнения предсказания с компенсацией движения на основе режима предсказания с интер-кодированием, информации опорного изображения и информации вектора движения, зависящих только от одного компонента, не обязательно является оптимальным способом в формате 4:4:4, где цветовые компоненты вносят равные вклады в представление структуры сигнала изображения. Таким образом, система кодирования, предназначенная для формата 4:2:0, выполняет обработку сигналов, отличающуюся от системы кодирования, предназначенной для формата 4:4:4, для выполнения оптимального кодирования, и определения элементов информации, мультиплексированных в закодированном битовом потоке, также являются другими. В результате, чтобы создать устройство для декодирования, способное декодировать сжатые видеоданные во множестве различных форматов, должна быть использована конструкция, в которой битовые потоки для сигналов форматов воспринимаются индивидуально, и, таким образом, конструкция устройства становится неэффективной.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Поэтому задача настоящего изобретения состоит в том, чтобы обеспечить способ формирования битового потока для обеспечения совместимости между битовым потоком, закодированным в пространстве Y, Cb и Cr, как в случае традиционного формата 4:2:0, и битовым потоком, не имеющий различия в соотношении количества отсчетов между цветовыми компонентами, как в случае формата 4:4:4, и полученным посредством сжатия видеосигнала, имеющего свободное определение цветового пространства, и способ декодирования.
Устройство для кодирования динамического изображения, которое принимает, сжимает и кодирует цифровой сигнал динамического изображения, содержит: первый блок определения режима предсказания с интра-кодированием для выполнения предсказания с интра-кодированием над компонентом сигнала, соответствующим компоненту яркости, в случае, когда формат цветности входного сигнала динамического изображения является форматом 4:2:0 или 4:2:2; второй блок определения режима предсказания с интра-кодированием для выполнения предсказания с интра-кодированием над компонентом сигнала, соответствующим компоненту цветности, в случае, когда формат цветности входного сигнала динамического изображения является форматом 4:2:0 или 4:2:2; блок кодирования с переменной длиной для кодирования с переменной длиной первого режима предсказания с интра-кодированием, определенного посредством первого блока определения режима предсказания с интра-кодированием, или второго режима предсказания с интра-кодированием, определенного посредством второго блока определения режима предсказания с интра-кодированием; первый блок формирования изображения предсказания с интра-кодированием для формирования первого изображения предсказания с интра-кодированием на основе первого режима предсказания с интра-кодированием; второй блок формирования изображения предсказания с интра-кодированием для формирования второго изображения предсказания с интра-кодированием на основе второго режима предсказания с интра-кодированием; и блок кодирования для выполнения преобразования и кодирования над сигналом ошибки предсказания, полученным как разность между первым изображением предсказания с интра-кодированием или вторым изображением предсказания с интра-кодированием и соответствующими сигналами цветовых компонентов, включенными во входной сигнал динамического изображения. На основе управляющего сигнала для обеспечения типа формата цветности входного сигнала динамического изображения в случае формата цветности 4:2:0 или 4:2:2 первый блок определения режима предсказания с интра-кодированием и первый блок формирования изображения предсказания с интра-кодированием применяются к компоненту яркости входного сигнала динамического изображения, и второй блок определения режима предсказания с интра-кодированием и второй блок формирования изображения предсказания с интра-кодированием применяются к компоненту цветности входного сигнала динамического изображения. В случае формата цветности 4:4:4 первый блок определения режима предсказания с интра-кодированием и первый блок формирования изображения предсказания с интра-кодированием применяются ко всем цветовым компонентам входного сигнала динамического изображения для выполнения кодирования; и блок кодирования с переменной длиной мультиплексирует управляющий сигнал как данные кодирования, которые должны быть применены к элементу последовательности динамического изображения в битовом потоке.
Кодирование/декодирование могут быть совместно выполнены для множества различных форматов цветности, таких как форматы 4:2:0, 4:2:2 и 4:4:4, посредством эффективной конфигурации устройства, и может быть увеличена взаимная совместимость между закодированными видеоданными.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На сопроводительных чертежах:
Фиг.1 - пояснительная схема, показывающая соотношение между последовательностью, изображением, секцией и макроблоком;
Фиг.2 - пояснительная схема, показывающая процесс общего кодирования;
Фиг.3 - пояснительная схема, показывающая процесс независимого кодирования;
Фиг.4 - блок-схема, показывающая конфигурацию устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения;
Фиг.5 - пояснительные схемы, показывающие режимы предсказания с интра-кодированием для размера N×N (N=4 или 8);
Фиг.6 - пояснительные схемы, показывающие режимы предсказания с интра-кодированием для размера 16×16;
Фиг.7 - пояснительные схемы, показывающие режимы предсказания с интра-кодированием для компонентов Cb/Cr в форматах 4:2:0/4:2:2;
Фиг.8а-8н - пояснительные схемы, показывающие единичные элементы макроблоков;
Фиг.9 - пояснительные схемы, показывающие процессы формирования предсказанного изображения с компенсацией движения для компонента Y в форматах 4:2:0/4:2:2 и для формата 4:4:4;
Фиг.10 - пояснительная схема, показывающая процесс формирования предсказанного изображения с компенсацией движения для компонентов Cb/Cr в форматах 4:2:0/4:2:2;
Фиг.11 - пояснительные схемы, показывающие процессы кодирования разности предсказания для компонента Y в форматах 4:2:0 и 4:2:2;
Фиг.12 - пояснительные схемы, показывающие процессы кодирования разности предсказания для компонентов Cb/Cr в форматах 4:2:0 и 4:2:2;
Фиг.13 - пояснительная схема, показывающая битовый поток;
Фиг.14 - пояснительная схема, показывающая структуру секции;
Фиг.15A и 15B - пояснительные схемы, показывающие секцию в формате 4:4:4, закодированную с помощью общего и независимого кодирования;
Фиг.16 - блок-схема, показывающая конфигурацию устройства для декодирования в соответствии с первым вариантом воплощения настоящего изобретения;
Фиг.17 - пояснительная схема, показывающая внутренний процесс уровня макроблока для блока декодирования с переменной длиной;
Фиг.18 - пояснительная схема, показывающая переключение предсказания с интра-кодированием в соответствии с форматом цветности в компонентах Cb/Cr;
Фиг.19 - пояснительная схема, показывающая переключение компенсации движения в соответствии с форматом цветности в компонентах Cb/Cr;
Фиг.20 - пояснительная схема, показывающая процесс кодирования разности предсказания для компонента Y в форматах 4:2:0, 4:2:2 и для формата 4:4:4;
Фиг.21A и 21B - пояснительные схемы, показывающие процессы кодирования разности предсказания для компонентов Cb/Cr в форматах 4:2:0 и 4:2:2;
Фиг.22 - пояснительная схема, показывающая внутреннюю конфигурацию блока декодирования разности предсказания для компонентов C1 и C2; и
Фиг.23 - пояснительные схемы, показывающие форматы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Первый вариант воплощения
Первый вариант воплощения настоящего изобретения имеет отношение к устройству для кодирования, которое принимает один из видеосигналов в формате цветности 4:2:0 или 4:2:2, определенный в цветовом пространстве (Y, Cb и Cr), и видеосигнал в формате цветности 4:4:4, определенный в цветовом пространстве (R, G и B), (Y, Cb и Cr) или (X, Y и Z), для выполнения видеокодирования и выдает битовый поток, и к устройству для декодирования, которое принимает закодированный битовый поток, сформированный посредством устройства для кодирования, чтобы восстановить сигнал изображения. Ниже в описании три цветовых компонента будут в общем случае называться компонентами (C0, C1 и C2), и в случае форматов цветности 4:2:0 и 4:2:2 компоненты C0, C1 и C2 будут соответственно рассматриваться как компонент Y, компонент Cb и компонент Cr.
Как показано на фиг.1, устройство для кодирования первого варианта воплощения настоящего изобретения принимает видеосигнал, представленный как последовательные во времени данные экранной информации (в дальнейшем называемые изображением), определенные посредством элементов кадров или полей через последовательную дискретизацию. Элемент данных, включающий в себя выстроенные последовательно во времени изображения, называется последовательностью. Последовательность может быть разделена на некоторые группы изображений (GOP). Группа изображений (GOP) используются с целью обеспечения выполнения декодирования, начиная с произвольной начальной группы изображений (GOP), независимо от других групп изображений (GOP) и произвольного доступа к битовому потоку. Изображение также разделено на квадратные блоки, называемые макроблоками, и к нему применяются процессы предсказания, преобразования или квантования на уровне макроблоков, чтобы выполнить сжатие видеоизображения. Элемент, сформированный посредством объединения множества макроблоков, называется секцией. Секция представляет собой элемент данных, который будет закодирован или декодирован независимо от другой секции. Например, при обработке видеосигналов с разрешением, равным или большим разрешения телевидения высокой четкости (HDTV), в режиме реального времени разделение на секции выполняется для параллельного кодирования или декодирования разделенных секций, и, таким образом, сокращается время вычисления. Когда битовый поток передается через линию, имеющую высокий коэффициент ошибок, даже если некоторая секция разрушена под влиянием ошибки и декодированное изображение искажается, правильный процесс декодирования восстанавливается со следующей секции. В общем случае на границе секции не может использоваться предсказание с использованием зависимости сигнала со смежной секцией. Таким образом, по мере увеличения количества секций увеличивается гибкость параллельного процесса и устойчивость к ошибкам, в то время как производительность кодирования уменьшается.
Макроблок в случае каждого из форматов цветности 4:2:0, 4:2:2 или 4:4:4 определен как блок пикселей с размерами W=H=16, как показано на фиг.23. Чтобы выполнить сжатие видеосигнала через процесс предсказания, преобразования или квантования по макроблокам, закодированные данные макроблока, мультиплексированные в битовом потоке, главным образом содержат два типа информации. Один из них является типом вспомогательной информации, отличающейся от непосредственно видеосигнала, такой как режим предсказания, информация предсказания движения или параметр квантования, и эти элементы информации вместе называются заголовком макроблока. Другой из них является непосредственно информация видеосигнала. В соответствии с первым вариантом воплощения настоящего изобретения, видеосигнал, который должен быть закодирован, представляет собой сжатые данные сигнала ошибки предсказания, полученные в результате выполнения предсказания, преобразования или квантования на основе информации заголовка макроблока, и представленные в квантованном виде с коэффициентом преобразования. Таким образом, в дальнейшем видеосигнал будет называться данными коэффициентов квантования.
В дальнейшем процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе общего заголовка макроблока будет называться "процессом общего кодирования", а процесс кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе индивидуальных независимых заголовков макроблока будет называться "процессом независимого кодирования". Аналогично процесс декодирования данных изображения из битового потока, полученного посредством кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе общего заголовка макроблока, будет называться "процессом общего декодирования", а процесс декодирования данных изображения из битового потока, полученного посредством кодирования сигналов трех цветовых компонентов одного кадра или одного поля на основе индивидуальных независимых заголовков макроблока, будет называться "процессом независимого декодирования". Устройство для кодирования первого варианта воплощения настоящего изобретения выполнено с возможностью кодировать сигнал цветности 4:4:4 через процесс, выбранный из процесса общего кодирования и процесса независимого кодирования. В процессе общего кодирования три цветовых компонента одного кадра или одного поля вместе определяются как одно изображение, и изображение разделяется на макроблоки, которые объединяют три цветовых компонента (фиг.2). На фиг.2 и в описании ниже три цветовых компонента будут называться компонентами C0, C1 и C2. С другой стороны, в процессе независимого кодирования входной видеосигнал одного кадра или одного поля разделяется на три цветовых компонента, каждый определяется как изображение, и каждое изображение разделяется на макроблоки, содержащие цветовые компоненты сигнала (фиг.3). Другими словами, макроблок, который должен быть подвергнут процессу общего кодирования, содержит отсчет (пиксель) с тремя цветовыми компонентами C0, C1 и C2, в то время как макроблок, который должен быть подвергнут процессу независимого кодирования, содержит отсчет (пиксель) только с одним из компонентов C0, C1 и C2. В соответствии с устройством для кодирования первого варианта воплощения настоящего изобретения определение макроблока на фиг.2 всегда используется для форматов цветности 4:2:0 и 4:2:2, и используется процесс кодирования, эквивалентный "процессу общего кодирования" или "процессу общего декодирования".
Устройство для кодирования
Фиг.4 показывает конфигурацию устройства для кодирования в соответствии с первым вариантом воплощения настоящего изобретения. В дальнейшем информация для назначения формата цветности входного видеосигнала, который должен быть закодирован, будет называться информацией 1 идентификации формата цветности, и информация идентификации, указывающая, какое кодирование выполнено - через процесс общего кодирования или через процесс независимого кодирования - будет называться информацией 2 идентификации общего кодирования/независимого кодирования.
Входной видеосигнал 3 сначала разделяется на данные макроблоков, показанные на фиг.2 или 3, на основе информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования. В соответствии с информацией 4 указания только интра-кодирования процесс предсказания с интра-кодированием (блок 5 определения режима предсказания с интра-кодированием для компонента C0, блок 6 определения режима предсказания с интра-кодированием для компонентов C1/C2, блок 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блок 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2) и процесс предсказания с компенсацией движения (блок 9 обнаружения движения для компонента C0, блок 10 обнаружения движения для компонентов C1/C2 10, блок 11 компенсации движения для компонента C0 и блок 12 компенсации движения для компонентов C1/C2) выполняются, чтобы выбрать наиболее эффективный для кодирования макроблока режим предсказания (блок 14 выбора режима кодирования), разность предсказания преобразовывается или квантуется (блок 18 кодирования разности предсказания для компонента C0, блок 19 кодирования разности предсказания для компонента C1 и блок 20 кодирования разности предсказания для компонента C2) и вспомогательная информация, такая как режим предсказания или информация о движении, и квантованный коэффициент преобразования кодируются с переменной длиной для формирования битового потока 30 (блок 27 кодирования с переменной длиной). Квантованный коэффициент преобразования локально декодируется (блок 24 локального декодирования для компонента C0, блок 25 локального декодирования для компонента C1 и блок 26 локального декодирования для компонента C2), и предсказанное изображение, полученное на основе вспомогательной информации, и данные опорного изображения суммируются для получения локального декодированного изображения. В случае необходимости выполняется фильтрация устранения блочности (блок 28 фильтра устранения блочности) для подавления искажения на границах блоков, сопровождающего квантование, и затем локальное декодированное изображение сохраняется в памяти 13 кадров и/или памяти 12 строк для использования в последующих процессах предсказания. Когда информация 4 указания только интра-кодирования указывает "выполнение только интра-кодирования", будет выполняться только процесс предсказания с интра-кодированием без выполнения процесса предсказания с компенсацией движения.
Далее будут подробно описаны признаки первого варианта воплощения настоящего изобретения, то есть процесс предсказания с интра-кодированием, процесс предсказания с компенсацией движения, процесс кодирования разности предсказания и процесс кодирования с переменной длиной (и полученная в результате конфигурация битового потока), которые выполняют переключение процессов на основе информации 1 идентификации формата цветности, информации 2 идентификации общего кодирования/независимого кодирования, информации 4 указания только интра-кодирования и т.п.
(1) Процесс предсказания с интра-кодированием
Процесс предсказания с интра-кодированием выполняется посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0, блока 6 определения режима предсказания с интра-кодированием для компонентов C1/C2, блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2, показанных на фиг.4.
В случае форматов цветности 4:2:0 и 4:2:2 для сигнала компонента Y режим 100 предсказания с интра-кодированием для компонента C0 определяется посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0. В этом случае имеется три выбираемых типа режимов: режим предсказания с интра-кодированием с размером 4×4, режим предсказания с интра-кодированием с размером 8×8 и режим предсказания с интра-кодированием с размером 16×16. Для режима предсказания с интра-кодированием с размером 4×4 и режима предсказания с интра-кодированием с размером 8×8 макроблок разделяется на блоки с размером 4×4 пикселей или 8×8 пикселей, и пространственное предсказание с использованием близкого опорного пикселя выполняется для каждого блока, как показано на фиг.5. У этого способа предсказания имеется девять вариантов. Информация о том, какой из этих девяти способов использовался для выполнения предсказания, кодируется как один элемент вспомогательной информации в виде режима предсказания с интра-кодированием. Пиксели, заключенные в прямоугольник с размером 4×4 на фиг.5, являются пикселями, которые должны быть предсказаны, и пиксель, выделенный наклонной штриховкой, является опорным пикселем для формирования предсказанного изображения. Стрелка указывает направление, в котором опорный пиксель воздействует на предсказанное значение. В режиме 2 среднее значение опорных пикселей является предсказанным значением. Фиг.5 показывает пример блока с размером 4×4. Для блока с размером 8×8 пикселей определен аналогичный режим. Через пространственное предсказание, имеющее показанную выше направленность, может быть выполнено эффективное предсказание для структурной информации изображения, такого как контур предмета или шаблон текстуры.
Режим предсказания с интра-кодированием с размером 16×16 используется как режим выполнения предсказания с интра-кодированием для блоков с размером 16×16 без подразделения макроблоков (фиг.6). В этом случае могут быть выбраны четыре типа способов пространственного предсказания, показанные на фиг.6. Этот режим эффективен как режим с увеличением эффектов предсказания посредством малого количества вспомогательной информации для участка изображения, где изображение является однородным.
Для компонентов Cb и Cr посредством блока 6 определения режима предсказания с интра-кодированием для компонентов C1/C2 определяется режим 101 предсказания с интра-кодированием для компонентов C1/C2, отличающийся от компонента Y. (Режимы, соответствующие компонентам C1 и C2, являются режимами 101a и 101b соответственно. Следует отметить, что режимы 101a и 101b всегда равны по значению в случае форматов 4:2:0 и 4:2:2, и один из режимов 101a и 101b мультиплексируется в битовом потоке. Декодер устанавливает декодированные значения как режимы 101a и 101b.) Фиг.7 показывает режимы предсказания с интра-кодированием для компонентов Cb и Cr, которые могут быть выбраны в случае форматов цветности 4:2:0 и 4:2:2. Фиг.7 показывают случай формата 4:2:0, и те же самые режимы используются для формата 4:2:2. Из этих четырех режимов только для режима 0 эквивалентный участок макроблока для компонентов Cb и Cr (блок с размером 8×8 пикселей в случае формата 4:2:0 и блок с размером 8×16 пикселей в случае формата 4:2:2) разделяется на блоки с размером 4×4, и предсказывается среднее значение от сторон для блоков с размером 4×4. Например, для блока с размером 4×4 в верхней левой части усредняются все 8 пикселей участков "a" и "x" или усредняются 4 пикселя участков "a" или "x", и одно из этих средних значений используется в качестве предсказанного значения. Для режимов 1, 2 и 3, как в случае, показанном на фиг.5 и 6, выполняется пространственное предсказание, имеющее направленность. В случае форматов цветности 4:2:0 и 4:2:2 элементы структурной информации, такие как текстура изображения, интегрируются в компонент Y, в то время как для компонентов Cb и Cr, которые являются сигналами компонента цветности, не сохраняется никакая структурная информация изображения. В соответствии с этим эффективное предсказание выполняется посредством описанного выше простого режима предсказания.
В случае формата цветности 4:4:4 компоненты C0, C1 и C2 не установлены как компоненты Y, Cb или Cr, а информация о структуре изображения, эквивалентная компоненту Y, содержится в каждом цветовом компоненте в цветовом пространстве R, G, B. Таким образом, удовлетворительная эффективность предсказания не может быть получена посредством предсказания для компонентов Cb и Cr. Таким образом, в соответствии с устройством для кодирования первого варианта воплощения настоящего изобретения в случае формата цветности 4:4:4 для компонентов C0, C1 и C2 режим предсказания с интра-кодированием выбирается посредством процесса, эквивалентного блоку 5 выбора режима предсказания с интра-кодированием для компонента C0. Более определенно, если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", компоненты C0, C1 и C2 предсказываются только в одном общем режиме предсказания с интра-кодированием. С другой стороны, если информация идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", компоненты C0, C1 и C2 предсказываются в индивидуально полученных режимах предсказания с интра-кодированием. Другими словами, если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", все компоненты C0, C1 и C2 подвергаются предсказанию с интра-кодированием в режиме 100 предсказания с интра-кодированием для компонента C0. Если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", компоненты C1 и C2 подвергаются предсказанию с интра-кодированием в режимах 101a и 101b предсказания с интра-кодированием для компонентов C1 и C2, полученных независимо от компонента C0 из режима предсказания с интра-кодированием, соответствующего компоненту C0, показанного на фиг.5 или 6.
В соответствии с конфигурацией устройства для кодирования, показанного на фиг.4, если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", режим предсказания определяется для компонента C0 посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0, и режим предсказания для компонента C0 используется напрямую или в комбинации с блоком 6 определения режима предсказания с интра-кодированием для компонентов C1/C2 для определения только одного режима предсказания с интра-кодированием, оптимального для всех компонентов C0, C1 и C2. Если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", режим предсказания определяется для компонента C0 посредством блока 5 определения режима предсказания с интра-кодированием для компонента C0, и оптимальные режимы предсказания с интра-кодированием определяются индивидуально для компонентов C1 и C2 посредством блока 6 определения режима предсказания с интра-кодированием для компонентов C1/C2.
Во всех процессах режима предсказания с интра-кодированием значение периферийного пикселя, который становится опорным пикселем, должно являться локальным декодированным изображением, не подвергнутым фильтрации устранения блочности. Таким образом, значение пикселя перед процессом фильтрации устранения блочности, полученное посредством суммирования сигнала 17b локально декодированной разности предсказания, который является выходной информацией блока 24 локального декодирования для компонента C0, блока 25 локального декодирования для компонента C1 и блока 26 локального декодирования для компонента C2, и предсказанного изображения 34, сохраняется в памяти 29 строк для использования для предсказания с интра-кодированием.
На основе режимов предсказания с интра-кодированием соответствующих цветовых компонентов, определенных через упомянутый выше процесс, предсказанные изображения формируются посредством блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2. Для блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2 используются общие с устройством для декодирования элементы, и, таким образом, подробное описание работы будет дано при описании устройства для декодирования.
(2) Процесс предсказания с компенсацией движения
Процесс предсказания с компенсацией движения выполняется посредством блока 9 обнаружения движения для компонента C0, блока 10 обнаружения движения для компонентов C1/C2, блока 11 компенсации движения для компонента C0 и блока 12 компенсации движения для компонентов C1/C2, показанных на фиг.4.
В случае форматов цветности 4:2:0 и 4:2:2 для сигнала компонента Y информация о движении определяется посредством блока 9 обнаружения движения для компонента C0. Информация о движении содержит индекс опорного изображения для указания, какое опорное изображение из данных опорных изображений, сохраненных в памяти 13 кадров, используется для предсказания, и вектор движения, применяемый к опорному изображению, обозначенному посредством индекса опорного изображения.
В блоке 9 обнаружения движения для компонента C0 опорное изображение выбирается из данных опорных изображений предсказания с компенсацией движения, сохраненных в памяти 13 кадров, для выполнения процесса предсказания с компенсацией движения по элементам макроблоков для компонента Y. В памяти 13 кадров сохраняется множество данных опорных изображений для непосредственно предшествующего времени или для множества прошедших/будущих моментов времени, и оптимальное опорное изображение выбирается среди этих данных по элементам макроблоков для выполнения предсказания движения. Имеется семь подготовленных типов размеров блока, которые становятся единичными элементами, для фактического выполнения предсказания с компенсацией движения. Во-первых, как показано на фиг.8A-8D, для макроблоков выбираются любые из размеров 16×16, 16×8, 8×16 и 8×8. Далее, когда выбран размер 8×8, для каждого блока с размером 8×8, как показано на фиг.8E-8H, выбирается любой из размеров 8×8, 8×4, 4×8 и 4×4. Для всех или некоторых размеров блока/размеров подблока на фиг.8A-8H, для вектора движения в пределах предопределенного диапазона поиска и для одного или более пригодных для использования опорных изображений выполняется процесс предсказания с компенсацией движения для каждого макроблока, чтобы получить информацию 102 о движении (вектор движения и индекс опорного изображения) для компонента Y. Для компонентов Cb и Cr используются тот же самый индекс опорного изображения, как и для компонента Y, и вектор движения для компонента Y, чтобы получить информацию 103 о движении для компонентов Cb/Cr (в частности, информация соответствует соотношению количества отсчетов для компонента Y и компонентов Cb и Cr и получается посредством масштабирования вектора движения компонента Y). Этот процесс выполняется посредством блока 10 обнаружения движения для компонентов C1/C2.
Следует отметить, что способы формирования подходящих претендентов для изображений предсказания с компенсацией движения, которые должны быть оценены посредством блока обнаружения движения, и предсказанных изображений, которые должны быть сформированы посредством блока компенсации движения, отличаются для компонента Y и компонентов Cb и Cr в следующем.
Для компонента Y создается не только пиксель (целочисленный пиксель) для позиции, фактически введенной в устройство для кодирования, но также и виртуальные пиксели для позиции 1/2 пикселя, которая является средней точкой между целочисленными пикселями, и пиксели для позиции 1/4 пикселя, которая является средней точкой между 1/2 пикселями, через процесс интерполяции для использования для формирования предсказанных изображений. Эта ситуация показана на фиг.9. На фиг.9, чтобы получить значение пикселя для позиции 1/2 пикселя, используются данные окружающих его 6 пикселей для выполнения фильтрации интерполяции, и, таким образом, получается значение пикселя. Чтобы получить значение пикселя для позиции 1/4 пикселя, используются 2 окружающих его пикселя для выполнения линейной интерполяции через процесс усреднения, и, таким образом, получается значение пикселя. Вектор движения представлен с использованием точности до 1/4 пикселя. С другой стороны, при формировании предсказанного изображения для компонентов Cb и Cr, как показано на фиг.10, значение пикселя для позиции пикселя, обозначенной вектором движения, полученным в результате масштабирования соответствующего вектора движения компонента Y, вычисляется из значений целочисленных пикселей его 4 соседей через процесс взвешенной линейной интерполяции в соответствии с расстоянием между пикселями.
В случае формата 4:4:4 информация о структуре изображения, эквивалентная компоненту Y, содержится в каждом цветовом компоненте в цветовом пространстве R, G, B, в то время как компоненты C0, C1 и C2 не установлены как компоненты Y, Cb или Cr. Таким образом, удовлетворительная эффективность предсказания не может быть получена посредством формирования предсказанного изображения для компонентов Cb и Cr. Таким образом, в соответствии с устройством для кодирования первого варианта воплощения в случае формата цветности 4:4:4 подходящий претендент для предсказанного изображения или предсказанное изображение формируются через процесс блока 9 обнаружения движения компонента C0 и блока 11 компенсации движения компонента C0 вместе с компонентами C0, C1 и C2 для получения информации о движении. Более определенно, если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", только общая информация 102 о движении получается для компонентов C0, C1 и C2. Процесс масштабирования не выполняется, когда вектор движения заданного цветового компонента применяется к другому компоненту, как в случае форматов 4:2:0 и 4:2:2. С другой стороны, если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", каждая информация о движении получается независимо для компонентов C0, C1 и C2. В соответствии с конфигурацией устройства для кодирования на фиг.4, если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", информация 102 о движении компонента C0 определяется для компонента C0 посредством блока 9 обнаружения движения для компонента C0. Для компонентов C1 и C2 напрямую используется информация о движении для компонента C0, или в сочетании только один элемент информации 102 о движении, оптимальный для всех компонентов C0, C1 и C2, определяется посредством использования блока 10 обнаружения движения для компонентов C1/C2. Если формат цветности является форматом 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", информация 102 о движении для компонента C0 определяется посредством блока 9 обнаружения движения для компонента C0. Для компонентов C1 и C2 определяются индивидуальные элементы оптимальной информации 103a и 103b о движении посредством блока 10 обнаружения движения для компонентов C1/C2.
На основе информации о движении, определенной для каждого цветового компонента через упомянутый выше процесс, предсказанные изображения формируются посредством блока 11 компенсации движения для компонента C0 и блока 12 компенсации движения для компонентов C1/C2. Поскольку для блока 11 компенсации движения для компонента C0 и блока 12 компенсации движения для компонентов C1/C2 используются общие с устройством для декодирования элементы, подробное описание работы будет дано при описании устройства для декодирования.
(3) Процесс кодирования разности предсказания
Оптимальный режим предсказания с интра-кодированием, полученный в результате процесса предсказания с интра-кодированием, и его предсказанное изображение, а также оптимальная информация о движении (вектор движения/индекс опорного изображения), полученная в результате процесса предсказания с компенсацией движения, и ее предсказанное изображение оцениваются посредством блока 14 выбора режима кодирования для выбора оптимального режима 15 кодирования. Если режим 15 кодирования является предсказанием с интра-кодированием, вычисляется разность между входным видеосигналом 3 и изображением предсказания с интра-кодированием посредством вычитателя 16 для получения сигнала 17a разности предсказания. Если режим 15 кодирования является предсказанием с компенсацией движения, вычисляется разность между входным видеосигналом 3 и изображением предсказания с компенсацией движения посредством вычитателя 16 для получения сигнала 17a разности предсказания.
Полученный сигнал 17a разности предсказания преобразовывается или квантуется посредством блока 18 кодирования разности предсказания для компонента C0, блока 19 кодирования разности предсказания для компонента C1 и блока 20 кодирования разности предсказания для компонента C2, чтобы сжать информацию. В блоке 19 кодирования разности предсказания для компонента C1 и блоке 20 кодирования разности предсказания для компонента C2 процесс для компонентов C1/C2 переключается в соответствии с информацией 1 идентификации формата цветности и информацией 2 идентификации общего кодирования/независимого кодирования.
Для компонента Y в случае форматов цветности 4:2:0 и 4:2:2 и компонента C0 в случае формата цветности 4:4:4 процессы кодирования разности предсказания на фиг.11 выполняются посредством блока 18 кодирования разности предсказания для компонента C0. Сначала в соответствии с процессом, если режим 15 кодирования является режимом предсказания с интра-кодированием с размером 8×8 или выбран режим для выполнения над сигналом 17a разности предсказания целочисленного преобразования по блокам с размером 8×8, выполняется целочисленное преобразование по блокам с размером 8×8, при котором макроблок разделяется на четыре части, и выполняется процесс квантования в соответствии с параметром 32 квантования для получения данных 21 коэффициентов квантования. Если режим 15 кодирования отличается от упомянутого выше, сначала выполняется целочисленное преобразование по блокам с размером 4×4. Затем, если режим 15 кодирования является режимом предсказания с интра-кодированием с размером 16×16, только DC-компоненты коэффициентов преобразования блоков с размером 4×4 объединяются для составления блоков с размером 4×4, и выполняется преобразование Адамара. Для DC-компонента квантование выполняется для коэффициента преобразования Адамара в соответствии с параметром 32 квантования, и процессы квантования выполняются индивидуально для 15 AC-компонентов оставшихся блоков с размером 4×4. Если режим 15 кодирования не является режимом предсказания с интра-кодированием с размером 16×16, процесс квантования выполняется одновременно для 16 коэффициентов преобразования в соответствии с параметром 32 квантования.
Для компонента Cb в случае форматов цветности 4:2:0 и 4:2:2 и для компонента C1 в случае формата цветности 4:4:4 процесс кодирования разности предсказания выполняется посредством блока 19 кодирования разности предсказания для компонента C1. В этом случае, поскольку кодирование разности предсказания выполняется через процессы, показанные на фиг.12, когда форматы цветности являются форматами 4:2:0 и 4:2:2, и через процессы, показанные на фиг.11, когда формат цветности является форматом 4:4:4, ниже будет описан только процесс в случае форматов цветности 4:2:0 и 4:2:2. В соответствии с этим процессом независимо от режима 15 кодирования сигнал компонента Cb макроблока разделяется на блоки с размером 4×4 для выполнения целочисленного преобразования, и процесс квантования выполняется в соответствии с параметром 32 квантования для получения данных 22 коэффициентов квантования. Сначала выполняется целочисленное преобразование по блокам с размем 4×4, и затем DC-компоненты блоков с размером 4x4 объединяются для составления блоков с размером 2×2 (при формате цветности 4:2:0) или блоков с размером 2×4 (при формате цветности 4:2:2), и, таким образом, выполняется преобразование Адамара. Для DC-компонента квантование выполняется для коэффициента преобразования Адамара в соответствии с параметром 32 квантования, и процесс квантования выполняется индивидуально для 15 AC-компонентов оставшихся блоков с размером 4×4 в соответствии с параметром 32 квантования.
Для компонента Cr в случае форматов цветности 4:2:0 и 4:2:2 и для компонента C2 в случае формата цветности 4:4:4 процесс кодирования разности предсказания выполняется посредством блока 20 кодирования разности предсказания для компонента C2. В этом случае кодирование разности предсказания выполняется через процессы, показанные на фиг.12, когда форматы цветности являются форматами 4:2:0 и 4:2:2, и через процессы, показанные на фиг.11, когда формат цветности является форматом 4:4:4, для получения на выходе данных 23 коэффициентов квантования.
Для каждого цветового компонента в результате квантования определяется информации шаблона закодированного блока (CBP), показывающая, имеется ли допустимый (отличный от нуля) коэффициент в блоках с размером 8×8, и снова мультиплексируется как один элемент информации элемента макроблока в битовом потоке. Определение шаблона закодированного блока (CBP) зависит от информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования, и подробности будут описаны при описании устройства для декодирования.
(4) Процесс кодирования с переменной длиной
В качестве элементов информации заголовка на уровне последовательности информация 1 идентификации формата цветности, информация 2 идентификации общего кодирования/независимого кодирования, информация 4 указания только интра-кодирования и информация 31 о размере изображения подаются на вход блока 27 кодирования с переменной длиной. Когда информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", на вход подается информация идентификации цветового компонента, указывающая, какому цветовому компоненту принадлежит кодируемое в настоящий момент изображение, и на основе информации к началу кодируемой в настоящий момент секции добавляется флаг 33 идентификации цветового компонента. В соответствии с этим, на стороне устройства для декодирования можно определить, закодированные данные какого цветового компонента содержит принятая секция. В качестве закодированных данных уровня макроблока режим 15 кодирования, режим 100/101 предсказания с интра-кодированием, информация 102/103 о движении, параметр 32 квантования, информация 104 указания размера преобразованного блока и данные 21/22/23 коэффициентов квантования подаются на вход и подвергаются статистическому кодированию с помощью кодирования по алгоритму Хаффмана или арифметического кодирования для мультиплексирования в битовом потоке 30. Битовый поток 30 формируется в виде пакетов из элементов данных секции, в которых собраны один или множество макроблоков (в кодировании AVC это также называется пакетизацией уровня NAL), для выдачи на выходе.
Фиг.13 показывает весь битовый поток 30. Информация 1 идентификации формата цветности, информация 2 идентификации общего кодирования/независимого кодирования, информация 4 указания только интра-кодирования и информация 31 о размере изображения мультиплексированы в наборе параметров последовательности (SPS), который представляет собой информацию заголовка уровня последовательности. Поскольку информация 2 идентификации общего кодирования/независимого кодирования необходима только тогда, когда формат цветности является форматом 4:4:4, она мультиплексируется только тогда, когда информация 1 идентификации формата цветности указывает формат 4:4:4. Начальное значение параметра 32 квантования, используемое в начале изображения, мультиплексируется в наборе параметров изображения (PPS), который представляет собой информацию заголовка уровня изображения. Закодированные данные изображения мультиплексированы в секции или более малом элементе, и форматы данных изменяются, как показано на фиг.14 и 15A и 15B, в соответствии со значением информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования.
Когда информация 1 идентификации формата цветности указывает, что форматы цветности являются форматами 4:2:0 и 4:2:2, получается структура секции, показанная на фиг.14. На фиг.14 SH - это заголовок секции, МВ - данные кодирования макроблока, MBH - заголовок макроблока и Tx - данные коэффициентов квантования для компонента x. В этом случае в конфигурации, показанной на фиг.2, секция содержит данные кодирования макроблока, состоящие из пикселей компонентов Y, Cb и Cr в соответствии с соотношением количества отсчетов для формата цветности, заголовок MBH содержит тип макроблока, эквивалентный режиму 15 кодирования. Если тип макроблока указывает режим предсказания с интра-кодированием, то содержатся режим 100 предсказания с интра-кодированием для компонента C0, то есть для компонента Y, общий режим 101 предсказания с интра-кодированием для компонентов C1 и C2, то есть для компонентов Cb и Cr, и параметр 32 квантования, используемый для квантования/обратного квантования данных коэффициентов квантования. Если тип макроблока указывает режим предсказания с компенсацией движения (интер-кодирование), то содержится информация 102 о движении (вектор движения и индекс опорного изображения) для компонента C0, то есть для компонента Y, и параметр 32 квантования, используемый для квантования/обратного квантования данных коэффициентов квантования.
Когда информация 1 идентификации формата цветности указывает, что формат цветности является форматом 4:4:4, получается структура секции, показанная на фиг.15A и 15B, в соответствии со значением информации 2 идентификации общего кодирования/независимого кодирования. Если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования" (фиг.15A), в конфигурации, показанной на фиг.2, секция содержит данные кодирования макроблока, состоящие из пикселей компонентов C0, C1 и C2 в соответствии с соотношением количества отсчетов для формата цветности, и заголовок MBH содержит тип макроблока, эквивалентный режиму 15 кодирования. Если тип макроблока указывает режим предсказания с интра-кодированием, то содержатся режим 100 предсказания с интра-кодированием, общий для всех компонентов C0, C1 и C2, и параметр 32 квантования, используемый для квантования/обратного квантования данных коэффициентов квантования. Если тип макроблока указывает режим предсказания с компенсацией движения (интер-кодирование), то содержатся информация 103 о движении (вектор движения и индекс опорного изображения), общая для всех компонентов C0, C1 и C2, и параметр 32 квантования, используемый для квантования/обратного квантования данных коэффициентов квантования.
Если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования" (фиг.15B), в конфигурации, показанной на фиг.3, секция содержит данные кодирования макроблока, состоящие из пикселей одного цветового компонента (k) из цветовых компонентов C0, C1 и C2. В качестве информации, указывающей, каким из цветовых компонентов C0, C1 и C2 является компонент Ck, к началу секции добавляется флаг 33 идентификации цветового компонента. Заголовок MBH содержит тип макроблока, эквивалентный режиму 15 кодирования. Если тип макроблока указывает режим предсказания с интра-кодированием, то содержатся режим 100 предсказания с интра-кодированием для компонента Ck и параметр 32 квантования, используемый для квантования/обратного квантования данных коэффициентов квантования. Если тип макроблока указывает режим предсказания с компенсацией движения (интер-кодирование), то содержатся информация 102 о движении (вектор движения и индекс опорного изображения) для компонента Ck и параметр 32 квантования, используемый для квантования/обратного квантования данных коэффициентов квантования.
Хотя это не показано, в случае необходимости может быть вставлено уникальное слово (разделитель элементов доступа кодирования AVC, начальный код изображения в стандарте MPEG-2 или начальный код плоскости видеообъекта (VOP) в стандарте MPEG-4), указывающее разрыв между элементами доступа (одним изображением, когда форматы цветности являются форматами 4:2:0 и 4:2:2 или выполняется процесс общего кодирования, и тремя изображениями, когда выполняется процесс независимого кодирования).
При конфигурации битового потока, даже когда для блоков закодированы множество различных форматов цветности, таких как 4:2:0, 4:2:2 и 4:4:4, способ для обнаружения/формирования закодированного режима предсказания или информация о движении и семантика закодированных данных могут быть сделаны общими. Таким образом, конфигурация устройства для кодирования может быть сделана эффективной. Кроме того, поскольку закодированные видеоданные множества различных форматов цветности, таких как 4:2:0, 4:2:2 и 4:4:4, могут быть представлены битовым потоком единого формата, битовый поток 30, выводимый из устройства для кодирования первого варианта воплощения, может удовлетворить высокой взаимной совместимости в системе передачи/записи для обработки множества различных форматов цветности.
Устройство для кодирования на фиг.4 выполнено с возможностью управлять процессом кодирования на основе информации 4 указания только интра-кодирования. Информация 4 указания только интра-кодирования представляет собой сигнал для указания, следует ли выполнять процесс предсказания с направлением во времени на основе предсказания с компенсацией движения посредством устройства для кодирования. Если сигнал указывает "только интра-кодирование", для всех изображений входного видеосигнала 3 выполняется закрытое в пределах кадра кодирование (кодирование предсказания только с интра-кодированием) без выполнения предсказания с направлением во времени, основанного на предсказании с компенсацией движения. Одновременно отключается фильтр устранения блочности в блоке кодирования изображения. Если информация 4 указания только интра-кодирования указывает "не только интра-кодирование", для изображений входного видеосигнала 3 выполняется кодирование с использованием всех корреляций в кадре и между кадрами посредством использования также предсказания с направлением во времени, основанного на предсказании с компенсацией движения. Информация 4 указания только интра-кодирования добавляется к набору параметров последовательности, который будет мультиплексирован в битовом потоке 30 посредством блока 27 кодирования с переменной длиной. В соответствии с этим устройство для декодирования, которое принимает битовый поток 30, может распознать только интра-кодирование битового потока 30 посредством декодирования информации 4 указания только интра-кодирования из набора параметров последовательности и проверки ее значения. Таким образом, если было применено только интра-кодирование, количество вычислений устройства для декодирования может быть уменьшено без выполнения процесса фильтрации устранения блочности. Если информация 4 указания только интра-кодирования указывает "только интра-кодирование", предсказание с компенсацией движения не выполняется, и, таким образом, опорное изображение не записывается в память 13 кадров. При такой конфигурации уменьшается доступ к памяти.
Устройство для кодирования также выполнено с возможностью управлять процессом кодирования на основе информации 31 размера кадра входного видеосигнала 3. Информация 31 о размере кадра указывает количество макроблоков в изображении входного видеосигнала 3. Если это значение превышает предопределенное пороговое значение, устанавливается верхний предел количества макроблоков, включенных в секцию, и выполняется проверка, чтобы не включать в секцию больше макроблоков. В частности, информация 31 о размере кадра подается на вход блока 27 кодирования с переменной длиной. Блок 27 кодирования с переменной длиной устанавливает значение верхнего предела для количества макроблоков, включенных в секцию, на основе информации 31 о размере кадра. Блок 27 кодирования с переменной длиной заранее подсчитывает количество закодированных макроблоков и закрывает пакет данных секции, чтобы формировать последующие макроблоки в пакет как данные новой секции, когда количество макроблоков, включенных в секцию, достигает значения верхнего предела. Информация 31 о размере кадра добавляется к набору параметров последовательности, который будет мультиплексирован в битовом потоке 30 посредством блока 27 кодирования с переменной длиной. В соответствии с этим, когда размер кадра входного видеосигнала 3 является большим (высокое пространственное разрешение), устройство для кодирования и устройство для декодирования могут определять элементы, которые будут обрабатываться параллельно, и выполнять равномерное распределение задач.
Устройство для декодирования
Фиг.16 показывает конфигурацию устройства для декодирования в соответствии с первым вариантом воплощения. Устройство для декодирования на фиг.16 выполнено с возможностью принимать битовый поток 30 и переключать внутренний процесс декодирования на основе информации 1 идентификации формата цветности, содержащейся в битовом потоке, и декодирует закодированные данные множества различных форматов цветности.
Входной битовый поток 30 сначала подвергается процессу декодирования с переменной длиной (блок 200 декодирования с переменной длиной), и информация 1 идентификации формата цветности, информация 2 идентификации общего кодирования/независимого кодирования, информация 4 указания только интра-кодирования и информация 31 о размере кадра декодируются как элементы информации старшего заголовка, которые будут сохраняться во время декодирования последовательности. Затем данные каждого макроблока декодируются на основе структур секций, показанных на фиг.14 и 15A и 15B, определяемых посредством информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования, и структуры макроблока, показанной на фиг.2 или 3. При декодировании макроблоков сначала в соответствии с декодированным режимом 15 кодирования выполняются процесс формирования изображения предсказания с интра-кодированием (блок 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блок 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2) и процесс компенсации движения (блок 11 компенсации движения для компонента C0 и блок 12 компенсации движения для компонентов C1/C2), чтобы сформировать предсказанное изображение макроблока. Процесс обратного квантования/обратного целочисленного преобразования выполняется для данных коэффициентов квантования, декодированных как части закодированных данных макроблока, для декодирования сигнала 17b разности предсказания (блок 24 декодирования разности предсказания для компонента C0, блок 25 декодирования разности предсказания для компонента C1 и блок 26 декодирования разности предсказания для компонента C2). Затем предсказанное изображение 34 и сигнал 17b разности предсказания суммируются вместе для получения временного декодированного изображения. При необходимости выполняется фильтрация устранения блочности (блок 28 фильтра устранения блочности) для подавления искажения на границах блоков, сопровождающего квантование, и затем декодированное изображение сохраняется в памяти 201 кадров и/или памяти 202 строк для использования для последующих процессов формирования предсказанных изображений. Когда информация 4 указания только интра-кодирования указывает "выполнение только интра-кодирования", выполняется процесс формирования изображения предсказания только с интра-кодированием без выполнения процесса компенсации движения.
Далее будут подробно описаны процесс декодирования с переменной длиной, процесс формирования изображения предсказания с интра-кодированием, процесс компенсации движения и процесс декодирования разности предсказания, переключаемые на основе информации 1 идентификации формата цветности, информации 2 идентификации общего кодирования/независимого кодирования и информации 4 указания только интра-кодирования, которые являются признаками первого варианта воплощения.
(1) Процесс декодирования с переменной длиной
Битовый поток 30 подается на вход блока 200 декодирования с переменной длиной, и анализируется старший заголовок, такой как набор параметров последовательности или набор параметров изображения на фиг.13. Через этот процесс декодируются информация 1 идентификации формата цветности, информация 2 идентификации общего кодирования/независимого кодирования, информация 4 указания только интра-кодирования и информация 31 о размере изображения. Информация 2 идентификации общего кодирования/независимого кодирования извлекается из битового потока 30 только тогда, когда информация 1 идентификации формата цветности указывает формат цветности 4:4:4. Эти параметры сохраняются во внутренней памяти блока 200 декодирования с переменной длиной во время декодирования последовательности.
Затем декодируется элемент уровня NAL секции. Сначала, только когда информация 1 идентификации формата цветности указывает формат цветности 4:4:4, и информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс независимого кодирования", декодируется флаг 33 идентификации цветового компонента для распознавания, закодированные данные какого цветового компонента содержит текущая секция. Затем декодируется заголовок секции, и процесс переходит к декодированию закодированных данных макроблока, принадлежащих секции.
Со ссылкой на фиг.17 будет описан массив кодированных данных макроблока и последовательность процесса анализа/декодирования. Декодирование макроблока выполняется следующим образом.
(a) Сначала, как показано на фиг.14 и 15A и 15B, декодируется тип макроблока (переменная mb_type на фиг.17), эквивалентный режиму 15 кодирования.
(b) В переключателе SW1 оценивается переменная mb_type. Если переменная mb_type указывает режим PCM (режим прямого мультиплексирования значения пикселя в битовом потоке без сжатия), несжатые данные, эквивалентные количеству пикселей в макроблоке, извлекаются непосредственно из битового потока, и процесс декодирования макроблока заканчивается.
(c) В переключателе SW1 переменная mb_type не указывает режим PCM. В переключателе SW2 оценивается, указывает ли переменная mb_type режим выполнения предсказания с компенсацией движения на основе размера блока, равного или меньшего чем 8×8, декодируется тип субмакроблока (sub_mb_type), равный или меньше чем 8×8, и декодируется информация о движении (вектор движения/индекс опорного изображения) каждого подблока. Далее переход к переключателю SW4.
(d) В переключателе SW2 переменная mb_type не удовлетворяет условиям пункта (c). В переключателе SW3 оценивается переменная mb_type. Если блоки с размером 8×8 могут быть выбраны как размер блока преобразования сигнала 17b разности предсказания в режиме интер-кодирования, декодируется информация 104 указания размера преобразованного блока, и декодируется информация о движении. В случае декодирования информации о движении декодирование выполняется следующим образом на основе информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования. Далее переход к переключателю SW4.
(1) Когда формат цветности является форматом 4:2:0 или 4:2:2, информация о движении, которая должна быть декодирована, декодируется как информация 102 о движении для компонента C0.
(2) Когда формат цветности является форматом 4:4:4, и процесс является процессом общего кодирования, информация о движении, которая должна быть декодирована, декодируется как элементы информации 102 и 103 о движения, используемые совместно для компонентов C0, C1 и C2.
(3) Когда формат цветности является форматом 4:4:4, и процесс является процессом независимого кодирования, информация о движении, которая должна быть декодирована, декодируется как информация о движении, используемая для компонента Ck, обозначенного посредством флага 33 идентификации цветового компонента.
(e) В переключателе SW2 переменная mb_type не удовлетворяет условиям пункта (c). В переключателе SW3 оценивается переменная mb_type. Если режим является режимом предсказания с интра-кодированием с размером 4×4 или 8×8, определяется информация режима предсказания с интра-кодированием. В случае декодирования информации режима предсказания с интра-кодированием декодирование выполняется следующим образом на основе информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования/независимого кодирования. Далее переход к переключателю SW4.
(1) Когда формат цветности является форматом 4:2:0 или 4:2:2, режим 100 предсказания с интра-кодированием для компонента C0, определенный по элементам блоков с размером 4x4 или 8×8, декодируется для компонента Y, и независимо закодированный режим 101 предсказания с интра-кодированием для компонентов C1/C2 декодируется для компонентов Cb/Cr.
(2) Когда формат цветности является форматом 4:4:4, и процесс является процессом общего кодирования, информация режима предсказания с интра-кодированием, которая должна быть декодирована, декодируется как элементы информации 100 и 101 режима предсказания с интра-кодированием, используемые совместно для компонентов C0, C1 и C2.
(3) Когда формат цветности является форматом 4:4:4, и процесс является процессом независимого кодирования, информация режима предсказания с интра-кодированием, которая должна быть декодирована, декодируется как информация режима предсказания с интра-кодированием, используемая для компонента Ck, обозначенного посредством флага 33 идентификации цветового компонента.
(f) В переключателе SW3 переменная mb_type не удовлетворяет условиям пунктов (d) или (e). В переключателе SW4 оценивается переменная mb_type. Если режим является режимом предсказания с интра-кодированием с размером 16×16, декодируется режим предсказания с интра-кодированием с размером 16×16, включенный в переменную mb_type. Затем, если информация 1 идентификации формата цветности указывает формат цветности 4:2:0 или 4:2:2, в соответствии с подпунктом (1) пункта (e) декодируется режим 101 предсказания с интра-кодированием для компонентов C1/C2, независимый от компонента Y. Затем декодируется параметр квантования.
(g) Если переменная mb_type не удовлетворяет условиям пункта (f) в переключателе SW4, декодируется шаблон закодированного блока (CBP). На основе значения шаблона закодированного блока (CBP) результаты декодирования данных коэффициентов квантования все устанавливаются в значение 0 для блоков с размером 8×8, указывая, что все коэффициенты равны 0. Если шаблон закодированного блока (CBP) указывает, что имеется допустимый коэффициент в одном из блоков с размером 8×8 в макроблоке (переключатель SW5), то декодируется параметр квантования. Если информация 1 идентификации формата цветности указывает формат цветности 4:2:0 или 4:2:2, шаблон закодированного блока (CBP), который должен быть декодирован, декодируется как информация для определения присутствия данных допустимых коэффициентов для четырех блоков с размером 8×8 для компонентов яркости и блоков с размером 8×8 для N (N=2 для формата 4:2:0, N=4 для формата 4:2:2) компонентов цветности. Если информация 1 идентификации формата цветности указывает формат цветности 4:4:4, и если информация 2 идентификации общего кодирования/независимого кодирования указывает "общее кодирование", шаблон закодированного блока (CBP) декодируется как информация для определения, имеется ли допустимый коэффициент в одном из блоков с размером 8×8 в одном и том же пространстве компонентов C0, C1 и C2 для четырех блоков с размером 8×8. Если информация 2 идентификации общего кодирования/независимого кодирования указывает "независимое кодирование", шаблон закодированного блока (CBP) декодируется для каждого компонента C0, C1 и C2 как информация того же самого определения, как для компонента яркости, когда формат цветности является форматом 4:2:0 или 4:2:2.
(h) Данные коэффициентов квантования декодируются для макроблока, параметр квантования которого был декодирован. В этом случае данные Tx коэффициентов квантования декодируются в соответствии со структурами данных секции и макроблока, показанными на фиг.14 и 15A и 15B, определенными на основе информации 1 идентификации формата цветности и информации 2 идентификации общего кодирования / независимого кодирования.
(2) Процесс формирования изображения предсказания с интра-кодированием
Процесс формирования изображения предсказания с интра-кодированием выполняется посредством блока 7 формирования изображения предсказания с интра-кодированием для компонента C0 и блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2, показанных на фиг.16. Эти блоки являются общими с устройством кодирования, показанным на фиг.4.
В случае форматов цветности 4:2:0 и 4:2:2 для сигнала компонента Y предсказанное изображение формируется на основе режима 100 предсказания с интра-кодированием для компонента C0, предоставленного от блока 200 декодирования с переменной длиной, посредством блока 7 формирования изображения с интра-кодированием для компонента C0. Для режима 100 предсказания с интра-кодированием для компонента C0 имеется три выбираемых типа режимов: режим предсказания с интра-кодированием с размером 4×4, режим предсказания с интра-кодированием с размером 8×8 и режим предсказания с интра-кодированием с размером 16×16. Для режима предсказания с интра-кодированием с размером 4×4 и режима предсказания с интра-кодированием с размером 8×8 макроблок разделяется на блоки с размером 4×4 пикселя или 8×8 пикселей, и для каждого блока выполняется пространственное предсказание с использованием ближнего опорного пикселя, как показано на фиг.5, для формирования предсказанного изображения. У этого способа формирования предсказанного изображения имеется девять вариантов. Информация о том, какой из этих девяти способов использован для формирования предсказанного изображения, представляется в виде режима 100 предсказания с интра-кодированием для компонента C0 для блока 7 формирования изображения предсказания с интра-кодированием для компонента C0. Фиг.5 показывают пример блока с размером 4×4. Для блока с размером 8×8 пикселей определяется аналогичный режим. Эффекты способа пространственного предсказания, имеющего такую направленность, описаны выше.
Имеется режим предсказания с интра-кодированием с размером 16×16 как режим выполнения предсказания с интра-кодированием для блоков с размером 16×16, не разделенных на какие-либо макроблоки (фиг.6). В этом случае способ формирования предсказанного изображения выбирается из четырех типов способов пространственного предсказания, показанных на фиг.6. Эффекты этого режима пространственного предсказания описаны выше.
Для компонентов Cb и Cr посредством блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2 формируется изображение предсказания с интра-кодированием независимо от компонента Y. Фиг.18 показывает внутреннюю конфигурацию блока 8 формирования изображения предсказания с интра-кодированием для компонентов C1/C2 первого варианта воплощения. Если информация 1 идентификации формата цветности указывает формат цветности 4:2:0 или 4:2:2, режим 101 предсказания с интра-кодированием для компонентов C1/C2 указывает один из четырех типов режимов, показанных на фиг.7. На основе количества блоков цели формирования изображения предсказания процесс выполняет переход к блоку 8a формирования изображения предсказания с интра-кодированием для компонентов Cb/Cr в формате 4:2:0 или к блоку 8b формирования изображения предсказания с интра-кодированием для компонентов Cb/Cr в формате 4:2:2 в соответствии с форматом цветности. В случае формата цветности 4:4:4, поскольку режим 101 предсказания с интра-кодированием для компонентов C1/C2 имеет точно такое же определение, как режим предсказания с интра-кодированием для компонента C0, для обработки компонента Y процесс переходит к блоку 8c формирования изображения предсказания с интра-кодированием для компонента Y. Блок 8c формирования изображения предсказания с интра-кодированием для компонента Y может быть сконфигурирован посредством использования существенно тех же самых элементов, как у блока 7 формирования изображения предсказания с интра-кодированием для компонента C0. Однако отличие состоит в том, что формирование предсказанного изображения выполняется для обоих компонентов C1 и C2, если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", и формирование предсказанного изображения выполняется для режима (101a или 101b) предсказания с интра-кодированием, соответствующего только компоненту Ck, обозначенному посредством флага 33 идентификации цветового компонента, в случае "процесса независимого кодирования".
Во всех процессах формирования изображения предсказания с интра-кодированием значение периферийного пикселя, который становится опорным пикселем, должно являться декодированным изображением, не подвергнутым фильтрации устранения блочности. Таким образом, значение пикселя перед процессом фильтрации устранения блочности, полученное посредством суммирования декодированного сигнала 17b разности предсказания, который является выходной информацией блока 24 декодирования разности предсказания для компонента C0, блока 25 декодирования разности предсказания для компонента C1 и блока 26 декодирования разности предсказания для компонента C2, и предсказанного изображения 34, сохраняется в памяти 202 строк для использования для формирования изображения предсказания с интра-кодированием.
(3) Процесс компенсации движения
Процесс компенсации движения выполняется посредством блока 11 компенсации движения для компонента C0 и блока 12 компенсации движения для компонентов C1/C2, показанных на фиг.16. Эти блоки являются общими с устройством для кодирования, показанным на фиг.4.
В случае форматов цветности 4:2:0 и 4:2:2 сигнал компонента Y формируется посредством блока 11 компенсации движения для компонента C0 на основе информации 102 о движении для компонента Y, декодированной как часть закодированных данных макроблока. Информация о движении содержит индекс опорного изображения, указывающий, какое опорное изображение используется из данных одного или более опорных изображений, сохраненных в памяти 201 кадров, и вектор движения, примененный к опорному изображению, обозначенному посредством индекса опорного изображения.
Информация 102 о движении для компонента Y декодируется в соответствии с семью типами размеров блока, которые становятся единичными элементами предсказания с компенсацией движения, показанными на фиг.8A-8H. То, какой из размеров блока на фиг.8A-8H использован для выполнения компенсации движения, определяется посредством режима 15 кодирования и подтипом макроблока (sub_mb_type), описанных при описании процесса декодирования с переменной длиной. Информация 102 о движении для компонента Y выделяется для блока, который становится единичным элементом компенсации движения, и вектор движения применяется к опорному изображению, обозначенному посредством индекса опорного изображения из памяти 201 кадров, для получения предсказанного изображения. Для компонентов Cb и Cr, как показано на фиг.17, в блоке 200 декодирования с переменной длиной выделяется тот же самый индекс опорного изображения, как для компонента Y, и вектор движения для компонента Y используется для получения информации 103 о движении для компонентов Cb/Cr (в частности, получаемой посредством масштабирования вектора движения для компонента Y с помощью соотношения количества отсчетов для компонентов Y, Cb и Cr).
Как описано выше с помощью фиг.9 и 10, способ формирования предсказанного изображения в блоке компенсации движения различается между компонентом Y и компонентами Cb/Cr. Процесс компенсации движения для компонентов Cb/Cr выполняется посредством блока 12 компенсации движения для компонентов C1/C2.
Фиг.19 показывает внутреннюю конфигурацию блока 12 компенсации движения для компонентов C1/C2 первого варианта воплощения. Если информация 1 идентификации формата цветности указывает формат цветности 4:2:0 или 4:2:2, информация 103 о движении для компонентов Cb/Cr формируется посредством блока 200 декодирования с переменной длиной на основе информации 102 о движении для компонента C0, то есть компонента Y, как описано выше, для подачи на вход блока 12 компенсации движения для компонентов C1/C2. На основе количества блоков цели формирования предсказанного изображения процесс выполняет переход к блоку 12a компенсации движения для компонентов Cb/Cr в формате 4:2:0 или к блоку 12b компенсации движения для компонентов Cb/Cr в формате 4:2:2 в соответствии с форматом цветности. В случае формата цветности 4:4:4, поскольку информация 103 компенсации движения для компонентов Cb/Cr имеет точно такое же определение, как информация 102 компенсации движения для компонента Y, для обработки компонента Y процесс переходит к блоку 12c компенсации движения для компонента Y. Блок 12c компенсации движения для компонента Y может быть сконфигурирован посредством использования существенно тех же самых элементов, как у блока 11 компенсации движения для компонента C0. Однако отличие состоит в том, что формирование предсказанного изображения выполняется для обоих компонентов C1 и C2, если информация 2 идентификации общего кодирования/независимого кодирования указывает "процесс общего кодирования", и формирование предсказанного изображения выполняется для информации (103a или 103b) о движении, соответствующей только компоненту Ck, обозначенному посредством флага 33 идентификации цветового компонента, в случае "процесса независимого кодирования”.
(4) Процесс декодирования разности предсказания
Процесс декодирования разности предсказания выполняется посредством блока 24 декодирования разности предсказания для компонента C0, блока 25 декодирования разности предсказания для компонента C1 и блока 26 декодирования разности предсказания для компонента C2, показанных на фиг.16. Они являются общими с блоком 24 локального декодирования для компонента C0, блоком 25 локального декодирования для компонента C1 и блоком 26 локального декодирования для компонента C2 из устройства для кодирования, показанного на фиг.4.
Процесс декодирования разности предсказания представляет собой процесс для восстановления сигнала 17b разности предсказания посредством выполнения обратного квантования/обратного преобразования для данных 21-23 коэффициентов квантования компонентов C0-C2 для каждого макроблока, выдаваемого из блока 200 декодирования с переменной длиной. В блоке 25 локального декодирования для компонента C1 и блоке 26 локального декодирования для компонента C2 процесс для компонентов C1/C2 переключается в соответствии с информацией 1 идентификации формата цветности и информацией 2 идентификации общего кодирования/независимого кодирования.
Для компонента Y в случае форматов цветности 4:2:0 и 4:2:2 и для компонента C0 в случае формата цветности 4:4:4 процесс декодирования разности предсказания, показанный на фиг.20, выполняется посредством блока 24 декодирования разности предсказания для компонента C0. Сначала в соответствии с процессом, если режим 15 кодирования является режимом предсказания с интра-кодированием с размером 8×8 или информация 104 указания размера преобразованного блока указывает целочисленное преобразование по блокам с размером 8×8, данные 21 коэффициентов квантования обрабатываются по блокам с размером 8×8, где макроблок разделяется на четыре части. После того, как обратный процесс квантования выполнен в соответствии с параметром 32 квантования по блокам с размером 8×8, выполняется обратное целочисленное преобразование по блокам с размером 8×8 для получения восстановленного значения 17b сигнала 17a разности предсказания.
Если режим 15 кодирования отличается от упомянутого выше, процесс переключается на основе того, является ли режим 15 кодирования режимом предсказания с интра-кодированием с размером 16×16. В случае режима предсказания с интра-кодированием с размером 16×16 сначала выполняется обратный процесс квантования для коэффициента преобразования только DC-компонентов коэффициентов преобразования блоков с размером 4×4 из данных 21 коэффициентов квантования в соответствии с параметром 32 квантования и затем выполняется обратное преобразование Адамара с размером 4×4. В соответствии с этим получается восстановленное значение DC-компонента блоков с размером 4×4 макроблока. Также выполняется обратное квантование для оставшихся 15 AC-коэффициентов в соответствии с параметром 32 квантования, и коэффициенты обратного квантования единичного элемента блока с размером 4×4 могут быть получены при комбинации с полученным DC-компонентом. Наконец, посредством выполнения над ними обратного целочисленного преобразования с размером 4×4 восстанавливается сигнал 17b разности предсказания.
Если режим 15 кодирования не является режимом предсказания с интра-кодированием с размером 16×16, обратное квантование/обратное целочисленное преобразование выполняется для каждого блока с размером 4×4 для восстановления сигнала 17b разности предсказания.
Для компонентов Cb и Cr в случае форматов цветности 4:2:0 и 4:2:2 и для C1 и C2 в случае формата цветности 4:4:4 процессы декодирования разности предсказания выполняются в блоке 25 декодирования разности предсказания для компонента C1 и блоке 26 декодирования разности предсказания для компонента C2.
Для компонентов Cb и Cr в случае форматов цветности 4:2:0 и 4:2:2 процесс декодирования разности предсказания выполняется на основе последовательности, показанной на фиг.21A и 21B. Различие между форматами 4:2:0 и 4:2:2 состоит в том, является ли размер единичного элемента для выполнения преобразования Адамара блоком 2×2 или блоком 2×4. Сначала собираются только DC-компоненты коэффициента преобразования блоков с размером 4x4 для составления блока, который будет подвергнут обратному преобразованию Адамара, и обратное преобразование Адамара выполняется после обратного квантования. Для оставшихся 15 AC-компонентов обратное квантование выполняется индивидуально, и обратное целочисленное преобразование с размером 4x4 выполняется после комбинации с DC-компонентами. Таким образом, восстанавливается сигнал 17b разности предсказания.
Фиг.22 показывает внутренние конфигурации блока 25 декодирования разности предсказания для компонента C1 и блока 26 декодирования разности предсказания для компонента C2. Процессы для компонентов Cb и Cr в случае форматов цветности 4:2:0 и 4:2:2 описаны отдельно на фиг.22 как блок 25a декодирования разности предсказания для компонентов Cb или Cr в формате 4:2:0 и блок 25b декодирования разности предсказания для компонентов Cb или Cr в формате 4:2:2, но различие в сущности обработки описано выше. В случае формата цветности 4:4:4, поскольку данные 22 и 23 коэффициентов квантования для компонентов C1/C2 закодированы точно тем же самым способом, как данные 21 коэффициентов квантования для компонента Y в форматах 4:2:0 и 4:2:2, процесс переходит к блоку 25c декодирования разности предсказания для компонента Y. Блок 25c декодирования разности предсказания для компонента Y может быть сконфигурирован посредством использования того же самого элемента, как блок 24 декодирования разности предсказания для компонента C0.
Если информация 4 указания только интра-кодирования указывает "только интра-кодирование", все изображения битового потока 30 закодированы посредством выполнения закрытого кодирования (предсказания только с интра-кодированием) в кадре без выполнения предсказания с направлением во времени, основанного на предсказании с компенсацией движения. Таким образом, процесс блока 28 фильтра устранения блочности отключается. В соответствии с этим в устройстве для декодирования, которое принимает битовый поток 30, процесс фильтра устранения блочности не выполняется в случае только интра-кодирования, и, таким образом, количество вычислений устройства для декодирования может быть уменьшено. Кроме того, если информация 4 указания только интра-кодирования указывает "только интра-кодирование", поскольку предсказание с компенсацией движения не выполняется, опорное изображение не записывается в память 201 кадров. С этой конфигурацией сокращается доступ к памяти.
Устройство для декодирования первого варианта воплощения было описано посредством конфигурации, в которой декодирование выполняется при приеме битового потока 30, выдаваемого от устройства для кодирования. Однако, поскольку устройство для кодирования выдает битовый поток в соответствии с форматом битового потока 30, битовые потоки, выводимые из устройства для кодирования, которое выполняет кодирование посредством использования только формата цветности 4:2:0, или устройств для кодирования различных спецификаций, использующих только формат цветности 4:2:2 или два формата цветности 4:2:0 и 4:2:2, могут быть правильно декодированы.
В соответствии с устройствами для кодирования и декодирования первого варианта воплощения для множества различных форматов цветности, таких как 4:2:0, 4:2:2 и 4:4:4, могут быть совместно выполнены кодирование и декодирование через эффективную конфигурацию устройства, и может быть увеличена взаимная совместимость закодированных видеоданных.
Первый вариант воплощения был описан посредством случая, в котором цветовые пространства форматов цветности 4:2:0 и 4:2:2 являются пространством компонентов Y, Cb и Cr. Однако при использовании других цветовых пространств, таких как Y, Pb и Pr, могут быть достигнуты те же самые эффекты.

Claims (4)

1. Устройство для кодирования динамического изображения для формирования битового потока посредством выполнения над цифровым сигналом динамического изображения кодирования со сжатием, которое выполняется посредством преобразования и квантования цифрового сигнала динамического изображения на основе блоков, причем устройство для кодирования динамического изображения содержит блок кодирования для мультиплексирования в битовом потоке идентифицирующей информации, которая указывает, следует ли интра-кодировать все изображения, соответствующие цифровому сигналу динамического изображения, и указывает на наличие или отсутствие фильтра устранения блочности, предусмотренного на каждой границе между блоками, служащими единичными элементами преобразования и квантования.
2. Устройство для декодирования динамического изображения для декодирования цифрового сигнала динамического изображения на основе ввода битового потока, сформированного посредством выполнения над цифровым сигналом динамического изображения кодирования со сжатием, в котором цифровой сигнал динамического изображения преобразовывается и квантуется на основе блоков, причем устройство для декодирования динамического изображения содержит блок декодирования для декодирования идентифицирующей информации, указывающей, следует ли интра-кодировать все изображения, соответствующие цифровому сигналу динамического изображения, причем в случае, когда идентифицирующая информация указывает, что все изображения, соответствующие цифровому сигналу динамического изображения, должны быть интра-кодированы, формируется декодированное изображение, в котором отключен фильтр устранения блочности, предусмотренный на каждой границе между блоками, служащими единичными элементами преобразования и квантования для всех изображений.
3. Способ кодирования динамического изображения для формирования битового потока посредством выполнения над цифровым сигналом динамическим изображением кодирования со сжатием, которое выполняется посредством преобразования и квантования цифрового сигнала динамического изображения на основе блоков, причем способ кодирования динамического изображения содержит этап кодирования, на котором мультиплексируют в битовом потоке идентифицирующую информацию, которая указывает, следует ли интра-кодировать все изображения, соответствующие цифровому сигналу динамического изображения, и указывает на наличие или отсутствие фильтра устранения блочности, предусмотренного на каждой границе между блоками, служащими единичными элементами преобразования и квантования.
4. Способ декодирования динамического изображения для декодирования цифрового сигнала динамического изображения на основе ввода битового потока, сформированного посредством выполнения над цифровым сигналом динамического изображения кодирования со сжатием, в котором цифровой сигнал динамического изображения преобразовывается и квантуется на основе блоков, причем способ декодирования динамического изображения содержит этап декодирования, на котором декодируют идентифицирующую информацию, указывающую, следует ли интра-кодировать все изображения, соответствующие цифровому сигналу динамического изображения, причем в случае, когда идентифицирующая информация указывает, что все изображения, соответствующие цифровому сигналу динамического изображения, должны быть интра-кодированы, формируется декодированное изображение, в котором отключен фильтр устранения блочности, предусмотренный на каждой границе между блоками, служащими единичными элементами преобразования и квантования для всех изображений.
RU2008101377A 2007-01-12 2008-01-10 Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений RU2404537C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-004651 2007-01-12
JP2007004651A JP5026092B2 (ja) 2007-01-12 2007-01-12 動画像復号装置および動画像復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2009110045A Division RU2400941C1 (ru) 2007-01-12 2009-03-19 Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений

Publications (2)

Publication Number Publication Date
RU2008101377A RU2008101377A (ru) 2009-07-20
RU2404537C2 true RU2404537C2 (ru) 2010-11-20

Family

ID=39472733

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2008101377A RU2404537C2 (ru) 2007-01-12 2008-01-10 Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений
RU2009110045A RU2400941C1 (ru) 2007-01-12 2009-03-19 Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2009110045A RU2400941C1 (ru) 2007-01-12 2009-03-19 Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений

Country Status (9)

Country Link
US (2) US8369404B2 (ru)
EP (1) EP1950971B1 (ru)
JP (1) JP5026092B2 (ru)
KR (3) KR100956478B1 (ru)
CN (2) CN101969566B (ru)
BR (1) BRPI0800010B8 (ru)
CA (1) CA2614016C (ru)
HK (1) HK1150287A1 (ru)
RU (2) RU2404537C2 (ru)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2556386C2 (ru) * 2011-01-12 2015-07-10 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
RU2565038C2 (ru) * 2011-01-12 2015-10-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изобраений
RU2573744C2 (ru) * 2011-07-20 2016-01-27 Квэлкомм Инкорпорейтед Буферизация данных предсказания при кодировании видео
RU2604340C2 (ru) * 2011-11-04 2016-12-10 Инфобридж Пте. Лтд, Способ формирования восстановленного блока
RU2646340C2 (ru) * 2012-09-28 2018-03-02 Сони Корпорейшн Устройство и способ кодирования, устройство и способ декодирования
RU2720446C2 (ru) * 2015-12-17 2020-04-29 Конинклейке Филипс Н.В. Простое, но гибкое кодирование динамического диапазона
RU2746746C1 (ru) * 2011-11-07 2021-04-20 Кэнон Кабусики Кайся Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения и программа

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US20100165078A1 (en) * 2008-12-30 2010-07-01 Sensio Technologies Inc. Image compression using checkerboard mosaic for luminance and chrominance color space images
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
KR102333204B1 (ko) * 2009-08-12 2021-12-02 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 인트라 색차 엔코딩 및 디코딩을 위한 방법 및 장치
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101379186B1 (ko) * 2009-08-21 2014-04-10 에스케이 텔레콤주식회사 인트라 예측 부호화/복호화 방법 및 장치
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
BR112012008770A2 (pt) * 2009-10-14 2018-11-06 Sharp Kk métodos para codificação e decodificação paralelas de vídeo.
CN102118613B (zh) * 2009-12-31 2012-11-21 华为技术有限公司 视频解码和编码方法及装置
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102845063B (zh) 2010-02-08 2016-05-11 诺基亚技术有限公司 用于视频编码的设备、方法和计算机程序
KR101503269B1 (ko) 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US20110249735A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
KR102124495B1 (ko) * 2010-04-09 2020-06-19 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
NO2991355T3 (ru) 2010-04-13 2018-04-14
RS64605B1 (sr) 2010-04-13 2023-10-31 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
US8891610B2 (en) 2010-05-05 2014-11-18 Samsung Electronics Co., Ltd. Method and system for chroma partitioning and rate adaptation for uncompressed video transmission in wireless networks
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
CA2810899C (en) 2010-10-05 2016-08-09 General Instrument Corporation Coding and decoding utilizing adaptive context model selection with zigzag scan
CA2822800C (en) 2010-12-23 2017-08-29 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US9877019B2 (en) 2011-01-03 2018-01-23 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
WO2012118358A2 (ko) 2011-03-03 2012-09-07 한국전자통신연구원 변환 계수 스캔 방법 및 그 장치
KR20120100836A (ko) 2011-03-03 2012-09-12 한국전자통신연구원 변환 계수 스캔 방법 및 그 장치
EP2685719B1 (en) 2011-03-09 2019-10-30 Panasonic Intellectual Property Corporation of America Video image decoding device
CN103430548B (zh) 2011-03-09 2017-10-24 松下电器（美国）知识产权公司 运动图像编码装置及运动图像编码方法
WO2012128453A1 (ko) * 2011-03-21 2012-09-27 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
KR102349348B1 (ko) 2011-06-14 2022-01-10 엘지전자 주식회사 영상 정보 인코딩 및 디코딩 방법
WO2012176405A1 (ja) * 2011-06-20 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
JP5678814B2 (ja) * 2011-06-20 2015-03-04 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
JP5402995B2 (ja) * 2011-06-20 2014-01-29 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
JP5678818B2 (ja) * 2011-06-23 2015-03-04 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5614381B2 (ja) * 2011-06-23 2014-10-29 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
WO2012176406A1 (ja) * 2011-06-23 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
KR102104594B1 (ko) * 2011-06-24 2020-04-24 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
ES2807351T3 (es) * 2011-06-27 2021-02-22 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de descodificación de imágenes y dispositivo de codificación/descodificación de imágenes
KR102111917B1 (ko) 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US9699457B2 (en) * 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
GB2509671C (en) 2011-10-19 2019-09-25 Kt Corp Encoding and decoding video using skip transform mode
IN2014CN03712A (ru) * 2011-10-31 2015-09-04 Mitsubishi Electric Corp
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
KR102036175B1 (ko) 2011-11-11 2019-10-24 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
BR112014011413B1 (pt) * 2011-11-11 2023-03-28 Ge Video Compression, Llc Predição eficaz utilizando codificação de partição
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
CN106937113B (zh) * 2011-12-05 2020-06-02 同济大学 基于混合色度采样率的图像压缩方法和装置
TWI653878B (zh) * 2011-12-28 2019-03-11 Ｊｖｃ建伍股份有限公司 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
SG11201404096YA (en) * 2012-01-18 2014-08-28 Agency Science Tech & Res Method and device for image processing
GB2498550B (en) * 2012-01-19 2016-02-24 Canon Kk Method and device for processing components of an image for encoding or decoding
JP2013172323A (ja) * 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
CN102630012B (zh) * 2012-03-30 2014-09-03 北京交通大学 基于多描述视频编码、解码方法、装置及系统
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
CN104782125B (zh) * 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9300964B2 (en) * 2013-01-24 2016-03-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
ES2924427T3 (es) * 2013-01-29 2022-10-06 Fraunhofer Ges Forschung Decodificador para generar una señal de audio mejorada en frecuencia, procedimiento de decodificación, codificador para generar una señal codificada y procedimiento de codificación que utiliza información lateral de selección compacta
US9049442B2 (en) 2013-03-15 2015-06-02 Canon Kabushiki Kaisha Moving image encoding apparatus and method for controlling the same
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
KR101749855B1 (ko) * 2013-04-05 2017-06-21 미쓰비시덴키 가부시키가이샤 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
WO2015005132A1 (ja) * 2013-07-08 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
JP6376130B2 (ja) * 2013-07-19 2018-08-22 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5725107B2 (ja) * 2013-08-30 2015-05-27 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5679019B2 (ja) * 2013-08-30 2015-03-04 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5725108B2 (ja) * 2013-08-30 2015-05-27 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5617979B2 (ja) * 2013-08-30 2014-11-05 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
JP5679032B2 (ja) * 2013-10-29 2015-03-04 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5679031B2 (ja) * 2013-10-29 2015-03-04 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5617989B2 (ja) * 2013-10-29 2014-11-05 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5617990B2 (ja) * 2013-10-29 2014-11-05 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP6265705B2 (ja) * 2013-11-25 2018-01-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP6504174B2 (ja) 2014-03-03 2019-04-24 ソニー株式会社 装置及び方法
JP2014143716A (ja) * 2014-03-12 2014-08-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
US9584817B2 (en) 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
JP6410513B2 (ja) * 2014-08-07 2018-10-24 キヤノン株式会社 画像符号化装置及び方法
JP5839094B2 (ja) * 2014-09-05 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
KR101671933B1 (ko) * 2014-10-29 2016-11-03 삼성전자주식회사 영상 복호화 방법 및 장치
JP5839101B2 (ja) * 2014-12-24 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5880677B2 (ja) * 2014-12-24 2016-03-09 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
US10349064B2 (en) * 2015-03-10 2019-07-09 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
KR101671934B1 (ko) * 2015-03-11 2016-11-03 삼성전자주식회사 영상 복호화 방법 및 장치
KR101671935B1 (ko) * 2015-03-11 2016-11-03 삼성전자주식회사 영상 복호화 방법 및 장치
JP5991399B2 (ja) * 2015-03-31 2016-09-14 株式会社Ｊｖｃケンウッド 受信装置、受信方法、及び受信プログラム
KR101694823B1 (ko) * 2015-04-21 2017-01-10 삼성전자주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101700368B1 (ko) * 2015-04-21 2017-01-26 삼성전자주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101770300B1 (ko) * 2015-06-09 2017-08-22 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP5839141B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839142B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839140B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839145B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839144B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839143B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP6094656B2 (ja) * 2015-11-09 2017-03-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP6036965B2 (ja) * 2015-11-09 2016-11-30 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに送信装置、送信方法及び送信プログラム
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
RU2631992C2 (ru) * 2016-02-25 2017-09-29 Кабусики Кайся Тосиба Способ кодирования изображения и способ декодирования изображения
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
KR20180039323A (ko) 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
JP6767691B2 (ja) * 2016-10-18 2020-10-14 パナソニックＩｐマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置
KR101725287B1 (ko) * 2016-10-27 2017-04-10 삼성전자주식회사 영상 복호화 방법 및 장치
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
KR101743248B1 (ko) 2017-01-31 2017-06-02 삼성전자주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101775030B1 (ko) 2017-04-04 2017-09-05 삼성전자주식회사 영상 복호화 방법 및 장치
KR101785568B1 (ko) 2017-05-29 2017-10-16 삼성전자주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101883430B1 (ko) * 2017-08-30 2018-07-30 삼성전자주식회사 영상 부호화 방법 및 장치, 그 기록매체
CA3075641A1 (en) 2017-09-15 2019-03-21 Sony Corporation Image processing device and method
KR101826333B1 (ko) 2017-09-29 2018-02-06 삼성전자주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101894398B1 (ko) * 2018-01-31 2018-09-04 삼성전자주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP2019149721A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 動画像符号化装置、動画像符号化装置の制御方法及びプログラム
EP3762895A4 (en) * 2018-04-02 2021-04-21 Huawei Technologies Co., Ltd. VIDEO ENCODING WITH CONSECUTIVE CODECS
CN113055671B (zh) 2019-01-10 2022-09-02 Oppo广东移动通信有限公司 图像解码方法、解码器及计算机存储介质
WO2020207493A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
WO2020211807A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Matrix derivation in intra coding mode
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
EP3954115A4 (en) 2019-05-22 2023-04-19 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING UPSAMPLING
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
EP3963885A4 (en) * 2019-06-05 2022-12-14 Beijing Bytedance Network Technology Co., Ltd. DETERMINING CONTEXT FOR MATRIX-BASED INTRAPREDICTION
WO2020246125A1 (ja) * 2019-06-07 2020-12-10 キヤノン株式会社 画像符号化装置及び画像復号装置及び方法及びプログラム
CN115866259A (zh) 2019-07-05 2023-03-28 华为技术有限公司 使用标识符指示的视频译码码流提取
US11399199B2 (en) * 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
KR20220049520A (ko) * 2019-08-23 2022-04-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록 또는 서브블록 경계에서의 디블로킹 필터링
MX2022002247A (es) 2019-09-02 2022-03-22 Beijing Bytedance Network Tech Co Ltd Particion de region de video basada en formato de color.
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
WO2021117481A1 (ja) * 2019-12-09 2021-06-17 ソニーグループ株式会社 データ処理装置、データ処理方法、及び、プログラム
WO2022116085A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179573C (zh) * 1997-10-23 2004-12-08 三菱电机株式会社 图像译码装置、图像编码装置、图像通信系统及编码位流变换装置
KR100331331B1 (ko) * 1998-11-02 2002-05-09 윤덕용 영상데이터 루프필터링 방법
US7319415B2 (en) * 2002-05-01 2008-01-15 Thomson Licensing Chroma deblocking filter
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR100708118B1 (ko) * 2005-01-07 2007-04-16 삼성전자주식회사 복수개의 변형 곱셈 테이블을 이용한 동영상 부호화 및복호화 장치와 그 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
US20060210156A1 (en) * 2005-03-18 2006-09-21 Sharp Laboratories Of America, Inc. Video compression for raw rgb format using residual color transform
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
CN101815224A (zh) 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
CN101931801A (zh) 2005-09-20 2010-12-29 三菱电机株式会社 图像编码方法和图像编码装置以及图像编码比特流
JP5266202B2 (ja) * 2006-03-28 2013-08-21 サムスン エレクトロニクス カンパニー リミテッド 画像符号化／復号化方法及び装置
KR100708209B1 (ko) 2006-08-24 2007-04-18 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG SHU-HUI et al, Macroblock-level decoding and deblocking method and its pipeline implementation in H.264 decoder SOC design, Revision accepted July 6, 2006. ЯН РИЧАРДСОН, Видеокодирование H.264 и MPEG-4 - стандарты нового поколения, Москва, Техносфера, 2005, с.с.238-244. *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2654153C1 (ru) * 2011-01-12 2018-05-16 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
US11146792B2 (en) 2011-01-12 2021-10-12 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
RU2556386C2 (ru) * 2011-01-12 2015-07-10 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
US9386312B2 (en) 2011-01-12 2016-07-05 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
RU2600530C2 (ru) * 2011-01-12 2016-10-20 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
RU2648575C1 (ru) * 2011-01-12 2018-03-26 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2610294C1 (ru) * 2011-01-12 2017-02-08 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
US10165279B2 (en) 2011-01-12 2018-12-25 Canon Kabushiki Kaisha Video encoding and decoding with improved error resilience
RU2651181C2 (ru) * 2011-01-12 2018-04-18 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
RU2648578C1 (ru) * 2011-01-12 2018-03-26 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2709158C1 (ru) * 2011-01-12 2019-12-16 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
RU2565038C2 (ru) * 2011-01-12 2015-10-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изобраений
RU2688252C1 (ru) * 2011-01-12 2019-05-21 Кэнон Кабусики Кайся Кодирование и декодирование видео с повышенной устойчивостью к ошибкам
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
RU2573744C2 (ru) * 2011-07-20 2016-01-27 Квэлкомм Инкорпорейтед Буферизация данных предсказания при кодировании видео
RU2710995C2 (ru) * 2011-11-04 2020-01-14 Инфобридж Пте. Лтд. Способ формирования восстановленного блока
RU2710996C2 (ru) * 2011-11-04 2020-01-14 Инфобридж Пте. Лтд. Способ формирования восстановленного блока
RU2711306C2 (ru) * 2011-11-04 2020-01-16 Инфобридж Пте. Лтд. Способ формирования восстановленного блока
RU2711467C2 (ru) * 2011-11-04 2020-01-17 Инфобридж Пте. Лтд. Способ формирования восстановленного блока
RU2604340C2 (ru) * 2011-11-04 2016-12-10 Инфобридж Пте. Лтд, Способ формирования восстановленного блока
RU2746746C1 (ru) * 2011-11-07 2021-04-20 Кэнон Кабусики Кайся Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения и программа
US11064198B2 (en) 2011-11-07 2021-07-13 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and program
RU2646340C2 (ru) * 2012-09-28 2018-03-02 Сони Корпорейшн Устройство и способ кодирования, устройство и способ декодирования
RU2720446C2 (ru) * 2015-12-17 2020-04-29 Конинклейке Филипс Н.В. Простое, но гибкое кодирование динамического диапазона

Also Published As

Publication number Publication date
RU2400941C1 (ru) 2010-09-27
EP1950971A3 (en) 2010-08-25
CN101969566B (zh) 2013-01-23
US20080181304A1 (en) 2008-07-31
KR101030638B1 (ko) 2011-04-20
EP1950971B1 (en) 2016-12-28
KR20080066559A (ko) 2008-07-16
BRPI0800010B8 (pt) 2020-09-15
CA2614016A1 (en) 2008-07-12
BRPI0800010B1 (pt) 2020-05-19
US8369404B2 (en) 2013-02-05
KR20100036284A (ko) 2010-04-07
HK1150287A1 (en) 2011-11-18
BRPI0800010A (pt) 2008-08-26
CN101969566A (zh) 2011-02-09
US20080170615A1 (en) 2008-07-17
CN101222644B (zh) 2014-06-18
JP5026092B2 (ja) 2012-09-12
KR20100030638A (ko) 2010-03-18
EP1950971A2 (en) 2008-07-30
KR100956478B1 (ko) 2010-05-07
JP2008172599A (ja) 2008-07-24
RU2008101377A (ru) 2009-07-20
CA2614016C (en) 2013-08-20
CN101222644A (zh) 2008-07-16

Similar Documents

Publication Publication Date Title
RU2404537C2 (ru) Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений
RU2479148C2 (ru) Устройство для кодирования изображений, устройство для декодирования изображений, способ кодирования изображений и способ декодирования изображений
CN104396245B (zh) 用于对图像进行编码或解码的方法和装置
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
CN105379284B (zh) 动态图像编码装置及其动作方法
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
KR101291196B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20180127286A (ko) 적응적 필터를 이용한 인트라 예측을 수행하는 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US20090123066A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20090034856A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080123947A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20090034857A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130747A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080165849A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8311112B2 (en) System and method for video compression using predictive coding
US20080159641A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN101449476A (zh) 用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和系统
JP5475409B2 (ja) 動画像符号化装置および動画像符号化方法
US20100104022A1 (en) Method and apparatus for video processing using macroblock mode refinement