RU2749503C2 - Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения - Google Patents

Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения Download PDF

Info

Publication number
RU2749503C2
RU2749503C2 RU2019138508A RU2019138508A RU2749503C2 RU 2749503 C2 RU2749503 C2 RU 2749503C2 RU 2019138508 A RU2019138508 A RU 2019138508A RU 2019138508 A RU2019138508 A RU 2019138508A RU 2749503 C2 RU2749503 C2 RU 2749503C2
Authority
RU
Russia
Prior art keywords
block
signal
prediction
image
primary
Prior art date
Application number
RU2019138508A
Other languages
English (en)
Other versions
RU2749503C9 (ru
RU2019138508A3 (ru
RU2019138508A (ru
Inventor
Сигеру ФУКУСИМА
Хиройя НАКАМУРА
Тору КУМАКУРА
Original Assignee
ДжейВиСиКЕНВУД Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ДжейВиСиКЕНВУД Корпорейшн filed Critical ДжейВиСиКЕНВУД Корпорейшн
Publication of RU2019138508A3 publication Critical patent/RU2019138508A3/ru
Publication of RU2019138508A publication Critical patent/RU2019138508A/ru
Application granted granted Critical
Publication of RU2749503C2 publication Critical patent/RU2749503C2/ru
Publication of RU2749503C9 publication Critical patent/RU2749503C9/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к технике разделения изображения на блоки и выполнения кодирования и декодирования для каждого из разделенных блоков. Техническим результатом является повышение эффективности кодирования. Предложено устройство кодирования изображения, которое разделяет изображение на блоки и выполняет кодирование для каждого из разделенных блоков. Блок (101) разделения на блоки первичного сигнала разделяет первичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок первичного сигнала. Блок (101) разделения на блоки вторичного сигнала разделяет вторичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок вторичного сигнала. Блок (102) предсказания первичного сигнала предсказывает первичный сигнал, а блок (102) предсказания вторичного сигнала предсказывает вторичный сигнал. Блок (102) предсказания вторичного сигнала может выполнять межкадровое предсказание предсказания вторичного сигнала из кодированного первичного сигнала, и межкадровое предсказание ограничивается на основе по меньшей мере одного из размера блока первичного сигнала и размера блока вторичного сигнала. 6 н.п. ф-лы, 33 ил.

Description

Предпосылки создания изобретения
Область техники, к которой относится изобретение
Настоящее изобретение относится к технике разделения изображения на блоки и выполнения кодирования и декодирования для каждого из разделенных блоков.
Уровень техники
При кодировании и декодировании изображения изображение разделяется на блоки, представляющие собой группы, каждая из которых включает в себя предварительно заданное число пикселов, и кодирование и декодирование выполняются для каждого блока. Выполнение соответствующего разделения на блоки позволяет повысить эффективность кодирования с внутрикадровым предсказанием и межкадровым предсказанием. Кроме того, при внутрикадровом предсказании повышение эффективности кодирования обеспечивает предсказание вторичного сигнала из декодированного изображения первичного сигнала.
Список цитирования
Патентные документы
патентный документ 1 JP2013-90015 А
Раскрытие изобретения
Однако, если вторичный сигнал предсказан из декодированного изображения первичного сигнала, то объем обработки возрастает, и возникает взаимозависимость между обработкой первичного сигнала и обработкой вторичного сигнала, что затрудняет параллельную обработку.
Настоящее изобретение было разработано с учетом таких обстоятельств, и задача настоящего изобретения заключается в создании техники повышения эффективности кодирования за счет выполнения разделения на блоки, подходящего для кодирования и декодирования изображений.
Для решения указанной выше задачи устройство кодирования изображения в соответствии с одним вариантом осуществления настоящего изобретения представляет собой устройство кодирования изображения, которое разделяет изображение на блоки и выполняет кодирование для каждого из разделенных блоков, где это устройство кодирования изображения включает в себя блок (101) разделения на блоки первичного сигнала, который разделяет первичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок первичного сигнала, блок (102) разделения на блоки вторичного сигнала, который разделяет вторичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер и, генерирует блок вторичного сигнала, блок (102) предсказания первичного сигнала, который предсказывает первичный сигнал, и блок (103) предсказания вторичного сигнала, который предсказывает вторичный сигнал. Блок (103) предсказания вторичного сигнала может выполнять межкадровое предсказание вторичного сигнала из кодированного первичного сигнала, и межкадровое предсказание ограничивается на основе по меньшей мере одного из размера блока первичного сигнала и размера блока вторичного сигнала.
Другой вариант осуществления настоящего изобретения представляет собой способ кодирования изображения. Этот способ представляет собой способ кодирования изображения, который разделяет изображение на блоки и выполняет кодирование для каждого из разделенных блоков, и этот способ кодирования изображения содержит этап разделения на блоки первичного сигнала, заключающийся в разделении первичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока первичного сигнала, этап разделения на блоки вторичного сигнала, заключающийся в разделении вторичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока вторичного сигнала, этап предсказания первичного сигнала, заключающийся в предсказании первичного сигнала, и этап предсказания вторичного сигнала, заключающийся в предсказании вторичного сигнала. Этап предсказания вторичного сигнала может выполнять межкадровое предсказание вторичного сигнала из кодированного первичного сигнала, и межкадровое предсказание ограничивается на основе по меньшей мере одного из размера блока первичного сигнала и размера блока вторичного сигнала.
Еще один вариант осуществления настоящего изобретения представляет собой устройство декодирования изображения. Это устройство представляет собой устройство декодирования изображения, которое разделяет изображение на блоки и выполняет декодирование для каждого из разделенных блоков, и это устройство декодирования изображения содержит блок (202) разделения на блоки первичного сигнала, который разделяет первичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок первичного сигнала, блок (202) разделения на блоки вторичного сигнала, который разделяет вторичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок вторичного сигнала, блок (204) предсказания первичного сигнала, который предсказывает первичный сигнал, и блок (204) предсказания вторичного сигнала, который предсказывает вторичный сигнал. Блок (204) предсказания вторичного сигнала может выполнять межкадровое предсказание вторичного сигнала из декодированного первичного сигнала, и межкадровое предсказание ограничивается на основе по меньшей мере одного из размера блока первичного сигнала и размера блока вторичного сигнала.
Еще один вариант осуществления настоящего изобретения представляет собой способ декодирования изображения. Этот способ представляет собой способ декодирования изображения, который разделяет изображение на блоки и выполняет декодирование для каждого из разделенных блоков, и этот способ декодирования изображения включает в себя этап разделения на блоки первичного сигнала, заключающийся в разделении первичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока первичного сигнала, этап разделения на блоки вторичного сигнала, заключающийся в разделении вторичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока вторичного сигнала, этап предсказания первичного сигнала, заключающийся в предсказании первичного сигнала, и этап предсказания вторичного сигнала, заключающийся в предсказании вторичного сигнала. Этап предсказания вторичного сигнала может выполнять межкадровое предсказание вторичного сигнала из декодированного первичного сигнала, и межкадровое предсказание ограничивается на основе по меньшей мере одного из размера блока первичного сигнала и размера блока вторичного сигнала.
Кроме того, любая комбинация описанных выше составляющих элементов и аспект, полученный в результате преобразования формулировки в настоящем изобретении между способом, устройством, системой, носителем записи, компьютерной программой и т.п., также эффективны в качестве аспекта настоящего изобретения.
В соответствии с настоящим изобретением можно выполнять разделение на блоки, подходящее для кодирования и декодирования изображений, повышать эффективность кодирования и обеспечивать кодирование и декодирование изображений с небольшим объемом обработки.
Краткое описание чертежей
Фиг. 1 - блок-схема устройства кодирования изображения в соответствии с первым вариантом осуществления;
Фиг. 2 - блок-схема устройства декодирования изображения в соответствии с первым вариантом осуществления;
Фиг. 3 - блок-схема процесса разделения на блоки дерева и разделения каждого блока дерева;
Фиг. 4 - схема разделения входного изображения на блоки дерева;
Фиг. 5 - схема z-сканирования;
Фиг. 6 - блок дерева, разделенный на четыре в горизонтальном и вертикальном направлениях;
Фиг. 7 - блок дерева, разделенный на два в горизонтальном направлении;
Фиг. 8 - блок дерева, разделенный на два в вертикальном направлении;
Фиг. 9 - блок-схема процесса обработки каждого из блоков, полученных в результате разделения блока дерева на четыре в горизонтальном направлении и вертикальном направлениях;
Фиг. 10 - блок-схема процесса обработки каждого из блоков, полученных в результате разделения блока дерева на два в горизонтальном направлении;
Фиг. 11 - блок дерева, разделенный на два в горизонтальном направлении, после повторного разделения;
Фиг. 12 - блок-схема процесса обработки каждого из блоков, полученных в результате разделения блока дерева на два в вертикальном направлении;
Фиг. 13 - блок дерева, разделенный на два в вертикальном направлении, после повторного разделения;
Фиг. 14 - иллюстрация примера синтаксиса, относящегося к разделению на блоки в соответствии с первым вариантом осуществления;
Фиги. 15 - иллюстрации процесса внутрикадрового предсказания;
Фиг. 16 - иллюстрация процесса межкадрового предсказания;
Фиг. 17 - иллюстрации цветоразностного формата;
Фиг. 18 - иллюстрация процесса внутрикадрового предсказания цветоразности из яркости;
Фиг. 19 - блок-схема процесса внутрикадрового предсказания цветоразности из яркости;
Фиг. 20 - иллюстрации процесса внутрикадрового предсказания цветоразности из яркости в случае, когда размер блока цветоразности больше, чем размер блока яркости;
Фиг. 21 - иллюстрации процесса внутрикадрового предсказания цветоразности из яркости в случае, когда размер блока цветоразности меньше, чем размер блока яркости;
Фиг. 22 - иллюстрация примера синтаксиса режима внутрикадрового предсказания цветоразности;
Фиг. 23 - иллюстрация примера ограничения внутрикадрового предсказания цветоразности заменой смежного пиксела;
Фиг. 24 - иллюстрации процесса внутрикадрового предсказания цветоразности из яркости на основе разности в размере блока яркости.
Лучший вариант осуществления изобретения
Ниже приводится описание вариантов реализации настоящего изобретения, относящегося к технике кодирования изображения, заключающейся в разделении изображения на прямоугольные блоки и кодировании/декодировании разделенных блоков.
Первый вариант осуществления
Ниже приводится описание устройства 100 кодирования изображения и устройства 200 декодирования изображения в соответствии с первым вариантом осуществления
На фиг. 1 представлена блок-схема устройства 100 кодирования изображения в соответствии с первым вариантом осуществления. При этом на фиг. 1 представлен только поток данных, относящихся к сигналу изображения, а поток данных, относящихся к дополнительной информации, не показан. Дополнительная информация, не относящаяся к сигналу изображения, такая как вектор движения, режим предсказания и т.д., подается соответствующими составляющими элементами в блок 105 генерирования битового потока, и блок 105 генерирования битового потока генерирует соответствующие кодированные данные.
Блок 101 разделения на блоки выполняет разделение изображения на целевые блоки кодирования, каждый из которых представляет собой единицу обработки при кодировании, и подает сигнал изображения в целевом блоке кодирования в блок 103 генерирования остаточного сигнала ошибки. Кроме того, блок 101 разделения на блоки подает сигнал изображения целевого блока кодирования в блок 102 генерирования предсказанного изображения для оценки степени совпадения предсказанного изображения.
Блок 101 разделения на блоки выполняет рекурсивное разделение изображения на прямоугольники заданного размера и генерирует целевые блоки кодирования. Блок 101 разделения на блоки включает в себя блок разделения на четыре, выполняющий разделение целевого блока при рекурсивном разделении на четыре в горизонтальном направлении и вертикальном направлении и генерирование четырех блоков, и блок разделения на два, выполняющий разделение целевого блока при рекурсивном разделении на два в горизонтальном направлении или вертикальном направлении и генерирование двух блоков. Подробное описание работы блока 101 разделения на блоки приводится ниже.
Блок 102 генерирования предсказанного изображения выполняет предсказание внутри кадра (внутрикадровое предсказание) или предсказание между кадрами (межкадровое предсказание) из сигнала декодированного изображения, подаваемого из памяти 108 декодированных изображений, на основе режима предсказания и генерирует сигнал предсказанного изображения. Сигнал изображения в целевом блоке кодирования, подаваемый из блока 101 разделения на блоки, используется для оценки внутрикадрового предсказания и межкадрового предсказания. При внутрикадровом предсказании сигнал предсказанного изображения генерируется с использованием сигнала изображения целевого блока кодирования, подаваемого из блока 101 разделения на блоки, и сигнала изображения окружающего кодированного блока, смежного с целевым блоком кодирования, расположенного в том же кадре, что и целевой блок кодирования, подаваемого из памяти 108 декодированных изображений. При межкадровом предсказании кодированный кадр, расположенный перед или после кадра, включающего в себя целевой блок кодирования, во временном ряду кадров (кадров кодирования), хранимый в памяти 108 декодированных изображений, становится опорным кадром. Сигнал изображения целевого блока кодирования, подаваемый из блока 101 разделения на блоки, подвергается оценке степени совпадения блока с блоком (например, сравнению блока с блоком) между кадром кодирования и опорным кадром. Определяется вектор движения, указывающий на количество движения, на основе этого количества движения выполняется компенсация движения относительно опорного кадра и генерируется сигнал предсказанного изображения. Блок 102 генерирования предсказанного изображения подает генерированный таким образом сигнал предсказанного изображения в блок 103 генерирования остаточного сигнала ошибки.
Блок 103 генерирования остаточного сигнала ошибки выполняет вычитание сигнала предсказанного изображения, генерированного блоком 102 генерирования предсказанного изображения из кодируемого сигнала изображения, генерирует остаточный сигнал ошибки и подает этот остаточный сигнал ошибки в блок 104 ортогонального преобразования/квантования.
Блок 104 ортогонального преобразования/квантования выполняет ортогональное преобразование/квантование остаточного сигнала ошибки, подаваемого из блока 103 генерирования остаточного сигнала ошибки, и подает этот подвергнутый ортогональному преобразованию/квантованию остаточный сигнал ошибки в блок 105 генерирования битового потока и блок 106 обратного квантования/обратного ортогонального преобразования.
Блок 105 генерирования битового потока генерирует битовый поток, соответствующий подвергнутому ортогональному преобразованию/квантованию остаточному сигналу ошибки, подаваемому из блока 104 ортогонального преобразования/квантования. Кроме того, блок 105 генерирования битового потока генерирует битовый поток, соответствующий дополнительной информации, такой как вектор движения, режим предсказания и информация о разделении на блоки.
Блок 106 обратного квантования/обратного ортогонального преобразования выполняет обратное квантование/обратное ортогональное преобразование подвергнутого ортогональному преобразованию/квантованию остаточного сигнала ошибки, подаваемого из блока 104 ортогонального преобразования/квантования, и подает этот подвергнутый обратному квантованию/обратному ортогональному преобразованию остаточный сигнал ошибки в блок 107 наложения для генерирования сигнала декодированного изображения.
Блок 107 наложения для генерирования сигнала декодированного изображения выполняет взаимное наложение сигнала предсказанного изображения, генерированного блоком 102 генерирования предсказанного изображения, и остаточного сигнала ошибки, подвергнутого обратному квантованию/обратному ортогональному преобразованию с помощью блока 106 обратного квантования/обратного ортогонального преобразования и генерирует на выходе декодированное изображение, сохраняемое в памяти 108 декодированных изображений. При этом перед сохранением в памяти 108 декодированных изображений это декодированное изображение может быть подвергнуто фильтрации для уменьшения блочных искажений и т.д. вследствие кодирования.
На фиг. 2 представлена блок-схема устройства 200 декодирования изображения в соответствии с первым вариантом осуществления. При этом на фиг. 2 представлен только поток данных, относящихся к сигналу изображения. Дополнительная информация (например, вектор движения, режим предсказания и т.д.), не относящаяся к сигналу изображения, подается блоком 201 декодирования битового потока в соответствующие составляющие элементы и используется при соответствующей обработке, однако поток данных, относящихся к дополнительной информации, на фиг. 2 не показан.
Блок 201 декодирования битового потока декодирует подаваемый битовый поток и подает подвергнутый ортогональному преобразованию/квантованию остаточный сигнал ошибки в блок 202 разделения на блоки.
На основе декодированной информации о разделении на блоки блок 202 разделения на блоки определяет форму целевого блока декодирования, и подает подвергнутый ортогональному преобразованию/квантованию остаточный сигнал ошибки определенного таким образом целевого блока декодирования в блок 203 обратного квантования/обратного ортогонального преобразования 203.
На основе декодированной информации о разделении на блоки блок 202 разделения на блоки выполняет рекурсивное разделение изображения на прямоугольники заданного размера и генерирует целевой блок декодирования. Блок 202 разделения на блоки включает в себя блок разделения на четыре, выполняющий разделение целевого блока при рекурсивном разделении на четыре в горизонтальном направлении и вертикальном направлении и генерирование четырех блоков, и блок разделения на два, выполняющий разделение целевого блока при рекурсивном разделении в горизонтальном направлении или вертикальном направлении и генерирование двух блоков. Подробное описание работы блока 202 разделения на блоки приводится ниже.
Блок 203 обратного квантования/обратного ортогонального преобразования выполняет обратное квантование и обратное ортогональное преобразование подаваемого остаточного сигнала ошибки, подвергнутого ортогональному преобразованию/квантованию, и вырабатывает остаточный сигнал ошибки, подвергнутый обратному квантованию/обратному ортогональному преобразованию.
Блок 204 генерирования предсказанного изображения генерирует из сигнала декодированного изображения, подаваемого из памяти 206 декодированных изображений, сигнал предсказанного изображения и подает этот сигнал предсказанного изображения в блок 205 наложения для генерирования сигнала декодированного изображения.
Блок 205 наложения для генерирования сигнала декодированного изображения выполняет взаимное наложение сигнала предсказанного изображения, генерированного блоком 204 генерирования предсказанного изображения, и остаточного сигнала ошибки, подвергнутого обратному квантованию/обратному ортогональному преобразованию с помощью блока 203 обратного квантования/обратного ортогонального преобразования, и генерирует на выходе декодированное изображение, сохраняемое в памяти 206 декодированных изображений. При этом перед сохранением в памяти 206 декодированных изображений это декодированное изображение может быть подвергнуто фильтрации для уменьшения блочных искажений и т.д. вследствие кодирования.
Ниже приводится подробное описание работы блока 101 разделения на блоки в составе устройства 100 кодирования изображения. На фиг. 3 представлена блок-схема последовательности процессов разделения на блоки дерева и разделения каждого блока дерева.
Сначала входное изображение разделяется на блоки дерева заданного размера (S1000). Например, блок дерева имеет размер 128 пикселов × 128 пикселов. Однако блок дерева не ограничивается размером 128 пикселов × 128 пикселов. Возможно использование любых размеров и форм, если блок дерева является прямоугольным. Фиксированные значения, определяющие размер и форму блока дерева, могут быть установлены в устройстве кодирования и устройстве декодирования. Устройство кодирования может определять размер и форму и записывать размер и форму в битовом потоке, а устройство декодирования может использовать записанный размер блока. На фиг. 4 представлена схема разделения входного изображения на блоки дерева. Кодирование и декодирование блоков дерева выполняется в порядке растрового сканирования, то есть слева направо и сверху вниз.
Далее каждый блок дерева разделяется на прямоугольные блоки. Кодирование/декодирование каждого блока дерева выполняется в порядке z-сканирования. На фиг. 5 представлена схема z-сканирования. При z-сканировании кодирование и декодирование выполняется в следующем порядке: верхний левый блок, верхний правый блок, нижний левый блок и нижний правый блок. Каждый блок дерева может быть разделен на четыре или на два. При разделении на четыре каждый блок дерева разделяется в горизонтальном направлении и вертикальном направлении. При разделении на два каждый блок дерева разделяется в горизонтальном направлении или вертикальном направлении. На фиг. 6 показан блок дерева, разделенный на четыре в горизонтальном и вертикальном направлениях. На фиг. 7 показан блок дерева, разделенный на два в горизонтальном направлении. На фиг. 8 показан блок дерева, разделенный на два в вертикальном направлении.
Как показано на фиг. 3, затем принимается решение о разделении или неразделении блока дерева на четыре в горизонтальном направлении и вертикальном направлении (S1001).
В случае принятия решения о разделении каждого блока дерева на четыре (S1001: Да) каждый блок дерева разделяется на четыре (S1002) и выполняется обработка каждого из блоков, полученных в результате разделения блока дерева на четыре в горизонтальном и вертикальном направлениях, (S1003). Описание процесса повторного разделения блоков, полученных в результате разделения блока дерева на четыре, приводится ниже (фиг. 9).
В случае принятия решения о неразделении каждого блока дерева на четыре (S1001: Нет) принимается решение о разделении или неразделении каждого блока дерева на два (S1004).
В случае принятия решения о разделении каждого блока дерева на два (S1004: Да) принимается решение о разделении или неразделении каждого блока дерева на два в горизонтальном направлении (S1005).
В случае принятия решения о разделении каждого блока дерева на два в горизонтальном направлении (S1005: Да) каждый блок дерева разделяется на два в горизонтальном направлении (S1006) и выполняется обработка каждого из блоков, полученных в результате разделения блока дерева на два в горизонтальном направлении, (S1007). Описание процесса повторного разделения блоков, полученных в результате разделения блока дерева на два в горизонтальном направлении, приводится ниже (фиг. 10).
В случае принятия решения о разделении каждого блока дерева на два не в горизонтальном, а в вертикальном направлении (S1005: Нет) каждый блок дерева разделяется на два в вертикальном направлении (S1008) и выполняется обработка каждого из блоков, полученных в результате разделения блока дерева на два в вертикальном направлении (S1009). Описание процесса повторного разделения блоков, полученных в результате разделения блока дерева на два в вертикальном направлении, приводится ниже (фиг. 11).
В случае принятия решения о неразделении каждого блока дерева на два (S1004: Нет) процесс разделения на блоки завершается без разделения каждого блока дерева (S1010).
Ниже со ссылками на блок-схему последовательности процесса обработки, представленную на фиг. 9, приводится описание процесса обработки каждого из блоков, полученных в результате разделения блока дерева на четыре в горизонтальном и вертикальном направлениях.
Сначала принимается решение о повторном разделении или неразделении каждого блока на четыре в горизонтальном и вертикальном направлениях (S1101).
В случае принятия решения о повторном разделении каждого блока на четыре (S1101: Да) каждый блок повторно разделяется на четыре (S1102) и выполняется обработка каждого из блоков, полученных в результате повторного разделения блока на четыре в горизонтальном и вертикальном направлениях (S1103).
В случае принятия решения о повторном неразделении блока на четыре (S1101: Нет) принимается решение о разделении или неразделении каждого блока на два (S1104).
В случае принятия решения о разделении каждого блока на два (S1104: Да) принимается решение о разделении или неразделении блока на два в горизонтальном направлении (S1105).
В случае принятия решения о разделении блока на два в горизонтальном направлении (S1105: Да) каждый блок разделяется на два в горизонтальном направлении (S1106) и выполняется обработка каждого из блоков, полученных в результате разделения блока на два в горизонтальном направлении, (S1107).
В случае принятия решения о разделении блока на два не в горизонтальном, а в вертикальном направлении (S1105: Нет) каждый блок разделяется на два в вертикальном направлении (S1108) и выполняется обработка каждого из блоков, полученных в результате разделения блока на два в вертикальном направлении (S1109).
В случае принятия решения о неразделении каждого блока на два (S1104: Нет) процесс разделения на блоки завершается без разделения каждого блока дерева (S1110).
Процесс обработки, показанный на блок-схеме, представленной на фиг. 9, выполняется для каждого из блоков, полученных в результате разделения на четыре. Каждый из блоков, полученных в результате разделения блока на четыре, подвергается также кодированию и декодированию в порядке z-сканирования.
Ниже со ссылками на блок-схему последовательности процесса обработки, представленную на фиг. 10, приводится описание процесса обработки каждого из блоков, полученных в результате разделения блока дерева на два в горизонтальном направлении.
В случае разделения блока дерева на два в горизонтальном направлении сначала принимается решение о разделении или неразделении каждого из блоков, полученных в результате разделения блока дерева на два, на четыре в горизонтальном и вертикальном направлениях (S1201).
В случае принятия решения о разделении каждого блока на четыре (S1201: Да) каждый блок разделяется на четыре (S1202) и выполняется обработка каждого из блоков, полученных в результате разделения на четыре в горизонтальном и вертикальном направлениях (S1203).
В случае принятия решения о неразделении каждого блока на четыре (S1201: Нет) принимается решение о повторном разделении или неразделении каждого блока на два (S1204).
В случае принятия решения о повторном разделении блока на два (S1204: Да) каждый блок разделяется на два в вертикальном направлении (S1205) и выполняется обработка каждого из блоков, полученных в результате разделения блока на два в вертикальном направлении (S1206).
В случае принятия решения о повторном неразделении блока на два (S1204: Нет) процесс разделения на блоки завершается без повторного разделения каждого блока (S1207).
На фиг. 11 показан блок дерева, разделенный на два в горизонтальном направлении, после повторного разделения. В этом случае при разделении блока дерева (родительского блока) на два в горизонтальном направлении повторное разделение разделенного блока на два разрешается только в вертикальном направлении, и блок разделяется на два в вертикальном направлении автоматически. Разделение дочернего блока, полученного в результате разделения блока дерева (родительского блока) два блока, на четыре может быть полностью запрещено. Запрет, касающийся разделения блока в том же направлении, в котором был разделен родительский блок, позволяет предотвратить разделение на блоки, представляющие собой прямоугольники, удлиненные в горизонтальном направлении, и таким образом обеспечить упрощение процесса кодирования/декодирования.
Процесс обработки, показанный на блок-схеме, представленной на фиг. 10, выполняется для каждого из блоков, полученных в результате разделения родительского блока на два в горизонтальном направлении. Каждый из блоков, полученных в результате разделения родительского блока на два, подвергается также кодированию и декодированию в порядке сверху вниз.
Ниже со ссылками на блок-схему последовательности процесса обработки, представленную на фиг. 12, приводится описание процесса обработки каждого из блоков, полученных в результате разделения блока дерева на два в вертикальном направлении.
В случае разделения блока дерева на два в вертикальном направлении сначала принимается решение о разделении или неразделении каждого из блоков, полученных в результате разделения блока дерева на два, на четыре в горизонтальном и вертикальном направлениях (S1301).
В случае принятия решения о разделении каждого блока на четыре (S1301: Да) каждый блок разделяется на четыре (S1302) и выполняется обработка каждого из блоков, полученных в результате разделения на четыре в горизонтальном и вертикальном направлениях (S1303).
В случае принятия решения о неразделении каждого блока на четыре (S1301: Нет) принимается решение о повторном разделении или неразделении каждого блока на два (S1304).
В случае принятия решения о повторном разделении блока на два (S1304: Да) каждый блок разделяется на два в горизонтальном направлении (S1305) и выполняется обработка каждого из блоков, полученных в результате разделения блока на два в горизонтальном направлении (S1306).
В случае принятия решения о повторном неразделении блока на два (S1304: Нет) процесс разделения на блоки завершается без повторного разделения каждого блока (S1207).
На фиг. 13 показан блок дерева, разделенный на два в вертикальном направлении, после повторного разделения. В этом случае при разделении блока дерева (родительского блока) на два в вертикальном направлении повторное разделение разделенного блока на два разрешается только в горизонтальном направлении, и блок разделяется на два в горизонтальном направлении автоматически. Разделение дочернего блока, полученного в результате разделения блока дерева (родительского блока) два блока, на четыре может быть полностью запрещено. Запрет, касающийся разделения блока в том же направлении, в котором был разделен родительский блок, позволяет предотвратить разделение на блоки, представляющие собой прямоугольники, удлиненные в вертикальном направлении, и таким образом обеспечить упрощение процесса кодирования/декодирования.
Процесс обработки, показанный на блок-схеме, представленной на фиг. 12, выполняется для каждого из блоков, полученных в результате разделения на родительского блока на два в вертикальном направлении. Каждый из блоков, полученных в результате разделения родительского блока на два, подвергается также кодированию и декодированию в порядке слева направо.
Выше было приведено описание процесса повторного разделения блока, полученного в результате разделения блока дерева. Однако родительский блок может представлять собой не блок дерева. Например, рассмотренный процесс обработки может быть использован применительно к разделению повторно разделенного блока, полученного в результате разделения блока дерева (128×128) на четыре и дополнительного разделения блока (64×64), полученного в результате разделения блока дерева на четыре, на четыре или на два.
Ниже приводится описание работы блока 202 разделения на блоки в составе устройства 200 декодирования изображения. Блок 202 разделения на блоки выполняет процесс разделения на блоки в той же последовательности, что и блок 101 разделения на блоки в составе устройства 100 кодирования изображения. Однако блок 101 разделения на блоки в составе устройства 100 кодирования изображения выбирает схему разделения на блоки и генерирует на выходе информацию о выбранном разделении на блоки, а блок 202 разделения на блоки в составе устройства декодирования изображения выполняет разделение блока с использованием информации о разделении на блоки, декодированной из битового потока, и использует структуру синтаксиса, при которой в случае декодирования информации о разделении на блоки из битового потока и запрета повторного разделения на блоки в одном и том же направлении информация, не содержащая варианта выбора, в битовом потоке не передается.
Фиг. 14 иллюстрирует пример синтаксиса (синтаксических правил битового потока), относящегося к разделению на блоки в соответствии с первым вариантом осуществления. Для разделения каждого блока дерева на блоки сначала передается/ принимается флаг (4_division flag), указывающий на разделение или неразделение блока дерева на четыре. В случае разделения блока дерева на четыре (4_division_flag задается равным 1) блок дерева разделяется на четыре и процесс обработки завершается. Затем в соответствии с синтаксисом, показанным на фиг. 14, каждый из блоков, полученных в результате разделения блока дерева на четыре, повторно разделяется на блоки. В случае неразделения блока дерева на четыре (4_division_flag задается равным 0) передается/принимается флаг (2_division_flag), указывающий на разделение или неразделение блока дерева на два. В случае разделения блока дерева на два (2_division_flag задается равным 1) передается/принимается флаг (2_division_direction), указывающий на направление разделения на два. Задание значения 2_division_direction, равного 1, означает разделение на блоки в вертикальном направлении, а задание значения 2_division_direction, равного 0, означает разделение на блоки в горизонтальном направлении. Затем в соответствии с синтаксисом, показанным на фиг. 14, каждый из блоков, полученных в результате разделения блока дерева на два, повторно разделяется на блоки. В случае неразделения блока дерева на два (2_division_flag задается равным 0) процесс обработки завершается без разделения каждого блока дерева.
Ниже приводится описание процесса повторного разделения каждого из блоков, полученных в результате разделения на четыре или на два. В процессе повторного разделения каждого блока также используется синтаксис, показанный на фиг. 14, но в отличие от процесса разделения блока дерева в рассматриваемом случае накладывается ограничение на направление разделения каждого блока на два. В частности, в случае разделения блока дерева на два и повторного разделения каждого блока, полученного в результате разделения блока дерева на два, запрещается разделение в том же направлении, в котором блок дерева был разделен на два. Этот запрет позволяет предотвратить появление разделенных блоков в виде удлиненных прямоугольников и таким образом предотвратить увеличение пропускной способности памяти, необходимой для внутрикадрового предсказания и межкадрового предсказания. Подробное описание предотвращения увеличения пропускной способности памяти приводится ниже.
Кроме того, очевидна возможность ограничения разделения в одном и том же направлении в случае, когда число выполненных операций разделения на два в одном и том же направлении превышает заданное число. Например, может быть разрешено двукратное разделение на два в одном и том же направление, но запрещено разделение на два в одном и том же направлении в третий раз.
Как показано в синтаксисе на фиг. 14, приоритетным является выбор разделения на четыре, и информация, указывающая на разделение или неразделение блока на четыре, передается/принимается с опережением относительно информации, указывающей на разделение или неразделение блока на два. В то же время в случае, когда приоритетным является выбор разделения на два, возможно использование синтаксиса, в соответствии с которым информация, указывающая на разделение или неразделение блока на два, передается/принимается с опережением относительно информации, указывающей на разделение или неразделение блока на четыре. Это объясняется уменьшением количество кода, передаваемого в битовом потоке, при опережающей передаче/приеме события с более высокой вероятностью наступления. Другими словами, можно заранее оценить вероятность наступления разделения блока на четыре и на два и использовать синтаксис, в соответствии с которым с опережением передается/принимается информация о разделении на блоки, вероятность наступления которого является более высокой. Например, указание на приоритетность разделения блока на четыре или на два при передаче/приеме информации, содержащейся в заголовке изображения, позволяет устройству кодирования оперативно определять приоритетный тип разделения на блоки (число блоков при разделении), обеспечивающий более высокую эффективность кодирования, а устройству декодирования - разделять каждый блок дерева в соответствии с синтаксисом на основе выбранного типа разделения на блоки.
В устройстве 100 кодирования изображения и устройстве 200 декодирования изображения внутрикадровое предсказание или межкадровое предсказание выполняется с использованием блоков, полученных в результате разделения. При этом как внутрикадровое предсказание, так и межкадровое предсказание включает в себя копирование пикселов из памяти.
На фиг. 15A-15D представлены иллюстрации процесса внутрикадрового предсказания. Фиг. 15А и 15В иллюстрируют направления предсказания и номера режимов внутрикадрового предсказания. При внутрикадровом предсказании, как показано на фиг. 15С и 15D, предсказанное изображение целевого блока кодирования/декодирования генерируется в результате копирования пикселов из кодированных/декодированных пикселов, смежных с целевым блоком кодирования/декодирования. При внутрикадровом предсказании процесс генерирования предсказанного изображения и генерирования кодированных/декодированных пикселов выполняется с повторением для каждого блока. Поэтому процесс обработки становится последовательным для каждого блока, и с разделением каждого блока на блоки меньшего размера происходит увеличение общей нагрузки на обработку. Кроме того, удлинение формы блока приводит к усложнению процесса копирования пикселов из памяти. Кроме того, выполнение кодирования/декодирования требует ортогонального преобразования остаточного сигнала ошибки, и с увеличением типоразмеров прямоугольников происходит увеличение числа необходимых типов ортогонального преобразования и в результате -увеличение масштаба схемы. Поэтому в случае разделения каждого блока на два ограничение числа операций разделения на два в том же направлении, в котором был разделен родительский блок, позволяет предотвратить увеличение пропускной способности памяти, необходимой для внутрикадрового предсказания.
Фиг. 16 иллюстрирует пример межкадрового предсказания. При межкадровом предсказании предсказанное изображение целевого блока кодирования/декодирования генерируется в результате копирования пикселов для каждого блока из пикселов кодированного/декодированного изображения. При межкадровом предсказании копирование пикселов для каждого блока из опорного изображения зачастую приводит к использованию схемы устройства, требующей сбора данных в единицах блоков управления памятью, содержащих необходимые пикселы. Поэтому уменьшение размера блоков при разделении и удлинение формы блока приводят к увеличению общей нагрузки на обработку. Кроме того, компенсация движения с десятичной точностью в опорном изображении с использованием фильтра интерполяции требует копирования нескольких пикселов в дополнение к пикселам блока, и уменьшение размера блока приводит к относительному пропорциональному увеличению содержания этих нескольких добавленных пикселов и увеличению общей нагрузки на обработку. Поэтому ограничение числа операций разделения на два в том же направлении, в котором был разделен родительский блок, позволяет предотвратить увеличение пропускной способности памяти, необходимой для межкадрового предсказания.
Далее приводится описание взаимосвязи между сигналом яркости и сигналом цветоразности при внутрикадровом предсказании. В качестве формата между сигналом яркости и сигналом цветоразности из уровня техники известен 4:2:0, 4:2:2, 4:4:4 и т.п. При формате 4:2:0, показанном на фиг. 17А, для сигнала яркости выполняется дискретизация двух пикселов как в горизонтальном, так и в вертикальном направлении, а для сигнала цветоразности - дискретизация одного пиксела как в горизонтальном, так и в вертикальном направлении. Так как чувствительность глаза человека к сигналу яркости выше, чем к сигналу цветоразности, то объем информации о сигнале цветоразности меньше, чем объем информации о сигнале яркости. При формате 4:2:2, показанном на фиг. 17 В, для сигнала яркости выполняется дискретизация двух пикселов в горизонтальном направлении, а для сигнала цветоразности - дискретизация одного пиксела в горизонтальном направлении. В вертикальном направлении при формате 4:2:2 для сигнала яркости выполняется дискретизация двух пикселов в вертикальном направлении, а для сигнала цветоразности - дискретизация двух пикселов в вертикальном направлении. При формате 4:4:4, показанном на фиг. 17С для сигнала яркости выполняется дискретизация двух пикселов как в горизонтальном, так и в вертикальном направлении, и для сигнала цветоразности дискретизация двух пикселов как в горизонтальном, так и в вертикальном направлении.
Описание рассматриваемого варианта осуществления приводится на примере формата 4:2:0, наиболее широко используемого при кодировании изображения. Блок 101 или 202 разделения на блоки включает в себя блок разделения на блоки яркости, который в результате разделения сигнала яркости изображения генерирует блок яркости, и блок разделения на блоки цветоразности, который в результате разделения, сигнала цветоразности изображения генерирует блок цветоразности, и при внутрикадровом предсказании разделяет сигнал яркости и сигнал цветоразности на блоки независимо друг от друга. То есть при внутрикадровом предсказании размер блока яркости и размер блока цветоразности определяются независимо друг от друга. При внутрикадровом предсказании каждый из сигнала яркости и сигнала цветоразности копирует значения пикселов из смежных пикселов, и поэтому независимое друг от друга разделение сигнала яркости и сигнала цветоразности на блоки обеспечивает возможность повышения эффективности предсказания. В то же время при межкадровом предсказании разделение сигнал яркости и сигнал цветоразности разделяются на блоки в совокупности. То есть при межкадровом предсказании размер блока яркости и размер блока цветоразности являются одинаковыми. Это объясняется тем, что при межкадровом предсказании для компенсации движения нет необходимости различать яркость и цветоразность.
Блок 102 или 204 генерирования предсказанного изображения включает в себя блок предсказания сигнала яркости, который предсказывает сигнал яркости, и блок предсказания сигнала цветоразности, который предсказывает сигнал цветоразности, и для повышения эффективности предсказания сигнала цветоразности при внутрикадровом предсказании блок предсказания сигнала цветоразности выполняет внутрикадровое предсказание цветоразности из яркости, заключающееся в предсказании сигнала цветоразности из кодированного/декодированного пиксела сигнала яркости. При внутрикадровом предсказании цветоразности из яркости первичный сигнал кодируется/декодируется перед вторичным сигналом, а вторичный сигнал предсказывается с использованием кодированного/декодированного первичного сигнала. При этом, так как в формате 4:2:0 и формате 4:2:2 объем информации о сигнале яркости больше, чем объем информации о сигнале цветоразности, то сигнал яркости используется в качестве первичного сигнала, а сигнал цветоразности - в качестве вторичного сигнала. В формате 4:4:4 объемы информации о сигнале яркости и сигнале цветоразности являются одинаковыми, но, как правило, точно так же, как и в других форматах, в качестве первичного сигнала используется сигнал яркости, а в качестве вторичного сигнала - сигнал цветоразности.
На фиг. 18 представлена иллюстрация процесса внутрикадрового предсказания цветоразности из яркости, а на фиг. 19 - блок-схема процесса внутрикадрового предсказания цветоразности из яркости.
Как показано на фиг. 18, внутрикадровое предсказание цветоразности из яркости выполняется на основе степени корреляции между кодированными/декодированными смежными пикселами 12а и 12b блока 10 яркости и кодировонными/декодированными смежными пикселами 16а и 16b блока 14 цветоразности. Внутрикадровое предсказание цветоразности из яркости предназначено для предсказания сигнала цветоразности, и поэтому смежные пикселы для вычисления степени корреляции, определяются на основе смежных пикселов блока цветоразности, подлежащего кодированию/декодированию. Другими словами, смежные пикселы блока яркости в том же положении, что и смежные пикселы, определенные для блока цветоразности, становятся пикселами для вычисления степени корреляции.
Сначала вычисляется степень корреляции между смежными пикселами кодированного/декодированного сигнала яркости и смежными пикселами сигнала цветоразности (S1901). Затем выполняется понижающая дискретизация кодированного/декодированного сигнала яркости целевого блока кодирования/декодирования (S1902). При этом для выбора типа фильтра может быть использовано множество типов фильтров понижающей дискретизации. Например, для выбора множества типов фильтров могут быть использованы фильтры с различной интенсивностью или фильтры с различным числом отводов фильтра. Тип фильтра может быть автоматически выбран с использованием степени корреляции между смежными пикселами или тип фильтра может быть подвергнут кодированию/декодированию и передаче в битовом потоке. Кроме того, если фильтр понижающей дискретизации сигнала яркости целевого блока кодирования/декодирования определяется не с использованием степени корреляции между смежными пикселами, то процессы обработки на этапах S1901 и S1902 могут выполняться в любом порядке, и процессы обработки на этапах S1901 и S1902 могут выполняться параллельно.
В заключение на основе степени корреляции между смежными пикселами выполняется предсказание сигнала цветоразности из сигнала яркости с пониженной дискретизацией (S1903). В случае формата 4:2:0 понижающая дискретизация составляет 1/2 в горизонтальном/вертикальном направлении. В случае формата 4:2:2 понижающая дискретизация составляет 1/2 в горизонтальном направлении, а в вертикальном направлении не выполняется. В случае формата 4:4:4 понижающая дискретизация не выполняется ни в горизонтальном направлении, ни в вертикальном направлении.
При внутрикадровом предсказании цветоразности из яркости после завершения кодирования/декодирования сигнала яркости целевого блока кодирования/декодирования может начаться процесс предсказания. Таким образом, момент времени начала процесса предсказания сигнала цветоразности зависит от размера блока яркости и размера блока цветоразности.
На фиг. 20(a) и 20(b) представлены иллюстрации процесса внутрикадрового предсказания цветоразности из яркости в случае, когда размер блока цветоразности больше, чем размер блока яркости. Число пикселов в блоках 20а, 20b, 20с и 20d яркости с первого по четвертый, разделенных на четыре, показанных на фиг. 20(a), составляет 16×16, и число пикселов в блоке 20е цветоразности, показанном на фиг. 20(b), составляет 16×16.
В данном случае сравнение между размерами блока яркости и блока цветоразности представляет собой не сравнение между числами пикселов в блоках, а сравнение между площадями с учетом цветоразностного формата. В частности, в формате 4:2:0, так как площадь, занимаемая блоком яркости, составляет 1/2 от площади, занимаемой блоком цветоразности, то когда число пикселов в блоке яркости составляет 16×16, и число пикселов в блоке цветоразности оставляет 16×16, размер блока яркости меньше. В формате 4:2:0 формат, когда число пикселов блока яркости составляет 16×16, а число пикселов в блоке цветоразности составляет 8×8, площади, занимаемые обоими блоками являются одинаковыми, и блока яркости и блока цветоразности имеют одинаковый размер.
Для выполнения сравнения между размерами блока яркости и блока цветоразности не путем сравнения между площадями блоков, а путем сравнения между числами пикселов в блоках требуется только преобразовать число пикселов блока цветоразности в число пикселов блока яркости в отношении между сигналом яркости и цветоразностным сигналом в цветоразностном формате. В случае формата 4:2:0, так как число пикселов сигнала яркости вдвое больше, чем число пикселов сигнала цветоразности, то в результате удвоения числа пикселов по высоте и ширине блока цветоразности, числа пикселов преобразуются в числа пикселов по высоте и ширине блока яркости. Например, в формате 4:2:0, когда размер блока яркости составляет 16×16, и размер блока цветоразности составляет 16×16, преобразованный размер блока цветоразности, преобразованный в число пикселов блока яркости, составляет 32×32, что показывает, что размер блока цветоразности больше.
При внутрикадровом предсказании после завершения процесса декодирования для каждого блока появляется возможность выполнения процесса предсказания следующего блока. То есть после завершения декодирования первого блока 20а яркости становится возможным декодирование второго блока 20b яркости, после завершения декодирования второго блока 20b яркости становится возможным декодирование третьего блока 20с яркости, а после завершения декодирования третьего блока 20с яркости - декодирование четвертого блока 20d яркости.
Когда размер блока цветоразности больше, чем размер блока яркости, смежные пикселы, необходимые для процесса предсказания блока 20е цветоразности, имеются в наличии до декодирования четырех блоков 20а, 20b, 20с и 20d яркости как для пиксела яркости, так и для пиксела цветоразности, и степень корреляции между смежными пикселами сигнала яркости и смежными пикселами сигнала цветоразности может быть вычислена на этапе S1901 на фиг. 19 без ожидания декодирования четырех блоков 20а, 20b, 20с и 20d яркости.
Далее после завершения декодирования первого блока 20а яркости выполняется понижающая дискретизация сигнала яркости на этапе S1902 на фиг. 19. Предсказать пикселы блока 20е цветоразности, который соответствует положению первого блока 20а яркости, можно без ожидания завершения декодирования второго блока 20b яркости. Точно так же после завершения декодирования второго блока 20b яркости выполняется понижающая дискретизация сигнала яркости, и без ожидания завершения декодирования третьего блока 20с яркости предсказываются пикселы блока 20е цветоразности, который соответствует положению второго блока 20b яркости. Кроме того, после завершения декодирования третьего блока 20с яркости выполняется понижающая дискретизация сигнала яркости, и без ожидания завершения декодирования четвертого блока 20d яркости предсказываются пикселы блока 20е цветоразности, который соответствует в положению третьего блока 20с яркости. В заключение после завершения декодирования четвертого блока 20d яркости выполняется понижающая дискретизация сигнала яркости, и предсказываются пикселы блока 20е цветоразности, который соответствует положению четвертого блока 20d яркости.
На фиг. 21(a) и 21(b) представлены иллюстрации процесса внутрикадрового предсказания цветоразности из яркости случая, когда размер блока цветоразности меньше, чем размер блока яркости. Число пикселов в блоке 21а яркости, показанном на фиг. 21(a), составляет 16×16, а число пикселов в блоках 21b, 21с, 21d и 21е цветоразности с первого по четвертый, показанных на фиг. 21(b), составляет 4×4.
В формате 4:2:0, так как площадь, занимаемая блоком яркости составляет 1/2 от площади, занимаемой блоком цветоразности, то когда число пикселов в блоке яркости составляет 16×16, а число пикселов в блоке цветоразности - 4×4, размер блока цветоразности меньше. Для выполнения сравнения между размерами блока яркости и блока цветоразности не путем сравнения между площадями блоков, а путем сравнения между числами пикселов в блоках в случае формата 4:2:0 числа пикселов по высоте и ширине блока цветоразности удваиваются и преобразуются в числа пикселов по высоте и ширине блока яркости. В формате 4:2:0, когда размер блока яркости составляет 16×16, а размер блока цветоразности - 4×4, преобразованный размер блока цветоразности, преобразованный в число пикселов блока яркости, составляет 8×8, что показывает, что размер блока цветоразности меньше.
Когда размер блока цветоразности меньше, чем размер блока яркости, смежные пикселы первого блока 21b цветоразности могут быть использованы до декодирования блока 21а яркости как для пиксела яркости, так и для пиксела цветоразности, но смежные пикселы блоков 21с, 21d и 21е цветоразности со второго по четвертый не могут быть использованы до завершения декодирования блока 21а яркости. То есть до завершения декодирования блока 21а яркости и декодирования первого блока 21b цветоразности для второго блока 21с цветоразности степень корреляции между смежными пикселами сигнала яркости и смежными пикселами сигнала цветоразности не может быть вычислена на этапе S1901 на фиг. 19. Точно так же и для третьего блока 21d цветоразности до завершения декодирования блока 21а яркости и декодирования первого и второго блоков 21b и 21с цветоразности для третьего блока 21d цветоразности степень корреляции между смежными пикселами сигнала яркости и смежными пикселами сигнала цветоразности не может быть вычислена. Точно так же и для четвертого блока 21е цветоразности до завершения декодирования блока 21а яркости и декодирования блоков 21b, 21с и 21d цветоразности с первого по третий для четвертого блока 21е цветоразности степень корреляции между смежными пикселами сигнала яркости и смежными пикселами сигнала цветоразности не может быть вычислена.
Таким образом, когда размер блока цветоразности меньше, чем размер блока яркости, если выполняется внутрикадровое предсказание цветоразности из яркости, то в процессе предсказания блока цветоразности возникает взаимозависимость обработки между блоком яркости и блоком цветоразности и между блоками цветоразности, что делает параллельную обработку невозможной. Следовательно, когда размер блока цветоразности меньше, чем размер блока яркости, внутрикадровое предсказание цветоразности из яркости ограничивается. В качестве способов ограничения внутрикадрового предсказания цветоразности из яркости существуют (1) способ ограничения с использованием синтаксиса, (2) способ замены режима внутрикадровой цветоразности и (3) способ замены смежных пикселов.
Фиг. 22 иллюстрирует пример синтаксиса режима внутрикадрового предсказания цветоразности. Когда номер режима предсказания цветоразности равен 0, то в качестве режима предсказания цветоразности используется тот же режим внутрикадрового предсказания, что и режим предсказания яркости. Например, если режим предсказания яркости представляет собой режим горизонтального предсказания, то режим предсказания цветоразности также становится режимом горизонтального предсказания. Когда номер режима предсказания цветоразности равен 1, то используется режим среднего значения (режим DC). При режиме DC внутрикадровое предсказание выполняется с использованием среднего значения смежных пикселов. Когда номер режима предсказания цветоразности равен 2, используется режим внутрикадрового предсказания цветоразности из яркости.
В качестве способа ограничения внутрикадрового предсказания цветоразности из яркости, когда (1) внутрикадровое предсказание цветоразности из яркости ограничивается с использованием синтаксиса, то, так как режим 2 указывает на внутрикадровое предсказание цветоразности из яркости, режим 2 становится невыбираемым. Другими словами, режим 2 не передается, и режим внутрикадровой цветоразности выбирается из режима 0 и режима 1.
В качестве способа ограничения внутрикадрового предсказания цветоразности из яркости при (2) замене режима внутрикадровой цветоразности, когда номер режима предсказания цветоразности обозначен как режим 2, вместо режима внутрикадрового предсказания цветоразности из яркости используется режим вертикального предсказания. Однако заменяемый режим предсказания не ограничивается режимом вертикального предсказания и может быть другим режимом предсказания. Кроме того, в предпочтительном варианте режим предсказания из яркости режима 0 и режим замены режимом 2 становятся одинаковыми и используемые режимы не перекрываются.
В качестве способа ограничения внутрикадрового предсказания цветоразности из яркости при (3) замене смежных пикселов заменяются смежные пикселы для вычисления степени корреляции между смежными пикселами сигнала яркости и смежными пикселами сигнала цветоразности на этапе S1901 на фиг. 19. Также появляется возможность вычисления степени корреляции между смежными пикселами в блоках 21с, 21d и 21е цветоразности со второго по четвертый на фиг. 21 без ожидания декодирования блока 21 а яркости.
Фиг. 23 иллюстрирует пример замены смежных пикселов. В качестве смежных пикселов с левой стороны второго блока 21с цветоразности, как правило, используются пикселы в первом блоке 21b цветоразности, а для использования пикселов в первом блоке 21b цветоразности необходимо ожидать завершения декодирования блока 21а яркости и первого блока 21b цветоразности. Таким образом, область 21f, которую можно использовать без ожидания завершения декодирования блока 21а, яркости используется в качестве смежных пикселов второго блока 21с цветоразности. Точно так же для третьего блока 21d цветоразности область 21f, которую можно использовать без ожидания завершения декодирования блока 21а яркости, используется, в качестве смежных пикселов третьего блока 21d цветоразности. Точно так же для четвертого блока 21е цветоразности область 21f, которую можно использовать без ожидания завершения декодирования блока 21а яркости, используется в качестве смежных пикселов четвертого блока 21е цветоразности.
Таким образом, в первом варианте осуществления, когда при выполнении внутрикадрового предсказания цветоразности из яркости размер блока цветоразности меньше, чем размер блока яркости, в результате ограничения внутрикадрового предсказания цветоразности из яркости появляется возможность ослабления взаимозависимости обработки между блоком яркости и блоком цветоразности. Это обеспечивает возможность параллельной обработки блока яркости и блока цветоразности и позволяет сократить объем обработки в процессе кодирования и декодирования.
Второй вариант осуществления
Ниже приводится описание второго варианта осуществления настоящего изобретения. Второй вариант осуществления отличается от первого варианта осуществления тем, что размер блока яркости и размер блока цветоразности оцениваются независимо друг от друга, и внутрикадровое предсказание цветоразности из яркости ограничивается без использования соотношения размеров между размером блока яркости и размером блока цветоразности, а другие конструкции и операции являются такими же, как и в первом варианте осуществления.
Сначала приводится описание ограничения на основе размера блока яркости. Фиг. 24(а)-24(с) иллюстрируют процесс внутрикадрового предсказания цветоразности из яркости на основе разности в размере блока яркости. Как показано на фиг. 24(a) и 24(b), первый блок 24а яркости соответствует положению первого блока 24е цветоразности, второй блок 24b яркости соответствует положению второго блока 24f цветоразности, третий блок 24 с яркости соответствует положению третьего 24g цветоразности, а четвертый блок 24d яркости - положению четвертого блока 24h цветоразности. Кроме того, блок 24i яркости на фиг. 24(c) соответствует положениям блоков 24е, 24f, 24g и 24h цветоразности с первого по четвертый на фиг. 24(b).
Ниже приводится описание взаимозависимости между блоком яркости и блоком цветоразности. Когда размер блока яркости является небольшим, как показано на фиг. 24(a), то при завершении декодирования первого блока 24а яркости появляется возможность декодирования первого блока 24е цветоразности. При завершении декодирования второго блока 24b яркости появляется возможность декодирования второго блока 24f цветоразности. При завершении декодирования третьего блока 24 с яркости появляется возможность декодирования третьего блока 24g цветоразности. При завершении декодирования четвертого блока 24d яркости появляется возможность декодирования четвертого блока 24h цветоразности.
В то же время, когда размер блока яркости является большим, как показано на фиг. 24(c), то до завершения декодирования блока 24i яркости декодирование какого-либо из блоков 24е, 24f, 24g и 24h цветоразности с первого по четвертый является невозможным.
В случае независимого определения разделения блока яркости и разделения блока цветоразности друг от друга, если абсолютный размер блока яркости является большим, то вероятность уменьшения размера блока цветоразности по сравнению с размером блока яркости повышается. Таким образом, когда абсолютный размер блока яркости больше, чем или равен предварительно заданному размеру, внутрикадровое предсказание цветоразности из яркости соответствующего блока цветоразности ограничивается.
Точно так же, если абсолютный размер блока цветоразности является небольшим, то вероятность уменьшения размера блока цветоразности по сравнению с размером блока яркости повышается. Таким образом, когда абсолютный размер блока цветоразности меньше, чем или равен предварительно заданному размеру, внутрикадровое предсказание цветоразности из яркости соответствующего блока цветоразности ограничивается.
Способ ограничения внутрикадрового предсказания цветоразности из яркости является таким же, как и в первом варианте осуществления.
Таким образом, во втором варианте осуществления, когда абсолютный размер блока яркости больше, чем пороговое значение, или когда абсолютный размер блока цветоразности меньше, чем пороговое значение, внутрикадровое предсказание цветоразности из яркости ограничивается. В результате появляется возможность предсказания случая, когда размер блока цветоразности меньше, чем размер блока яркости, ограничения внутрикадрового предсказания цветоразности из яркости и стохастического ослабления взаимозависимости обработки между блоком яркости и блоком цветоразности.
Третий вариант осуществления
Ниже приводится описание третьего варианта осуществления настоящего изобретения. Третий вариант осуществления отличается от первого варианта осуществления тем, что блок 101 разделения на блоки разделяет блок цветоразности таким образом, что, размер блока цветоразности не становится меньше, чем размер блока яркости, а другие конструкции и операции являются такими же, как и в первом варианте осуществления. Когда блок 101 разделения на блоки разделяет блок цветоразности, разделение, при котором размер блока цветоразности становится меньше, чем размер блока яркости, запрещается. Это предотвращает появление блока цветоразности размером меньше, чем размер блока яркости при внутрикадровом предсказании цветоразности из яркости и позволяет выполнять параллельную обработку блока яркости и блока цветоразности во всех случаях.
Битовый поток изображения на выходе устройства кодирования изображения в соответствии с любым из вариантов осуществления, описанных выше, имеет определенный формат данных, обеспечивающий возможность декодирования этого потока в соответствии со способом кодирования, используемым в варианте осуществления, и декодирование битового потока кодирования с этим определенным форматом данных может быть выполнено устройством декодирования изображения, соответствующим устройству кодирования изображения.
При использовании проводной или беспроводной сети для обмена битовыми потоками между устройством кодирования изображения и устройством декодирования изображения битовый поток может быть преобразован в формат данных, соответствующий режиму передачи по каналу связи и обеспечивающий, следовательно, возможность передачи этого потока. В этом случае необходимо использование устройства передачи для преобразования битовых потоков на выходе устройства кодирования изображения в кодированные данные, формат которых должен соответствовать режиму передачи по каналу связи, и для передачи этих битовых потоков по сети, а также устройства приема для приема битовых потоков из сети, обеспечивающего восстановление этих битовых потоков и подачи восстановленных битовых потоков на вход устройства декодирования изображения.
Устройство передачи включает в себя память для буферизации битовых потоков на выходе устройства кодирования изображения, блок пакетной обработки для пакетирования этих битовых потоков и блок передачи для передачи пакетированных битовых потоков по сети. Устройство приема включает в себя блок приема для приема пакетированных кодированных данных по сети, память для буферизации принимаемых кодированных данных и блок пакетной обработки для выполнения пакетной обработки этих кодированных данных, генерирования битовых потоков и подачи этих генерированных битовых потоков на вход устройства декодирования изображения.
Кроме того, устройство отображения для отображения изображения, декодированного с помощью устройства декодирования изображения, может быть дополнено блоком отображения. В этом случае блок отображения считывает сигнал декодированного изображения, генерируемый с помощью блока 205 наложения для генерирования сигнала декодированного изображения и хранимый в памяти 206 декодированных изображений 206, и отображает это изображение на своем экране.
Кроме того, устройство формирования изображения может быть дополнено блоком формирования изображения, обеспечивающим подачу сформированного изображения на вход устройства кодирования изображения. В этом случае блок формирования изображения обеспечивает подачу сигнала сформированного изображения на вход блока 101 разделения на блоки.
Процессы обработки, относящиеся к кодированию и декодированию, описанные выше, могут быть реализованы не только в виде устройств передача/хранения/приема, использующих аппаратные средства, но и с помощью встроенного программного обеспечения, хранимого в постоянной памяти (ROM), во флэш-памяти или т.п., или с помощью программного обеспечения компьютера или т.п. Доступ к встроенному программному обеспечению или к программе системы программного обеспечения может обеспечиваться через считываемый компьютером или т.п. носитель записи, с сервера через проводную или беспроводную сеть или с использованием широковещательной передачи данных по спутниковым каналам цифрового вещания.
Настоящее изобретение было описано выше на основе предпочтительных вариантов осуществления. Приведенные варианты осуществления носят исключительно иллюстративный характер, и специалистам в данной области техники должно быть очевидно, что возможны самые различных модификации каждого из составляющих элементов и каждого из процессов обработки, описанные в этих вариантах осуществления, и что такие модификации также находятся в пределах объема настоящего изобретения.
Описание номеров позиций
100 - устройств кодирования изображения,
101 - блок разделения на блоки,
102 - блок генерирования предсказанного изображения,
103 - блок генерирования остаточного сигнала ошибки,
104 - блок ортогонального преобразования/квантования,
105 - блок генерирования битового потока,
106 - блок обратного квантования/обратного ортогонального преобразования,
107 - блоков наложения для генерирования сигнала декодированного изображения,
108 - память для декодированных изображений,
200 - устройств декодирования изображения,
201 - блок декодирования битового потока,
202 - блока разделения на блоки,
203 - блок обратного квантования/обратного ортогонального преобразования,
204 - блок генерирования предсказанного изображения,
205 - блок наложения для генерирования сигнала декодированного изображения и
206 - для память декодированных изображений.
Промышленная применимость
Настоящее изобретение может быть использовано в технике разделения изображения блоки и выполнения кодирования и декодирования для каждого из разделенных блоков.

Claims (42)

1. Устройство кодирования изображения, которое разделяет изображение на блоки и выполняет кодирование для каждого из разделенных блоков, где это устройство кодирования изображения содержит:
блок разделения на блоки первичного сигнала, который разделяет первичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок первичного сигнала;
блок разделения на блоки вторичного сигнала, который разделяет вторичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок вторичного сигнала;
блок предсказания первичного сигнала, который предсказывает первичный сигнал; и
блок предсказания вторичного сигнала, который предсказывает вторичный сигнал,
причем при внутрикадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки независимо друг от друга, а при межкадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки в совокупности; и
блок предсказания вторичного сигнала может выполнять внутрикадровое предсказание компонента вторичного сигнала из кодированного первичного сигнала, и это внутрикадровое предсказание компонента ограничивается, если размер блока первичного сигнала больше чем или равен предварительно заданному размеру.
2. Способ кодирования изображения, который разделяет изображение на блоки и выполняет кодирование для каждого из разделенных блоков, где этот способ кодирования изображения содержит:
этап разделения на блоки первичного сигнала, заключающийся в разделении первичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока первичного сигнала;
этап разделения на блоки вторичного сигнала, заключающийся в разделении вторичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока вторичного сигнала;
этап предсказания первичного сигнала, заключающийся в предсказании первичного сигнала; и
этап предсказания вторичного сигнала, заключающийся в предсказании вторичного сигнала,
причем при внутрикадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки независимо друг от друга, а при межкадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки в совокупности; и
этап предсказания вторичного сигнала может выполнять внутрикадровое предсказание компонента вторичного сигнала из кодированного первичного сигнала, и это внутрикадровое предсказание компонента ограничивается, если размер блока первичного сигнала больше чем или равен предварительно заданному размеру.
3. Энергонезависимый считываемый компьютером носитель записи, хранящий программу кодирования изображения, которая разделяет изображение на блоки и выполняет кодирование для каждого из разделенных блоков, где эта программа кодирования изображения обеспечивает исполнение компьютером:
этапа разделения на блоки первичного сигнала, заключающегося в разделении первичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока первичного сигнала;
этапа разделения на блоки вторичного сигнала, заключающегося в разделении вторичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока вторичного сигнала;
этапа предсказания первичного сигнала, заключающегося в предсказании первичного сигнала; и
этапа предсказания вторичного сигнала, заключающегося в предсказании вторичного сигнала,
причем при внутрикадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки независимо друг от друга, а при межкадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки в совокупности; и
этап предсказания вторичного сигнала может выполнять внутрикадровое предсказание компонента вторичного сигнала из кодированного первичного сигнала, и это внутрикадровое предсказание компонента ограничивается, если размер блока первичного сигнала больше чем или равен предварительно заданному размеру.
4. Устройство декодирования изображения, которое разделяет изображение на блоки и выполняет декодирование для каждого из разделенных блоков, где это устройство декодирования изображения содержит:
блок разделения на блоки первичного сигнала, который разделяет первичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок первичного сигнала;
блок разделения на блоки вторичного сигнала, который разделяет вторичный сигнал изображения на прямоугольники, имеющие предварительно заданный размер, и генерирует блок вторичного сигнала;
блок предсказания первичного сигнала, который предсказывает первичный сигнал; и
блок предсказания вторичного сигнала, который предсказывает вторичный сигнал,
причем при внутрикадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки независимо друг от друга, а при межкадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки в совокупности; и
блок предсказания вторичного сигнала может выполнять внутрикадровое предсказание компонента вторичного сигнала из декодированного первичного сигнала, и это внутрикадровое предсказание компонента ограничивается, если размер блока первичного сигнала больше чем или равен предварительно заданному размеру.
5. Способ декодирования изображения, который разделяет изображение на блоки и выполняет декодирование для каждого из разделенных блоков, где этот способ декодирования изображения содержит:
этап разделения на блоки первичного сигнала, заключающийся в разделении первичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока первичного сигнала;
этап разделения на блоки вторичного сигнала, заключающийся в разделении вторичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока вторичного сигнала;
этап предсказания первичного сигнала, заключающийся в предсказании первичного сигнала; и
этап предсказания вторичного сигнала, заключающийся в предсказании вторичного сигнала,
причем при внутрикадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки независимо друг от друга, а при межкадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки в совокупности; и
этап предсказания вторичного сигнала может выполнять внутрикадровое предсказание компонента вторичного сигнала из декодированного первичного сигнала, и это внутрикадровое предсказание компонента ограничивается, если размер блока первичного сигнала больше чем или равен предварительно заданному размеру.
6. Энергонезависимый считываемый компьютером носитель записи, хранящий программу декодирования изображения, которая разделяет изображение на блоки и выполняет декодирование для каждого из блоков, полученных в результате разделения изображения, где эта программа декодирования изображения обеспечивает выполнение компьютером:
этапа разделения на блоки первичного сигнала, заключающегося в разделении первичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока первичного сигнала;
этапа разделения на блоки вторичного сигнала, заключающегося в разделении вторичного сигнала изображения на прямоугольники, имеющие предварительно заданный размер, и генерировании блока вторичного сигнала;
этапа предсказания первичного сигнала, заключающегося в предсказании первичного сигнала; и
этапа предсказания вторичного сигнала, заключающегося в предсказании вторичного сигнала,
причем при внутрикадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки независимо друг от друга, а при межкадровом предсказании блок первичного сигнала и блок вторичного сигнала разделяются на блоки в совокупности; и
этап предсказания вторичного сигнала может выполнять внутрикадровое предсказание компонента вторичного сигнала из декодированного первичного сигнала, и это внутрикадровое предсказание компонента ограничивается, если размер блока первичного сигнала больше чем или равен предварительно заданному размеру.
RU2019138508A 2017-04-28 2018-03-26 Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения RU2749503C9 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-089252 2017-04-28
JP2017089252A JP6680260B2 (ja) 2017-04-28 2017-04-28 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
PCT/JP2018/011953 WO2018198626A1 (ja) 2017-04-28 2018-03-26 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2021113711A Division RU2773145C9 (ru) 2017-04-28 2018-03-26 Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения

Publications (4)

Publication Number Publication Date
RU2019138508A3 RU2019138508A3 (ru) 2021-05-28
RU2019138508A RU2019138508A (ru) 2021-05-28
RU2749503C2 true RU2749503C2 (ru) 2021-06-11
RU2749503C9 RU2749503C9 (ru) 2022-07-29

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100461867C (zh) * 2004-12-02 2009-02-11 中国科学院计算技术研究所 一种帧内图像预测编码方法
US20140003512A1 (en) * 2011-06-03 2014-01-02 Sony Corporation Image processing device and image processing method
RU2528132C2 (ru) * 2010-04-13 2014-09-10 Самсунг Электроникс Ко., Лтд. Способ кодирования видео и устройство кодирования видео с использованием блоков предсказания на основании блоков кодирования, определенных в соответствии с древовидной структурой, и способ декодирования видео и устройство декодирования видео с использованием блоков предсказания на основании блоков кодирования, определенных в соответствии с древовидной структурой
US20160219283A1 (en) * 2015-01-27 2016-07-28 Qualcomm Incorporated Adaptive cross component residual prediction
US20160227210A1 (en) * 2013-10-18 2016-08-04 Ge Video Compression, Llc Multi-component picture or video coding concept

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100461867C (zh) * 2004-12-02 2009-02-11 中国科学院计算技术研究所 一种帧内图像预测编码方法
RU2528132C2 (ru) * 2010-04-13 2014-09-10 Самсунг Электроникс Ко., Лтд. Способ кодирования видео и устройство кодирования видео с использованием блоков предсказания на основании блоков кодирования, определенных в соответствии с древовидной структурой, и способ декодирования видео и устройство декодирования видео с использованием блоков предсказания на основании блоков кодирования, определенных в соответствии с древовидной структурой
US20140003512A1 (en) * 2011-06-03 2014-01-02 Sony Corporation Image processing device and image processing method
US20160227210A1 (en) * 2013-10-18 2016-08-04 Ge Video Compression, Llc Multi-component picture or video coding concept
US20160219283A1 (en) * 2015-01-27 2016-07-28 Qualcomm Incorporated Adaptive cross component residual prediction

Also Published As

Publication number Publication date
CN117395417A (zh) 2024-01-12
CN117395414A (zh) 2024-01-12
SG10202013237VA (en) 2021-02-25
US20230042714A1 (en) 2023-02-09
BR112019022270B1 (pt) 2022-05-31
US11973946B2 (en) 2024-04-30
BR112019022270A2 (pt) 2020-05-19
KR102437314B1 (ko) 2022-08-29
KR102602361B1 (ko) 2023-11-14
CN112954320A (zh) 2021-06-11
CN117395413A (zh) 2024-01-12
KR20220121916A (ko) 2022-09-01
KR20230054748A (ko) 2023-04-25
PH12019550213A1 (en) 2020-09-21
CN117395416A (zh) 2024-01-12
JP2018191036A (ja) 2018-11-29
MX2023009319A (es) 2023-08-16
US20210203932A1 (en) 2021-07-01
US11523114B2 (en) 2022-12-06
KR102522615B1 (ko) 2023-04-14
US20240205400A1 (en) 2024-06-20
JP6680260B2 (ja) 2020-04-15
SG11201909569YA (en) 2019-11-28
RU2019138508A3 (ru) 2021-05-28
CN112954320B (zh) 2023-07-04
US10979710B2 (en) 2021-04-13
WO2018198626A1 (ja) 2018-11-01
CN110476422A (zh) 2019-11-19
EP3618437A1 (en) 2020-03-04
MX2019012838A (es) 2020-02-10
RU2019138508A (ru) 2021-05-28
KR102302932B1 (ko) 2021-09-15
EP3618437A4 (en) 2020-08-12
US20200059645A1 (en) 2020-02-20
KR20200002030A (ko) 2020-01-07
KR20210114559A (ko) 2021-09-23
CN110476422B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
RU2740631C1 (ru) Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи
AU2019240711B2 (en) Method and apparatus for motion compensation prediction
US20210176478A1 (en) Image coding/decoding method and apparatus using correlation in ycbcr
KR102522615B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 그리고 화상 복호화 장치, 화상 복호화 방법 및 화상 복호화 프로그램
JP7183334B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
RU2749503C9 (ru) Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения
RU2773145C1 (ru) Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения
RU2773145C9 (ru) Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения
RU2754635C9 (ru) Устройство кодирования изображения, способ кодирования изображения и считываемый компьютером носитель записи с программой кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и считываемый компьютером носитель записи с программой декодирования изображения
JP7550373B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2022019711A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP7276549B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2019167994A1 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020010342A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム