RU2674306C1 - Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений - Google Patents

Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений Download PDF

Info

Publication number
RU2674306C1
RU2674306C1 RU2018100616A RU2018100616A RU2674306C1 RU 2674306 C1 RU2674306 C1 RU 2674306C1 RU 2018100616 A RU2018100616 A RU 2018100616A RU 2018100616 A RU2018100616 A RU 2018100616A RU 2674306 C1 RU2674306 C1 RU 2674306C1
Authority
RU
Russia
Prior art keywords
prediction
intra
image
unit
encoding
Prior art date
Application number
RU2018100616A
Other languages
English (en)
Inventor
Акира МИНЕЗАВА
Сунити СЕКИГУТИ
Казуо СУГИМОТО
Original Assignee
Мицубиси Электрик Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45892218&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2674306(C1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Мицубиси Электрик Корпорейшн filed Critical Мицубиси Электрик Корпорейшн
Application granted granted Critical
Publication of RU2674306C1 publication Critical patent/RU2674306C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества изображений за счет уменьшения ошибок предсказания. Устройство декодирования изображений содержит модуль интрапредсказания для, когда режим кодирования для блока, который является модулем для процесса предсказания, представляет собой режим интракодирования, выполнения процесса внутрикадрового предсказания над упомянутым блоком для формирования изображения интрапредсказания, при этом упомянутый модуль интрапредсказания формирует упомянутое изображение интрапредсказания упомянутого блока путем расчета предсказанного значения из опорных выборок согласно параметру интрапредсказания, указывающему тип интрапредсказания, и выполняет процесс фильтрации для упомянутого изображения интрапредсказания только для конкретных пикселей в упомянутом блоке согласно типу цветового компонента. 4 н.п. ф-лы, 10 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к устройству кодирования движущихся изображений и к способу кодирования движущихся изображений для кодирования движущегося изображения с высокой степенью эффективности, а также к устройству декодирования движущихся изображений и к способу декодирования движущихся изображений для декодирования кодированного движущегося изображения с высокой степенью эффективности.
УРОВЕНЬ ТЕХНИКИ
[0002] Например, в соответствии со способом кодирования видео по международным стандартам, к примеру, MPEG (стандарт экспертной группы по киноизображению) или "ITU-T H.26x", введенный видеокадр разделяется на прямоугольные блоки (целевые блоки кодирования), процесс предсказания (прогнозирования) с использованием уже кодированного сигнала изображения выполняется для каждого целевого блока кодирования для того, чтобы формировать изображение предсказания, и процесс ортогонального преобразования и квантования выполняется для сигнала ошибки предсказания, который является разностью между целевым блоком кодирования и изображением предсказания в единицах блоков, так что сжатие информации выполняется для введенного видеокадра.
[0003] Например, в случае AVC/H.264 (ISO/IEC 14496-10|ITU-T H.264), который является способом по международным стандартам, выполняется процесс интра-предсказания из уже кодированных смежных пикселей или процесс предсказания с компенсацией движения между смежными кадрами (например, см. непатентную ссылку 1). В случае MPEG-4 AVC/H.264, один режим предсказания может быть выбран из множества режимов предсказания для каждого блока в режиме интра-предсказания яркости. Фиг.10 является пояснительным чертежом, показывающим режимы интра-предсказания в случае размера пиксельного блока 4×4 для яркости. На фиг.10, каждый белый круг показывает пиксель в блоке кодирования, а каждый черный круг показывает пиксель, который используется для предсказания, и который существует в уже кодированном смежном блоке.
[0004] В примере, показанном на фиг.10, девять режимов 0-8 подготавливаются в качестве режимов интра-предсказания, и режим 2 является режимом, в котором предсказание по среднему выполняется таким образом, что каждый пиксель в целевом блоке кодирования предсказывается посредством использования среднего смежных пикселей, существующих в верхних и левых блоках. Режимы, отличные от режима 2, являются режимами интра-предсказания, в каждом из которых выполняется направленное предсказание. Режим 0 является режимом, в котором вертикальное предсказание выполняется таким образом, что смежные пиксели в верхнем блоке многократно реплицируются, чтобы создавать несколько строк пикселей вдоль вертикального направления с тем, чтобы формировать изображение предсказания. Например, режим 0 выбирается, когда целевой блок кодирования представляет собой шаблон с чередованием по вертикали. Режим 1 является режимом, в котором горизонтальное предсказание выполняется таким образом, что смежные пиксели в левом блоке многократно реплицируются, чтобы создавать несколько столбцов пикселей вдоль горизонтального направления с тем, чтобы формировать изображение предсказания. Например, режим 1 выбирается, когда целевой блок кодирования представляет собой шаблон с чередованием по горизонтали. В каждом из режимов 3-8 интерполяционные пиксели, идущие в предварительно определенном направлении (т.е. в направлении, показанном посредством стрелок), формируются посредством использования смежных пикселей в верхнем блоке или левом блоке, чтобы формировать изображение предсказания.
[0005] В этом случае, размер блока для яркости, к которому применяется интра-предсказание (внутреннее предсказание), может быть выбран из 4×4 пикселей, 8×8 пикселей и 16×16 пикселей. В случае 8×8 пикселей задаются девять режимов интра-предсказания, как и в случае 4×4 пикселей. В отличие от этого, в случае 16×16 пикселей задаются четыре режима интра-предсказания, которые называются предсказаниями на плоскости, в дополнение к режимам интра-предсказания, ассоциированным с предсказанием по среднему, вертикальным предсказанием и горизонтальным предсказанием. Каждое интра-предсказание, ассоциированное с предсказанием на плоскости, является режимом, в котором пиксели, созданные посредством выполнения интерполяции в диагональном направлении для смежных пикселей в верхнем блоке и смежных пикселей в левом блоке, предоставляются в качестве предсказанных значений.
[0006] В режиме направленного предсказания в случае размера блока 4×4 пикселей или 8×8 пикселей, поскольку предсказанные значения формируются вдоль направления, предварительно определенного согласно режиму, например, направления в 45 градусов, повышается эффективность предсказания, и может быть уменьшен объем кода, когда направление границы (края) объекта в блоке совпадает с направлением, показанным посредством режима предсказания. Тем не менее, небольшое смещение может возникать между направлением края и направлением, показанным посредством режима предсказания, и даже если направление края в целевом блоке кодирования не совпадает с направлением, показанным посредством режима предсказания, большая ошибка предсказания может возникать локально по той простой причине, что край немного искажен (повернут, изогнут и т.п.). Как результат, эффективность предсказания может серьезно падать. Чтобы предотвращать такое снижение эффективности предсказания, при выполнении направленного предсказания 8×8 пикселей сглаженное изображение предсказания формируется посредством задания кодированных смежных пикселей, которые фильтруются посредством сглаживающего фильтра, в качестве опорных изображений, которые используются во время формирования изображения предсказания, тем самым уменьшая все небольшие смещения в направлении предсказания и ошибки предсказания, которые возникают, когда небольшое искажение возникает на краю.
Документы предшествующего уровня техники
Непатентные ссылки
[0007] Непатентная ссылка 1. Стандарты MPEG-4 AVC (ISO/IEC 14496-10)/H.ITU-T 264
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Задачи, которые должны быть решены изобретением
[0008] Поскольку традиционное устройство кодирования изображений имеет такую структуру, как указано выше, выполнение процесса фильтрации для того, чтобы формировать сглаженное изображение предсказания, может уменьшать появление ошибок предсказания, даже если небольшое смещение возникает в направлении предсказания, или небольшое искажение возникает на краю. Тем не менее, согласно технологии, раскрытой в непатентной ссылке 1, процесс фильтрации не выполняется для блоков, отличных от блоков 8×8 пикселей, и предоставляется только один возможный фильтр, используемый для блоков 8×8 пикселей. Проблема состоит в том, что также в блоке, имеющем размер, отличный от 8×8 пикселей, большая ошибка предсказания фактически возникает локально вследствие небольшого несовпадения на краю, даже когда изображение предсказания имеет шаблон, аналогичный шаблону изображения, которое должно быть кодировано, и, следовательно, возникает большое снижение эффективности предсказания. Дополнительная проблема состоит в том, что когда параметр квантования, который используется при квантовании сигнала ошибки предсказания, позиции каждого пикселя и т.п., отличается между имеющими идентичный размер блоками, фильтр, подходящий для уменьшения локальных ошибок предсказания, отличается между блоками, но подготавливается только один возможный фильтр, и, следовательно, ошибки предсказания не могут быть уменьшены в достаточной степени.
[0009] Настоящее изобретение осуществлено, чтобы разрешать вышеуказанные проблемы, и, следовательно, задача настоящего изобретения заключается в том, чтобы предоставлять устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений, допускающие уменьшение ошибок предсказания, которые возникают локально, тем самым позволяя повышать качество изображений.
Средство для решения задач
[0010] В соответствии с настоящим изобретением, предоставляется устройство декодирования движущихся изображений, включающее в себя модуль интра-предсказания для, когда режим кодирования, ассоциированный с блоком кодирования, является режимом интра-кодирования (внутреннего кодирования), выполнения процесса внутрикадрового предсказания для каждого блока, который является единицей для процесса предсказания блока кодирования, в котором модуль интра-предсказания формирует промежуточное предсказанное значение из опорных выборок согласно параметру интра-предсказания, задает значение, которое получается посредством фильтрации промежуточного предсказанного значения, в качестве конечного предсказанного значения только в конкретных позициях в блоке, и задает промежуточное предсказанное значение в качестве конечного предсказанного значения в любых других позициях в блоке.
Преимущества изобретения
[0011] Поскольку устройство декодирования движущихся изображений в соответствии с настоящим изобретением имеет такую структуру, что устройство декодирования движущихся изображений включает в себя модуль интра-предсказания для, когда режим кодирования, ассоциированный с блоком кодирования, является режимом интра-кодирования, выполнения процесса внутрикадрового предсказания для каждого блока, который является единицей для процесса предсказания блока кодирования, и модуль интра-предсказания формирует промежуточное предсказанное значение из опорных выборок согласно параметру интра-предсказания, задает значение, которое получается посредством фильтрации промежуточного предсказанного значения, в качестве конечного предсказанного значения только в конкретных позициях в блоке и задает промежуточное предсказанное значение в качестве конечного предсказанного значения в любых других позициях в блоке, предоставляется преимущество возможности уменьшать ошибки предсказания, которые возникают локально, тем самым предоставляя возможность даже устройству декодирования движущихся изображений формировать изображение интра-предсказания, идентичное изображению интра-предсказания, сформированному посредством устройства кодирования движущихся изображений, имеющего высокую степень качества изображений.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0012] Фиг.1 является блок-схемой, показывающей устройство кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;
Фиг.2 является блок-схемой, показывающей устройство декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;
Фиг.3 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;
Фиг.4 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения;
Фиг.5 является пояснительным чертежом, показывающим состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на множество блоков кодирования;
Фиг.6(a) является пояснительным чертежом, показывающим распределение фрагментов, на которые разделяется блок, который должен быть кодирован, и фиг.6(b) является пояснительным чертежом, показывающим состояние, в котором режим m(Bn) кодирования назначается каждому из фрагментов после того, как разделение на иерархические уровни выполняется посредством использования графа в виде дерева квадрантов;
Фиг.7 является пояснительным чертежом, показывающим пример параметров интра-предсказания (режима интра-предсказания), которые могут быть выбраны для каждого фрагмента Pi n в блоке Bn кодирования;
Фиг.8 является пояснительным чертежом, показывающим пример пикселей, которые используются при формировании предсказанного значения каждого пикселя в фрагменте Pi n в случае li n=mi n=4;
Фиг.9 является пояснительным чертежом, показывающим пример компоновки опорных пикселей в случае N=5; и
Фиг.10 является пояснительным чертежом, показывающим режимы интра-предсказания в случае размера пиксельного блока 4×4 для яркости.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[0013] Далее, для того чтобы подробнее пояснять это изобретение, описываются предпочтительные варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.
Вариант 1 осуществления
В этом варианте 1 осуществления поясняются устройство кодирования движущихся изображений, которое вводит изображение каждого кадра видео, выполняет процесс интра-предсказания из уже кодированных смежных пикселей или процесс предсказания с компенсацией движения между смежными кадрами, чтобы формировать изображение предсказания, выполняет процесс сжатия согласно ортогональному преобразованию и квантованию для сигнала ошибки предсказания, который является разностным изображением между изображением предсказания и кадровым изображением, и после этого выполняет кодирование переменной длины, чтобы формировать поток битов, и устройство декодирования движущихся изображений, которое декодирует поток битов, выведенный из устройства кодирования движущихся изображений.
[0014] Устройство кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления отличается тем, что устройство кодирования движущихся изображений адаптируется к локальному изменению видеосигнала в направлениях пространства и времени, чтобы разделять видеосигнал на области различных размеров, и выполняет внутрикадровое и межкадровое адаптивное кодирование. В общем, видеосигнал имеет характеристику локального варьирования своей сложности в пространстве и времени. Может возникать случай, когда шаблон, имеющий равномерную характеристику сигналов в относительно большой области изображения, такого как изображение неба или изображение стены, либо шаблон, имеющий сложный шаблон текстуры в небольшой области изображения, такого как изображение человека или изображение, включающее в себя мелкозернистую структуру, также сосуществует в определенном видеокадре с точки зрения пространства. Также с точки зрения времени, относительно большая область изображения, такого как изображение неба или изображение стены, имеет небольшое локальное изменение в направлении времени в своем шаблоне, в то время как изображение движущегося человека или объекта имеет большее временное изменение, поскольку его контур имеет перемещение твердого тела и перемещение нетвердого тела относительно времени.
[0015] Хотя в процессе кодирования выполняется процесс формирования сигнала ошибки предсказания, имеющего небольшую мощность сигнала и небольшую энтропию, посредством использования временных и пространственных предсказаний, тем самым уменьшая совокупный объем кода, объем кода для параметров, используемых для предсказания, может быть уменьшен при условии, что параметры могут применяться равномерно к максимально возможно большой области сигнала изображения. С другой стороны, поскольку величина ошибок, возникающих в предсказании, увеличивается, когда идентичные параметры предсказания применяются к шаблону сигнала изображения, имеющему большое изменение во времени и пространстве, не может быть уменьшен объем кода сигнала ошибки предсказания. Следовательно, желательно уменьшать размер области, которая подвергается процессу предсказания при выполнении процесса предсказания для шаблона сигнала изображения, имеющего большое изменение во времени и пространстве, тем самым сокращая энергию и энтропию сигнала ошибки предсказания, даже если увеличивается объем данных параметров, которые используются для предсказания. Чтобы выполнять кодирование, которое приспособлено для таких типичных характеристик видеосигнала, устройство кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления иерархически разделяет каждую область, имеющую предварительно определенный максимальный размер блока видеосигнала, на блоки и выполняет процесс предсказания и процесс кодирования для кодирования ошибки предсказания для каждого из блоков, на которые разделяется каждая область.
[0016] Видеосигнал, который должен быть обработан посредством устройства кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления, может быть произвольным видеосигналом, в котором каждый видеокадр состоит из последовательности цифровых выборок (пикселей) в двух измерениях, горизонтальном и вертикальном, таким как YUV-сигнал, который состоит из сигнала яркости и двух цветоразностных сигналов, сигналом цветного видеоизображения в произвольном цветовом пространстве, таким как RGB-сигнал, выведенный из датчика цифровых изображений, сигналом монохромного изображения или сигналом инфракрасного изображения. Градация каждого пикселя может быть 8-битовой, 10-битовой или 12-битовой. В нижеприведенном пояснении, введенный видеосигнал является YUV-сигналом, если не указано иное. Дополнительно предполагается, что два цветоразностных компонента U и V являются сигналами, имеющими формат 4:2:0, которые субдискретизируются относительно компонента Y сигнала яркости. Единица данных, которая должна быть обработана, которая соответствует каждому кадру видеосигнала, упоминается как "изображение". В этом варианте 1 осуществления "изображение" поясняется в качестве сигнала видеокадра, для которого выполнено построчное сканирование. Когда видеосигнал является чересстрочным сигналом, "изображение" альтернативно может быть сигналом полевого изображения, который является единицей, которая составляет видеокадр.
[0017] Фиг.1 является блок-схемой, показывающей устройство кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения. Ссылаясь на фиг.1, узел 1 управления кодированием выполняет процесс определения максимального размера каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс интра-предсказания (процесс внутрикадрового предсказания) или процесс предсказания с компенсацией движения (процесс межкадрового предсказания), а также определения верхнего предела по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки. Узел 1 управления кодированием также выполняет процесс выбора режима кодирования, подходящего для каждого из блоков кодирования, на которые иерархически разделяется каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (одного или более режимов интра-кодирования и одного или более режимов интер-кодирования (взаимного кодирования)). Узел 1 управления кодированием дополнительно выполняет процесс определения параметра квантования и размера блока преобразования, которые используются, когда разностное изображение сжимается для каждого блока кодирования, а также определения параметров интра-предсказания или параметров интер-предсказания (взаимного предсказания), которые используются, когда выполняется процесс предсказания для каждого блока кодирования. Параметр квантования и размер блока преобразования включаются в параметры кодирования ошибок предсказания, и эти параметры кодирования ошибок предсказания выводятся в узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования, узел 13 кодирования переменной длины и т.д. Узел 1 управления кодированием составляет модуль управления кодированием.
[0018] Узел 2 разделения на блоки выполняет процесс, при приеме видеосигнала, показывающего введенное изображение, разделения введенного изображения, показанного посредством видеосигнала, на блоки кодирования, имеющие максимальный размер, определенный посредством узла 1 управления кодированием, а также разделения каждого из блоков кодирования на блоки иерархически до тех пор, пока число иерархических уровней не достигает верхнего предела по числу иерархических уровней, который определяется посредством узла 1 управления кодированием. Узел 2 разделения на блоки составляет модуль разделения на блоки. Избирательный переключатель 3 выполняет процесс, когда режим кодирования, выбранный посредством узла 1 управления кодированием для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, является режимом интра-кодирования, вывода блока кодирования в узел 4 интра-предсказания, а когда режим кодирования, выбранный посредством узла 1 управления кодированием для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, является режимом интер-кодирования, вывода блока кодирования в узел 5 предсказания с компенсацией движения.
[0019] Узел 4 интра-предсказания выполняет процесс, при приеме блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, из избирательного переключателя 3, выполнения процесса интра-предсказания для блока кодирования для того, чтобы формировать изображение предсказания посредством использования уже кодированного сигнала изображения в кадре на основе параметров интра-предсказания, выведенных в него из узла 1 управления кодированием. После формирования вышеуказанного изображения предсказания узел 4 интра-предсказания выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, выполняет процесс фильтрации для вышеуказанного изображения предсказания посредством использования фильтра и выводит изображение предсказания, для которого узел интра-предсказания выполняет процесс фильтрации, в узел 6 вычитания и узел 9 суммирования. Узел интра-предсказания выбирает вышеуказанный фильтр с учетом, по меньшей мере, одного из следующих четырех параметров:
- Параметр (1)
Размер блока вышеуказанного изображения предсказания
- Параметр (2)
Параметр квантования, определенный посредством узла 1 управления кодированием
- Параметр (3)
Расстояние между уже кодированным сигналом изображения в кадре, который используется при формировании изображения предсказания, и целевым пикселем, который должен быть фильтрован
- Параметр (4)
Параметры интра-предсказания, определенные посредством узла 1 управления кодированием
Модуль интра-предсказания состоит из избирательного переключателя 3 и узла 4 интра-предсказания.
[0020] Узел 5 предсказания с компенсацией движения выполняет процесс, когда режим интер-кодирования выбирается посредством узла 1 управления кодированием в качестве режима кодирования, подходящего для блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, выполнения процесса предсказания с компенсацией движения для блока кодирования для того, чтобы формировать изображение предсказания посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 12 кадров предсказания с компенсацией движения, на основе параметров интер-предсказания, выведенных в него из узла 1 управления кодированием. Модуль предсказания с компенсацией движения состоит из избирательного переключателя 3 и узла 5 предсказания с компенсацией движения.
[0021] Узел 6 вычитания выполняет процесс вычитания изображения предсказания, сформированного посредством узла 4 интра-предсказания или узла 5 предсказания с компенсацией движения, из блока кодирования, который формируется через разделение посредством узла 2 разделения на блоки, чтобы формировать разностное изображение (=блок кодирования – изображение предсказания). Узел 6 вычитания составляет модуль формирования разностных изображений. Узел 7 преобразования/квантования осуществляет процесс выполнения процесса преобразования (например, процесс DCT (дискретного косинусного преобразования) или ортогонального преобразования, такого как KL-преобразование, в котором основания рассчитываются для конкретной последовательности обучения заранее) для разностного сигнала, сформированного посредством узла 6 вычитания, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок предсказания, выведенные в него из узла 1 управления кодированием, а также квантования коэффициентов преобразования разностного изображения посредством использования параметра квантования, включенного в параметры кодирования ошибок предсказания, чтобы выводить коэффициенты преобразования, квантованные таким образом, в качестве сжатых данных разностного изображения. Узел 7 преобразования/квантования составляет модуль сжатия изображений.
[0022] Узел 8 обратного преобразования/обратного квантования выполняет процесс обратного квантования сжатых данных, выведенных в него из узла 7 преобразования/квантования, посредством использования параметра квантования, включенного в параметры кодирования ошибок предсказания, выведенные в него из узла 1 управления кодированием, и выполнения процесса обратного преобразования (например, процесса обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок предсказания, чтобы выводить сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в качестве локального декодированного сигнала ошибки предсказания.
[0023] Узел 9 суммирования выполняет процесс суммирования локального декодированного сигнала ошибки предсказания, выведенного в него из узла 8 обратного преобразования/обратного квантования, и сигнала предсказания, показывающего изображение предсказания, сформированное посредством узла 4 интра-предсказания или узла 5 предсказания с компенсацией движения для того, чтобы формировать сигнал локального декодированного изображения, показывающий локальное декодированное изображение. Запоминающее устройство 10 для интра-предсказания является носителем записи, таким как RAM, для сохранения локального декодированного изображения, показанного посредством сигнала локального декодированного изображения, сформированного посредством узла 9 суммирования, в качестве изображения, которое узел 4 интра-предсказания использует при выполнении процесса интра-предсказания в следующий раз.
[0024] Узел 11 контурного фильтра выполняет процесс компенсации искажения при кодировании, включенного в сигнал локального декодированного изображения, сформированный посредством узла 9 суммирования, и вывода локального декодированного изображения, показанного посредством сигнала локального декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающее устройство 12 кадров предсказания с компенсацией движения в качестве опорного изображения. Запоминающее устройство 12 кадров предсказания с компенсацией движения является носителем записи, таким как RAM, для сохранения локального декодированного изображения, для которого узел 11 контурного фильтра выполняет процесс фильтрации, в качестве опорного изображения, которое узел 5 предсказания с компенсацией движения использует при выполнении процесса предсказания с компенсацией движения в следующий раз.
[0025] Узел 13 кодирования переменной длины выполняет процесс кодирования переменной длины сжатых данных, выведенных в него из узла 7 преобразования/квантования, режима кодирования и параметров кодирования ошибок предсказания, которые выводятся в него из узла 1 управления кодированием, и параметров интра-предсказания, выведенных в него из узла 4 интра-предсказания, или параметров интер-предсказания, выведенных в него из узла 5 предсказания с компенсацией движения для того, чтобы формировать поток битов, в который мультиплексируются кодированные данные сжатых данных, кодированные данные режима кодирования, кодированные данные параметров кодирования ошибок предсказания и кодированные данные параметров интра-предсказания или параметров интер-предсказания. Узел 13 кодирования переменной длины составляет модуль кодирования переменной длины.
[0026] Фиг.2 является блок-схемой, показывающей устройство декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения. Ссылаясь на фиг.2, узел 51 декодирования переменной длины выполняет процесс декодирования переменной длины кодированных данных, мультиплексированных в поток битов, чтобы получать сжатые данные, режим кодирования, параметры кодирования ошибок предсказания и параметры интра-предсказания или параметры интер-предсказания, которые ассоциированы с каждым блоком кодирования, на которые разделяется каждый видеокадр иерархически, и вывода сжатых данных и параметров кодирования ошибок предсказания в узел 55 обратного преобразования/обратного квантования, а также вывода режима кодирования и параметров интра-предсказания или параметров интер-предсказания в избирательный переключатель 52. Узел 51 декодирования переменной длины составляет модуль декодирования переменной длины.
[0027] Избирательный переключатель 52 выполняет процесс, когда режим кодирования, ассоциированный с блоком кодирования, который выводится из узла 51 декодирования переменной длины, является режимом интра-кодирования, вывода параметров интра-предсказания, выведенных в него из узла 51 декодирования переменной длины, в узел 53 интра-предсказания, а когда режим кодирования является режимом интер-кодирования, вывода параметров интер-предсказания, выведенных в него из узла 51 декодирования переменной длины, в узел 54 предсказания с компенсацией движения.
[0028] Узел 53 интра-предсказания осуществляет процесс выполнения процесса внутрикадрового предсказания для блока кодирования для того, чтобы формировать изображение предсказания посредством использования уже декодированного сигнала изображения в кадре на основе параметров интра-предсказания, выведенных в него из избирательного переключателя 52. После формирования вышеуказанного изображения предсказания узел 53 интра-предсказания выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован, выполняет процесс фильтрации для вышеуказанного изображения предсказания посредством использования фильтра и выводит изображение предсказания, для которого узел интра-предсказания выполняет процесс фильтрации, в узел 56 суммирования. Узел интра-предсказания выбирает вышеуказанный фильтр с учетом, по меньшей мере, одного из следующих четырех параметров:
- Параметр (1)
Размер блока вышеуказанного изображения предсказания
- Параметр (2)
Параметр квантования, декодированный на основе кода переменной длины посредством узла 51 декодирования переменной длины
- Параметр (3)
Расстояние между уже декодированным сигналом изображения в кадре, который используется при формировании изображения предсказания, и целевым пикселем, который должен быть фильтрован
- Параметр (4)
Параметры интра-предсказания, декодированные на основе кода переменной длины посредством узла 51 декодирования переменной длины
Модуль интра-предсказания состоит из избирательного переключателя 52 и узла 53 интра-предсказания.
[0029] Узел 54 предсказания с компенсацией движения осуществляет процесс выполнения процесса предсказания с компенсацией движения для блока кодирования для того, чтобы формировать изображение предсказания посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 59 кадров предсказания с компенсацией движения, на основе параметров интер-предсказания, выведенных в него из избирательного переключателя 52. Модуль предсказания с компенсацией движения состоит из избирательного переключателя 52 и узла 54 предсказания с компенсацией движения.
[0030] Узел 55 обратного преобразования/обратного квантования выполняет процесс обратного квантования сжатых данных, ассоциированных с блоком кодирования, который выводится в него из узла 51 декодирования переменной длины, посредством использования параметра квантования, включенного в параметры кодирования ошибок предсказания, выведенные в него из узла 51 декодирования переменной длины, и выполнения процесса обратного преобразования (например, процесса обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметрах кодирования ошибок предсказания, и вывода сжатых данных, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в качестве декодированного сигнала ошибки предсказания (сигнала, показывающего предварительно сжатое разностное изображение). Узел 55 обратного преобразования/обратного квантования составляет модуль формирования разностных изображений.
[0031] Узел 56 суммирования выполняет процесс суммирования декодированного сигнала ошибки предсказания, выведенного в него из узла 55 обратного преобразования/обратного квантования, и сигнала предсказания, показывающего изображение предсказания, сформированное посредством узла 53 интра-предсказания или узла 54 предсказания с компенсацией движения для того, чтобы формировать сигнал декодированного изображения, показывающий декодированное изображение. Узел 56 суммирования составляет модуль формирования декодированных изображений. Запоминающее устройство 57 для интра-предсказания является носителем записи, таким как RAM, для сохранения декодированного изображения, показанного посредством сигнала декодированного изображения, сформированного посредством узла 56 суммирования, в качестве изображения, которое узел 53 интра-предсказания использует при выполнении процесса интра-предсказания в следующий раз.
[0032] Узел 58 контурного фильтра выполняет процесс компенсации искажения при кодировании, включенного в сигнал декодированного изображения, сформированный посредством узла 56 суммирования, и вывода декодированного изображения, показанного посредством сигнала декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающее устройство 59 кадров предсказания с компенсацией движения в качестве опорного изображения. Запоминающее устройство 59 кадров предсказания с компенсацией движения является носителем записи, таким как RAM, для сохранения декодированного изображения, для которого узел 58 контурного фильтра выполняет процесс фильтрации, в качестве опорного изображения, которое узел 54 предсказания с компенсацией движения использует при выполнении процесса предсказания с компенсацией движения в следующий раз.
[0033] В примере, показанном на фиг.1, узел 1 управления кодированием, узел 2 разделения на блоки, избирательный переключатель 3, узел 4 интра-предсказания, узел 5 предсказания с компенсацией движения, узел 6 вычитания, узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования, узел 9 суммирования, узел 11 контурного фильтра и узел 13 кодирования переменной длины, которые являются компонентами устройства кодирования движущихся изображений, могут состоять из элементов аппаратных средств для монопольного использования (например, интегральных схем, в каждой из которых установлен CPU, однокристальных микрокомпьютеров и т.п.), соответственно. В качестве альтернативы, устройство кодирования движущихся изображений может состоять из компьютера, и программа, в которой описываются процессы, выполняемые посредством узла 1 управления кодированием, узла 2 разделения на блоки, избирательного переключателя 3, узла 4 интра-предсказания, узла 5 предсказания с компенсацией движения, узла 6 вычитания, узла 7 преобразования/квантования, узла 8 обратного квантования/обратного преобразования, узла 9 суммирования, узла 11 контурного фильтра и узла 13 кодирования переменной длины, может быть сохранена в запоминающем устройстве компьютера, и CPU компьютера может быть выполнен с возможностью исполнять программу, сохраненную в запоминающем устройстве. Фиг.3 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства кодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения.
[0034] В примере, показанном на фиг.2, узел 51 декодирования переменной длины, избирательный переключатель 52, узел 53 интра-предсказания, узел 54 предсказания с компенсацией движения, узел 55 обратного преобразования/обратного квантования, узел 56 суммирования и узел 58 контурного фильтра, которые являются компонентами устройства декодирования движущихся изображений, могут состоять из элементов аппаратных средств для монопольного использования (например, интегральных схем, в каждой из которых установлен CPU, однокристальных микрокомпьютеров и т.п.), соответственно. В качестве альтернативы, устройство декодирования движущихся изображений может состоять из компьютера, и программа, в которой описываются процессы, выполняемые посредством узла 51 декодирования переменной длины, избирательного переключателя 52, узла 53 интра-предсказания, узла 54 предсказания с компенсацией движения, узла 55 обратного преобразования/обратного квантования, узла 56 суммирования и узла 58 контурного фильтра, может быть сохранена в запоминающем устройстве компьютера, и CPU компьютера может быть выполнен с возможностью исполнять программу, сохраненную в запоминающем устройстве. Фиг.4 является блок-схемой последовательности операций способа, показывающей обработку, выполняемую посредством устройства декодирования движущихся изображений в соответствии с вариантом 1 осуществления настоящего изобретения.
[0035] Далее поясняется работа устройства кодирования движущихся изображений и работа устройства декодирования движущихся изображений. Во-первых, поясняется обработка, выполняемая посредством устройства кодирования движущихся изображений, показанного на фиг.1. Во-первых, узел 1 управления кодированием определяет максимальный размер каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс интра-предсказания (процесс внутрикадрового предсказания) или процесс предсказания с компенсацией движения (процесс межкадрового предсказания), а также определяет верхний предел по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки (этап ST1 по фиг.3).
[0036] В качестве способа определения максимального размера каждого из блоков кодирования, например, рассматривается способ определения максимального размера для всех изображений согласно разрешению введенного изображения. Дополнительно, может рассматриваться способ количественного определения изменения в сложности локального перемещения введенного изображения в качестве параметра и затем определения небольшого размера для изображения, имеющего большое и интенсивное перемещение, при определении большого размера для изображения, имеющего небольшое перемещение. В качестве способа определения верхнего предела по числу иерархических уровней, например, может рассматриваться способ увеличения глубины иерархии, т.е. числа иерархических уровней, чтобы позволить обнаруживать более точное перемещение по мере того, как введенное изображение имеет большее и более интенсивное перемещение, или снижения глубины иерархии, т.е. числа иерархических уровней по мере того, как введенное изображение имеет меньшее перемещение.
[0037] Узел 1 управления кодированием также выбирает режим кодирования, подходящий для каждого из блоков кодирования, на которые иерархически разделяется каждый блок кодирования, имеющий максимальный размер, из одного или более доступных режимов кодирования (M режимов интра-кодирования и N режимов интер-кодирования) (этап ST2). Хотя опускается подробное пояснение способа выбора режима кодирования для использования в узле 1 управления кодированием, поскольку способ выбора является известной технологией, предусмотрен способ выполнения процесса кодирования для блока кодирования посредством использования произвольного доступного режима кодирования, например, чтобы анализировать эффективность кодирования и выбирать режим кодирования, имеющий самый высокий уровень эффективности кодирования, из множества доступных режимов кодирования.
[0038] Узел 1 управления кодированием дополнительно определяет параметр квантования и размер блока преобразования, которые используются, когда разностное изображение сжимается для каждого блока кодирования, а также определяет параметры интра-предсказания или параметры интер-предсказания, которые используются, когда выполняется процесс предсказания. Узел 1 управления кодированием выводит параметры кодирования ошибок предсказания, включающие в себя параметр квантования и размер блока преобразования, в узел 7 преобразования/квантования, узел 8 обратного преобразования/обратного квантования и узел 13 кодирования переменной длины. Узел управления кодированием также выводит параметры кодирования ошибок предсказания в узел 4 интра-предсказания по мере необходимости.
[0039] При приеме видеосигнала, показывающего введенное изображение, узел 2 разделения на блоки разделяет введенное изображение, показанное посредством видеосигнала, на блоки кодирования, имеющие максимальный размер, определенный посредством узла 1 управления кодированием, а также разделяет каждый из блоков кодирования на блоки иерархически до тех пор, пока число иерархических уровней не достигает верхнего предела по числу иерархических уровней, который определяется посредством узла 1 управления кодированием. Фиг.5 является пояснительным чертежом, показывающим состояние, в котором каждый блок кодирования, имеющий максимальный размер, иерархически разделяется на множество блоков кодирования. В примере по фиг.5, каждый блок кодирования, имеющий максимальный размер, является блоком B0 кодирования на нулевом иерархическом уровне, и его компонент сигнала яркости имеет размер (L0, M0). Дополнительно, в примере по фиг.5, посредством выполнения иерархического разделения, когда этот блок B0 кодирования, имеющий максимальный размер, задается как начальная точка до тех пор, пока глубина иерархии не достигает предварительно определенной глубины, которая задается отдельно согласно структуре в виде дерева квадрантов, могут быть получены блоки Bn кодирования.
[0040] На глубине n каждый блок Bn кодирования является областью изображения, имеющей размер (Ln, Mn). Хотя Ln может быть идентичным или отличаться от Mn, случай Ln=Mn показывается в примере по фиг.5. Далее, размер каждого блока Bn кодирования задается как размер (Ln, Mn) в компоненте сигнала яркости блока Bn кодирования.
[0041] Поскольку узел 2 разделения на блоки выполняет разделение на дерево квадрантов, (Ln+1, Mn+1)=(Ln/2, Mn/2) всегда устанавливается. В случае сигнала цветного видеоизображения (формат 4:4:4), в котором все цветовые компоненты имеют идентичное число выборок, к примеру, RGB-сигнала, все цветовые компоненты имеют размер (Ln, Mn), в то время как в случае обработки формата 4:2:0, соответствующий цветоразностный компонент имеет размер блока кодирования (Ln/2, Mn/2). Далее, режим кодирования, выбираемый для каждого блока Bn кодирования в n-ном иерархическом уровне, выражается как m(Bn).
[0042] В случае цветового видеосигнала, который состоит из множества цветовых компонентов, режим m(Bn) кодирования может формироваться таким образом, что отдельный режим используется для каждого цветового компонента. Далее, пояснение приводится посредством допущения, что режим m(Bn) кодирования указывает режим для компонента сигнала яркости каждого блока кодирования, имеющего формат 4:2:0 в YUV-сигнале, если не указано иное. Режим m(Bn) кодирования может быть одним из одного или более режимов интра-кодирования (в общем, называемых "интра") и одного или более режимов интер-кодирования (в общем, называемых "интер"), и узел 1 управления кодированием выбирает, в качестве режима m(Bn) кодирования, режим кодирования с наибольшей степенью эффективности кодирования для каждого блока Bn кодирования, из всех режимов кодирования, доступных в текущем обрабатываемом изображении, или из поднабора этих режимов кодирования, как упомянуто выше.
[0043] Каждый блок Bn кодирования дополнительно разделяется на одну или более единиц предсказания (фрагментов) посредством узла разделения на блоки, как показано на фиг.5. Далее, каждый фрагмент, принадлежащий каждому блоку Bn кодирования, выражается как Pi n (i показывает номер фрагмента в n-ном иерархическом уровне). То, как выполняется разделение каждого блока Bn кодирования на фрагменты Pi n, принадлежащие блоку Bn кодирования, включается в качестве информации в режиме m(Bn) кодирования. Хотя процесс предсказания выполняется для каждого из всех фрагментов Pi n согласно режиму m(Bn) кодирования, отдельный параметр предсказания может быть выбран для каждого фрагмента Pi n.
[0044] Узел 1 управления кодированием формирует такое состояние разделения на блоки, как показано, например, на фиг.6 для блока кодирования, имеющего максимальный размер, и затем определяет блоки Bn кодирования. Заштрихованные части, показанные на фиг.6(a), показывают распределение фрагментов, на которые разделяется каждый блок кодирования, имеющий максимальный размер, и фиг.6(b) показывает случай, в котором режимы m(Bn) кодирования, соответственно, назначаются фрагментам, сформированным через разделение на иерархические уровни посредством использования графа в виде дерева квадрантов. Каждый узел, обведенный посредством □, показанного на фиг.6(b), представляет собой узел (блок Bn кодирования), которому назначается режим m(Bn) кодирования.
[0045] Когда узел 1 управления кодированием выбирает оптимальный режим m(Bn) кодирования для каждого фрагмента Pi n каждого блока Bn кодирования, и режим m(Bn) кодирования является режимом интра-кодирования (этап ST3), избирательный переключатель 3 выводит фрагмент Pi n блока Bn кодирования, который формируется через разделение посредством узла 2 разделения на блоки, в узел 4 интра-предсказания. Напротив, когда режим m(Bn) кодирования является режимом интер-кодирования (этап ST3), избирательный переключатель выводит фрагмент Pi n блока Bn кодирования, который формируется через разделение посредством узла 2 разделения на блоки, в узел 5 предсказания с компенсацией движения.
[0046] При приеме фрагмента Pi n блока Bn кодирования из избирательного переключателя 3 узел 4 интра-предсказания выполняет процесс интра-предсказания для фрагмента Pi n блока Bn кодирования для того, чтобы формировать изображение Pi n интра-предсказания посредством использования уже кодированного сигнала изображения в кадре на основе параметров интра-предсказания, выведенных в него из узла 1 управления кодированием (этап ST4). После формирования вышеуказанного изображения Pi n интра-предсказания узел 4 интра-предсказания выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, и выполняет процесс фильтрации для изображения Pi n интра-предсказания посредством использования фильтра. После выполнения процесса фильтрации для изображения Pi n интра-предсказания узел 4 интра-предсказания выводит изображение Pi n интра-предсказания, для которого узел интра-предсказания выполняет процесс фильтрации, в узел 6 вычитания и узел 9 суммирования. Чтобы предоставлять возможность устройству декодирования движущихся изображений, показанному на фиг.2, также позволять формировать идентичное изображение Pi n интра-предсказания, узел интра-предсказания выводит параметры интра-предсказания в узел 13 кодирования переменной длины. Структура процесса, выполняемого посредством узла 4 интра-предсказания, является такой, как упомянуто выше, и подробности этого процесса упоминаются ниже.
[0047] При приеме фрагмента Pi n блока Bn кодирования из избирательного переключателя 3 узел 5 предсказания с компенсацией движения выполняет процесс предсказания с компенсацией движения для фрагмента Pi n блока Bn кодирования для того, чтобы формировать изображение Pi n интер-предсказания посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 12 кадров предсказания с компенсацией движения, на основе параметров интер-предсказания, выведенных в него из узла 1 управления кодированием (этап ST5). Поскольку технология выполнения процесса предсказания с компенсацией движения для того, чтобы формировать изображение предсказания, известна, подробное пояснение этой технологии далее опускается.
[0048] После того, как узел 4 интра-предсказания или узел 5 предсказания с компенсацией движения формирует изображение предсказания (изображение Pi n интра-предсказания или изображение Pi n интер-предсказания), узел 6 вычитания вычитает изображение предсказания (изображение Pi n интра-предсказания или изображение Pi n интер-предсказания), сформированное посредством узла 4 интра-предсказания или узла 5 предсказания с компенсацией движения, из фрагмента Pi n блока Bn кодирования, который формируется через разделение посредством узла 2 разделения на блоки, чтобы формировать разностное изображение, и выводит сигнал ei n ошибки предсказания, показывающий разностное изображение, в узел 7 преобразования/квантования (этап ST6).
[0049] При приеме сигнала ei n ошибки предсказания, показывающего разностное изображение, из узла 6 вычитания, узел 7 преобразования/квантования выполняет процесс преобразования (например, процесс DCT (дискретного косинусного преобразования) или ортогонального преобразования, такого как KL-преобразование, в котором основания рассчитываются для конкретной последовательности обучения заранее) для разностного изображения, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок предсказания, выведенные в него из узла 1 управления кодированием, и квантует коэффициенты преобразования разностного изображения посредством использования параметра квантования, включенного в параметры кодирования ошибок предсказания, и выводит коэффициенты преобразования, квантованные таким образом, в узел 8 обратного преобразования/обратного квантования и узел 13 кодирования переменной длины в качестве сжатых данных разностного изображения (этап ST7).
[0050] При приеме сжатых данных разностного изображения из узла 7 преобразования/квантования узел 8 обратного преобразования/обратного квантования обратно квантует сжатые данные разностного изображения посредством использования параметра квантования, включенного в параметры кодирования ошибок предсказания, выведенные в него из узла 1 управления кодированием, выполняет процесс обратного преобразования (например, процесс обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок предсказания, и выводит сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в узел 9 суммирования в качестве локального декодированного сигнала ei n "шляпка" ошибки предсказания ("^", присоединенный к букве алфавита, выражается как "шляпка" по причинам ограничений в электронных приложениях) (этап ST8).
[0051] При приеме локального декодированного сигнала ei n "шляпка" ошибки предсказания из узла 8 обратного преобразования/обратного квантования узел 9 суммирования суммирует локальный декодированный сигнала ei n "шляпка" ошибки предсказания и сигнал предсказания, показывающий изображение предсказания (изображение Pi n интра-предсказания или изображение Pi n интер-предсказания), сформированное посредством узла 4 интра-предсказания или узла 5 предсказания с компенсацией движения для того, чтобы формировать локальное декодированное изображение, которое является локальным декодированным изображением Pi n "шляпка" фрагмента, или локальное декодированное изображение блока кодирования, которое является группой локальных декодированных изображений фрагментов (этап ST9). После формирования локального декодированного изображения узел 9 суммирования сохраняет сигнал локального декодированного изображения, показывающий локальное декодированное изображение, в запоминающем устройстве 10 для интра-предсказания, а также выводит сигнал локального декодированного изображения в узел 11 контурного фильтра.
[0052] Устройство кодирования движущихся изображений многократно выполняет процессы этапов ST3-ST9 до тех пор, пока устройство кодирования движущихся изображений не завершает обработку для всех блоков Bn кодирования, на которые иерархически разделяется введенное изображение, и при завершении обработки для всех блоков Bn кодирования, переходит к процессу этапа ST12 (этапы ST10 и ST11).
[0053] Узел 13 кодирования переменной длины энтропийно кодирует сжатые данные, выведенные в него из узла 7 преобразования/квантования, режим кодирования (включающие в себя информацию, показывающую состояние разделения на блоки кодирования), и параметры кодирования ошибок предсказания, которые выводятся в него из узла 1 управления кодированием, и параметры интра-предсказания, выведенные в него из узла 4 интра-предсказания, или параметры интер-предсказания, выведенные в него из узла 5 предсказания с компенсацией движения. Узел 13 кодирования переменной длины мультиплексирует кодированные данные, которые являются кодированными результатами энтропийного кодирования сжатых данных, режима кодирования, параметров кодирования ошибок предсказания и параметров интра-предсказания или параметров интер-предсказания, чтобы формировать поток битов (этап ST12).
[0054] При приеме сигнала локального декодированного изображения из узла 9 суммирования узел 11 контурного фильтра компенсирует искажение при кодировании, включенное в сигнал локального декодированного изображения, и сохраняет локальное декодированное изображение, показанное посредством сигнала локального декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающем устройстве 12 кадров предсказания с компенсацией движения в качестве опорного изображения (этап ST13). Узел 11 контурного фильтра может выполнять процесс фильтрации для каждого блока кодирования, имеющего максимальный размер сигнала локального декодированного изображения, выведенного в него из узла 9 суммирования, либо для каждого блока кодирования сигнала локального декодированного изображения или для каждой единицы, которая является комбинацией множества блоков кодирования, имеющих максимальный размер. В качестве альтернативы, после того, как выводится одно изображение сигналов локальных декодированных изображений, узел контурного фильтра может выполнять процесс фильтрации для изображения сигналов локальных декодированных изображений в то время.
[0055] Далее подробнее поясняется процесс, выполняемый посредством модуля 4 интра-предсказания. Фиг.7 является пояснительным чертежом, показывающим пример параметров интра-предсказания (режима интра-предсказания), которые могут быть выбраны для каждого фрагмента Pi n в блоке Bn кодирования. В примере, показанном на фиг.7, показаны режимы интра-предсказания и векторы направления предсказания, представленные посредством каждого из режимов интра-предсказания, и согласно проведенным расчетам относительный угол между векторами направления предсказания становится небольшим с увеличением числа выбираемых режимов интра-предсказания.
[0056] Узел 4 интра-предсказания выполняет процесс интра-предсказания для фрагмента Pi n на основе параметров интра-предсказания для фрагмента Pi n и параметра выбора для фильтра, который узел интра-предсказания использует для формирования изображения Pi n интра-предсказания. Далее поясняется интра-процесс формирования сигнала интра-предсказания для сигнала яркости на основе параметров интра-предсказания (режима интра-предсказания) для сигнала яркости фрагмента Pi n.
[0057] Далее предполагается, что фрагмент Pi n имеет размер в li n×mi n пикселей. Фиг.8 является пояснительным чертежом, показывающим пример пикселей, которые используются при формировании предсказанного значения каждого пикселя в фрагменте Pi n в случае li n=mi n=4. Хотя (2×li n+1) пикселей в уже кодированном верхнем фрагменте, который является смежным с фрагментом Pi n, и (2×mi n) пикселей в уже кодированном левом фрагменте, который является смежным с фрагментом Pi n, задаются как пиксели, используемые для предсказания в примере по фиг.8, для предсказания может использоваться большее или меньшее число пикселей, чем пиксели, показанные на фиг.8. Дополнительно, хотя одна строка или столбец пикселей, смежных с фрагментом, используется для предсказания в примере, показанном на фиг.8, две или более строк или столбцов пикселей, смежных с фрагментом, альтернативно могут быть использованы для предсказания.
[0058] Когда значение индекса, указывающее режим интра-предсказания для фрагмента Pi n, равно 2 (предсказание по среднему), модуль интра-предсказания формирует изображение предсказания посредством использования среднего смежных пикселей в верхнем фрагменте и смежных пикселей в левом фрагменте в качестве предсказанного значения каждого пикселя в фрагменте Pi n. Когда значение индекса, указывающее режим интра-предсказания, отличается от 2 (предсказание по среднему), узел интра-предсказания формирует предсказанное значение каждого пикселя в фрагменте Pi n на основе вектора направления предсказания vp=(dx, dy), показанного посредством значения индекса. В этом случае, относительная координата пикселя (пиксель в верхнем левом углу фрагмента задается как точка начала), для которого должно быть сформировано предсказанное значение (целевого пикселя для предсказания) в фрагменте Pi n, выражается как (x, y). Каждый опорный пиксель, который используется для предсказания, находится в точке пересечения A, показанного ниже, и смежного пикселя.
Figure 00000001
где k является положительным скалярным значением.
[0059] Когда опорный пиксель находится в целопиксельной позиции, целочисленный пиксель задается как предсказанное значение целевого пикселя для предсказания. Напротив, когда опорный пиксель не находится в целопиксельной позиции, интерполяционный пиксель, который формируется из целочисленного пикселя, смежного с опорным пикселем, задается как предсказанное значение целевого пикселя для предсказания. В примере, показанном на фиг.8, поскольку опорный пиксель не находится в целопиксельной позиции, предсказанное значение интерполируется из значений двух пикселей, смежных с опорным пикселем. Тем не менее, интерполяция предсказанного значения не ограничивается интерполяцией из значений двух смежных пикселей, и интерполяционный пиксель может быть сформирован из двух или более смежных пикселей, и значение этого интерполяционного пикселя может задаваться как предсказанное значение.
[0060] Затем, узел интра-предсказания получает конечное изображение предсказания посредством выполнения процесса фильтрации для промежуточного изображения предсказания (предсказанного значения), сформированного согласно вышеуказанной процедуре. Далее подробно поясняется процесс фильтрации.
[0061] Узел интра-предсказания выбирает фильтр, который должен быть использован, из одного или более фильтров, которые подготавливаются заранее, посредством использования способа, который упоминается ниже, и выполняет процесс фильтрации для каждого пикселя промежуточного изображения предсказания согласно следующему уравнению (1).
Figure 00000002
[0062] В уравнении (1), an (n=0, 1, ..., N) являются коэффициентами фильтрации, которые состоят из коэффициентов (a0, a1, ..., aN-1), ассоциированных с опорными пикселями, и коэффициента aN смещения. Pn (n=0, 1, ..., N-1) показывает опорные пиксели фильтра, включающие в себя целевой пиксель p0, который должен фильтроваться. S(pn) показывает значение яркости каждого опорного пикселя, и s "шляпка" (p0) показывает значение яркости целевого пикселя p0, который должен фильтроваться, для которого выполнен процесс фильтрации. Коэффициенты фильтрации могут формироваться так, что они не включают в себя коэффициент aN смещения. Дополнительно, N является произвольным числом опорных пикселей. Фиг.9 является пояснительным чертежом, показывающим пример компоновки опорных пикселей в случае N=5.
[0063] При выполнении вышеуказанного процесса фильтрации нелинейный край и т.п. возникает проще во введенном изображении, и, следовательно, смещение от направления предсказания промежуточного изображения предсказания возникает проще с увеличением размера (li n×xmi n) фрагмента Pi n. Следовательно, предпочтительно сглаживать промежуточное изображение предсказания. Помимо этого, чем большее квантованное значение имеет ошибка предсказания, тем большее искажение при квантовании возникает в декодированном изображении, и, следовательно, тем меньшую степень точности предсказания имеет промежуточное изображение предсказания, сформированное из уже кодированных пикселей, которые являются смежными с фрагментом Pi n. Следовательно, предпочтительно подготавливать сглаженное изображение предсказания, которое примерно выражает фрагмент Pi n. Дополнительно, даже пиксель в идентичном фрагменте Pi n имеет смещение, такое как край, возникающий проще между промежуточным изображением предсказания и введенным изображением с расстоянием от уже кодированных пикселей, смежных с фрагментом Pi n, которые используются для формирования промежуточного изображения предсказания. Следовательно, предпочтительно сглаживать изображение предсказания, чтобы подавлять быстрое увеличение ошибки предсказания, которая вызывается, когда возникает смещение. Помимо этого, необходимо не только менять интенсивность фильтра, но также и размещать опорные пиксели фильтра надлежащим образом согласно направлению предсказания промежуточного изображения предсказания, тем самым не допуская противоестественное искажение шаблона, такого как край промежуточного изображения предсказания.
[0064] Следовательно, процесс выбора фильтра конфигурируется таким образом, чтобы выбирать фильтр с учетом четырех следующих параметров (1)-(4).
(1) Размер фрагмента Pi n (li n×mi n)
(2) Параметр квантования, включенный в параметры кодирования ошибок предсказания
(3) Расстояние между группой уже кодированных пикселей ("пикселей, которые используются для предсказания", показанных на фиг.8), которые используются во время формирования промежуточного изображения предсказания, и целевым пикселем, который должен быть фильтрован
(4) Значение индекса, указывающее режим интра-предсказания во время формирования промежуточного изображения предсказания
[0065] Более конкретно, процесс выбора фильтра конфигурируется таким образом, что фильтр, имеющий более высокую степень интенсивности сглаживания, используется с увеличением размера (li n×mi n) фрагмента Pi n, с увеличением квантованного значения, определенного посредством параметра квантования, и с расстоянием между целевым пикселем, который должен быть фильтрован и группой уже кодированных пикселей, которые находятся на левой стороне и на верхней стороне фрагмента Pi n и которые используются во время формирования промежуточного изображения предсказания, и фильтр имеет степень интенсивности фильтра, которая определяется с учетом направления предсказания в режиме интра-предсказания, и опорные пиксели размещаются с учетом направления предсказания в режиме интра-предсказания. Более конкретно, адаптивный выбор фильтра согласно вышеуказанным параметрам реализуется посредством приведения надлежащего фильтра, выбранного из группы фильтров, которые подготавливаются заранее, в соответствие с каждой из комбинаций вышеуказанных параметров. Тем не менее, любое число выбираемых степеней интенсивности фильтра может предоставляться при условии, что это число равняется двум или больше, и процесс фильтрации, эквивалентный отсутствию фильтрации, может задаваться в качестве выражения для фильтра, имеющего наименьшую степень интенсивности сглаживания. Следовательно, процесс фильтрации может быть сконфигурирован таким образом, что процесс фильтрации выполняется только для конкретных пикселей в промежуточном изображении предсказания, а процесс фильтрации, имеющий наименьшую степень интенсивности сглаживания, т.е. отсутствие фильтрации, выполняется для всех остальных пикселей. Хотя вышеприведенное пояснение приводится при условии, что необходимое число фильтров подготавливается заранее, фильтр альтернативно может быть задан в качестве функции от вышеуказанных параметров выбора фильтра таким образом, что фильтр определяется согласно значениям вышеуказанных параметров выбора фильтра.
[0066] Хотя пример выбора фильтра с учетом четырех параметров (1)-(4) показывается в вышеприведенном пояснении, фильтр альтернативно может быть выбран с учетом, по меньшей мере, одного из четырех параметров (1)-(4). В случае рассмотрения (3) и (4) из вышеуказанных четырех параметров в качестве примера, может предоставляться структура выбора фильтра, имеющего более высокую степень интенсивности с расстоянием от пикселя, используемого для предсказания каждого целевого пикселя, который должен быть фильтрован, согласно направлению предсказания в режиме интра-предсказания (расстоянием от "опорного пикселя", который является смежным с верхним концом блока в примере, показанном на фиг.8). Дополнительно, поскольку четыре параметра (1)-(4) известны в устройстве декодирования движущихся изображений, выполнение вышеуказанного процесса фильтрации не приводит к кодированию дополнительной информации.
[0067] Узел интра-предсказания формирует пиксель предсказания для каждого из всех пикселей сигнала яркости в фрагменте Pi n согласно идентичной процедуре, чтобы формировать изображение Pi n интра-предсказания, и выводит изображение Pi n интра-предсказания, сформированное таким образом. Узел интра-предсказания выводит параметры интра-предсказания, используемые для формирования Pi изображения интра-предсказания, в узел 13 кодирования переменной длины, чтобы мультиплексировать их в поток битов. Узел интра-предсказания также выполняет процесс интра-предсказания на основе параметров интра-предсказания (режима интра-предсказания) для каждого из цветоразностных сигналов фрагмента Pi n согласно процедуре, идентичной процедуре, согласно которой узел интра-предсказания выполняет процесс интра-предсказания для сигнала яркости, и выводит параметры интра-предсказания, используемые для формирования изображения интра-предсказания, в узел 13 кодирования переменной длины. Узел интра-предсказания может иметь такую структуру, что он выполняет вышеописанный процесс фильтрации для интра-предсказания каждого из цветоразностных сигналов способом, идентичным способу, который узел интра-предсказания применяет для сигнала яркости, или не выполняет вышеописанный процесс фильтрации для интра-предсказания каждого из цветоразностных сигналов.
[0068] Затем поясняется обработка, выполняемая посредством устройства декодирования движущихся изображений, показанного на фиг.2. При приеме потока битов, выведенного в него из устройства кодирования изображений по фиг.1, узел 51 декодирования переменной длины выполняет процесс декодирования переменной длины для потока битов, чтобы декодировать информацию, имеющую размер кадра в единицах последовательности, которая состоит из одного или более кадров изображений, или в единицах изображения (этап ST21 по фиг.4). Узел 51 декодирования переменной длины определяет максимальный размер каждого из блоков кодирования, который является единицей, которая должна быть обработана в момент, когда выполняется процесс интра-предсказания (процесс внутрикадрового предсказания) или процесс предсказания с компенсацией движения (процесс межкадрового предсказания) согласно процедуре, идентичной процедуре, которую использует узел 1 управления кодированием, показанный на фиг.1, а также определяет верхний предел по числу иерархических уровней в иерархии, в которой каждый из блоков кодирования, имеющих максимальный размер, иерархически разделяется на блоки (этап ST22). Например, когда максимальный размер каждого из блоков кодирования определяется согласно разрешению введенного изображения в устройстве кодирования изображений, узел декодирования переменной длины определяет максимальный размер каждого из блоков кодирования на основе информации размера кадра, которую узел декодирования переменной длины декодировал ранее. Когда информация, показывающая как максимальный размер каждого из блоков кодирования, так и верхний предел по числу иерархических уровней, мультиплексируется в поток битов, узел декодирования переменной длины обращается к информации, которая получается посредством декодирования потока битов.
[0069] Поскольку информация, показывающая состояние разделения каждого из блоков B0 кодирования, имеющих максимальный размер, включается в режим m(B0) кодирования блока B0 кодирования, имеющего максимальный размер, который мультиплексируется в поток битов, узел 51 декодирования переменной длины указывает каждый из блоков Bn кодирования, на которые иерархически разделяется изображение, посредством декодирования потока битов, чтобы получать режим m(B0) кодирования блока B0 кодирования, имеющего максимальный размер, который мультиплексируется в поток битов (этап ST23). После указания каждого из блоков Bn кодирования узел 51 декодирования переменной длины декодирует поток битов, чтобы получать режим m(Bn) кодирования блока Bn кодирования, чтобы указывать каждый фрагмент Pi n, принадлежащий блоку Bn кодирования, на основе информации относительно фрагмента Pi n, принадлежащего режиму m(Bn) кодирования. После указания каждого фрагмента Pi n, принадлежащего блоку Bn кодирования, узел 51 декодирования переменной длины декодирует кодированные данные, чтобы получать сжатые данные, режим кодирования, параметры кодирования ошибок предсказания и параметры/параметры интер-предсказания интра-предсказания для каждого фрагмента Pi n (этап ST24).
[0070] Более конкретно, когда режим m(Bn) кодирования, назначаемый блоку Bn кодирования, является режимом интра-кодирования, узел декодирования переменной длины декодирует кодированные данные, чтобы получать параметры интра-предсказания для каждого фрагмента Pi n, принадлежащего блоку кодирования. Напротив, когда режим m(Bn) кодирования, назначаемый блоку Bn кодирования, является режимом интер-кодирования, узел декодирования переменной длины декодирует кодированные данные, чтобы получать параметры интер-предсказания для каждого фрагмента Pi n, принадлежащего блоку кодирования. Узел декодирования переменной длины дополнительно разделяет каждый фрагмент, который является единицей предсказания, на один или более фрагментов, которые являются единицей процесса преобразования, на основе информации размера блока преобразования, включенной в параметры кодирования ошибок предсказания, и декодирует кодированные данные каждого из одного или более фрагментов, которые являются единицей процесса преобразования, чтобы получать сжатые данные (коэффициенты преобразования, для которых выполняются преобразование и квантование) фрагмента.
[0071] Когда режим m(Bn) кодирования фрагмента Pi n, принадлежащего блоку Bn кодирования, который указывается посредством узла 51 декодирования переменной длины, является режимом интра-кодирования (этап ST25), избирательный переключатель 52 выводит параметры интра-предсказания, выведенные в него из узла 51 декодирования переменной длины, в узел 53 интра-предсказания. Напротив, когда режим m(Bn) кодирования фрагмента Pi n является режимом интер-кодирования (этап ST25), избирательный переключатель выводит параметры интер-предсказания, выведенные в него из узла 51 декодирования переменной длины, в узел 54 предсказания с компенсацией движения.
[0072] При приеме параметров интра-предсказания из избирательного переключателя 52 узел 53 интра-предсказания выполняет процесс внутрикадрового предсказания для фрагмента Pi n блока Bn кодирования для того, чтобы формировать изображение Pi n интра-предсказания посредством использования уже декодированного сигнала изображения в кадре на основе параметров интра-предсказания (этап ST26), аналогично узлу 4 интра-предсказания, показанному на фиг.1. При формировании изображения Pi n интра-предсказания узел 53 интра-предсказания выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, посредством использования способа, идентичного способу, который использует узел 4 интра-предсказания, показанный на фиг.1, согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован, и выполняет процесс фильтрации для изображения Pi n интра-предсказания посредством использования фильтра и задает изображение Pi n интра-предсказания, для которого узел интра-предсказания выполняет процесс фильтрации, в качестве конечного изображения интра-предсказания. Хотя вышеприведенное пояснение приводится при условии, что необходимое число фильтров подготавливается заранее, в случае, если фильтр задается как функция от вышеуказанных параметров таким образом, что фильтр определяется согласно состояниям параметров, используемых для выбора фильтра в узле 4 интра-предсказания, показанном на фиг.1, фильтр может задаваться как функция от вышеуказанных параметров также в узле 53 интра-предсказания таким образом, что фильтр определяется согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован.
[0073] При приеме параметров интер-предсказания из избирательного переключателя 52 узел 54 предсказания с компенсацией движения выполняет процесс предсказания с компенсацией движения для фрагмента Pi n блока Bn кодирования для того, чтобы формировать изображение Pi n интер-предсказания посредством использования одного или более кадров опорных изображений, сохраненных в запоминающем устройстве 59 кадров предсказания с компенсацией движения, на основе параметров интер-предсказания (этап ST27).
[0074] Узел 55 обратного преобразования/обратного квантования обратно квантует сжатые данные, ассоциированные с блоком кодирования, которые выводятся в него из узла 51 декодирования переменной длины, посредством использования параметра квантования, включенного в параметры кодирования ошибок предсказания, выведенные в него из узла 51 декодирования переменной длины, и выполняет процесс обратного преобразования (например, процесс обратного DCT (обратного дискретного косинусного преобразования) или обратного преобразования, такого как обратное KL-преобразование) для сжатых данных, обратно квантованных, в единицах блоков, имеющих размер блока преобразования, включенный в параметры кодирования ошибок предсказания, и выводит сжатые данные, для которых узел обратного преобразования/обратного квантования выполняет процесс обратного преобразования, в узел 56 суммирования в качестве декодированного сигнала ошибки предсказания (сигнала, показывающего предварительно сжатое разностное изображение) (этап ST28).
[0075] При приеме декодированного сигнала ошибки предсказания из узла 55 обратного преобразования/обратного квантования узел 56 суммирования формирует декодированное изображение посредством суммирования декодированного сигнала ошибки предсказания и сигнала предсказания, показывающего изображение предсказания, сформированное посредством узла 53 интра-предсказания или узла 54 предсказания с компенсацией движения, и сохраняет сигнал декодированного изображения, показывающий декодированное изображение, в запоминающем устройстве 57 для интра-предсказания, а также выводит сигнал декодированного изображения в узел 58 контурного фильтра (этап ST29).
[0076] Устройство декодирования движущихся изображений многократно выполняет процессы этапов ST23-ST29 до тех пор, пока устройство декодирования движущихся изображений не завершает обработку для всех блоков Bn кодирования, на которые иерархически разделяется изображение (этап ST30). При приеме сигнала декодированного изображения из узла 56 суммирования узел 58 контурного фильтра компенсирует искажение при кодировании, включенное в сигнал декодированного изображения, и сохраняет декодированное изображение, показанное посредством сигнала декодированного изображения, для которого узел контурного фильтра выполняет компенсацию искажений при кодировании, в запоминающем устройстве 59 кадров предсказания с компенсацией движения в качестве опорного изображения (этап ST31). Узел 58 контурного фильтра может выполнять процесс фильтрации для каждого блока кодирования, имеющего максимальный размер сигнала локального декодированного изображения, выведенного в него из узла 56 суммирования, или каждого блока кодирования. В качестве альтернативы, после того, как выводится сигнал локального декодированного изображения, соответствующий всем макроблокам одного экрана, узел контурного фильтра может выполнять процесс фильтрации для всех макроблоков одного экрана одновременно.
[0077] Как можно видеть из вышеприведенного описания, поскольку узел 4 интра-предсказания устройства кодирования движущихся изображений в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы, при выполнении процесса внутрикадрового предсказания, формировать изображение интра-предсказания посредством использования уже кодированного сигнала изображения в кадре, выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, и выполнять процесс фильтрации для изображения предсказания посредством использования фильтра, предоставляется преимущество возможности уменьшать ошибки предсказания, которые возникают локально, тем самым позволяя повышать качество изображений.
[0078] Дополнительно, поскольку узел 4 интра-предсказания в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы выбирать фильтр с учетом, по меньшей мере, одного из следующих параметров: (1) размер фрагмента Pi n (li n×mi n); (2) параметр квантования, включенный в параметры кодирования ошибок предсказания; (3) расстояние между группой уже кодированных пикселей, которые используются во время формирования промежуточного изображения предсказания, и целевым пикселем, который должен быть фильтрован; и (4) значение индекса, указывающее режим интра-предсказания во время формирования промежуточного изображения предсказания, предоставляется преимущество недопущения возникновения локальной ошибки предсказания, когда возникает небольшое смещение между направлением края в изображении, которое должно быть кодировано, и направлением предсказания, или небольшое искажение существует на краю в промежуточном изображении предсказания, имеющем высокую корреляцию с изображением, которое должно быть кодировано, тем самым позволяя повышать эффективность предсказания.
[0079] Поскольку узел 53 интра-предсказания устройства декодирования движущихся изображений в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы, при выполнении процесса внутрикадрового предсказания, формировать изображение интра-предсказания посредством использования уже декодированного сигнала изображения в кадре, выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с декодированием целевого блока, который должен быть фильтрован, и выполнять процесс фильтрации для изображения предсказания посредством использования фильтра, предоставляется преимущество уменьшения ошибок предсказания, которые возникают локально, позволяя устройству декодирования движущихся изображений также формировать изображение интра-предсказания, идентичное изображению интра-предсказания, сформированному посредством устройства кодирования движущихся изображений.
[0080] Дополнительно, поскольку узел 53 интра-предсказания в соответствии с этим вариантом 1 осуществления имеет такую структуру, чтобы выбирать фильтр с учетом, по меньшей мере, одного из следующих параметров: (1) размер фрагмента Pi n (li n×mi n); (2) параметр квантования, включенный в параметры кодирования ошибок предсказания; (3) расстояние между группой уже кодированных пикселей, которые используются во время формирования промежуточного изображения предсказания, и целевым пикселем, который должен быть фильтрован; и (4) значение индекса, указывающее режим интра-предсказания во время формирования промежуточного изображения предсказания, предоставляется преимущество недопущения возникновения локальной ошибки предсказания, когда возникает небольшое смещение между направлением края в изображении, которое должно быть кодировано, и направлением предсказания, или небольшое искажение существует на краю в промежуточном изображении предсказания, имеющем высокую корреляцию с изображением, которое должно быть кодировано, и другое преимущество предоставления возможности устройству декодирования движущихся изображений также формировать изображение интра-предсказания, идентичное изображению интра-предсказания, сформированному посредством устройства кодирования движущихся изображений.
[0081] Вариант 2 осуществления
Хотя в вышеуказанном варианте 1 осуществления показывается пример, в котором узел 4 интра-предсказания выбирает фильтр согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, из одного или более фильтров, которые подготавливаются заранее, и выполняет процесс фильтрации для изображения предсказания посредством использования фильтра, при выполнении процесса внутрикадрового предсказания, чтобы формировать изображение интра-предсказания посредством использования уже кодированного сигнала изображения в кадре, в качестве альтернативы, может быть рассчитан фильтр Винера, который минимизирует сумму квадратических ошибок между блоком кодирования и изображением предсказания, и когда использование этого фильтра Винера повышает степень уменьшения ошибок предсказания по сравнению с использованием фильтра, который выбран из одного или более фильтров, которые подготавливаются заранее, процесс фильтрации может быть выполнен для изображения предсказания посредством использования вышеуказанного фильтра Винера, вместо фильтра, который выбран. Далее подробно поясняются процессы.
[0082] Каждый из узлов 4 и 53 интра-предсказания в соответствии с вышеуказанным вариантом 1 осуществления имеет такую структуру, чтобы выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован. Хотя каждый из узлов интра-предсказания может выбирать надлежащий фильтр из одного или более вариантов выбора с учетом четырех параметров (1)-(4), каждый из узлов интра-предсказания не может выполнять "оптимальную фильтрацию", когда существует оптимальный фильтр, отличный от одного или более вариантов выбора. Этот вариант 2 осуществления отличается тем, что, в то время как устройство кодирования движущихся изображений рассчитывает оптимальный фильтр в расчете на изображение и выполняет процесс фильтрации, а также кодирует коэффициенты фильтрации фильтра и т.д., устройство декодирования движущихся изображений декодирует коэффициенты фильтрации и т.д. и выполняет процесс фильтрации посредством использования фильтра.
[0083] Узел 4 интра-предсказания устройства кодирования движущихся изображений выполняет процесс внутрикадрового предсказания для каждого фрагмента Pi n каждого блока Bn кодирования для того, чтобы формировать изображение Pi n интра-предсказания, к примеру, изображение Pi n интра-предсказания согласно вышеуказанному варианту 1 осуществления. Узел 4 интра-предсказания также выбирает фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состояниям различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, посредством использования способа, идентичного способу, который использует узел интра-предсказания согласно вышеуказанному варианту 1 осуществления, и выполняет процесс фильтрации для изображения Pi n интра-предсказания посредством использования этого фильтра. После определения параметров интра-предсказания для каждого из всех блоков Bn кодирования в изображении, для каждой области, в которой используется идентичный фильтр в изображении (каждой области, имеющей идентичный индекс фильтра), узел 4 интра-предсказания рассчитывает фильтр Винера, который минимизирует сумму квадратических ошибок между введенным изображением в области и изображением интра-предсказания (среднеквадратическую ошибку в целевой области).
[0084] Коэффициенты w фильтрации фильтра Винера могут быть определены из матрицы Rs's' автокорреляции сигнала s' промежуточного изображения предсказания и матрицы Rss' кросс-корреляции сигнала s введенного изображения и сигнала s' промежуточного изображения предсказания согласно следующему уравнению (4). Размер матриц Rs's' и Rss' соответствует числу определенных отводов фильтра.
Figure 00000003
[0085] После расчета фильтра Винера узел 4 интра-предсказания выражает сумму квадратических ошибок в целевой области для расчета фильтра в случае выполнения процесса фильтрации с использованием фильтра Винера в качестве D1, объем кода во время кодирования информации (например, коэффициенты фильтрации), ассоциированной с фильтром Винера, в качестве R1, и сумму квадратических ошибок в целевой области для расчета фильтра в случае выполнения процесса фильтрации с использованием фильтра, который выбирается посредством использования способа, идентичного способу, показанному в вышеуказанном варианте 1 осуществления, в качестве D2, и затем выполняет проверку того, устанавливается или нет следующее уравнение (5).
D1+λ·R1<D2 (5),
где λ является константой.
[0086] Когда уравнение (5) устанавливается, узел 4 интра-предсказания выполняет процесс фильтрации посредством использования фильтра Винера вместо фильтра, который выбирается посредством использования способа, идентичного способу, показанному в вышеуказанном варианте 1 осуществления. Напротив, когда уравнение (5) не устанавливается, узел интра-предсказания выполняет процесс фильтрации посредством использования фильтра, который узел интра-предсказания выбирает посредством использования способа, идентичного способу, показанному в вышеуказанном варианте 1 осуществления. Хотя узел интра-предсказания выполняет оценку посредством использования сумм D1 и D2 квадратических ошибок, этот вариант осуществления не ограничивается этим примером. Узел интра-предсказания альтернативно может выполнять оценку посредством использования показателей, показывающих другие значения искажения при предсказании, к примеру, суммы абсолютных значений ошибок, вместо сумм D1 и D2 квадратических ошибок.
[0087] При выполнении процесса фильтрации посредством использования фильтра Винера, узел 4 интра-предсказания требует информации обновления фильтра, показывающей коэффициенты фильтрации фильтра Винера, и индексов, указывающих соответствующий фильтр, который заменен на фильтр Винера. Более конкретно, когда число фильтров, выбираемых в процессе фильтрации с использованием параметров выбора фильтра, выражается как L, и индексы в диапазоне от нуля до L-1 назначаются фильтрам, соответственно, когда расчетный фильтр Винера используется для каждого индекса, значение "1" должно быть кодировано для индекса в качестве информации обновления фильтра, тогда как, когда подготовленный фильтр используется для каждого индекса, значение "0" должно быть кодировано для индекса в качестве информации обновления фильтра. Узел 13 кодирования переменной длины кодирует на основе кода переменной длины информацию обновления фильтра, выведенную в него из узла 4 интра-предсказания, и мультиплексирует кодированные данные информации обновления фильтра в поток битов.
[0088] Хотя пример расчета фильтра Винера, который минимизирует среднеквадратическую ошибку между введенным изображением и изображением предсказания в каждой области, для которой используется идентичный фильтр в изображении для области, показывается в этом варианте осуществления, фильтр Винера, который минимизирует среднеквадратическую ошибку между введенным изображением и изображением предсказания в каждой области, для которой используется идентичный фильтр, может быть рассчитан для каждой из других специальных областей, каждая из которых не является изображением. Например, вышеуказанный расчет фильтра Винера может быть выполнен только для определенного конкретного изображения или только тогда, когда удовлетворяется конкретное условие (например, только для изображения, в которое добавлена функция обнаружения смены сцены и в котором обнаруживается смена сцены).
[0089] Узел 51 декодирования переменной длины устройства декодирования движущихся изображений декодирует на основе кода переменной длины кодированные данные, мультиплексированные в поток битов, чтобы получать информацию обновления фильтра. Узел 53 интра-предсказания выполняет процесс внутрикадрового предсказания для каждого фрагмента Pi n каждого блока Bn кодирования для того, чтобы формировать изображение Pi n интра-предсказания, к примеру, изображение Pi n интра-предсказания согласно вышеуказанному варианту 1 осуществления. При приеме информации обновления фильтра из узла 51 декодирования переменной длины узел 53 интра-предсказания обращается к информации обновления фильтра, чтобы проверять то, существует или нет обновление фильтра, указываемого посредством соответствующего индекса.
[0090] При определении из результата проверки, что фильтр для определенной области заменен на фильтр Винера, узел 53 интра-предсказания считывает коэффициенты фильтрации фильтра Винера, которые включаются в информацию обновления фильтра, чтобы указывать фильтр Винера, и выполняет процесс фильтрации для изображения Pi n интра-предсказания посредством использования фильтра Винера. Напротив, для области, в которой фильтр не заменен на фильтр Винера, узел интра-предсказания выбирает фильтр посредством использования способа, идентичного способу, который использует узел интра-предсказания согласно вышеуказанному варианту 1 осуществления, и выполняет процесс фильтрации для изображения Pi n интра-предсказания посредством использования фильтра.
[0091] Как можно видеть из вышеприведенного описания, поскольку устройство кодирования движущихся изображений в соответствии с этим вариантом 2 осуществления имеет такую структуру, чтобы рассчитывать фильтр Винера, который минимизирует сумму квадратических ошибок между блоком кодирования и изображением предсказания, и когда использование этого фильтра Винера повышает степень уменьшения ошибок предсказания по сравнению с использованием фильтра, который выбирается из одного или более фильтров, которые подготавливаются заранее, выполнять процесс фильтрации для изображения предсказания посредством использования фильтра Винера вместо выбранного фильтра, предоставляется преимущество возможности дополнительно уменьшать ошибки предсказания, которые возникают локально по сравнению с вышеуказанным вариантом 1 осуществления.
[0092] Хотя изобретение описано в предпочтительных вариантах осуществления, следует понимать, что может осуществляться произвольная комбинация двух или более из вышеуказанных вариантов осуществления, различные изменения могут быть внесены в произвольный компонент согласно любому из вышеуказанных вариантов осуществления, и произвольный компонент согласно любому из вышеуказанных вариантов осуществления может опускаться в пределах объема изобретения.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
[0093] Как упомянуто выше, поскольку устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений в соответствии с настоящим изобретением конфигурируются таким образом, чтобы, когда модуль интра-предсказания выполняет процесс внутрикадрового предсказания, формировать изображение предсказания посредством использования уже кодированного сигнала изображения в кадре, выбирать фильтр из одного или более фильтров, которые подготавливаются заранее, согласно состоянию различных параметров, ассоциированных с кодированием целевого блока, который должен быть фильтрован, и выполнять процесс фильтрации для изображения предсказания посредством использования фильтра и выводить изображение предсказания, для которого выполнен процесс фильтрации, в модуль формирования разностных изображений, устройство кодирования движущихся изображений и способ кодирования движущихся изображений являются подходящими для использования в качестве устройства кодирования движущихся изображений и способа кодирования движущихся изображений для кодирования движущегося изображения с высокой степенью эффективности, и устройство декодирования движущихся изображений и способ декодирования движущихся изображений являются подходящими для использования в качестве устройства декодирования движущихся изображений и способа декодирования движущихся изображений для декодирования кодированного движущегося изображения с высокой степенью эффективности.
ПОЯСНЕНИЕ ССЫЛОК С НОМЕРАМИ
[0094] 1 – узел управления кодированием (модуль управления кодированием), 2 – узел разделения на блоки (модуль разделения на блоки), 3 – избирательный переключатель (модуль интра-предсказания и модуль предсказания с компенсацией движения), 4 – узел интра-предсказания (модуль интра-предсказания), 5 – узел предсказания с компенсацией движения (модуль предсказания с компенсацией движения), 6 – узел вычитания (модуль формирования разностных изображений), 7 – узел преобразования/квантования (модуль сжатия изображений), 8 – узел обратного преобразования/обратного квантования, 9 – узел суммирования, 10 – запоминающее устройство для интра-предсказания, 11 – узел контурной фильтрации, 12 – запоминающее устройство кадров предсказания с компенсацией движения, 13 – модуль кодирования переменной длины (модуль кодирования переменной длины), 31 – узел декодирования переменной длины (модуль декодирования переменной длины), 52 – избирательный переключатель (модуль интра-предсказания и модуль предсказания с компенсацией движения), 53 – узел интра-предсказания (модуль интра-предсказания), 54 – узел предсказания с компенсацией движения (модуль предсказания с компенсацией движения), 55 – узел обратного преобразования/обратного квантования (модуль формирования разностных изображений), 56 – узел суммирования (модуль формирования декодированных изображений), 57 – запоминающее устройство для интра-предсказания, 58 – узел контурной фильтрации, 59 – запоминающее устройство кадров предсказания с компенсацией движения.

Claims (12)

1. Устройство декодирования изображений, содержащее:
модуль интрапредсказания для, когда режим кодирования для блока, который является модулем для процесса предсказания, представляет собой режим интракодирования, выполнения процесса внутрикадрового предсказания над упомянутым блоком для формирования изображения интрапредсказания,
при этом упомянутый модуль интрапредсказания формирует упомянутое изображение интрапредсказания упомянутого блока путем расчета предсказанного значения из опорных выборок согласно параметру интрапредсказания, указывающему тип интрапредсказания, и выполняет процесс фильтрации для упомянутого изображения интрапредсказания только для конкретных пикселей в упомянутом блоке согласно типу цветового компонента.
2. Способ декодирования изображений, содержащий:
этап интрапредсказания для, когда режим кодирования для блока, который является модулем для процесса предсказания, представляет собой режим интракодирования, выполнения процесса внутрикадрового предсказания над упомянутым блоком для формирования изображения интрапредсказания,
при этом упомянутый этап интрапредсказания включает в себя формирование упомянутого изображения интрапредсказания упомянутого блока путем расчета предсказанного значения из опорных выборок согласно параметру интрапредсказания, указывающему тип интрапредсказания, и выполнение процесса фильтрации для упомянутого изображения интрапредсказания только для конкретных пикселей в упомянутом блоке согласно типу цветового компонента.
3. Устройство кодирования изображений, содержащее:
модуль интрапредсказания для, когда режим кодирования для блока, который является модулем для процесса предсказания, представляет собой режим интракодирования, выполнения процесса внутрикадрового предсказания над упомянутым блоком для формирования изображения интрапредсказания,
при этом упомянутый модуль интрапредсказания формирует упомянутое изображение интрапредсказания упомянутого блока путем расчета предсказанного значения из опорных выборок согласно параметру интрапредсказания, указывающему тип интрапредсказания, и выполняет процесс фильтрации для упомянутого изображения интрапредсказания только для конкретных пикселей в упомянутом блоке согласно типу цветового компонента.
4. Способ кодирования изображений, содержащий:
этап интрапредсказания для, когда режим кодирования для блока, который является модулем для процесса предсказания, представляет собой режим интракодирования, выполнения процесса внутрикадрового предсказания над упомянутым блоком для формирования изображения интрапредсказания,
при этом упомянутый этап интрапредсказания включает в себя формирование упомянутого изображения интрапредсказания упомянутого блока путем расчета предсказанного значения из опорных выборок согласно параметру интрапредсказания, указывающему тип интрапредсказания, и выполнение процесса фильтрации для упомянутого изображения интрапредсказания только для конкретных пикселей в упомянутом блоке согласно типу цветового компонента.
RU2018100616A 2010-09-30 2018-01-11 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений RU2674306C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-221471 2010-09-30
JP2010221471 2010-09-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2017100246A Division RU2642356C1 (ru) 2010-09-30 2017-01-10 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2018140835A Division RU2693910C1 (ru) 2010-09-30 2018-11-20 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений

Publications (1)

Publication Number Publication Date
RU2674306C1 true RU2674306C1 (ru) 2018-12-06

Family

ID=45892218

Family Applications (5)

Application Number Title Priority Date Filing Date
RU2013119934/08A RU2544799C2 (ru) 2010-09-30 2011-07-21 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2015102755A RU2608674C2 (ru) 2010-09-30 2011-07-21 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2017100246A RU2642356C1 (ru) 2010-09-30 2017-01-10 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2018100616A RU2674306C1 (ru) 2010-09-30 2018-01-11 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2018140835A RU2693910C1 (ru) 2010-09-30 2018-11-20 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений

Family Applications Before (3)

Application Number Title Priority Date Filing Date
RU2013119934/08A RU2544799C2 (ru) 2010-09-30 2011-07-21 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2015102755A RU2608674C2 (ru) 2010-09-30 2011-07-21 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2017100246A RU2642356C1 (ru) 2010-09-30 2017-01-10 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2018140835A RU2693910C1 (ru) 2010-09-30 2018-11-20 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений

Country Status (13)

Country Link
US (5) US10291939B2 (ru)
EP (2) EP2624563A4 (ru)
JP (5) JP5503747B2 (ru)
KR (6) KR101669388B1 (ru)
CN (5) CN105744274B (ru)
BR (1) BR112013006501B1 (ru)
CA (5) CA3105771C (ru)
HK (3) HK1219594A1 (ru)
MX (2) MX2013003696A (ru)
RU (5) RU2544799C2 (ru)
SG (5) SG10201912001PA (ru)
TW (5) TWI606720B (ru)
WO (1) WO2012042720A1 (ru)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2544799C2 (ru) * 2010-09-30 2015-03-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
CN105959706B (zh) * 2011-01-12 2021-01-08 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
EP3849187B1 (en) 2011-06-24 2023-09-20 Mitsubishi Electric Corporation Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method and moving image decoding method
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
PL3454561T3 (pl) * 2011-09-14 2020-05-18 Samsung Electronics Co., Ltd. Sposób i urządzenie do kodowania jednostki predykcji (pu) w oparciu o jej rozmiar i odpowiadające urządzenie do dekodowania
WO2013081085A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer program
US10075725B2 (en) * 2014-02-03 2018-09-11 Mitsubishi Electric Corporation Device and method for image encoding and decoding
JP6221820B2 (ja) * 2014-02-25 2017-11-01 株式会社Ｊｖｃケンウッド 符号化装置、符号化方法および符号化プログラム
JP2016146572A (ja) * 2015-02-09 2016-08-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
KR20230088846A (ko) * 2015-03-23 2023-06-20 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP6357133B2 (ja) * 2015-06-10 2018-07-11 日本電信電話株式会社 イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
WO2017030200A1 (ja) * 2015-08-20 2017-02-23 日本放送協会 画像符号化装置、画像復号化装置、及びこれらのプログラム
CN105872538B (zh) * 2016-04-18 2020-12-29 广东中星微电子有限公司 时域滤波方法和时域滤波装置
CN115037939B (zh) * 2016-05-27 2024-02-13 松下电器（美国）知识产权公司 编码装置及解码装置
KR20220129685A (ko) * 2016-09-05 2022-09-23 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
CN116634182A (zh) 2016-10-04 2023-08-22 株式会社Kt 对图像进行解码和编码的方法、图像数据的发送方法
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN110650349B (zh) * 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
WO2020249124A1 (en) * 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
BR112022000794A2 (pt) 2019-07-15 2022-03-15 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e gravação não transitórios legíveis por computador
WO2021052509A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
WO2021068906A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Padding process at unavailable sample locations in adaptive loop filtering
JPWO2021084679A1 (ru) * 2019-10-31 2021-05-06
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204221A1 (en) * 2005-03-11 2006-09-14 Kabushiki Kaisha Toshiba Information processing apparatus and information processing program
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
RU2342804C2 (ru) * 2004-06-07 2008-12-27 Даеянг Фаундейшн Способ и устройство кодирования и декодирования без потерь
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US7706622B2 (en) * 2004-11-30 2010-04-27 Canon Kabushiki Kaisha Image coding apparatus and image coding method

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US103475A (en) * 1870-05-24 Improvement in water-wheels
DE10158658A1 (de) 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
KR20050118235A (ko) 2003-04-14 2005-12-15 젠셀 코포레이션 연료 전지에 전해질을 첨가하기 위한 장치 및 방법
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
PT1723332E (pt) * 2004-02-27 2008-09-16 Yamaha Motor Co Ltd Peça componente de motor e método de produção da mesma
KR100616164B1 (ko) * 2004-05-12 2006-08-25 주식회사 대우일렉트로닉스 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법
CN1957616A (zh) * 2004-06-14 2007-05-02 株式会社莫诺利斯 动图像编码方法和动图像解码方法
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
US7283634B2 (en) 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
JP2006229411A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
EP1900223A2 (fr) * 2005-06-30 2008-03-19 France Telecom Procede et dispositif de codage video
WO2007055445A1 (en) 2005-11-11 2007-05-18 Daegu Gyeongbuk Institute Of Science And Technology A pre-viewing method of multiple movies or movie-clips in multimedia apparatus
BRPI0619193A2 (pt) * 2005-11-30 2011-09-20 Toshiba Kk Toshiba Corp método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
EP2056606A1 (en) * 2006-07-28 2009-05-06 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
TW200808067A (en) * 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
WO2008048489A2 (en) 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP4571955B2 (ja) * 2007-02-07 2010-10-27 日本電信電話株式会社 適応デブロッキング処理方法，装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
TWI410139B (zh) * 2007-09-12 2013-09-21 Sony Corp Image processing apparatus and image processing method
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101591825B1 (ko) 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
EP2924994B1 (en) * 2008-05-07 2016-09-21 LG Electronics, Inc. Method and apparatus for decoding video signal
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
JP2009284298A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US20100008603A1 (en) * 2008-07-09 2010-01-14 Julie Rossing Smith Sealable repulpable valve bag and method of assembling
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
CN102301719A (zh) * 2008-12-03 2011-12-28 索尼公司 图像处理装置、图像处理方法和程序
JP2010183162A (ja) * 2009-02-03 2010-08-19 Mitsubishi Electric Corp 動画像符号化装置
WO2010095916A1 (ru) 2009-02-20 2010-08-26 Bogamedov Gazimagomed Abulovich Изоляционный материал «pизoлин»
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
CA3024293A1 (en) 2009-02-27 2010-09-02 Inventys Thermal Technologies Inc. Parallel passage fluid contactor structure
JP5326828B2 (ja) * 2009-06-03 2013-10-30 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101715135B (zh) * 2009-09-30 2013-01-09 武汉大学 基于匹配模板的自适应帧内预测滤波编码方法
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP4983908B2 (ja) * 2009-12-28 2012-07-25 ソニー株式会社 復号装置及び方法
JP2011166326A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
WO2011134641A1 (en) * 2010-04-26 2011-11-03 Panasonic Corporation Filtering mode for intra prediction inferred from statistics of surrounding blocks
CN101848394B (zh) * 2010-05-25 2012-01-18 宁波中科集成电路设计中心有限公司 一种无线视频传感器的avs编码功耗模型优化方法
KR20120012385A (ko) 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
RU2544799C2 (ru) * 2010-09-30 2015-03-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
CA2842486C (en) * 2011-07-19 2022-09-06 Edison Pharmaceuticals, Inc. Methods for oxidation of alpha tocotrienol in the presence of non-alpha tocotrienols

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
RU2342804C2 (ru) * 2004-06-07 2008-12-27 Даеянг Фаундейшн Способ и устройство кодирования и декодирования без потерь
US7706622B2 (en) * 2004-11-30 2010-04-27 Canon Kabushiki Kaisha Image coding apparatus and image coding method
US20060204221A1 (en) * 2005-03-11 2006-09-14 Kabushiki Kaisha Toshiba Information processing apparatus and information processing program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,

Also Published As

Publication number Publication date
RU2015102755A (ru) 2015-06-10
CN103141106A (zh) 2013-06-05
CN105516723B (zh) 2018-07-27
CN105516722B (zh) 2018-12-07
US20150245022A1 (en) 2015-08-27
JP6775539B2 (ja) 2020-10-28
US10237551B2 (en) 2019-03-19
CA3052614A1 (en) 2012-04-05
EP2624563A1 (en) 2013-08-07
RU2608674C2 (ru) 2017-01-23
CA3105771C (en) 2023-04-25
CN105657423A (zh) 2016-06-08
EP2624563A4 (en) 2016-03-16
US10244264B2 (en) 2019-03-26
JP6675289B2 (ja) 2020-04-01
CA3000366A1 (en) 2012-04-05
BR112013006501A2 (pt) 2016-07-12
TWI606721B (zh) 2017-11-21
TW201640899A (zh) 2016-11-16
HK1219594A1 (zh) 2017-04-07
HK1182244A1 (zh) 2013-11-22
CA3000366C (en) 2019-11-19
TW201639372A (zh) 2016-11-01
KR101563835B1 (ko) 2015-10-27
BR112013006501B1 (pt) 2022-10-18
CA3105771A1 (en) 2012-04-05
CN103141106B (zh) 2016-03-16
JPWO2012042720A1 (ja) 2014-02-03
KR20160003876A (ko) 2016-01-11
KR20140102323A (ko) 2014-08-21
EP3661213A1 (en) 2020-06-03
TWI603612B (zh) 2017-10-21
CA2812201A1 (en) 2012-04-05
TWI606720B (zh) 2017-11-21
TW201223288A (en) 2012-06-01
RU2013119934A (ru) 2014-11-10
US10291939B2 (en) 2019-05-14
JP5503747B2 (ja) 2014-05-28
JP6851429B2 (ja) 2021-03-31
CN105744274B (zh) 2019-02-01
JP2014123988A (ja) 2014-07-03
SG10201912001PA (en) 2020-02-27
CN105516722A (zh) 2016-04-20
US20150245023A1 (en) 2015-08-27
CN105657423B (zh) 2019-02-01
TW201515447A (zh) 2015-04-16
KR101563834B1 (ko) 2015-10-27
MX2013003696A (es) 2013-05-20
KR101578318B1 (ko) 2015-12-16
JP2019149847A (ja) 2019-09-05
SG10201911999WA (en) 2020-02-27
KR101563833B1 (ko) 2015-10-27
CA2812201C (en) 2020-06-23
RU2642356C1 (ru) 2018-01-24
JP2017017736A (ja) 2017-01-19
CA3052614C (en) 2021-03-09
US20150172724A1 (en) 2015-06-18
WO2012042720A1 (ja) 2012-04-05
KR20130101070A (ko) 2013-09-12
KR20140106742A (ko) 2014-09-03
JP6005087B2 (ja) 2016-10-12
US10244233B2 (en) 2019-03-26
SG10201912003RA (en) 2020-02-27
CN105516723A (zh) 2016-04-20
SG189076A1 (en) 2013-05-31
US20130188706A1 (en) 2013-07-25
US10237550B2 (en) 2019-03-19
TW201640900A (zh) 2016-11-16
RU2693910C1 (ru) 2019-07-05
CN105744274A (zh) 2016-07-06
TWI566588B (zh) 2017-01-11
RU2544799C2 (ru) 2015-03-20
KR20140102324A (ko) 2014-08-21
KR20140102325A (ko) 2014-08-21
HK1219593A1 (zh) 2017-04-07
TWI472229B (zh) 2015-02-01
JP2018117379A (ja) 2018-07-26
KR101669388B1 (ko) 2016-10-25
CA3188026A1 (en) 2012-04-05
US20150237379A1 (en) 2015-08-20
SG10201507816SA (en) 2015-10-29
MX338462B (es) 2016-04-15
KR101580021B1 (ko) 2015-12-23

Similar Documents

Publication Publication Date Title
RU2674306C1 (ru) Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2648575C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2699411C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений, способ декодирования изображений и устройство прогнозирования изображений
RU2665237C1 (ru) Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
RU2703229C1 (ru) Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
RU2680194C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений