RU2674928C1 - Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием - Google Patents

Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием Download PDF

Info

Publication number
RU2674928C1
RU2674928C1 RU2018110696A RU2018110696A RU2674928C1 RU 2674928 C1 RU2674928 C1 RU 2674928C1 RU 2018110696 A RU2018110696 A RU 2018110696A RU 2018110696 A RU2018110696 A RU 2018110696A RU 2674928 C1 RU2674928 C1 RU 2674928C1
Authority
RU
Russia
Prior art keywords
nal
unit
decoding
image
images
Prior art date
Application number
RU2018110696A
Other languages
English (en)
Inventor
Дзуниа ТАКИУЕ
Чоонг Сенг БООН
ТИОУ Кенг ТАН
Original Assignee
Нтт Докомо, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нтт Докомо, Инк. filed Critical Нтт Докомо, Инк.
Application granted granted Critical
Publication of RU2674928C1 publication Critical patent/RU2674928C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/904—Separation or joining of side and center panels

Abstract

Изобретение относится к области кодирования и декодирования видео с предсказанием. Технический результат заключается в повышении эффективности кодирования и декодирования видео с предсказанием. Технический результат достигается за счет этапа ввода, на котором вводят множество изображений, образующих видеопоследовательность; этапа кодирования, на котором кодируют эти изображения для генерирования данных сжатых изображений, включающих в себя набор опорных изображений (RPS), и инкапсулируют эти данные сжатых изображений в блок NAL с информацией заголовка блока NAL, и этапа декодирования, на котором декодируют информацию заголовка блока NAL и упомянутый RPS, и восстанавливают данные сжатых изображений в качестве данных восстановленных изображений, при этом упомянутый RPS идентифицирует набор изображений, который используется для внешнего предсказания ассоциированного изображения, при этом информация заголовка блока NAL содержит nal_unit_type. 2 н. и 2 з.п. ф-лы, 10 ил., 5 табл.

Description

ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее изобретение относится к устройству кодирования видео с предсказанием, способу кодирования видео с предсказанием, программе кодирования видео с предсказанием, устройству декодирования видео с предсказанием, способу декодирования видео с предсказанием и программе декодирования видео с предсказанием.
УРОВЕНЬ ТЕХНИКИ
[0002] В традиционной технологии сжатия видео битовый поток инкапсулируется в блок уровня сетевой абстракции (NAL). Блок NAL предоставляет самостоятельный пакет и дает идентификационную информацию в разных сетевых окружениях. Заголовок блока NAL содержит информацию, используемую на системном уровне. Заголовок блока NAL становится частью заголовка пакета, используемого в пакетной сети и спроектирован с возможностью управления медийными сетевыми элементами (MANE).
[0003] Заголовок блока NAL в традиционной технологии включает в себя нижеследующие синтаксические элементы: nal_ref_flag, который указывает, используется ли блок NAL в качестве опорного в процессе декодирования другого блока NAL; nal_unit_type, который указывает тип содержимого, передаваемого блоком NAL, причем блок NAL содержит информацию, такую как набор параметров, кодированный слайс (вырезка) или сообщение дополнительной информации по усовершенствованию (SEI); и temporal_id, который указывает временной идентификатор блока NAL.
[0004] Традиционная технология описывается в Непатентной литературе 1.
СПИСОК ЦИТИРУЕМОЙ ЛИТЕРАТУРЫ
НЕПАТЕНТНАЯ ЛИТЕРАТУРА
[0005] Непатентная литература 1: Benjamin Bross et al., "High efficiency video coding (HEVC) text specification draft 7", Объединенной команды по кодированию видео (JCT-VC) ITU-T SGI6 WP3 и ISO/IEC JTC1/SC29/WG11, 9ая встреча: Женева, CH, 27ое апреля - 7ое мая 2012.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ПРОБЛЕМА
[0006] Так как MANE спроектированы для проверки минимального числа байтов в начале пакета, заголовок блока NAL является ограниченным ресурсом. В традиционной технологии заголовок блока NAL составляет только 2 байта. По этой причине все синтаксические элементы заголовка блока NAL являются важными и должны передавать как можно больше информации и не относиться к другим синтаксическим элементам.
[0007] В большинстве типов блока NAL, nal_ref_flag должен быть установлен в фиксированное значение, и таким образом nal_ref_flag не нужен. В спецификации, описанной в Непатентной литературе 1, есть только три вида типов блока NAL, nal_ref_flag которого может принять значение 0 или 1. В других типах блока NAL, заданных в спецификации, значение nal_ref_flag является фиксированным. Это показано в Таблице 1.
Таблица 1
Диапазон типов блока NAL Возможный nal_ref_flag Фиксированный/переменный
nal_ref_flag
1-3 0 или 1 Переменный
4-8 1 Фиксированный
25-28 1 Фиксированный
29-31 0 Фиксированный
Таблица 1 является таблицей, показывающей соответствие между значениями nal_unit_type (столбец "диапазон блоков NAL") и возможными значениями nal_ref_flag (столбец "возможный nal_ref_flag"). В этом случае типы блока NAL nal_unit_type могут иметь значения 1, 2 или 3, и значение nal_ref_flag может быть 0 или 1. Остающиеся типы блока NAL зарезервированы или точно не определены.
[0008] Хотя значение nal_ref_flag однозначно определяется согласно значению nal_unit_type, как описано выше, традиционный способ назначает соответствующие биты для nal_ref_flag и nal_unit_type, что является неэффективным проектным решением.
РЕШЕНИЕ ПРОБЛЕМЫ
[0009] Решением вышеуказанной проблемы является предположить значение nal_ref_flag исходя из типа блока NAL, без явной отправки nal_ref_flag в заголовке блока NAL. Три типа блока NAL, в которых предполагается, что nal_ref_flag равен 1, добавляются к трем типам блока NAL, содержимым которых может быть опорное изображение или неопорное изображение. Для первоначальных трех типов блока NAL предполагается, что nal_ref_flag равен 0.
[0010] Для того, чтобы решить вышеприведенную изложенную проблему, устройство кодирования видео с предсказанием согласно аспекту настоящего изобретения содержит средство ввода, которое вводит множество изображений, образующих видеопоследовательность; и средство кодирования, которое кодирует изображения посредством либо внутреннего предсказания либо внешнего предсказания, чтобы сгенерировать данные сжатого изображения, и которое объединяет в пакеты данные сжатого изображения вместе с информацией заголовка пакета, при этом информация заголовка пакета содержит тип изображения, и при этом средство кодирования определяет тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения. Средство кодирования устройства кодирования видео с предсказанием согласно одному аспекту настоящего изобретения определяет тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения на том же самом временном уровне.
[0011] Устройство декодирования видео с предсказанием согласно аспекту настоящего изобретения содержит средство ввода, которое вводит данные сжатого изображения, возникающие в результате кодирования множества изображений, образующих видеопоследовательность, посредством либо внутреннего предсказания, либо внешнего предсказания и объединения в пакеты данных сжатого изображения с информацией заголовка пакета; и средство декодирования, которое восстанавливает информацию заголовка пакета и данные сжатого изображения, при этом информация заголовка пакета содержит тип изображения, однозначно указывающий, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, и при этом средство декодирования определяет, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения.
[0012] В устройстве декодирования видео с предсказанием согласно аспекту настоящего изобретения средство декодирования определяет, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, на основе таблицы соответствия, в которой тип изображения предварительно сохранен в связи с информацией, указывающей, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения. Средство декодирования устройства декодирования видео с предсказанием согласно аспекту настоящего изобретения определяет, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения на том же самом временном уровне.
[0013] Способом кодирования видео с предсказанием согласно аспекту настоящего изобретения является способ кодирования видео с предсказанием, содержащий: этап ввода, на котором вводят множество изображений, образующих видеопоследовательность; и этап кодирования, на котором кодируют изображения посредством либо внутреннего предсказания, либо внешнего предсказания, чтобы сгенерировать данные сжатого изображения, и объединяют в пакеты данные сжатого изображения с информацией заголовка пакета, при этом информация заголовка пакета содержит тип изображения, и при этом этап кодирования определяет тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения. На этапе кодирования способа кодирования видео с предсказанием согласно аспекту настоящего изобретения определяют тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения на том же самом временном уровне.
[0014] Способом декодирования видео с предсказанием согласно аспекту настоящего изобретения является способ декодирования видео с предсказанием, содержащий: этап ввода, на котором вводят данные сжатого изображения, возникающие в результате кодирования множества изображений, образующих видеопоследовательность, посредством либо внутреннего предсказания, либо внешнего предсказания, и объединения в пакеты данных сжатого изображения с информацией заголовка пакета; и этап декодирования, на котором восстанавливают информацию заголовка пакета и данные сжатого изображения в качестве данных восстановленного изображения, при этом информация заголовка пакета содержит тип изображения, однозначно указывающий, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, и при этом этап декодирования определяет, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения.
[0015] В способе декодирования видео с предсказанием согласно аспекту настоящего изобретения этап декодирования определяет, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, на основе таблицы соответствия, в которой тип изображения предварительно сохранен в связи с информацией, указывающей, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения. На этапе декодирования способа декодирования видео с предсказанием согласно аспекту настоящего изобретения определяют, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения на том же самом временном уровне.
[0016] Программой кодирования видео с предсказанием согласно аспекту настоящего изобретения является программа кодирования видео с предсказанием, содержащая: модуль ввода, который вводит множество изображений, образующих видеопоследовательность; и модуль кодирования, который кодирует изображения посредством либо внутреннего предсказания, либо внешнего предсказания, чтобы сгенерировать данные сжатого изображения, и который объединяет в пакеты данные сжатого изображения вместе с информацией заголовка пакета, при этом информация заголовка пакета содержит тип изображения, и при этом модуль кодирования определяет тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения. Модуль кодирования программы кодирования видео с предсказанием согласно аспекту настоящего изобретения определяет тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения на том же самом временном уровне.
[0017] Программой декодирования видео с предсказанием согласно аспекту настоящего изобретения является программа декодирования видео с предсказанием, содержащая: модуль ввода, который вводит данные сжатого изображения, возникающие в результате кодирования множества изображений, образующих видеопоследовательность, посредством либо внутреннего предсказания, либо внешнего предсказания, и объединения в пакеты данных сжатого изображения с информацией заголовка пакета; и модуль декодирования, который восстанавливает информацию заголовка пакета и данные сжатого изображения, при этом информация заголовка пакета содержит тип изображения, однозначно указывающий, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, и при этом модуль декодирования определяет, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения.
[0018] В программе декодирования видео с предсказанием согласно аспекту настоящего изобретения модуль декодирования определяет, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, на основе таблицы соответствия, в которой тип изображения предварительно сохранен в связи с информацией, указывающей, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения. Модуль декодирования программы декодирования видео с предсказанием согласно аспекту настоящего изобретения определяет, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения на том же самом временном уровне.
ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
[0019] Эффектом является экономия битов, используемых для nal_ref_flag, и обеспечение возможности их использования в качестве другой информации указания. Это является наиболее эффективным использованием заголовка блока NAL. Другой способ использования состоит в обеспечении возможности расширения типов блока NAL с 6 битов до 7 битов. В настоящее время существующие типы блока NAL назначаются половине из доступных 64 значений nal_unit_type, и другие 32 значения nal_unit_type зарезервированы и могут быть использованы при задании новых типов блока NAL в будущем. Посредством использования трех из этих зарезервированных значений типов блока NAL и расширяя количество битов типов блока NAL до 7 битов, становится целесообразно задать 93 (128-32-3=93) дополнительных блока NAL в будущем.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0020] Фиг. 1 является блок-схемой, показывающей устройство кодирования видео с предсказанием согласно варианту осуществления настоящего изобретения.
Фиг. 2 является блок-схемой, показывающей устройство декодирования видео с предсказанием согласно варианту осуществления настоящего изобретения.
Фиг. 3 является схемой последовательности операций, показывающей обработку способа кодирования видео с предсказанием согласно варианту осуществления настоящего изобретения.
Фиг. 4 схемой последовательности операций, показывающей подробную часть обработки способа кодирования видео с предсказанием согласно варианту осуществления настоящего изобретения.
Фиг. 5 схемой последовательности операций, показывающей обработку способа декодирования видео с предсказанием согласно варианту осуществления настоящего изобретения.
Фиг. 6 схемой последовательности операций, показывающей подробную часть обработки способа декодирования видео с предсказанием согласно варианту осуществления настоящего изобретения.
Фиг. 7 является аппаратной конфигурацией компьютера для исполнения программы, хранящейся на носителе информации.
Фиг. 8 является общим видом компьютера для исполнения программы, хранящейся на носителе информации.
Фиг. 9 является блок-схемой, показывающей пример конфигурации программы кодирования видео с предсказанием.
Фиг. 10 является блок-схемой, показывающей пример конфигурации программы декодирования видео с предсказанием.
ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[0021] Варианты осуществления настоящего изобретения будут описаны ниже с использованием Фиг. 1-10.
[0022] Сначала будет описан способ кодирования видео с предсказанием. Фиг. 1 является блок-схемой, показывающей устройство кодирования видео с предсказанием согласно варианту осуществления настоящего изобретения. Ссылочный номер 101 обозначает терминал ввода, 102 - блок разбиения на блоки, 103 - блок генерирования предсказанного сигнала, 104 - память кадров, 105 - блок вычитания, 106 - блок преобразования, 107 - блок квантования, 108 - блок деквантования, 109 - блок обратного преобразования, 110 - блок сложения, 111 - блок энтропийного кодирования, 112 - терминал вывода, и 113 - терминал ввода. Терминал ввода 101 соответствует средству ввода. Блок 105 вычитания, блок 106 преобразования, блок 107 квантования и блок 111 энтропийного кодирования соответствуют средству кодирования. Блок 108 деквантования, блок 109 обратного преобразования и блок 110 сложения соответствуют средству декодирования.
[0023] Что касается устройства кодирования видео с предсказанием, сконфигурированным как описано выше, его функционирование будет описано ниже. Видеосигнал, состоящий из множества изображений подается в терминал 101 ввода. Изображение цели кодирования разбивается на множество областей блоком 102 разбиения на блоки. В варианте осуществления настоящего изобретения целевое изображение разбивается на блоки, каждый состоящий из пикселей 8×8, но оно может быть разбито на блоки любого размера или формы, в отличие от вышеприведенного. Предсказанный сигнал затем генерируется для области, как цели процесса кодирования, (которая в дальнейшем будет называться целевым блоком). Вариант осуществления согласно настоящему изобретению использует два типа способов предсказания. А именно, ими являются внешнее предсказание и внутреннее предсказание.
[0024] При внешнем предсказании восстановленные изображения, которые были кодированы и в дальнейшем восстановлены, используются в качестве опорных изображений, и информация движения для предоставления предсказанного сигнала с наименьшей ошибкой из целевого блока определяется исходя из опорных изображений. Этот процесс называется оценкой движения. В зависимости от ситуации целевой блок может быть дополнительно разбит на подобласти, и для каждой из подобластей может быть определен способ внешнего предсказания. В этом случае наиболее эффективный способ разбиения для всего целевого блока и информация движения каждой подобласти определяются исходя из различных способов разбиения. В вариантах осуществления согласно настоящему изобретению операция проводится в блоке 103 генерирования предсказанного сигнала, целевой блок подается по линии L102, и опорные изображения подаются по линии L104. Опорными изображениями, которые должны быть здесь использованы, являются множество изображений, которые были кодированы и восстановлены в прошлом. Подробности являются такими же как в способах MPEG-2 или 4 и H.264, которые являются традиционными технологиями. Информация движения и способ разбиения на подобласти, определяемые, как описано выше, подаются по линии L112 в блок 111 энтропийного кодирования для кодирования в нем, и затем кодированные данные выводятся из терминала 112 вывода. Информация (опорный индекс), указывающая, из какого опорного изображения из множества опорных изображений получен предсказанный сигнал, также отправляется по линии L112 в блок 111 энтропийного кодирования. Блок 103 генерирования предсказанного сигнала получает сигналы опорных изображений из памяти 104 кадров, на основе опорных изображений и информации движения, соответствующих способу разбиения на подобласти и каждой подобласти, и генерирует предсказанный сигнал. Сигнал с внешним предсказанием, сгенерированный таким образом, подается по линии L103 в блок 105 вычитания.
[0025] При внутреннем предсказании сигнал с внутренним предсказанием генерируется с использованием значений реконструированных пикселей, пространственно смежных с целевым блоком. Конкретно, блок 103 генерирования предсказанного сигнала получает сигналы реконструированных пикселей в том же кадре из памяти 104 кадров и экстраполирует эти сигналы, чтобы сгенерировать сигнал с внутренним предсказанием. Информация о способе экстраполяции подается по линии L112 в блок 111 энтропийного кодирования для кодирования в нем, и затем кодированные данные выводятся из терминала 112 вывода. Сигнал с внутренним предсказанием, сгенерированный таким образом, подается в блок 105 вычитания. Способ генерирования сигнала с внутренним предсказанием в блоке 103 генерирования предсказанного сигнала является таким же как способ H.264, являющийся традиционной технологией. Предсказанный сигнал с наименьшей ошибкой выбирается из сигналов с внешним предсказанием, полученных как описано выше, и выбранный предсказанный сигнал подается в блок 105 вычитания.
[0026] Блок 105 вычитания вычитает предсказанный сигнал (поданный по линии L103) из сигнала целевого блока (поданного по линии L102), чтобы сгенерировать остаточный сигнал. Этот остаточный сигнал преобразуется посредством дискретного косинусного преобразования блоком 106 преобразования, чтобы образовать коэффициенты преобразования, которые квантуются блоком 107 квантования. Наконец, блок 111 энтропийного кодирования кодирует квантованные коэффициенты преобразования, и кодированные данные выводятся вместе с информацией о способе предсказания из терминала 112 вывода.
[0027] Для внутреннего предсказания или внешнего предсказания последовательного целевого блока сжатый сигнал целевого блока подвергается обратной обработке для восстановления. А именно, блоком 108 деквантования осуществляется обратное квантование квантованных коэффициентов преобразования и затем преобразуются посредством обратного дискретного косинусного преобразования блоком 109 обратного преобразования, чтобы восстановить остаточный сигнал. Блок 110 сложения осуществляет сложение восстановленного остаточного сигнала с предсказанным сигналом, поданным по линии L103, чтобы восстановить сигнал целевого блока, и восстановленный сигнал сохраняется в памяти 104 кадров. Настоящий вариант осуществления использует блок 106 преобразования и блок 109 обратного преобразования, но в других вариантах осуществления также возможно использовать другую обработку преобразования вместо этих блоков преобразования. В зависимости от ситуации, в некоторых вариантах осуществления блок 106 преобразования и блок 109 обратного преобразования могут быть опущены.
[0028] Входные данные из терминала ввода 113 включают в себя информацию порядка отображения каждого изображения, тип кодирования каждого изображения (кодирование с внутренним предсказанием, кодирование с внешним предсказанием или кодирования с двунаправленным предсказанием) и информацию о типе блока NAL, и блок 103 генерирования предсказанного сигнала функционирует на основе этих порций информации. Эти порции информации также подаются по линии L113 в блок 111 энтропийного кодирования для кодирования в нем, и кодированные данные выводятся из терминала 112 вывода. Функционирование блока 111 энтропийного кодирования для кодирования типа блока NAL будет описано позднее.
[0029] Далее будет описан способ декодирования видео с предсказанием. Фиг. 2 является блок-схемой, показывающей устройство декодирования видео с предсказанием согласно варианту осуществления настоящего изобретения. Ссылочный номер 201 обозначает терминал ввода, 202 - блок анализа данных, 203 - блок деквантования, 204 - блок обратного преобразования, 205 - блок сложения, 206 - терминал вывода, 207 - память кадров, 208 - блок генерирования предсказанного сигнала и 209 - блок управления памятью кадров. Терминал ввода 201 соответствует средству ввода. Блок 202 анализа данных, блок 203 деквантования, блок 204 обратного преобразования и блок 205 сложения соответствуют средству декодирования. В других вариантах осуществления средство декодирования может быть средством, отличным от вышеприведенного. Кроме того, в вариантах осуществления средство декодирования может быть сконфигурировано без блока 204 обратного преобразования.
[0030] Что касается устройства декодирования видео с предсказанием, сконфигурированным как описано выше, его функционирование будет описано ниже. Сжатые данные, возникающие в результате кодирования со сжатием устройством кодирования видео с предсказанием, вводятся посредством терминала ввода 201. Эти сжатые данные содержат остаточный сигнал, возникающий в результате кодирования с предсказанием каждого целевого блока, полученного посредством разбиения изображения на множество блоков, и информацию, относящуюся к генерированию предсказанного сигнала. Информация, относящаяся к генерированию предсказанного сигнала, включает в себя, в дополнение к типу блока NAL, информацию о разбиении на блоки (размер блока), информацию движения и вышеупомянутый опорный индекс в случае внешнего предсказания, и включает в себя информацию о способе экстраполяции из реконструированных окружающих пикселей в случае внутреннего предсказания.
[0031] Блок 202 анализа данных извлекает остаточный сигнал целевого блока, информацию, относящуюся к генерированию предсказанного сигнала, включающую в себя тип блока NAL, параметр квантования, и информацию порядка отображения изображения из сжатых данных. Операция для извлечения типа блока NAL в блоке 202 анализа данных будет описана позднее. Блоком 203 деквантования осуществляется обратное квантование остаточного сигнала целевого блока на основе параметра квантования (поданного по линии L202). Результат преобразуется посредством дискретного косинусного преобразования блоком 204 обратного преобразования.
[0032] Далее информация, относящаяся к генерированию предсказанного сигнала, такая как информация порядка отображения целевого изображения, тип кодирования изображения, тип блока NAL и опорный индекс, подается по линии L206 в блок 208 генерирования предсказанного сигнала. Блок 208 генерирования предсказанного сигнала осуществляет доступ к памяти 207 кадров, на основе информации, относящейся к генерированию предсказанного сигнала, для получения опорного сигнала из множества опорных изображений (по линии L207), и генерирует предсказанный сигнал. Этот предсказанный сигнал подается по линии L208 в блок 205 сложения, блок 205 сложения осуществляет сложение этого предсказанного сигнала с восстановленным остаточным сигналом для восстановления сигнала целевого блока, и сигнал выводится по линии L205 из терминала 206 вывода и одновременно сохраняется в память 207 кадров.
[0033] Восстановленные изображения, которые должны быть использованы для декодирования и восстановления последовательного изображения, хранятся в памяти 207 кадров.
[0034] Таблица 2 и Таблица 3 являются таблицами, указывающими варианты выбора двух типов синтаксиса, касающихся режима использования двух байтов заголовка блока NAL.
Таблица 2
nal_unit(NumBytesInNALunit) { Дескриптор
forbidden_zero_bit f(1)
зарезервирован u(1)
nal_unit_type u(6)
temporal_id u(3)
reserved_one_5bits u(5)
.... (Оставшаяся часть блока NAL)
Таблица 3
nal_unit( NumBytesInNALunit) { Дескриптор
forbidden_zero_bit f(1)
зарезервирован u(1)
nal_unit_type u(6)
temporal_id u(3)
reserved_one_5bits u(5)
.... (Оставшаяся часть блока NAL)
В Таблицах 2 и 3 числа в скобках в столбце "Дескриптор", указывают количество битов соответствующих элементов.
[0035] В заголовке синтаксиса блока NAL из Таблицы 2, nal_ref_flag заменен зарезервированным битом (зарезервирован). Этот бит игнорируется существующими в настоящее время устройствами декодирования, но ему может быть назначено новое значение или семантика для будущих устройств декодирования. Следует отметить, что размещение битов в Таблице 2 служит лишь для описания, и зарезервированный бит может быть размещен в другом месте в 2-байтном заголовке.
[0036] В синтаксисе заголовка блока NAL из Таблицы 3, nal_unit_type назначено 7 битов, и тем самым самое большое могут быть заданы 128 разных видов nal_unit_type. В настоящем варианте осуществления было выбрано назначение 7 битов для nal_unit_type, но бит, сэкономленный в nal_ref_flag, может быть назначен для temporal_id.
[0037] Таблица 4 показывает типы блока NAL в настоящем варианте осуществления.
Таблица 4
nal_unit_type Категория Содержимое синтаксической структуры блока NAL и RBSP nal_ref_flag
0 не определен -
1 Другой слайс Кодированный слайс не RAP, не TFD и не TLA-изображения slice_layer_rbsp() 0
2 TFD-слайс Кодированный слайс TFD-изображения slice_layer_rbsp() 0
3 TLA-слайс Кодированный слайс не TFD TLA-изображения slice_layer_rbsp() 0
4 RAP-слайс Кодированный слайс CRAT-изображения slice_layer_rbsp() 1
5 RAP-слайс Кодированный слайс CRANT-изображения slice_layer_rbsp() 1
6 RAP-слайс Кодированный слайс BLCT-изображения slice_layer_rbsp() 1
7 RAP-слайс Кодированный слайс BLCNT-изображения
slice_layer_rbsp()		 1
8 RAP-слайс Кодированный слайс IDR-изображения slice_layer_rbsp() 1
9 Другой слайс кодированный слайс не RAP, не TFD и не TLA-изображения slice_layer_rbsp() 1
10 TFD-слайс Кодированный слайс TFD-изображения slice_layer_rbsp() 1
11 TLA-слайс Кодированный слайс не TFD TLA-изображения
slice_layer_rbsp()		 1
12..24 Зарезервирован
25 Набор параметров Набор параметров видео video_parameter_set_rbsp() 1
26 Набор параметров Набор параметров последовательности seq_parameter_set_rbsp() 1
27 Набор параметров Набор параметров изображения pic_parameter_set_rbsp() 1
28 Набор параметров Набор параметров адаптации aps_rbsp() 1
29 Информация Разграничитель блока доступа access_unit_delimiter_rbsp() 0
30 Информация Данные заполнителя filler_data_rbsp() 0
31 Информация Дополнительная информация по усовершенствованию (SEI) sei_rbsp() 0
32..47 Зарезервирован -
48..63 не определен
Таблица 4 является таблицей, показывающей значения nal_ref_flag, оцененные исходя из значений nal_unit_type. Типы блока NAL могут быть сгруппированы во множество категорий, которые показаны во втором столбце Таблицы 4. Категории описаны ниже.
1) RAP-слайс: блок NAL включающий в себя кодированный слайс изображения произвольного доступа.
2) TLA-слайс: блок NAL включающий в себя кодированный слайс доступа к временному уровню.
3) TFD-слайс: блок NAL включающий в себя кодированный слайс изображения, помеченного для сброса.
4) Другой слайс: блок NAL включающий в себя кодированный слайс, помимо вышеуказанных слайсов.
5) Набор параметров: блок NAL включающий в себя набор параметров видео, последовательности, изображения или адаптации.
6) Информация: блок NAL включающий в себя разграничитель доступа, данные заполнителя или дополнительную информацию по усовершенствованию (SEI).
[0038] В настоящем варианте осуществления три новых вида типов блока NAL, соответствующих 9, 10, и 11 как значениям nal_unit_type (типам изображений), добавляются к nal_unit_type при традиционной технологии. Блоки NAL с этими значениями для nal_unit_type включают в себя те же типы слайса, как и блоки NAL с соответствующими значениями для nal_unit_type 1, 2 и 3. nal_unit_type: 1 включает в себя кодированный слайс не RAP, не TFD и не TLA-изображения, nal_unit_type: 2 включает в себя кодированный слайс TFD-изображения, и nal_unit_type: 3 включает в себя кодированный слайс не TFT-изображения и TLA-изображения.
Настоящий вариант осуществления отличается от традиционной технологии в том, что значения 1, 2 и 3 являются кодированными слайсами, принадлежащими неопорным изображениям, и значения 9, 10, и 11 являются кодированными слайсами, принадлежащими опорным изображениям.
[0039] Значения, назначенные соответствующим категориям, не ограничены категориями, описанными выше. Кроме того, каждая категория может быть расширена до некоторых подкатегорий, и этим подкатегориям могут быть назначены новые значения, с использованием зарезервированных значений в Таблице 4.
[0040] Фиг. 3 показывает функционирование устройства кодирования видео с предсказанием для кодирования заголовка блока NAL в настоящем варианте осуществления. На этапе 118 устройство кодирования видео с предсказанием получает видеоданные, которые должны быть объединены в пакеты. На этапе 120 устройство кодирует первый бит блока NAL, всегда имеющий фиксированное значение 0. На этапе 130 устройство определяет nal_unit_type и кодирует его. На этапе 140 устройство кодирует temporal_id, и на этапе 150 устройство кодирует зарезервированные 5 битов (reserved_one_5bits), завершающие заголовок блока NAL. На этапе 160, устройство объединяет в пакеты оставшуюся полезную нагрузку (полезную нагрузку) и прекращает обработку.
[0041] Фиг. 4 показывает подробности процесса при определении и кодировании nal_unit_type на вышеуказанном этапе 130.
[0042] На этапе 210 устройство кодирования видео с предсказанием определяет, являются ли данные, которые должны быть объединены в пакеты, кодированным слайсом, принадлежащим любому из изображений произвольного доступа (RAP); если данные являются кодированным слайсом, принадлежащим любому из RAP (ДА), устройство переходит на этап 220. Если нет (НЕТ) устройство переходит на этап 230.
[0043] На этапе 220 устройство кодирования видео с предсказанием кодирует nal_unit_type посредством числа от 4 до 8, чтобы предположить, что nal_ref_flag равен 1, согласно типу RAP, и затем переходит на этап 140.
[0044] На этапе 230 устройство кодирования видео с предсказанием определяет, являются ли данные, которые должны быть объединены в пакеты, набором параметров, и если данные определены как набор параметров (ДА), устройство переходит на этап 240. Если данные не являются набором параметров (НЕТ), устройство переходит на этап 250.
[0045] На этапе 240 устройство кодирования видео с предсказанием кодирует nal_unit_type посредством числа от 25 до 28, чтобы предположить, что nal_ref_flag равен 1, согласно набору параметров, и затем устройство переходит на этап 140.
[0046] На этапе 250 устройство кодирования видео с предсказанием определяет, являются ли данные, которые должны быть объединены в пакеты, информационными данными, и если данные являются информационными данными (ДА), устройство переходит на этап 260. Если нет (НЕТ), устройство переходит на этап 270.
[0047] На этапе 260 устройство кодирования видео с предсказанием кодирует nal_unit_type посредством числа от 29 до 31, чтобы предположить, что nal_ref_flag равен 0, согласно типу информации, и затем переходит на этап 140.
[0048] на этапе 270 устройство кодирования видео с предсказанием определяет, являются ли данные, которые должны быть объединены в пакеты опорным изображением, и если данные являются опорным изображением (ДА), устройство переходит на этап 280. Если данные не являются опорным изображением (НЕТ), устройство переходит на этап 290. Определение того, являются ли данные опорным изображением или нет, делается на основе опорной информации между изображениями, выведенными из блока генерирования предсказанного сигнала.
[0049] Ветвление по условию на этапе 270 может быть скомпоновано как следует ниже. На этапе 270 видеоданные должны быть определены как либо опорное изображение, либо неопорное изображение. На этапе 270 устройство кодирования видео с предсказанием определяет, является ли изображение опорным изображением, и если изображение является опорным изображением (ДА), устройство переходит на этап 280. Если изображение не является опорным изображением (НЕТ), устройство переходит на этап 290.
[0050] На этапе 280 устройство кодирования видео с предсказанием кодирует nal_unit_type посредством числа от 9 до 11, чтобы предположить, что nal_ref_flag равен 1, согласно типу слайса, и затем переходит на этап 140.
[0051] На этапе 290 устройство кодирования видео с предсказанием кодирует nal_unit_type посредством числа от 1 до 3, чтобы предположить, что nal_ref_flag равен 0, согласно типу слайса, и затем устройство переходит на этап 140.
[0052] Фиг. 5 показывает функционирование устройства декодирования видео с предсказанием для декодирования заголовка блока NAL в настоящем варианте осуществления. На этапе 310 устройство декодирования видео с предсказанием получает следующий пакет для декодирования. На этапе 320 устройство декодирует первый бит (forbidden_zero_bit) блока NAL, всегда имеющий фиксированное значение 0. На этапе 330 устройство декодирует nal_unit_type и задает значение nal_ref_flag. На этапе 340 устройство декодирует temporal_id, и на этапе 350 устройство декодирует зарезервированные 5 битов (reserved_one_5bits), для завершения заголовка блока NAL. На этапе 360 устройство считывает оставшуюся полезную нагрузку из пакета и затем прекращает обработку.
[0053] Фиг. 6 показывает подробности процесса при декодировании nal_unit_type и задании значения nal_ref_flag на вышеуказанном этапе 330.
[0054] На этапе 400 устройство декодирования видео с предсказанием декодирует заголовок блока NAL для получения значения nal_unit_type.
[0055] На этапе 410 устройство декодирования видео с предсказанием определяет, является ли значение nal_unit_type числом от 1 до 3, и если значение является любым числом из 1-3 (ДА), блок NAL включает в себя один из кодированных слайсов неопорных изображений, и вследствие этого устройство переходит на этап 420. Если значение nal_unit_type не является числом от 1 до 3 (НЕТ), устройство переходит на этап 430.
[0056] На этапе 420 устройство декодирования видео с предсказанием задает значение nal_ref_flag в 0 и затем переходит на этап 340.
[0057] На этапе 430 устройство декодирования видео с предсказанием определяет, является ли значение nal_unit_type числом от 4 до 11, и если значение является любым числом из 4-11 (ДА), блок NAL включает в себя один из кодированных слайсов изображений произвольного доступа или кодированных слайсов опорных изображений, и вследствие этого устройство переходит на этап 440. Если значение nal_unit_type не является числом от 4 до 11 (НЕТ), устройство переходит на этап 450.
[0058] На этапе 440 устройство декодирования видео с предсказанием задает значение nal_ref_flag в 1 и затем переходит на этап 340.
[0059] На этапе 450 устройство декодирования видео с предсказанием определяет, является ли значение nal_unit_type числом от 25 до 28, и если значение является любым числом из 25-28 (ДА), блок NAL включает в себя набор параметров, и затем устройство переходит на этап 460. Если значение nal_unit_type не является числом от 25 до 28 (НЕТ), устройство переходит на этап 470.
[0060] На этапе 460 устройство декодирования видео с предсказанием задает значение nal_ref_flag в 1 и затем переходит на этап 340.
[0061] На этапе 470 устройство декодирования видео с предсказанием определяет, является ли значение nal_unit_type числом от 29 до 31, и если значение является любым числом из 29-31 (ДА), блок NAL включает в себя информационные данные, и затем устройство переходит на этап 480. Если значение nal_unit_type не является числом от 29 до 31 (НЕТ), nal_unit_type является недопустимым значением, и устройство переходит на этап 490.
[0062] На этапе 480 устройство декодирования видео с предсказанием задает значение nal_ref_flag в 0 и затем переходит на этап 340.
[0063] На этапе 490 устройство декодирования видео с предсказанием определяет, что значение nal_ref_flag точно не определено, и затем устройство переходит на этап 340.
[0064] В настоящем варианте осуществления вышеупомянутое задание nal_ref_flag выполняется посредством логического определения, но значение nal_ref_flag может также быть задано с использованием опорной таблицы для nal_ref_flag в противоположность индексу nal_unit_type в других вариантах осуществления. Таблица 5 является примером опорной таблицы nal_ref_flag в противоположность индексу nal_unit_type.
Таблица 5
Диапазон типов блока NAL Предполагаемое значение nal_ref_flag
1-3 0
4-11 1
25-28 1
29-31 0
В Таблице 5, тридцать две записи nal_ref_flag заданы в те же значения, как и в последнем столбце Таблицы 4.
[0065] Вышеупомянутый способ оценки или задания nal_ref_flag не ограничивается устройством декодирования видео с предсказанием, но может также быть применен к MANE.
[0066] В настоящем варианте осуществления устройство декодирования видео с предсказанием может выбрать не выполнять задание nal_ref_flag и может непосредственно использовать значение nal_unit_type при определении, является ли декодированное изображение опорным изображением. Это может быть разъяснено как следует ниже посредством использования логического выражения. Когда nal_unit_type релевантного изображения равно 1, 2 или 3, релевантное изображение является неопорным изображением. В ином случае, релевантное изображение является опорным изображением и сохраняется для использования в качестве опорного для другого изображения.
[0067] В настоящем варианте осуществления определение опорного изображения и неопорного изображения применяется ко всем видеоданным. Однако, в вариантах осуществления где видеоданные подвергаются процессу выборочного отбрасывания кадров для сброса изображения на более высоком временном уровне, это определение более не может быть точным.
[0068] При таких обстоятельствах некоторые опорные изображения могут быть изображениями, которые не используются в качестве опорных. Чтобы избежать этой ситуации, в некоторых вариантах осуществления опорные изображения с nal_unit_type, равным 9, 10, и 11, и неопорные изображения с nal_unit_type, равным 1, 2, и 3, могут быть заданы как описано ниже.
[0069] Опорное изображение является изображением, которое должно быть использовано для внешнего предсказания любым другим изображением на том же самом временном уровне, как и вышеприведенное изображение.
[0070] Неопорное изображение является изображением, которое не должно быть использовано для внешнего предсказания любым другим изображением на том же самом временном уровне, как и вышеприведенное изображение.
[0071] В традиционном способе, описанном в Непатентной литературе 1, внешнее предсказание предписано содержимым набора опорных изображений (RPS) для задания, какое изображение может быть использовано для внешнего предсказания. По этой причине, вышеприведенное определение может быть описано как следует ниже.
[0072] Неопорное изображение (с nal_unit_type, равным 1, 2 или 3) не включено в RPS любого другого изображения на том же самом временном уровне, как и вышеприведенное изображение.
[0073] Опорное изображение (с nal_unit_type, равным 9, 10, или 11) включено в RPS любого другого изображения на том же самом временном уровне, как и вышеприведенное изображение.
[0074] Программа кодирования видео с предсказанием и программа декодирования видео с предсказанием для обеспечения компьютеру возможности функционирования в качестве вышеприведенного устройства кодирования видео с предсказанием и устройства декодирования видео с предсказанием может быть предоставлена в качестве программ, хранящихся на носителе информации. Примеры таких носителей информации включают в себя диски, CD-ROM, DVD, и ROM, полупроводниковую память и т.д.
[0075] Фиг. 7 является чертежом, показывающем аппаратную конфигурацию компьютера для исполнения программы, хранящейся на носителе информации, и Фиг. 8 является общим видом компьютера для исполнения программы, хранящейся на носителе информации. Компьютер может быть осуществлен в DVD-проигрывателе, телеприставке, сотовом телефоне и т.д., обеспеченном CPU, и может быть сконфигурирован с возможностью выполнения обработки и управления программным обеспечением.
[0076] Как показано на Фиг. 7, компьютер 30 обеспечен устройством 12 считывания, таким как блок дискового накопителя, блок CD-ROM накопителя, или блок DVD-накопителя, рабочей памятью (RAM) 14, в которой находится операционная система, памятью 16 для хранения программ, хранящихся на носителе 10 информации, блоком 18 монитора, на подобии дисплея, мышью 20 и клавиатурой 22, в качестве устройств ввода, устройством 24 связи для передачи и приема данных или подобного, и CPU 26 для управления исполнением программ. Когда носитель 10 информации помещен в устройство 12 считывания, компьютер 30 становится доступным для программы кодирования и декодирования видео с предсказанием, хранящейся на носителе 10 информации, посредством устройства 12 считывания, и становится способным функционировать в качестве устройства кодирования и декодирования видео с предсказанием, на основе программы кодирования и декодирования видео с предсказанием.
[0077] Как показано на Фиг. 8, программа кодирования видео с предсказанием или программа декодирования видео с предсказанием могут быть предоставлены в виде сигнала 40 компьютерных данных, наложенного на несущую волну, через сеть. В этом случае компьютер 30 может исполнять программу кодирования видео с предсказанием или программу декодирования видео с предсказанием после того, как программа кодирования видео с предсказанием или программа декодирования видео с предсказанием принята устройством 24 связи и сохранена в память 16.
[0078] Конкретно, как показано на Фиг. 9, программа кодирования видео с предсказанием является программой кодирования видео с предсказанием, обеспеченной модулем ввода P101 для реализации ввода множества изображений, образующих видеопоследовательность, и модулем P102 кодирования для кодирования изображений посредством либо внутреннего предсказания, либо внешнего предсказания, чтобы сгенерировать данные сжатого изображения, и для объединения в пакеты данных сжатого изображения с информацией заголовка пакета, при этом информация заголовка пакета содержит тип изображения и при этом модуль P102 кодирования определяет тип изображения, чтобы однозначно указать, используются ли данные кодированного изображения для ссылки при декодировании другого изображения.
[0079] Аналогично, как показано на Фиг. 10, программа декодирования видео с предсказанием P200 является программой декодирования видео с предсказанием, обеспеченной модулем ввода P201 для реализации ввода данных сжатого изображения, возникающих в результате кодирования множества изображений, образующих видеопоследовательность, посредством либо внутреннего предсказания, либо внешнего предсказания и объединения их в пакеты вместе с информацией заголовка пакета, и модулем P202 декодирования для восстановления информации заголовка пакета и данных сжатого изображения, при этом информация заголовка пакета содержит тип изображения, чтобы однозначно указать, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения и при этом модуль P202 декодирования определяет, на основе типа изображения, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения.
[0080] Модуль P202 декодирования может определить, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения, на основе таблицы соответствия, в которой тип изображения предварительно сохранен в связи с информацией, указывающей, используются ли данные восстановленного изображения для ссылки при декодировании другого изображения.
СПИСОК ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ
[0081] 101 терминал ввода; 102 блок разбиения на блоки; 103 блок генерирования предсказанного сигнала; 104 память кадров; 105 блок вычитания; 106 блок преобразования; 107 блок квантования; 108 блок деквантования; 109 блок обратного преобразования; 110 блок сложения; 111 блок энтропийного кодирования; 112 терминал вывода; 113 терминал ввода; 201 терминал ввода; 202 блок анализа данных; 203 блок деквантования; 204 блок обратного преобразования; 205 блок сложения; 206 терминал вывода; 207 память кадров; 208 блок генерирования предсказанного сигнала.

Claims (18)

1. Способ кодирования видео с предсказанием, содержащий:
этап ввода, на котором вводят множество изображений, образующих видеопоследовательность; и
этап кодирования, на котором кодируют эти изображения для генерирования данных сжатых изображений, включающих в себя набор опорных изображений (RPS), и инкапсулируют эти данные сжатых изображений в блок NAL с информацией заголовка блока NAL,
при этом упомянутый RPS идентифицирует набор изображений, который используется для внешнего предсказания ассоциированного изображения,
при этом информация заголовка блока NAL содержит nal_unit_type, и
при этом этап кодирования определяет nal_unit_type так, чтобы указать однозначно, используются ли данные кодированного изображения для внешнего предсказания при декодировании других изображений того же самого временного уровня или нет, и определяет, что RPS упомянутых других изображений не включает в себя неопорное изображение того же самого временного уровня.
2. Способ кодирования видео с предсказанием по п. 1,
при этом информация заголовка блока NAL содержит nal_unit_type, и
при этом этап кодирования определяет nal_unit_type так, чтобы указать однозначно, используются ли данные кодированного изображения для внешнего предсказания при декодировании последующих изображений того же самого временного уровня в порядке декодирования или нет, и определяет, что RPS упомянутых последующих изображений в порядке декодирования не включает в себя неопорное изображение того же самого временного уровня.
3. Способ декодирования видео с предсказанием, содержащий:
этап ввода, на котором вводят данные сжатых изображений для множества изображений, образующих видеопоследовательность, при этом данные сжатых изображений включают в себя набор опорных изображений (RPS) и инкапсулированы в блок NAL с информацией заголовка блока NAL; и
этап декодирования, на котором декодируют информацию заголовка блока NAL и упомянутый RPS, и восстанавливают данные сжатых изображений в качестве данных восстановленных изображений,
при этом упомянутый RPS идентифицирует набор изображений, который используется для внешнего предсказания ассоциированного изображения,
причем информация заголовка блока NAL содержит nal_unit_type, уникально указывающий, используются ли данные восстановленного изображения для внешнего предсказания при декодировании других изображений того же самого временного уровня или нет, и
RPS упомянутых других изображений не включает в себя неопорное изображение того же самого временного уровня.
4. Способ декодирования видео с предсказанием по п. 3,
при этом информация заголовка блока NAL содержит nal_unit_type, уникально указывающий, используются ли данные восстановленного изображения для внешнего предсказания при декодировании последующих изображений того же самого временного уровня в порядке декодирования или нет, и
RPS упомянутых последующих изображений в порядке декодирования не включает в себя неопорное изображение того же самого временного уровня.
RU2018110696A 2012-07-06 2018-03-27 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием RU2674928C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-152700 2012-07-06
JP2012152700A JP5885604B2 (ja) 2012-07-06 2012-07-06 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2017132832A Division RU2649787C1 (ru) 2012-07-06 2017-09-20 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием

Publications (1)

Publication Number Publication Date
RU2674928C1 true RU2674928C1 (ru) 2018-12-13

Family

ID=49881758

Family Applications (4)

Application Number Title Priority Date Filing Date
RU2016137616A RU2633139C1 (ru) 2012-07-06 2013-05-24 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
RU2015103932/08A RU2601196C2 (ru) 2012-07-06 2013-05-24 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
RU2017132832A RU2649787C1 (ru) 2012-07-06 2017-09-20 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
RU2018110696A RU2674928C1 (ru) 2012-07-06 2018-03-27 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием

Family Applications Before (3)

Application Number Title Priority Date Filing Date
RU2016137616A RU2633139C1 (ru) 2012-07-06 2013-05-24 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
RU2015103932/08A RU2601196C2 (ru) 2012-07-06 2013-05-24 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
RU2017132832A RU2649787C1 (ru) 2012-07-06 2017-09-20 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием

Country Status (16)

Country Link
US (4) US10277916B2 (ru)
EP (2) EP2871836A4 (ru)
JP (1) JP5885604B2 (ru)
KR (4) KR102032769B1 (ru)
CN (5) CN107181965B (ru)
AU (5) AU2013284741B2 (ru)
BR (3) BR122016011407A2 (ru)
CA (4) CA2974736C (ru)
IN (1) IN2014DN10156A (ru)
MX (3) MX351061B (ru)
MY (1) MY166354A (ru)
PH (1) PH12014502472A1 (ru)
RU (4) RU2633139C1 (ru)
SG (2) SG10201509748TA (ru)
TW (4) TWI552582B (ru)
WO (1) WO2014006997A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2780809C1 (ru) * 2019-12-19 2022-10-04 Тенсент Америка Ллс Сигнализация параметров заголовка изображения

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015136059A (ja) 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
EP3238448A4 (en) * 2014-12-22 2018-09-12 Thomson Licensing Method of encoding video picture, method of decoding video picture, apparatus for encoding video picture, apparatus for decoding video picture and computer program product
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
WO2021210841A1 (ko) * 2020-04-16 2021-10-21 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 픽처 헤더에 포함된 정보에 기반한 영상 코딩 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002017644A1 (en) * 2000-08-21 2002-02-28 Nokia Corporation Video coding
US20060285589A1 (en) * 2000-08-14 2006-12-21 Nokia Corporation Video coding
RU2406254C2 (ru) * 2006-03-29 2010-12-10 Квэлкомм Инкорпорейтед Видеообработка с масштабируемостью
RU2419248C2 (ru) * 2007-01-09 2011-05-20 Квэлкомм Инкорпорейтед Адаптивное повышение дискретизации для масштабируемого кодирования видео
US20120121015A1 (en) * 2006-01-12 2012-05-17 Lg Electronics Inc. Processing multiview video

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8351514B2 (en) * 2004-01-16 2013-01-08 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
JP2006211274A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法
JP2006211617A (ja) * 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
WO2006083824A2 (en) * 2005-02-01 2006-08-10 Texas Instruments Incorporated Random access in avs-m video bitstreams
WO2007034601A1 (ja) * 2005-09-20 2007-03-29 Mitsubishi Electric Corporation 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体
WO2007142281A2 (en) * 2006-06-02 2007-12-13 Panasonic Corporation Coding device and editing device
EP2039169A2 (en) * 2006-07-06 2009-03-25 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
UA93118C2 (ru) * 2006-11-14 2011-01-10 Квелкомм Инкорпорейтед Системы и способы для переключения каналов
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
US20100118943A1 (en) * 2007-01-09 2010-05-13 Kabushiki Kaisha Toshiba Method and apparatus for encoding and decoding image
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
EP3484123A1 (en) * 2007-01-12 2019-05-15 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
KR101125846B1 (ko) * 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
EP2137972A2 (en) * 2007-04-24 2009-12-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
KR101381601B1 (ko) * 2007-05-14 2014-04-15 삼성전자주식회사 다시점 영상 부호화 및 복호화 장치
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN102106156B (zh) * 2008-07-26 2013-06-19 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
CN101420597A (zh) * 2008-08-28 2009-04-29 西安联合信息技术股份有限公司 一种基于Arena平台下的无线视频传输系统
WO2010086501A1 (en) * 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
BRPI1001258A2 (pt) * 2009-04-28 2017-01-10 Panasonic Coporation método de decodificação de imagem, método de codifcação de imagem, aparelho de decodificação de imagem, e aparelho de codificação de imagem
EP2265027B1 (en) * 2009-06-17 2018-03-14 Canon Kabushiki Kaisha Method of encoding and decoding a video stream transmitted over a communication network
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
KR101701342B1 (ko) * 2009-08-14 2017-02-01 삼성전자주식회사 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
RU2419246C1 (ru) * 2010-01-25 2011-05-20 Государственное образовательное учреждение высшего профессионального образования "Военная академия связи имени С.М. Буденного" Министерства обороны Российской Федерации Способ сжатия и восстановления неподвижных полутоновых видеоизображений
US20110188571A1 (en) * 2010-02-04 2011-08-04 Sony Corporation Recursive adaptive interpolation filters (raif)
US20110274178A1 (en) * 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Method and device for parallel decoding of video data units
TWI419568B (zh) * 2010-05-27 2013-12-11 Univ Nat Sun Yat Sen 三維之影像切割方法
WO2012013327A1 (en) * 2010-07-26 2012-02-02 Panasonic Corporation Quantized prediction error signal for three-input-wiener-filter
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
WO2012049876A1 (ja) * 2010-10-12 2012-04-19 株式会社 東芝 動画像符号化方法および復号方法
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
CN103416003B (zh) * 2011-01-14 2015-05-27 维德约股份有限公司 改进的nal单元头部
CN103314591B (zh) * 2011-01-14 2017-02-08 维德约股份有限公司 时间可缩放性的高层句法
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285589A1 (en) * 2000-08-14 2006-12-21 Nokia Corporation Video coding
WO2002017644A1 (en) * 2000-08-21 2002-02-28 Nokia Corporation Video coding
US20120121015A1 (en) * 2006-01-12 2012-05-17 Lg Electronics Inc. Processing multiview video
RU2406254C2 (ru) * 2006-03-29 2010-12-10 Квэлкомм Инкорпорейтед Видеообработка с масштабируемостью
RU2419248C2 (ru) * 2007-01-09 2011-05-20 Квэлкомм Инкорпорейтед Адаптивное повышение дискретизации для масштабируемого кодирования видео

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2780809C1 (ru) * 2019-12-19 2022-10-04 Тенсент Америка Ллс Сигнализация параметров заголовка изображения

Also Published As

Publication number Publication date
CN107181965B (zh) 2020-11-17
PH12014502472B1 (en) 2014-12-22
RU2601196C2 (ru) 2016-10-27
AU2019206093B2 (en) 2021-01-07
BR122016011407A2 (pt) 2018-02-06
AU2016201427B2 (en) 2017-11-16
TW201404180A (zh) 2014-01-16
RU2633139C1 (ru) 2017-10-11
RU2649787C1 (ru) 2018-04-04
EP4207765A1 (en) 2023-07-05
EP2871836A4 (en) 2016-02-17
SG11201407454RA (en) 2014-12-30
KR20180137603A (ko) 2018-12-27
CA2974736C (en) 2021-06-01
CN107181965A (zh) 2017-09-19
CA2974736A1 (en) 2014-01-09
JP5885604B2 (ja) 2016-03-15
KR101934051B1 (ko) 2018-12-31
CN104396258B (zh) 2017-12-29
TWI650005B (zh) 2019-02-01
WO2014006997A1 (ja) 2014-01-09
MX337602B (es) 2016-03-11
AU2017276271A1 (en) 2018-01-18
CN107181964A (zh) 2017-09-19
KR20180137602A (ko) 2018-12-27
PH12014502472A1 (en) 2014-12-22
MX351061B (es) 2017-09-29
US20190215527A1 (en) 2019-07-11
US20190215526A1 (en) 2019-07-11
AU2013284741B2 (en) 2016-05-05
TWI513283B (zh) 2015-12-11
AU2019206084A1 (en) 2019-08-08
US10666964B2 (en) 2020-05-26
AU2019206093A1 (en) 2019-08-08
TW201811047A (zh) 2018-03-16
CN107743237B (zh) 2020-09-25
TWI552582B (zh) 2016-10-01
AU2019206084B2 (en) 2021-01-21
KR20160106202A (ko) 2016-09-09
TW201639366A (zh) 2016-11-01
CN107257486B (zh) 2021-02-12
CA3113118A1 (en) 2014-01-09
KR102032769B1 (ko) 2019-10-16
JP2014017612A (ja) 2014-01-30
AU2017276271B2 (en) 2019-04-18
CN107257486A (zh) 2017-10-17
SG10201509748TA (en) 2016-01-28
US10681368B2 (en) 2020-06-09
BR112014031638B1 (pt) 2018-08-07
CA2874816A1 (en) 2014-01-09
CA3113122C (en) 2022-08-30
US10666965B2 (en) 2020-05-26
US20190215525A1 (en) 2019-07-11
MY166354A (en) 2018-06-25
KR20150016260A (ko) 2015-02-11
BR122016011409A2 (pt) 2018-02-06
CA3113122A1 (en) 2014-01-09
TWI602427B (zh) 2017-10-11
KR102032770B1 (ko) 2019-10-16
BR112014031638A2 (pt) 2017-05-30
US10277916B2 (en) 2019-04-30
CN107181964B (zh) 2021-02-19
IN2014DN10156A (ru) 2015-08-21
CA2874816C (en) 2017-09-12
CA3113118C (en) 2022-08-30
MX2014015882A (es) 2015-03-19
AU2013284741A1 (en) 2014-12-04
EP2871836A1 (en) 2015-05-13
AU2016201427A1 (en) 2016-03-24
CN104396258A (zh) 2015-03-04
RU2015103932A (ru) 2016-08-27
MX2020011526A (es) 2022-11-24
US20150110189A1 (en) 2015-04-23
CN107743237A (zh) 2018-02-27
TW201537966A (zh) 2015-10-01

Similar Documents

Publication Publication Date Title
RU2674928C1 (ru) Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием и программа декодирования видео с предсказанием
JP6430045B2 (ja) 動画像予測符号化方法及び動画像予測復号方法
JP6272979B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP6046843B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法