RU2430483C2 - Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени - Google Patents

Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени Download PDF

Info

Publication number
RU2430483C2
RU2430483C2 RU2009130914/09A RU2009130914A RU2430483C2 RU 2430483 C2 RU2430483 C2 RU 2430483C2 RU 2009130914/09 A RU2009130914/09 A RU 2009130914/09A RU 2009130914 A RU2009130914 A RU 2009130914A RU 2430483 C2 RU2430483 C2 RU 2430483C2
Authority
RU
Russia
Prior art keywords
information
block
payload
packet
scalability
Prior art date
Application number
RU2009130914/09A
Other languages
English (en)
Other versions
RU2009130914A (ru
Inventor
Миска ХАННУКСЕЛА (FI)
Миска ХАННУКСЕЛА
Йе-Куи ВАНГ (FI)
Йе-Куи ВАНГ
Original Assignee
Нокиа Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Корпорейшн filed Critical Нокиа Корпорейшн
Publication of RU2009130914A publication Critical patent/RU2009130914A/ru
Application granted granted Critical
Publication of RU2430483C2 publication Critical patent/RU2430483C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Изобретение относится к масштабируемому кодированию видеосигналов и, в частности, касается повышения устойчивости к ошибкам в стандартах Н.264/усовершенствованного кодирования видеосигналов (AVC) и масштабируемого кодирования видеоданных (SVC). Техническим результатом является собственно создание усовершенствованного способа повышения устойчивости к ошибкам в стандартах Н.264/усовершенствованного кодирования видеосигналов (AVC) и масштабируемого кодирования видеоданных (SVC). Указанный технический результат достигается тем, что предложена система модификации мер повышения устойчивости к ошибкам путем передачи индексов изображения временного уровня 0, например tl0_pic_idx, в сообщении дополнительной расширенной информации (SEI) вместо опционального включения их в заголовок блока уровня сетевой абстракции (NAL). Кроме того, предлагается механизм повторения сообщений SEI в пакетах протокола передачи в реальном времени (RTP). Такое повторение сообщений SEI облегчает обнаружение потерянных изображений временного уровня 0 на основе любого принимаемого пакета. 6 н. и 14 з.п. ф-лы, 4 ил.

Description

Область техники, к которой относится изобретение
[0001] Настоящее изобретение в целом относится к масштабируемому кодированию видеосигналов. Более конкретно, настоящее изобретение касается повышения устойчивости к ошибкам в стандартах Н.264/усовершенствованного кодирования видеосигналов (AVC) и масштабируемого кодирования видеоданных (SVC).
Предпосылки создания изобретения
[0002] Этот раздел предназначен для представления предпосылок создания изобретения или контекста изобретения, которое изложено в формуле изобретения. Описанное здесь может включать концепции, которые могут быть осуществлены, но не обязательно те, которые были ранее задуманы или осуществлены. Поэтому, если здесь не указано иное, описанное в этом разделе не является описанием известного уровня техники.
[0003] Стандарты кодирования видеосигналов включают стандарты сектора стандартизации электросвязи Международного союза электросвязи (ITU-T) ITU-T H.261, группы экспертов по кодированию подвижных изображений (MPEG) Международной организации по стандартизации/ Международной электротехнической комиссии (ISO/IEC) ISO/IEC MPEG-1 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual и ITU-T H.264 (также известный как ISO/IEC MPEG-4 AVC). Кроме того, в настоящее время ведутся исследовательские работы в отношении разработки новых стандартов кодирования видеосигналов. Одним из таких стандартов, находящимся в процессе разработки, является стандарт SVC, который станет масштабируемым расширением для H.264/AVC. Другим разрабатываемым стандартом является стандарт многоракурсного кодирования (Multi-view Video Coding - MVC), который также является расширением для H.264/AVC. Еще одна такая исследовательская работа включает разработку стандартов кодирования видеосигналов в Китае.
[0004] Самый последний проект SVC описан в документе объединенной группы специалистов (JVT) JVT-U201, “Joint Draft 8 of SVC Amendment”, 21st JVT meeting, HangZhou, China, Oct. 2006, доступном no адресу ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U201.zip. Самый последний проект MVC описывается в документе JVT-U209, “Joint Draft 1.0 on Multiview Video Coding”, 21st JVT meeting, HangZhou, China, Oct. 2006, доступном по адресу ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U209.zip. Оба эти документа полностью включены в данное описание путем ссылки на соответствующие источники.
[0005] Масштабируемая мультимедийная информация обычно упорядочивается по иерархическим уровням данных. Базовый уровень содержит индивидуальное представление кодированного мультимедийного потока, такого как видеопоследовательность. Уровни расширения содержат данные улучшения относительно предыдущих уровней в иерархии уровней. Качество декодированного мультимедийного потока прогрессивно улучшается, когда уровни расширения добавляются к базовому уровню. Уровень расширения улучшает временную разрешающую способность (то есть частоту кадров), пространственную разрешающую способность или просто качество контента видеоданных, представленного другим уровнем или его частью. Каждый уровень вместе со всеми его зависимыми уровнями является представлением видеосигнала с определенной пространственной разрешающей способностью, временной разрешающей способностью и уровнем качества. Поэтому термин “масштабируемое представление уровня” используется здесь, чтобы описать масштабируемый уровень вместе со всеми его зависимыми уровнями. Часть масштабируемого битового потока, соответствующая масштабируемому представлению уровня, может быть извлечена и декодирована, чтобы произвести представление исходного сигнала с определенной точностью воспроизведения.
[0006] Концепция уровня кодирования видеосигналов (VCL) и уровня сетевой абстракции (NAL) унаследована от усовершенствованного кодирования видеосигналов (AVC). Уровень VCL содержит функциональные возможности обработки сигналов кодека - механизмы, такие как преобразование, квантование, предсказание с компенсацией движения, фильтр с петлей обратной связи, межуровневое предсказание.
Кодированное изображение базового уровня или уровня расширения состоит из одного или нескольких слайсов. Уровень NAL инкапсулирует каждый слайс, формируемый уровнем VCL, в один или несколько блоков NAL. Блок NAL содержит заголовок блока NAL и полезную нагрузку блока NAL. Заголовок блока NAL содержит тип блока NAL, указывающий, содержит ли блок NAL кодированную секцию, разбиение данных кодированной секции, набор параметров последовательности или изображения и т.д. Поток блоков NAL представляет собой конкатенацию ряда блоков NAL. Кодированный битовый поток согласно стандарту H.264/AVC или его расширениям, например, SVC, является или потоком блоков NAL, или потоком байтов с приписыванием префикса кода запуска к каждому блоку NAL в потоке блоков NAL.
[0007] Каждый уровень кодирования SVC формируется блоками NAL, представляющими биты кодированного видеосигнала уровня. Поток транспортного протокола реального времени (RTP), транспортирующий только один уровень, будет транспортировать блоки NAL, принадлежащие только этому уровню. Поток RTP, несущий полный масштабируемый битовый поток видеосигнала, будет транспортировать блоки NAL базового уровня и одного или нескольких уровней расширения. Стандарт SVC определяет порядок декодирования этих блоков NAL.
[0008] В некоторых случаях данные на уровне расширения могут быть усечены после некоторого места или в произвольных позициях, где каждая позиция усечения может включать дополнительные данные, представляющие все более и более улучшенное визуальное качество. В случаях, когда позиции усечения расположены близко, масштабируемость называют “мелкозернистой масштабируемостью” (FGS, fine grained (granular) scalability). В отличие от FGS масштабируемость, обеспечиваемая теми уровнями расширения, которые могут быть усечены только в определенных грубых позициях, называется “крупнозернистой масштабируемостью” (CGS, coarse-grained (granularity) scalability).
[0009] Согласно стандарту кодирования видеосигналов H.264/AVC блок доступа включает одно первичное изображение. В некоторых системах обнаружение границ блока доступа может быть упрощено вставкой разделителя блока доступа блока NAL в битовый поток. В стандарте SVC блок доступа может содержать несколько первичных кодированных изображений, но не более одного изображения на каждую уникальную комбинацию dependencyjevel, temporaljevel и qualityjevel (уровня зависимости, временного уровня и уровня качества).
[0010] Битовый поток кодированного видеосигнала может содержать дополнительную информацию, расширяющую использование видеосигнала для широкого многообразия задач. Например, дополнительная расширенная информация (SEI, supplemental enhancement information) и информация, предназначенная для удобства использования видео (VUI, video usability information), как определено в H264/AVC, обеспечивают такие функциональные возможности. Стандарт H.264/AVC и его расширения включают поддержку сигнализации SEI посредством сообщений SEI. Сообщения SEI не требуются процессу декодирования, чтобы генерировать правильные значения отсчетов для выходных изображений. Они полезны для других целей, например, для повышения устойчивости к ошибкам и воспроизведения. Стандарт H.264/AVC содержит синтаксис и семантику для специфицированных сообщений SEI, но никакой процесс обработки сообщений у получателя не определен. Следовательно, кодерам требуется соблюдать стандарт H.264/AVC, когда они создают сообщения SEI, а декодеры, соответствующие стандарту H.264/AVC, не требуются, чтобы обрабатывать сообщения SEI для соответствия порядку вывода. Одна из причин включения синтаксиса и семантики сообщений SEI в стандарт H.264/AVC заключается в том, чтобы позволить спецификациям систем, таким как спецификации мультимедиа 3GPP и спецификации консорциума цифрового телевизионного вещания (DVB), идентично интерпретировать дополнительную информацию и, следовательно, взаимодействовать. Предполагается, что спецификации систем могут требовать использования специальных сообщений SEI и на стороне кодировании, и на стороне декодировании, и процесс обработки сообщений SEI у получателя может быть определен для приложения в спецификации системы.
[0011] Кодирование SVG использует механизм, подобный тому, который используется в H.264/AVC для обеспечения иерархической временной масштабируемости. При кодировании SVC некоторый набор опорных и неопорных изображений может быть исключен из кодированного битового потока без воздействия на декодирование остающегося битового потока. Иерархическая временная масштабируемость требует многочисленных опорных изображений для компенсации движения, то есть имеется буфер опорных изображений, содержащий многочисленные декодированные изображения, из которых кодер может выбирать опорное изображение для интер-предсказания. В стандарте H.264/AVC компоненты, называемые подпоследовательностями, делают возможной иерархическую временную масштабируемость, в которой каждый уровень расширения содержит подпоследовательности, и каждая подпоследовательность содержит ряд опорных и/или неопорных изображений. Подпоследовательность содержит также ряд взаимозависимых изображений, которые могут размещаться без создания помех для любой другой подпоследовательности на любом более низком уровне подпоследовательностей. Уровни подпоследовательностей иерархически размещены на основе их зависимости друг от друга. Поэтому, когда подпоследовательность располагается на самом высоком уровне расширения, остающийся битовый поток остается правильным. В стандарте H.264/AVC сигнализация информации о временной масштабируемости выполняется с использованием сообщений дополнительной расширенной информации (SEI), связанных с подпоследовательностями. В стандарте SVC иерархия временных уровней указывается в заголовке блоков уровня сетевой абстракции (NAL).
[0012] Кроме того, кодирование SVC использует механизм межуровневого предсказания, посредством которого некоторая информация может быть предсказана из уровней, отличных от текущего восстановленного уровня или следующего нижнего уровня. Информация, которая может предсказываться межуровневым предсказанием, включает внутреннюю текстуру, движение и остаточные данные. Межуровневое предсказание движения включает также предсказание режима блочного кодирования, информацию заголовка и т.д., причем информация о движении из нижнего уровня может использоваться для предсказания более высокого уровня. В стандарте SVC возможно также использование интра-кодирования, то есть предсказания на основании окружающих макроблоков или расположенных в том же месте макроблоков нижних уровней. Такие методы предсказания не используют информацию о движении и, следовательно, называются методами интра-предсказания. Кроме того, остаточные данные из нижних уровней также могут использоваться для предсказания текущего уровня.
[0013] Кодирование SVC, как описано выше, включает кодирование “базового уровня” с некоторым минимальным качеством, а также кодирование расширенной информации (“информации улучшения”), которая увеличивает качество до максимального уровня. Базовый уровень потоков SVC обычно совместим с усовершенствованным кодированием видеосигналов (AVC). Другими словами, декодеры AVC могут декодировать базовый уровень потока SVC и игнорировать специфические для SVC данные. Эта возможность была реализована специфицированием тех типов блоков NAL кодированного слайса, которые являются специфическими для SVC, как зарезервированных для будущего использования в стандарте AVC; они должны игнорироваться согласно спецификации AVC.
[0014] Изображение мгновенного обновления декодирования (1DR) согласно H.264/AVC содержит только слайсы с интра-кодированием и заставляет помечать все опорные изображения за исключением текущего изображения как “не используемые в качестве опорных”. Кодированная видеопоследовательность определена как последовательность последовательных блоков доступа в порядке декодировании от блока доступа IDR, включительно, до следующего блока доступа IDR, исключая его, или до конца битового потока в зависимости от того, что из них появляется ранее. Группа изображений (GOP) в стандарте H.264/AVC относится к ряду изображений, который является непрерывным в порядке декодирования, начиная с изображения, кодированного интра-кодированием, и заканчивая первым изображением (не включая его) следующей GOP или кодированной видеопоследовательности в порядке декодирования. Все изображения в пределах GOP после изображения с интра-кодированием в порядке вывода могут быть правильно декодированы, независимо от того, были ли декодированы любые предыдущие изображения. Открытая группа GOP - такая группа изображений, в которой изображения, предшествующие начальному изображению с интра-кодированием в порядке вывода, могут не быть правильно декодируемыми. Декодер H.264/AVC может распознавать изображение с интра-кодированием, начинающее открытую группу GOP, на основании сообщения SEI о точке восстановления в битовом потоке H.264/AVC. Изображение, начинающее открытую группу GOP, называется здесь изображением открытого обновления декодирования (ODR). Закрытая группа GOP - такая группа изображений, в которой все изображения могут быть правильно декодированы. В стандарте H.264/AVC закрытая группа GOP начинается с блока доступа IDR.
[0015] Кодированные изображения могут быть представлены индексом tl0_pic_idx. Индекс tl0_pic_idx указывает блоки NAL в битовом потоке SVC с одним и тем же значением dependency_id и quality_level в одном блоке доступа, где temporal_level равен нулю. Для изображения IDR с temporal_level, равным нулю, значение tl0_pic_idx равно нулю или любому значению в диапазоне от 0 до N-1, включительно, где N - положительное целое число. Для любого другого изображения с temporal_level, равным нулю, значение tl0_pic_idx равно (tl0_pic_idx_0+1)%N, где tl0_pic_idx_0 -значение tl0_pic_idx предыдущего изображения с temporal_level, равным нулю, а % обозначает “по модулю”. В текущей спецификации SVC tl0_pic_idx включен в заголовок блока NAL как условное поле. Приемник или сетевой элемент, поддерживающий мультимедиа (MANE), может исследовать значения tl0_pic_idx, чтобы определить, принял ли он все ключевые изображения (то есть изображения с временным уровнем, равным 0). Если случается потеря данных для ключевого изображения, то тогда может быть послан сигнал обратной связи для информирования кодера, который в свою очередь может предпринимать некоторые действия по исправлению, например, повторно передавая потерянное ключевое изображение.
[0016] Формат полезной нагрузки RTP для H.264/AVC определен в документе по технической политике (запросе комментариев) (RFC) 3984 (доступном по адресу www.rfc-editor.org/rfc/rfc3984.txt), а проект формата полезной нагрузки RTP для SVC специфицирован в документе комитета по инженерным проблемам Интернет (IETF) Internet-Draft draft-ietf-avt-rtp-svc-00 (доступном по адресу tools.ietf.org/id/draft-ietf-avt-rtp-svc-00.txt).
[0017] Документ RFC 3984 специфицирует несколько режимов пакетирования, одним из которых является режим с перемежением. Если используется пакетирование с перемежением, то блоки NAL из нескольких блоков доступа могут пакетироваться в одни пакеты RTP. Документ RFC 3984 специфицирует также концепцию номера порядка декодирования (DON), который указывает порядки декодирования блоков NAL, транспортируемых в потоке RTP.
[0018] В проекте формата полезной нагрузки RTP для SVC специфицируется новый тип блока NAL, называемый блоком NAL с информацией о масштабируемости контента полезной нагрузки (PACSI). Блок NAL PACSI, если он представлен, является первым блоком NAL в объединенном (агрегированном) пакете, и он не представлен в пакетах других типов. Блок NAL PACSI указывает характеристики масштабируемости, которые являются общими для всех оставшихся блоков NAL в полезной нагрузке, таким образом упрощая для элемента MANE принятие решения переслать/обработать/отбросить объединенной пакет. Передатчики могут создавать блоки NAL PACSI, а приемники могут игнорировать их или использовать как подсказки, чтобы сделать возможной эффективную обработку объединенного пакета. Когда первый объединенный блок объединенного пакета содержит блок NAL PACSI, имеется по меньшей мере один дополнительный объединенный блок, присутствующий в том же самом пакете. Поля заголовка RTP устанавливаются согласно остающимся блокам NAL в объединенном пакете. Когда блок NAL PACSI включается в многовременной объединенный пакет, номер порядка декодирования для блока NAL PACSI устанавливается так, чтобы указать, что блок NAL PACSI является первым блоком NAL в порядке декодирования среди блоков NAL в объединенном пакете или что блок NAL PACSI имеет идентичный номер порядка декодирования с первым блоком NAL в порядке декодирования среди остающихся блоков NAL в объединенном пакете. Структура блока NAL PACSI является той же самой, что и у четырехбайтового заголовка блока NAL SVC (где бит Е равен 0), описанного ниже.
Сущность изобретения
[0019] Различные формы осуществления настоящего изобретения предлагают способ модификации мер повышения устойчивости к ошибкам с помощью передачи индексов изображений с временным уровнем 0, таких как tl0_pic_idx, в сообщении SEI вместо опционального включения их в заголовок блока NAL. Кроме того, предусмотрен механизм, обеспечивающий повторение любых сообщений SEI в пакетах протокола передачи в реальном времени (RTP). Предоставление возможности такого повторения любых сообщений SEI облегчает обнаружение потерянных изображений временного уровня 0 на основании любого принятого пакета.
[0020] Передача tl0_pic_idx в сообщении SEI приводит к такому же прямому и устойчивому обнаружению потерь данных, как и в случае, когда tl0_pic_idx передается в заголовке блока NAL. Кроме того, не требуются никакие изменения в заголовке блока NAL или заголовке секции, и не изменяются семантики tl0_pic_idx. Кроме того, реализация мер повышения устойчивости к ошибкам, таких как описанные здесь, не влияет на специфицированный процесс декодирования H.264/AVG или его текущие расширения.
[0021] Различные формы осуществления изобретения предусматривают способ, компьютерный программный продукт и устройство для пакетирования кодированного битового потока, представляющего видеопоследовательность. Это пакетирование включает пакетирование по меньшей мере части кодированной видеопоследовательности в первый пакет, причем первый пакет содержит информацию, суммирующую контент по меньшей мере части кодированной видеопоследовательности, и предоставление в первом пакете дополнительной расширенной информации, связанной с указанной по меньшей мере частью кодированной видеопоследовательности. Формы осуществления изобретения предусматривают также способ, компьютерный программный продукт и устройство для депакетирования кодированного видеосигнала, которое включает депакетирование по меньшей мере части кодированной видеопоследовательности из первого пакета, причем первый пакет содержит информацию, суммирующую контент по меньшей мере части кодированной видеопоследовательности. Кроме того, из первого пакета получается дополнительная расширенная информация, связанная с указанной по меньшей мере частью кодированной видеопоследовательности.
[0022] Различные формы осуществления предусматривают способ, компьютерный программный продукт и устройство для пакетирования битового потока с временным масштабированием, представляющего последовательность изображений; способ включает пакетирование по меньшей мере части последовательности изображений в первый пакет, причем первый пакет содержит первую информацию, суммирующую контент по меньшей мере части кодированной последовательности изображений, и предоставление в первом пакете второй информации, указывающей порядок декодирования изображений на самом низком временном уровне в иерархии временных уровней. Другие формы осуществления изобретения предусматривают способ, компьютерный программный продукт и устройство для депакетирования кодированного видеосигнала, которое включает депакетирование из первого пакета по меньшей мере части кодированной последовательности изображений, причем первый пакет содержит первую информацию, суммирующую контент по меньшей мере части кодированной последовательности изображений. Дополнительно, из первого пакета получается вторая информация, указывающая порядок декодирования изображения на самом низком временном уровне в иерархии временных уровней.
[0023] Эти и другие преимущества и особенности изобретения вместе с его структурой и способом работы станут очевидными из нижеследующего подробного описания, приводимого вместе с прилагаемыми чертежами, на которых аналогичные элементы имеют аналогичные номера позиций.
Краткое описание чертежей
[0024] На фиг.1 показана обобщенная мультимедийная система связи, предназначенная для использования с настоящим изобретением.
[0025] На фиг.2 показан перспективный вид мобильного телефона, который может использоваться при реализации настоящего изобретения.
[0026] На фиг.3 схематически представлены телефонные схемы мобильного телефона фиг.2.
[0027] Фиг.4 представляет собой иллюстрацию примера битового потока с временным масштабированием.
Подробное описание различных форм осуществления изобретения
[0028] На фиг.1 показана мультимедийная система связи общего типа для использования с настоящим изобретением. Как показано на фиг.1, источник 100 данных подает исходный сигнал в аналоговом, несжатом цифровом или сжатом цифровом формате или в виде некоторой комбинации этих форматов. Кодер 110 кодирует исходный сигнал, формируя кодированный битовый поток мультимедийных данных. Кодер 110 может быть способен кодировать более одного вида мультимедиа, например аудио и видео, или может требоваться более одного кодера 110, чтобы кодировать различные виды мультимедийной информации исходного сигнала. Кодер 110 может получать также синтетически созданный входной сигнал, такой как графика и текст, или он может быть способен создавать кодированные битовые потоки синтетических мультимедийных данных. Ниже, чтобы упростить описание, рассматривается обработка только одного кодированного битового потока мультимедийных данных одного вида мультимедийной информации. Следует заметить, однако, что типичные широковещательные услуги в реальном времени включают несколько потоков (обычно по меньшей мере по одному потоку данных аудио, видео и текстовых субтитров). Следует также заметить, что система может содержать несколько кодеров, но далее рассматривается только один кодер 110, чтобы упростить описание без потери общности.
[0029] Должно быть понятно, что, хотя текст и примеры, содержащиеся здесь, могут конкретно описывать процесс кодирования, специалистам в данной области техники понятно, что те же самые концепции и принципы применимы также к соответствующему процессу декодирования и наоборот.
[0030] Кодированный битовый поток мультимедийных данных передается в запоминающее устройство 120. Запоминающее устройство 120 может быть выполнено в виде памяти большого объема любого типа, чтобы хранить кодированный битовый поток мультимедийных данных. Формат кодированного битового потока мультимедийных данных в запоминающем устройстве 120 может быть форматом элементарного самостоятельного битового потока, или же один или несколько кодированных битовых потоков мультимедийных данных могут инкапсулироваться в файл контейнера. Некоторые системы работают “напрямую”, то есть без запоминающего устройства передают кодированный битовый поток мультимедийных данных из кодера 110 непосредственно в передатчик 130. Затем кодированный битовый поток мультимедийных данных по мере необходимости передается в передатчик 130, называемый также сервером. Формат, используемый при передаче, может быть форматом элементарного самостоятельного битового потока, форматом пакетного потока или же один или несколько кодированных битовых потоков мультимедийных данных могут инкапсулироваться в файл контейнера. Кодер 110, запоминающее устройство 120 и передатчик 130 могут находиться в одном физическом устройстве, или они могут быть включены в отдельные устройства. Кодер 110 и передатчик 130 могут работать с “живым” контентом в реальном времени; в этом случае кодированный битовый поток мультимедийных данных обычно не хранится постоянно, а буферизируется в течение малых периодов времени в кодере 110 контента и/или в передатчике 130, чтобы сгладить изменения в задержке обработки, задержке передачи и скорости передачи кодированных мультимедийных данных.
[0031] Передатчик 130 передает кодированный битовый поток мультимедийных данных, используя стек протоколов связи. Стек может включать в качестве не ограничивающих изобретение примеров протокол передачи в режиме реального времени (RTP), протокол пользовательских дейтаграмм (UDP) и протоколы Интернета (IP). Когда стек протоколов связи ориентирован на пакетную передачу, передатчик 130 инкапсулирует кодированный битовый поток мультимедийных данных в пакеты. Например, когда используется протокол RTP, передатчик 130 инкапсулирует кодированный битовый поток мультимедийных данных в пакеты RTP согласно формату полезной нагрузки RTP. Обычно каждый вид мультимедийной информации имеет специализированный формат полезной нагрузки RTP. Снова следует отметить, что система может содержать более одного передатчика 130, но для простоты в дальнейшем описании рассматривается только один передатчик 130.
[0032] Передатчик 130 может быть подключен или не подключен к шлюзу 140 через сеть связи. Шлюз 140 может выполнять функции различного вида, такие как преобразование потока пакетов согласно одному стеку протоколов связи в другой стек протоколов связи, объединение и разветвление потоков данных, а также манипулирование потоком данных согласно возможностям нисходящей линии связи и/или приемника, таким как управление скоростью передачи данных пересылаемого потока согласно преобладающим условиям нисходящих линий сети связи. Примеры шлюзов 140 включают модули управления многосторонними конференциями (MCU), шлюзы между видеотелефонией с коммутацией каналов и с пакетной коммутацией, услугу полудуплексной голосовой связи Push-to-Talk (“Нажми и говори”) с помощью сотовой сети (РоС), инкапсуляторы IP в системах цифрового телевизионного вещания на карманные мобильные устройства (DVB-H) или абонентские приставки, которые локально пересылают широковещательные передачи на домашние беспроводные сети. Когда используется протокол RTP, шлюз 140 называется микшером RTP и действует как конечная точка соединения RTP.
[0033] Система содержит один или несколько приемников 150, обычно способных к приему, демодуляции и деинкапсуляции переданных сигналов в кодированный битовый поток мультимедийных данных. Кодированный битовый поток мультимедийных данных далее обычно обрабатывается декодером 160, выходной сигнал которого представляет собой один или несколько несжатых потоков мультимедийных данных. Наконец, устройство 170 воспроизведения может воспроизводить несжатые потоки мультимедийных данных, например, с помощью громкоговорителя или дисплея. Приемник 150, декодер 160 и воспроизводящее устройство 170 могут находиться в одном физическом устройстве, или они могут быть включены в отдельные устройства. Следует отметить, что битовый поток, который будет декодироваться, может приниматься от удаленного устройства, расположенного в сети фактически любого типа. Кроме того, битовый поток может приниматься от местных аппаратных или программных средств.
[0034] Масштабируемость с точки зрения скорости передачи данных, сложности декодирования и размера изображения является желательным свойством для передачи в гетерогенной и подверженной ошибкам среде. Это свойство желательно для того, чтобы противодействовать ограничениям, таким как ограничения на скорость передачи данных, разрешающую способность дисплея, пропускную способность сети и вычислительную мощность приемного устройства.
[0035] Устройства связи согласно настоящему изобретению могут осуществлять связь с использованием различных технологий передачи, включая в качестве не ограничивающих изобретение примеров множественный доступ с кодовым разделением каналов (CDMA), глобальную систему подвижной связи (GSM), универсальную систему подвижной связи (UMTS), многостанционный доступ с временным разделением каналов (TDMA), многостанционный доступ с частотным разделением каналов (FDMA), протокол управления передачей/протокол Интернет (TCP/IP), службу обмена короткими сообщениями (SMS), службу передачи мультимедийных сообщений (MMS), электронную почту, службу мгновенной передачи сообщений (IMS), Bluetooth, IEEE 802.11 и т.д. Устройство связи может осуществлять связь с использованием различных сред, включая в качестве примеров радио, инфракрасное излучение, лазер, кабельное соединение и т.п.
[0036] На фиг.2 и 3 показано типичное мобильное устройство 12, в котором может быть осуществлено настоящее изобретение. Должно быть понятно, однако, что настоящее изобретение не ограничено одним конкретным типом мобильного устройства 12 или другого электронного устройства. Некоторые или все средства, изображенные на фиг.2 и 3, могут быть включены в некоторые или все устройства, представленные на фиг 1.
[0037] Мобильное устройство 12 на фиг.2 и 3 содержит корпус 30, дисплей 32 в виде индикатора на жидких кристаллах, клавиатуру 34, микрофон 36, телефонный капсюль 38, батарею 40, инфракрасный порт 42, антенну 44, смарт-карту 46 в виде универсальной микропроцессорной карты 3-го поколения (UICC) согласно одной из форм осуществления изобретения, устройство 48 считывания с карты, схему 52 радиоинтерфейса, схему 54 кодека, контроллер 56 и запоминающее устройство 58. Все отдельные цепи и элементы представляют собой устройства хорошо известного в данной области техники типа, например, по номенклатуре мобильных телефонов фирмы Nokia.
[0038] На фиг.4 показан пример битового потока с четырьмя временными уровнями, а также значениями tl0_pic_idx для каждого изображения. Временной уровень, равный 0, является самым низким временным уровнем в иерархии уровней. Согласно семантике tl0_pic_idx, если изображение имеет временной уровень, равный 0, то tl0_pic_idx является индексом temporal-level-0 самого изображения. Поэтому значения tl0_pic_idx для изображений со счетчиком последовательности изображения (РОС, picture order count), равные 0, 8 и 16, равняются 0, 1 и 2 соответственно. Если изображение имеет временной уровень больше чем 0, то tl0_pic_idx является индексом temporal-level-0 предыдущего изображения в порядке декодирования с временным уровнем, равным 0. Следовательно, все значения tl0_pic_idx для изображений со счетчиком РОС, равным от 1 до 7, равны 1, потому что для них предыдущим изображением в порядке декодирования с временным уровнем, равным 0, является изображение со счетчиком РОС, равным 8, и все значения tl0_pic_idx для изображений со счетчиком РОС, равным от 9 до 15, равны 2, потому что для них предыдущим изображением в порядке декодирования с временным уровнем, равным 0, является изображение со счетчиком РОС, равным 16.
[0039] Различные формы осуществления настоящего изобретения обеспечивают способ модификации мер повышения устойчивости к ошибкам путем передачи индексов изображений с временным уровнем 0, таких как tl0_pic_idx, в сообщении SEI, вместо опционального включения их в заголовок блока NAL. Кроме того, предусмотрен механизм, позволяющий обеспечить повторение любых сообщений SEI в пакетах протокола передачи в реальном времени (RTP). Такое повторение любых сообщений SEI облегчает обнаружение потерянных изображений с временным уровнем 0 на основе любого принятого пакета.
[0040] Поле, в котором представлен индекс t10_pic_idx, может быть включено в новое сообщение SEI, которое может быть связано с каждым кодированным изображением с уровнем temporal_level, равным нулю или какому-либо значению. Новое сообщение SEI может быть названо, например, сообщением SEI для индекса изображения tl0, и может быть определено следующим образом:
tl0_picture_idx(payloadSize){ C Descriptor
tl0 pic_idx 5 u(8)
}    
[0041] Передача tl0_picjdx в новом сообщении SEI приводит к такому же прямому и устойчивому обнаружению потери изображения с временным уровнем 0, как и в случае, когда tl0_pic_idx передается в заголовке блока NAL. Кроме того, не требуются никакие изменения в заголовке блока NAL или заголовке секции и не изменяются семантики tl0_pic_idx. Кроме того, реализация мер повышения устойчивости к ошибкам, таких как описанные здесь, не влияет на специфицированный процесс декодирования H.264/AVC или текущие расширения. Фактически, средства повышения устойчивости к ошибкам, подобные tl0_pic_idx, такие как сообщение SEI информации о подпоследовательности, которое также включает счетчик кадров, ранее включались в сообщения SEI в отличие от синтаксических структур высокого уровня, таких как заголовок блока NAL и заголовок секции. Следовательно, такой способ передачи индексов изображений с временным уровнем 0 соответствует другим обычным средствам повышения устойчивости к ошибкам стандарта H.264/AVC.
[0042] Кроме того, возможно модифицировать блок NAL с информацией о масштабируемости контента полезной нагрузки (PACSI) так, чтобы включить в него новое сообщение SEI. В настоящее время блок NAL PACSI, если он присутствует, является первым блоком NAL в пакете и содержит заголовок блока NAL SVC, суммирующий контент пакета. Полезная нагрузка блока NAL PACSI пуста. Тип блока NAL для блока NAL PACSI выбирается среди тех значений, которые не определены в спецификации SVC и в спецификации полезной нагрузки RTP H.264/AVC, что дает в результате блок NAL PACSI, который игнорируется декодерами H.264/AVC или SVC и приемниками RTP H.264/AVC.
[0043] Предполагая, что блоки NAL SEI допускаются в полезной нагрузке блока NAL PACSI, любой блок NAL SEI в полезной нагрузке блока NAL PACSI может использоваться, чтобы повторить блок NAL SEI блока доступа первого блока NAL, следующего за блоком NAL PACSI, но не вложенного в него. Кроме того, блок NAL PACSI может включать сообщения SEI с повторением метки опорного изображения, а также другие блоки NAL, которые могут появляться перед первым блоком NAL VCL в блоке доступа. Это позволяет обнаружить назначения долговременного индекса изображения предшествующих изображений временного уровня 0 в порядке декодировании. Следует отметить, что некоторые дополнительные затраты скорости передачи данных в результате передачи tl0_pic_idx в новом сообщении SEI являются незначительными.
[0044] Когда используется режим пакетирования с перемежением, блок NAL PACSI может содержать только сообщения SEI для первого блока NAL полезной нагрузки RTP, как описано выше. Однако согласно другой форме осуществления настоящего изобретения, блок NAL PACSI не инкапсулирует новые сообщения SEI как таковые, а инкапсулирует пары блоков NAL SEI в дополнение к номерам порядка декодирования (DON) или разностям DON любых других идентификаторов изображений, или любых других идентификаторов блока NAL в полезной нагрузки RTP, таких как порядковые номера блоков NAL в полезной нагрузке.
[0045] Согласно еще одной форме осуществления настоящего изобретения в спецификации полезной нагрузки RTP может быть определен новый тип блока NAL, который может быть назван перемежаемым PACSI (IPACSI, interleaved PACSI). Этот блок NAL может быть вставлен перед любым блоком NAL AVC/SVC в полезной нагрузке RTP. Кроме того, полезная нагрузка IPACSI может содержать повторение блоков NAL SEI для того блока доступа, которому принадлежит блок NAL AVC/SVC.
[0046] Необходимо отметить, что различные формы осуществления настоящего изобретения не связывают dependency_id и/или quality_level с сообщением SEI tl0_pic_idx, потому что сообщение SEI tl0_pic_idx может использоваться в масштабируемом вложении SEI, когда dependency_id>0 или quality_level>0. Следовательно, возможно несколько использований для масштабируемого вложения SEI, хотя процессы синтаксического анализа в сетевом элементе обеспечения мультимедиа (MANE) станут немного более сложными. Альтернативно, цикл может быть реализован в самом сообщении SEI tl0_pic_idx для различных значений dependency_id и quality_level.
[0047] Следует отметить, что существуют другие проблемы, связанные с tl0_pic_idx, помимо представленных здесь. Например, когда изображение временного уровня 1 использует два или более изображения временного уровня 0 в качестве опорных для предсказания, индекс tl0_pic_idx может не быть надежным показателем того, что изображение временного уровня 1 может быть декодировано. Поэтому могут быть использованы другие подходы для решения проблем, связанных с tl0_pic_idx. Например, использование различных долговременных индексов в последующих изображениях с temporal-level-0 делает менее вероятным, что на изображение, которому назначен конкретный долговременный индекс, будут неправильно ссылаться. Дополнительно, заключения об опорных изображениях, которые фактически используются, включая долговременные, могут быть сделаны на основании заголовка слайса, когда используются команды, переупорядочивающие список опорных изображений. В качестве еще одного варианта могут использоваться сообщения SEI подпоследовательности, в которых номера уровней подпоследовательности и идентификаторы подпоследовательностей могут использоваться разумно, чтобы сделать заключение, на каких уровнях подпоследовательности возникли потери данных. В некоторых структурах предсказания кратковременные опорные изображения могут использоваться вместо долговременных опорных изображений. В еще одном варианте “транспортный” уровень может быть основой для подхода к проблеме tl0_pic_idx, например, путем использования общих пакетов отрицательного подтверждения (NACK) профиля аудиовизуальной обратной связи (AVPF) RTP, причем пакеты NACK могут передаваться во всех случаях, когда обнаруживается возможная потеря изображения временного уровня 0.
[0048] Настоящее изобретение описано в общем контексте шагов способа, которые могут быть реализованы в одной форме осуществления программным продуктом, включающим выполняемые компьютером команды, такие как код программы, выполняемый компьютерами в сетевых средах. Машиночитаемый носитель может быть выполнен в виде съемных и несъемных запоминающих устройств, включая, в качестве примеров постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), компакт-диски (CD), цифровой универсальный диск (DVD) и т.д. Вообще, программные модули включают подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Исполняемые машинные команды, связанные структуры данных и программные модули представляют собой примеры программного кода для выполнения шагов способов, раскрытых здесь. Конкретная последовательность таких исполняемых команд или связанных структур данных представляет примеры соответствующих действий для реализации функций, описанных на таких шагах.
[0049] Программные и Web-реализации различных форм осуществления изобретения могут быть выполнены стандартными методами программирования с логикой на основе правил и другой логики для выполнения различных шагов или процессов поиска в базе данных, шагов или процессов корреляции, шагов или процессов сравнения и шагов или процессов решения. Следует отметить, что слова “компонент” и “модуль”, которые используется здесь и в формуле изобретения, предназначены для охвата реализаций, использующих одну или несколько строк программного кода, и/или аппаратных реализаций и/или оборудования для приема данных, вводимых вручную.
[0050] Вышеприведенное описание предпочтительных форм осуществления изобретения было представлено с целью иллюстрации и описания. Оно не является исчерпывающим и не ограничивает изобретение раскрытой формой; модификации возможны в свете вышеприведенных идей или могут быть получены в результате практического применения изобретения. Формы осуществления, рассмотренные здесь, были выбраны и описаны с целью объяснения принципов и характера различных форм осуществления настоящего изобретения и его практического применения, чтобы позволить специалистам в данной области техники использовать настоящее изобретение в различных формах осуществления и с различными модификациями, которые подходят для конкретного использования. Особенности форм осуществления изобретения, описанные здесь, могут объединяться во всевозможные комбинации способов, устройств, модулей, систем и компьютерных программных продуктов.

Claims (22)

1. Способ пакетирования кодированного битового потока, представляющего видеопоследовательность, включающий:
пакетирование по меньшей мере части кодированной видеопоследовательности в первый пакет, при этом первый пакет включает информацию, суммирующую контент указанной по меньшей мере части кодированной видеопоследовательности, и
предоставление в первом пакете дополнительной расширенной информации, связанной с указанной по меньшей мере частью кодированной видеопоследовательности, причем указанную информацию, суммирующую контент по меньшей мере части кодированной видеопоследовательности, помещают в блок данных, располагаемый перед всеми другими блоками данных, которые находятся в первом пакете, и этот блок данных содержит также дополнительную расширенную информацию.
2. Способ по п.1, отличающийся тем, что дополнительную расширенную информацию включают в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки используют для повторения блока дополнительной расширенной информации блока доступа первого блока уровня сетевой абстракции в блоке уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки.
3. Способ по п.1, отличающийся тем, что дополнительную расширенную информацию включают в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки включает сообщения дополнительной расширенной информации с повторением метки опорного изображения.
4. Способ по п.1, также включающий предоставление в первом пакете первой информации, указывающей порядок декодирования изображения на самом низком временном уровне в иерархии временных уровней.
5. Способ по п.4, отличающийся тем, что первая информация содержит нулевой индекс изображения временного уровня.
6. Машиночитаемый носитель, содержащий программный код для выполнения процессов по любому из пп.1-5.
7. Устройство для пакетирования кодированного битового потока, представляющего видеопоследовательность, содержащее:
процессор и
блок памяти, подключенный к процессору с возможностью обмена данными, при этом устройство конфигурировано для:
пакетирования по меньшей мере части кодированной видеопоследовательности в первый пакет, причем первый пакет содержит информацию, суммирующую контент указанной по меньшей мере части кодированной видеопоследовательности, и
предоставления в первом пакете дополнительной расширенной информации, связанной с указанной по меньшей мере частью кодированной видеопоследовательности, причем указанная информация, суммирующая контент по меньшей мере части кодированной видеопоследовательности, помещается в блок данных, располагаемый перед всеми другими блоками данных, которые находятся в первом пакете, причем этот блок данных содержит также дополнительную расширенную информацию.
8. Устройство по п.7, отличающееся тем, что дополнительная расширенная информация включается в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки используется для повторения блока дополнительной расширенной информации блока доступа первого блока уровня сетевой абстракции в блоке уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки.
9. Устройство по п.7, отличающееся тем, что дополнительная расширенная информация включается в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки включает сообщения дополнительной расширенной информации с повторением метки опорного изображения.
10. Устройство по п.7, также конфигурированное для предоставления в первом пакете первой информации, указывающей порядок декодирования изображения на самом низком временном уровне в иерархии временных уровней.
11. Устройство по п.10, отличающееся тем, что первая информация содержит индекс изображения временного уровня.
12. Способ депакетирования кодированного видеосигнала, включающий:
депакетирование по меньшей мере части кодированной видеопоследовательности из первого пакета, причем первый пакет содержит информацию, суммирующую контент указанной по меньшей мере части кодированной видеопоследовательности, и
получение из первого пакета дополнительной расширенной информации, связанной с указанной по меньшей мере частью кодированной видеопоследовательности, причем указанная информация, суммирующая контент по меньшей мере части кодированной видеопоследовательности, помещена в блок данных, располагаемый перед всеми другими блоками данных, которые находятся в первом пакете, причем этот блок данных содержит также дополнительную расширенную информацию.
13. Способ по п.12, отличающийся тем, что дополнительная расширенная информация включена в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки используют для повторения блока дополнительной расширенной информации блока доступа первого блока уровня сетевой абстракции в блоке уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки.
14. Способ по п.12, отличающийся тем, что дополнительная расширенная информация включена в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки включает сообщения дополнительной расширенной информации с повторением метки опорного изображения.
15. Способ по п.12, также включающий получение из первого пакета первой информации, указывающей порядок декодирования изображения на самом низком временном уровне в иерархии временных уровней.
16. Способ по п.15, отличающийся тем, что первая информация содержит индекс изображения временного уровня.
17. Машиночитаемый носитель, содержащий программный код для выполнения процессов по любому из пп.12-16.
18. Устройство для депакетирования кодированной видеопоследовательности, содержащее:
процессор и
блок памяти, подключенный к процессору с возможностью обмена данными, при этом устройство конфигурировано для:
депакетирования по меньшей мере части кодированной видеопоследовательности из первого пакета, причем первый пакет содержит информацию, суммирующую контент указанной по меньшей мере части кодированной видеопоследовательности, и
получения из первого пакета дополнительной расширенной информации, связанной с указанной по меньшей мере частью кодированной видеопоследовательности, причем указанная информация, суммирующая контент по меньшей мере части кодированной видеопоследовательности, помещена в блок данных, располагаемый перед всеми другими блоками данных, которые находятся в первом пакете, причем этот блок данных содержит также дополнительную расширенную информацию.
19. Устройство по п.18, отличающееся тем, что дополнительная расширенная информация включена в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки используется для повторения блока дополнительной расширенной информации блока доступа первого блока уровня сетевой абстракции в блоке уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки.
20. Устройство по п.18, отличающееся тем, что дополнительная расширенная информация включена в блок уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки, причем часть полезной нагрузки блока уровня сетевой абстракции с информацией о масштабируемости контента полезной нагрузки включает сообщения дополнительной расширенной информации с повторением метки опорного изображения.
21. Устройство по п.18, также конфигурированное для: получения из первого пакета первой информации, указывающей порядок декодирования изображения на самом низком временном уровне в иерархии временных уровней.
22. Устройство по п.21, отличающееся тем, что первая информация содержит индекс изображения временного уровня.
RU2009130914/09A 2007-01-18 2008-01-17 Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени RU2430483C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88560607P 2007-01-18 2007-01-18
US60/885,606 2007-01-18

Publications (2)

Publication Number Publication Date
RU2009130914A RU2009130914A (ru) 2011-02-27
RU2430483C2 true RU2430483C2 (ru) 2011-09-27

Family

ID=39635696

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009130914/09A RU2430483C2 (ru) 2007-01-18 2008-01-17 Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени

Country Status (13)

Country Link
US (5) US8355448B2 (ru)
EP (2) EP3182709B1 (ru)
KR (1) KR101072341B1 (ru)
CN (1) CN101622879B (ru)
AR (1) AR064967A1 (ru)
AU (1) AU2008206744B2 (ru)
CA (1) CA2675955C (ru)
HK (1) HK1133760A1 (ru)
MX (1) MX2009007696A (ru)
PL (1) PL2123049T3 (ru)
RU (1) RU2430483C2 (ru)
TW (4) TWI526084B (ru)
WO (1) WO2008087602A1 (ru)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2618942C2 (ru) * 2012-09-28 2017-05-11 Квэлкомм Инкорпорейтед Кодирование сообщения информации дополнительного улучшения
RU2630374C2 (ru) * 2012-09-24 2017-09-07 КВЭЛКОММ ИНКОРПОРЕЙТЕД ЭТТН: Интернэшнл АйПи Администрэйшн Времена удаления из буфера кодированных картинок, сигнализируемые в сообщениях дополнительной информации расширения тактирования картинок и суб-картинок
US10075743B2 (en) 2013-10-22 2018-09-11 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating scalable partitioned timed media data
RU2674890C2 (ru) * 2013-08-09 2018-12-13 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема, способ приема, устройство кодирования и способ кодирования

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007112384A2 (en) * 2006-03-27 2007-10-04 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
JP4242398B2 (ja) * 2006-06-02 2009-03-25 フェリカネットワークス株式会社 データ通信システム、情報処理端末、ｉｃカード、読み書き装置、およびプログラム
CA2675955C (en) * 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
EP3968642A1 (en) 2007-04-12 2022-03-16 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
EP2319223A1 (en) * 2008-04-24 2011-05-11 SK Telecom Co., Ltd. Scalable video providing and reproducing system and methods thereof
US8947504B2 (en) 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
EP2417772B1 (en) * 2009-04-09 2018-05-09 Telefonaktiebolaget LM Ericsson (publ) Media container file management
JP4861456B2 (ja) * 2009-07-15 2012-01-25 富士通株式会社 データレート調整装置、データ配信システム、及びプログラム
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
WO2013109112A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9723305B2 (en) 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
US10306239B2 (en) * 2014-05-13 2019-05-28 Telefonaktiebolaget Lm Ericsson (Publ) Methods, source device, target device and analyser for managing video coding
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
US11640504B2 (en) 2019-05-17 2023-05-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN114902656A (zh) 2019-12-26 2022-08-12 字节跳动有限公司 对编解码比特流中的视频层的信令的约束
WO2021134019A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Constraints on coding of layered video
KR20220115959A (ko) 2019-12-27 2022-08-19 바이트댄스 아이엔씨 비디오 코딩에서의 서브픽처 시그널링
WO2021142365A2 (en) * 2020-01-09 2021-07-15 Bytedance Inc. Restrictions on gradual decoding refresh (gdr) unit
EP4205398A4 (en) * 2020-09-25 2024-03-06 Beijing Bytedance Network Tech Co Ltd EMBEDDED AND NON-EMBEDDED SEI MESSAGES IN VIDEO BIT STREAMS
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680976B1 (en) * 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
US6804345B1 (en) * 1997-09-18 2004-10-12 At&T Corp Virtual contact center with flexible staffing control
US6862278B1 (en) * 1998-06-18 2005-03-01 Microsoft Corporation System and method using a packetized encoded bitstream for parallel compression and decompression
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
US7039113B2 (en) * 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
WO2004075555A1 (en) 2003-02-18 2004-09-02 Nokia Corporation Picture coding method
EP1595404B1 (en) * 2003-02-18 2014-10-22 Nokia Corporation Picture decoding method
KR100987666B1 (ko) * 2003-04-10 2010-10-13 톰슨 라이센싱 인코딩된 비디오 상에서 필름 그레인을 시뮬레이팅하기 위한 방법
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP4190428B2 (ja) 2004-01-14 2008-12-03 株式会社東芝 データ伝送方法およびデータ伝送機
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
PL2207181T3 (pl) 2004-04-28 2012-09-28 Panasonic Corp Urządzenie do generowania strumienia ruchomego obrazu, urządzenie do kodowania ruchomego obrazu, urządzenie do multipleksowania ruchomego obrazu oraz urządzenie do dekodowania ruchomego obrazu
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100631743B1 (ko) * 2004-11-26 2006-10-11 삼성전자주식회사 스케일러블 비트스트림의 효율적 전송 방법 및 장치
MX2007008930A (es) 2005-01-24 2007-08-22 Thomson Licensing Tecnica de deteccion de error de video con el uso de un codigo de paridad de verificacion de redundancia ciclica (crc).
AR052591A1 (es) 2005-03-08 2007-03-21 Qualcomm Flarion Tech Metodo y aparato para la senalizacion eficiente de difusion digital en un sistema de comunicaciones inalambrico
RU2377736C2 (ru) 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
FR2889004B1 (fr) * 2005-07-22 2007-08-24 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques a scalabilite spatiale ou en qualite
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
WO2007042916A1 (en) * 2005-10-11 2007-04-19 Nokia Corporation System and method for efficient scalable stream adaptation
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
CN101371312B (zh) * 2005-12-08 2015-12-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US8767818B2 (en) * 2006-01-11 2014-07-01 Nokia Corporation Backward-compatible aggregation of pictures in scalable video coding
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
CA2675955C (en) 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
RU2510908C2 (ru) * 2007-02-23 2014-04-10 Нокиа Корпорейшн Описание характеристик агрегированных блоков медиаданных с обратной совместимостью
WO2015189409A1 (en) * 2014-06-12 2015-12-17 Sesvanderhave N.V. Transformation method of sugar beet protoplasts by talen platform technology

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S.WENGER et al, RTP Payload Format for H.264 Video, RFC 3984, February 2005. YE-KUI WANG et al, Enhancement-layer IDR (EIDR) picture, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, JVT-Q065, 17th Meeting: Nice, 14-21 October, 2005. S. WENGER et al, RTP Payload Format for SVC Video, Network Working Group, Internet Draft, December 2006, найдено в Интернете на http://tools.ietf.org/html/draft-ietf-avt-rtp-svc-00. *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2630374C2 (ru) * 2012-09-24 2017-09-07 КВЭЛКОММ ИНКОРПОРЕЙТЕД ЭТТН: Интернэшнл АйПи Администрэйшн Времена удаления из буфера кодированных картинок, сигнализируемые в сообщениях дополнительной информации расширения тактирования картинок и суб-картинок
RU2618942C2 (ru) * 2012-09-28 2017-05-11 Квэлкомм Инкорпорейтед Кодирование сообщения информации дополнительного улучшения
RU2674890C2 (ru) * 2013-08-09 2018-12-13 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема, способ приема, устройство кодирования и способ кодирования
US10075743B2 (en) 2013-10-22 2018-09-11 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating scalable partitioned timed media data
RU2681086C1 (ru) * 2013-10-22 2019-03-04 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции масштабируемых разделенных данных мультимедиа с временной привязкой
US10687094B2 (en) 2013-10-22 2020-06-16 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating scalable partitioned timed media data

Also Published As

Publication number Publication date
TW201742453A (zh) 2017-12-01
RU2009130914A (ru) 2011-02-27
AR064967A1 (es) 2009-05-06
TWI658734B (zh) 2019-05-01
TW201448606A (zh) 2014-12-16
EP2123049A1 (en) 2009-11-25
KR101072341B1 (ko) 2011-10-11
EP3182709A1 (en) 2017-06-21
CN101622879A (zh) 2010-01-06
CN101622879B (zh) 2012-05-23
US8908770B2 (en) 2014-12-09
EP2123049B1 (en) 2016-12-28
US20080181228A1 (en) 2008-07-31
US20130107954A1 (en) 2013-05-02
US20150055712A1 (en) 2015-02-26
US10110924B2 (en) 2018-10-23
TWI455591B (zh) 2014-10-01
US20170006311A1 (en) 2017-01-05
WO2008087602A1 (en) 2008-07-24
CA2675955C (en) 2013-07-23
TWI595787B (zh) 2017-08-11
EP2123049A4 (en) 2015-04-29
EP3182709B1 (en) 2021-05-12
US8355448B2 (en) 2013-01-15
TW200841740A (en) 2008-10-16
PL2123049T3 (pl) 2017-06-30
HK1133760A1 (en) 2010-04-01
KR20090111844A (ko) 2009-10-27
TWI526084B (zh) 2016-03-11
AU2008206744A1 (en) 2008-07-24
MX2009007696A (es) 2009-09-04
CA2675955A1 (en) 2008-07-24
US20130121413A1 (en) 2013-05-16
AU2008206744B2 (en) 2011-09-22
TW201631958A (zh) 2016-09-01
US9451289B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
RU2430483C2 (ru) Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
KR101091792B1 (ko) 피드백 기반 스케일러블 비디오 코딩
US8699583B2 (en) Scalable video coding and decoding
US7991236B2 (en) Discardable lower layer adaptations in scalable video coding
US8619868B2 (en) Backward-compatible characterization of aggregated media data units
RU2437245C2 (ru) Сигнализация о множестве значений времени декодирования в медиафайлах
US20080267287A1 (en) System and method for implementing fast tune-in with intra-coded redundant pictures
US20080253467A1 (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20160602