RU2409910C2 - Агрегация изображений с обратной совместимостью при масштабируемом видеокодировании - Google Patents

Агрегация изображений с обратной совместимостью при масштабируемом видеокодировании Download PDF

Info

Publication number
RU2409910C2
RU2409910C2 RU2008128293/09A RU2008128293A RU2409910C2 RU 2409910 C2 RU2409910 C2 RU 2409910C2 RU 2008128293/09 A RU2008128293/09 A RU 2008128293/09A RU 2008128293 A RU2008128293 A RU 2008128293A RU 2409910 C2 RU2409910 C2 RU 2409910C2
Authority
RU
Russia
Prior art keywords
data block
elementary data
elementary
scalability information
aggregating
Prior art date
Application number
RU2008128293/09A
Other languages
English (en)
Other versions
RU2008128293A (ru
Inventor
Миска ХАННУКСЕЛА (FI)
Миска ХАННУКСЕЛА
Йе-Куи ВАНГ (FI)
Йе-Куи ВАНГ
Original Assignee
Нокиа Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Корпорейшн filed Critical Нокиа Корпорейшн
Publication of RU2008128293A publication Critical patent/RU2008128293A/ru
Application granted granted Critical
Publication of RU2409910C2 publication Critical patent/RU2409910C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Изобретение относится к области кодирования цифрового видео и, в частности, к кодированию, хранению и передаче масштабируемого видео. Техническим результатом является представление косвенного агрегирующего блока уровня абстракции сети (NAL) для формата файлов масштабируемого кодирования видеосигнала (SVC) и формата полезной нагрузки транспортного протокола реального времени (RTP), что дает возможность простого определения зависимостей масштабируемости в битовом потоке, обеспечивая таким образом простую и эффективную обработку потока. Указанный технический результат достигается тем, что предложен блок NAL косвенной агрегации для формата файлов SVC и формата полезной нагрузки RTP для кодирования видеосигнала. При этом осуществляют кодирование базового уровня и, по меньшей мере, одного улучшающего уровня в блок доступа, причем блок доступа включает по меньшей мере один элементарный блок данных, используемых для декодирования, и элементарный блок данных с информацией о масштабируемости, связанной по меньшей мере с частью блока доступа, где элементарный блок данных с информацией о масштабируемости сконфигурирован таким образом, чтобы он игнорировался во время декодирования в соответствии с первым алгоритмом. 4 н. и 29 з.п. ф-лы, 3 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее изобретение в общем относится к кодированию видео. Более конкретно, настоящее изобретение относится к кодированию, хранению и передаче масштабируемого видео.
УРОВЕНЬ ТЕХНИКИ
[0002] В данном разделе представлены предпосылки или контекст изобретения, которое изложено в формуле. Приведенное здесь описание может включать принципы, которым можно следовать, но они не являются обязательными принципами, которые задумывались или преследовались изначально. Поэтому все, что описано в данном разделе, если не будет сказано иначе, не является прототипом описания, не относится к пунктам формулы изобретения и не должно восприниматься как прототип.
[0003] Масштабируемое кодирование видеосигнала (SVC) обеспечивает масштабируемые битовые видеопотоки. Масштабируемый битовый видеопоток содержит немасштабируемый базовый уровень и один или более улучшающих уровней. Улучшающий уровень может улучшать временную разрешающую способность (т.е. частоту кадров), пространственную разрешающую способность или качество видеоконтента, представленного нижележащим уровнем или его частью. Масштабируемые уровни могут агрегироваться в один поток транспортного протокола реального времени (RTP) или передаваться независимо.
[0004] Идея уровня кодирования видеосигнала (VCL) и уровня абстракции сети (NAL) взята из принципа усовершенствованного кодирования видеосигнала (AVC). VCL включает функциональные средства кодека для обработки сигнала и механизмы, такие как преобразование, дискретизацию, предсказание с компенсацией движения, контурный фильтр, межуровневое предсказание. Кодированное изображение базового или улучшающего уровня состоит из одной или более частей. NAL инкапсулирует каждую часть, сформированную VCL, в один или более блоков NAL.
[0005] Каждый уровень SVC формируется из блоков NAL, представляющих биты кодированного видеосигнала из данного уровня. Поток RTP, несущий только один уровень, будет передавать блоки NAL, которые принадлежат только к этому уровню. Поток RTP, несущий полный масштабируемый битовый видеопоток, будет передавать блоки NAL базового уровня и одного или более улучшающих уровней.
SVC устанавливает порядок декодирования этих блоков NAL.
[0006] Идея масштабирования качества визуального контента за счет пренебрежения передачей и декодированием всех улучшающих уровней называется крупнозернистой масштабируемостью (CGS).
[0007] В некоторых случаях скорость передачи битов указанного улучающего уровня может быть снижена за счет отбрасывания битов из отдельных блоков NAL. Отбрасывание приводит к постепенному ухудшению качества видео в воспроизводимых улучшающих уровнях. Данная идея известна как мелкозернистая (гранулярная) масштабируемость (FGS).
[0008] В соответствии со стандартом кодирования видеосигнала H.264/AVC основное кодированное изображение содержится в блоке доступа. В некоторых системах обнаружение пакетов блоков доступа может быть упрощено посредством включения в битовый поток блока NAL -разделителя блоков доступа. В SVC блок доступа может содержать несколько основных кодированных изображений, но максимум одно изображение на каждую уникальную комбинацию dependency-id (идентификатор зависимости), temporal-ievel (временной уровень) и quality-ievel (уровень качества).
[0009] Масштабируемое кодирование видеосигнала приводит к кодированию «базового уровня» с некоторым минимальным качеством, а также к кодированию корректирующей информации, которая увеличивает качество до максимального уровня. Базовый уровень потоков SVC обычно совместим с усовершенствованным кодированием видеосигнала (AVC). Другими словами, декодеры AVC могут декодировать базовый уровень потока SVC и игнорировать специальные данные SVC. Эта особенность реализована посредством указания типов кодированных блоков NAL, характерных для SVC. Они зарезервированы для дальнейшего использования в AVC и должны пропускаться в соответствии со спецификациями AVC.
[0010] Идентификация изображений и характеристик их масштабируемости в блоке доступа SVC важна по меньшей мере для двух целей. Во-первых, эта идентификация важна для прореживания потоков в сжатом виде в серверах или шлюзах. Вследствие необходимости обработки больших объемов данных эти блоки должны определять удаляемые изображения настолько быстро, насколько это возможно. Во-вторых, идентификация важна для воспроизведения потока с необходимым качеством и комплексностью. Приемники и проигрыватели должны иметь возможность идентификации тех изображений в масштабируемом потоке, декодирование которых невозможно или нежелательно.
[0011] Одной из функций мультимедиа-шлюзов или смесителей RTP (которые могут являться блоками управления многоточечными конференциями, шлюзами между видеотелефонией с канальной и пакетной коммутацией, серверами связи «нажми и говори» по сотовой сети (РоС), инкапсуляторами IP в системах цифрового телевидения для портативных устройств (DVB-H) или приставками, которые пересылают вещательные передачи, например, в домашнюю беспроводную сеть) является управление скоростью передачи данных перенаправленного потока исходя из доминирующих условий нисходящей сети. Желательно, чтобы управление скоростью передачи перенаправленных данных происходило без обширной обработки входящих данных, например, посредством простого игнорирования пакетов или легко определяемых частей пакетов. При многоуровневом кодировании шлюзы должны игнорировать все изображения или последовательности изображений, которые не влияют на декодирование перенаправленного потока. Режим чередующегося пакетирования в спецификации полезной нагрузки RTP стандарта H.264/AVC учитывает инкапсуляцию практически любых блоков NAL любых блоков доступа в одиночную полезную нагрузку RTP (именуется как агрегирующий пакет). В частности, нет необходимости в инкапсуляции всех кодированных изображений в одну полезную нагрузку RTP, наоборот, предпочтительнее разделять блоки NAL кодированного изображения на несколько потоков RTP.
[0012] Так как данная свобода в агрегировании пакетов может использоваться во многих приложениях, это может вызвать определенные трудности в работе шлюзов. Во-первых, при передаче агрегированного пакета неизвестно, к каким изображениям принадлежат его блоки NAL, пока не будет произведен анализ заголовков каждого из блоков NAL, содержащихся в агрегированном пакете. Следовательно, когда в SVC применяется режим чередующегося пакетирования, уровни, к которым принадлежат содержащиеся блоки NAL, неизвестны до осуществления анализа заголовков каждого блока NAL в пакете. Поэтому перед определением того, какие блоки NAL перенаправляются (ни один, все или некоторые), шлюз должен анализировать заголовок каждого блока NAL. Во-вторых, для некоторых блоков NAL, таких как «дополнительная корректирующая информация» (SEI) и блоки NAL с набором параметров, определение блоков доступа, к которым они принадлежат, невозможно до приема блоков NAL уровня кодирования сигнала (VCL) того же блока доступа. Поэтому для принятия решения о соответствии не-VCL блоков NAL со связанными с ними изображениями шлюзу может потребоваться иметь буфер и некоторую информацию о состоянии.
[0013] В традиционных стандартах кодирования видеосигнала для отдельных кодированных изображений используется заголовок изображения. Однако в стандарте H.264/AVC и в SVC заголовки изображений в синтаксис не включаются. Кроме того, хотя анализаторы могут иметь возможность анализа информации о масштабируемости для каждого блока NAL в потоке, это требует большей вычислительной мощности, а некоторые анализаторы могут не иметь такой возможности.
[0014] В дополнение к вышесказанному в модели проверки формата файла SVC ранее был предложен агрегирующий блок NAL (документ MPEG М7586). В этой системе агрегирующий блок NAL является контейнером, который включает в свою полезную нагрузку связанные блоки NAL. Агрегирующий блок NAL имеет тип, не соответствующий техническим условиям H.264/AVC и SVC, и должен игнорироваться декодерами H.264/AVC и SVC. Однако, когда изображение базового уровня, соответствующее стандарту H.264/AVC, содержится в агрегирующем элементе NAL, оно больше не сможет быть декодировано декодером H.264/AVC, а также проанализировано устройством удаления полезной нагрузки H.264/AVC RTP или анализатором формата AVC.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0015] Настоящее изобретение представляет косвенный агрегирующий блок NAL для формата файлов SVC и формата полезной нагрузки RTP. В настоящем изобретении косвенный агрегирующий блок NAL дает возможность простого определения зависимостей масштабируемости в битовом потоке, обеспечивая таким образом простую и эффективную обработку потока. Помимо этого в настоящем изобретении косвенный агрегирующий блок NAL дает гарантию того, что базовый уровень потоков может быть обработан декодером H.264/AVC, анализатором формата файла AVC и анализатором полезной нагрузки RTP H.264/AVC.
[0016] Эти и другие преимущества и особенности изобретения, а также организация и принцип работы станут понятны из нижеследующего подробного описания с приложенными чертежами, где на нескольких чертежах, описанных ниже, одинаковые блоки имеют одинаковые номера.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0017] Фиг.1 является схематическим изображением схемы электронного устройства, которая для реализации функциональных возможностей настоящего изобретения может работать как кодер и декодер.
[0018] Фиг.2 показывает обобщенную систему мультимедийной связи для использования с настоящим изобретением; и
[0019] Фиг.3 показывает устройство групповой передачи по протоколу IP, где каждый маршрутизатор может обрабатывать поток битов в зависимости от своих возможностей.
ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ВЫПОЛНЕНИЯ ИЗОБРЕТЕНИЯ
[0020] Настоящее изобретение представляет косвенный агрегирующий блок NAL, а более конкретно элементарный блок данных с информацией о масштабируемости для использования при масштабируемом кодировании видео. Косвенный агрегирующий блок NAL не содержит других блоков NAL. Взамен этого в настоящем изобретении косвенный агрегирующий блок NAL содержит механизмы для его ассоциации с другими элементами NAL. Эти механизмы включают некоторое количество последовательных байтов, некоторое количество последовательных блоков NAL и некоторое количество оставшихся блоков NAL в кадрах более высокого уровня, но не ограничиваются этим. Например, оставшиеся блоки NAL в кадрах более высокого уровня находятся в той же полезной нагрузке, в которой также появляется косвенный агрегирующий блок NAL.
[0021] Структура косвенного блока NAL в настоящем изобретении помимо этого содержит информацию о свойствах или характеристиках, которая является общей для всех связанных блоков NAL. Общая информация о свойствах или характеристиках включает информацию о масштабируемости и о том, образуют ли связанные блоки NAL точку переключения масштабируемого уровня, в которой другой масштабируемый уровень может переключиться на текущий уровень, но помимо этого она может включать и другую информацию. Информация о масштабируемости может содержать по меньшей мере «расширенный» заголовок блока NAL, оговоренный в спецификации SVC, включая блоки синтаксиса simplejpriorityjd, discardable_flag, dependencyjd, temporal_level и quality-level.
[0022] В настоящем изобретении косвенный агрегирующий блок NAL выбран из таких типов блоков NAL, которые указаны как типы, которые должны игнорироваться устройствами обработки, предназначенными только для базового уровня H.264/AVC. Другими словами, декодер H.264/AVC, анализатор формата файла AVC и устройство удаления полезной нагрузки RTP H.264/AVC должны игнорировать косвенный агрегирующий блок NAL, представленный в настоящем изобретении. Кроме того, косвенный агрегирующий блок NAL может игнорироваться декодером SVC, так как он не влияет на процесс декодирования. Пример синтаксиса и семантики косвенного агрегирующего блока NAL для формата файла SVC и другой пример для формата полезной нагрузки SVC RTP представлены ниже. Также необходимо заметить, что настоящее изобретение не ограничено этими отдельными примерами форматов инкапсуляции и кодирования.
[0023] В терминах формата файлов SVC агрегирующие блоки NAL обеспечивают, чтобы записи группы отображения NALU были последовательным и периодически повторяющимися. Агрегирующие блоки NAL используются для группировки блоков SVC NAL, принадлежащих одному сэмплу и имеющих одинаковую информацию о масштабируемости. Агрегирующие блоки NAL используют такой же заголовок, как и масштабируемые расширяющие блоки NAL (блоки SVC NAL), но при этом тип блоков NAL новый. Агрегирующий блок NAL может содержать блоки NAL экстрактора. Блок NAL экстрактора может ссылаться на агрегирующие блоки NAL.
[0024] Если при сканировании потока агрегирующий NALU не требуется (т.е. принадлежит к нежелательному уровню), он и его компоненты просто отбрасываются (используя его поле длины). Если агрегирующий NALU нужен, его заголовок отбрасывается, а содержимое сохраняется.
[0025] Агрегирующий блок NAL инкапсулирует два или более блоков SVC NAL в новый блок NAL. Агрегирующий блок NAL использует заголовок блока NAL с таким же синтаксисом, как и у блоков SVC NAL (указан в спецификации SVC). Агрегирующий блок NAL хранится в рамках сэмпла, как и любой другой блок NAL.
[0026] Все блоки NAL находятся в агрегирующем элементе NAL в порядке декодирования. Если сгруппированы блоки NAL, принадлежащие одному уровню качества (quality-level), то порядок блоков NAL с quality_level>0 может меняться. Синтаксис агрегирующего блока NAL является следующим:
[0027] class aligned(S) AggregatorNALUnit(AggregatorNALUnitSize) {unsigned int i=2;
/*NALUnitHeader как указано в спецификации SVC */
bit (I) forbidden_zero_bit;
bit (2)NAL_ref_idc;
bit (5) NAL_unit_type=AggregatorNALUnitType=const(30);
bit (6) simple_dependency_ID;
bit (f) discardable_flag;
bit (1) extension_flag;
if (extension_flag) {
qualityJevef=simplejIependencyJD; bit (3) temporaljevet; bit (3) dependencyID; bit (2) quality-ID;
i++;
}
/*конец заголовка блока NAL*/
do{
unsigned int((lengthSizeMinusOne+l)*8) NALUnitLength;
bit (NALUnitLength * 8) SVCNALUnit;
i+=(lengthSizeMinusOne+l)+NALUnitLength;}while (RAggregatorNALUnitSize);
}
Семантика агрегирующего блока NAL является следующей:
NALUnitHeader: (8 или 116 бит), как указано в спецификации SVC:
NAL_unit_type устанавливается равным типу агрегирующего блока NAL (тип 30).
Информация о масштабируемости (NAL_ref_idc, simple_dependency_ID, discardable_flag, расширенная информация о масштабируемости) должна иметь такие же значения, как и в заголовках каждого агрегированного блока NAL. NALUnitLength: Задает размер следующего блока NAL. Размер этого поля указан элементом lengthSizeMinusOne. SVCNALUnit: Блок SVC NAL, как указано в спецификации SVC, включая заголовок блока SVC NAL. Размер блока SVC NAL задан NALUnitLength.
[0028] Предполагается, что агрегирующий блок NAL собирает блоки SVC NAL одного масштабируемого уровня. Также он может группировать блоки SVC NAL разных уровней (например, группировка всех уровней качества (фрагменты FGS), группировка всех блоков NAL с одинаковым идентификатором dependencyJD). В этом случае заголовок агрегирующего блока NAL будет указывать информацию о масштабируемости блоков SVC NAL с наименьшим идентификатором dependencyJD и/или temporal-level, quality_ID.
[0029] Агрегирующие блоки NAL могут использоваться для группировки блоков SVC NAL, принадлежащих к уровню масштабирования, которые могут не указываться заголовком блока NAL (например, блоки SVC NAL, принадлежащие представляющему интерес региону). Описание таких агрегирующих блоков NAL может выполняться при помощи описания уровня и групп отображения блоков NAL. В этом случае в одном сэмпле может появляться более одного агрегирующего блока NAL с одинаковой информацией о масштабируемости.
[0030] Агрегирующие блоки NAL могут привести к постоянному количеству блоков NAL для каждого уровня в любом AU. Для обеспечения постоянной структуры может быть выполнено следующее. NALU базового уровня AVC могут быть сгруппированы в агрегирующем элементе NAL (если используются в потоке SVC). В этом случае значения temporal-level, dependency-ID и quality-ID устанавливаются на 0. Ссылки на NALU базового уровня AVC могут указываться в NAL экстрактора. Если по каким-либо причинам в данном AU не содержится NALU, то в данной позиции могут находиться пустые агрегирующие NAL.
[0031] С точки зрения формата полезной нагрузки RTP для видео SVC блок NAL с информацией о масштабируемости содержимого полезной нагрузки обычно является таким, как описано далее. Блок SVC NAL включает заголовок длиной один, два или три байта и строку байтов полезной нагрузки. Заголовок указывает тип блока NAL, (возможное) наличие ошибочных битов или нарушений синтаксиса в полезной нагрузке блока NAL, информацию об относительной важности блока NAL для процесса декодирования и (опционально, когда заголовок имеет длину 3 байта) информацию о зависимости декодирования масштабируемого уровня.
[0032] Заголовок блока NAL также работает как заголовок полезной нагрузки данного формата полезной нагрузки RTP. Полезная нагрузка блока NAL следует сразу же после него. Синтаксис и семантика заголовка блока NAL указана в [SVC], а основные его свойства обобщены ниже.
[0033] Первый байт заголовка блока NAL имеет следующий формат:
Figure 00000001
[0034] forbidden_zero_bit (F): 1 бит.Спецификация Н.264 объявляет значение 1 как нарушение синтаксиса.
[0035] nal_ref_idc (NRI): 2 бита. Значение 00 указывает на то, что содержимое блока NAL не используется для восстановления привязанных изображений для предсказания между изображениями. Такие блоки NAL могут быть отброшены без угрозы повреждения целостности привязанных изображений в том же уровне. Значения, превышающие 00, показывают, что для сохранения целостности привязанных изображений необходимо декодирование блока NAL. Для слайса или блока NAL, относящегося к разделению данных слайсов, значение NRI, равное 11, показывает, что блок NAL содержит данные ключевого изображения, как указано в [SVC].
[0036] Примечание: Концепция ключевого изображения была введена в SVC и нельзя полагать, что любые изображения в битовых потоках, совместимых с 2003 и 2005 версиями Н.264, следуют этому правилу.
[0037] nal_unit_type (Type): 5 бит.Этот компонент указывает тип полезной нагрузки блока NAL. Типы 20 и 21 блоков NAL (среди прочих) были заранее зарезервированы для будущих расширений. SVC использует эти два типа блоков NAL. Они указывают наличие еще одного байта, который полезен с транспортной точки зрения.
Figure 00000002
[0038] simple_priority_id (PRID): 6 бит.Этот компонент указывает идентификатор приоритета для блока NAL. Когда extension_flag равен 0, simple_priority_id используется для определения значений dependency-id, temporal-level и quality-level. Когда simple_priority_id отсутствует, предполагается, что он равен 0.
[0039] discardable_flag (D): 1 бит.Значение 1 указывает на то, что содержимое блока NAL (dependency-id=currDependencyld) не используется в процессе декодирования блоков NAL, у которых dependency-id > currDependencyld. Такие блоки NAL могут быть отброшены без угрозы повреждения целостности вышележащих масштабируемых уровней с более высокими значениями идентификатора dependency-id. Флаг discardable-flag, равный 0, показывает, что для сохранения целостности вышележащих масштабируемых уровней с более высокими значениями dependency-id необходимо декодирование блока NAL.
[0040] extension_flag (E): 1 бит. Значение 1 показывает, что в заголовке блока NAL присутствует третий байт. Когда бит Е второго байта равен 1, заголовок блока NAL расширяется до третьего байта:
Figure 00000003
[0041] temporal_level (TL): 3 бита. Этот компонент используется для указания временной масштабируемости частоты кадров. Уровень, состоящий из изображений с меньшим значением temporal-level, имеет меньшую частоту кадров.
[0042] dependency-ld (DID): 3 бита. Этот компонент используется для указания иерархии зависимости межуровневого кодирования. В любой временной позиции изображение с меньшим значением dependency-id может быть использовано для межуровневого предсказания для кодирования изображений с более высоким значением dependencyjd.
[0043] Quality-level (QL): 2 бита. Этот компонент используется для указания иерархии уровня FGS. В любой временной позиции и при равном значении dependency_id изображение FGS со значением quality_level, равным QL, для межуровневого предсказания использует изображение FGS или изображение базового качества (изображение не-FGS, когда QL-1=0) со значением quality_level, равным QL-1. Когда QL больше 0, блок NAL содержит уровень FGS или его часть.
[0044] В данном варианте осуществления изобретения определен новый тип блока NAL, который упоминается в тексте как блок NAL с информацией о масштабируемости содержимого полезной нагрузки (PACSI). В случае наличия блока PACSI NAL, он должен быть первым элементом NAL в агрегирующих пакетах и не должен содержаться в пакетах других типов. Блок PACSI NAL указывает характеристики масштабируемости, которые являются общими для всех остальных блоков в полезной нагрузке, и таким образом облегчает решение MANE относительно перенаправления или отказа от пакета. Отправители могут создавать блоки PACSI NAL, а получатели могут их игнорировать.
[0045] Тип блока NAL для блока PACSI NAL выбран из тех значений, которые не указаны в спецификации H.264/AVC и в RFC 3984. Таким образом, потоки SVC, имеющие базовый уровень H.264/AVC и содержащие блоки PACSI NAL, могут обрабатываться приемниками RFC 3984 и декодерами H.264/AVC.
[0046] Когда первый агрегирующий блок агрегирующего пакета содержит блок PACSI NAL, то в том же пакете должен иметься по меньшей мере один дополнительный агрегирующий блок. Поля заголовков RTP задаются в соответствии с остальными элементами NAL в агрегирующем пакете.
[0047] Когда блок PACSI NAL включен в мультивременной агрегирующий пакет, порядковый номер декодирования блока PACSI NAL должен быть задан таким образом, чтобы показать, что он является первым элементом NAL в порядке декодирования среди прочих блоков NAL в агрегирующем пакете, или что блок PACSI NAL имеет такой же порядковый номер, как и первый блок NAL в порядке декодирования среди остальных блоков NAL в агрегирующем пакете.
[0048] Структура блока PACSI NAL такова:
Figure 00000004
[0049] Значения полей блока PACSI NAL могут быть заданы следующим образом:
- Бит F должен быть установлен равным 1, если бит F любого остального блока NAL в полезной нагрузке равен 1. В противном случае бит F должен быть установлен равным 0.
- Поле NRI должно быть установлено равным максимальному значению поля NRI среди всех остальных блоков NAL в полезной нагрузке.
- Поле Type должно быть установлено равным 30.
- Поле PRID должно быть установлено равным минимальному значению поля PRID среди всех остальных блоков NAL в полезной нагрузке.
Если поле PRID отсутствует в одном из остальных блоков NAL в полезной нагрузке, поле PRID блока PACSI NAL должно быть установлено равным 30.
Бит D должен быть установлен равным 0, если бит D любого из остальных блоков NAL в полезной нагрузке равен 0. В противном случае бит D должен быть установлен равным 1.
Бит Е должен быть установлен равным 1.
Поле TL должно быть установлено равным минимальному значению поля TL среди всех остальных блоков NAL в полезной нагрузке.
Поле DID должно быть установлено равным минимальному значению поля DID среди всех остальных блоков NAL в полезной нагрузке.
Поле QL должно быть установлено равным минимальному значению поля QL среди всех остальных блоков NAL в полезной нагрузке.
[0050] В настоящем изобретении косвенный агрегирующий блок NAL дает возможность простого определения зависимостей масштабируемости в битовом потоке, обеспечивая таким образом простую и эффективную обработку потока. Косвенный агрегирующий блок NAL дает гарантию, что базовый уровень потоков может быть обработан декодером H.264/AVC, анализатором формата файла AVC и анализатором полезной нагрузки RTP H.264/AVC.
[0051] В случае декодирования, необходимо заметить, что декодируемый битовый поток может быть принят от удаленного устройства, расположенного практически в любой сети. Также битовый поток может быть принят от локального аппаратного или программного обеспечения. Также необходимо понимать, что хотя текст и примеры, содержащиеся здесь, могут описывать на конкретном примере процесс кодирования, специалисты поймут, что те же идеи и принципы могут также быть применены к соответствующему процессу декодирования, и наоборот.
[0052] Фиг.1 показывает образец электронного устройства 12, в виде которого может быть реализовано настоящее изобретение как на стороне кодирования, так и на стороне декодирования. Однако необходимо понимать, что настоящее изобретение не должно ограничиваться определенным типом электронного устройства 12. Электронное устройство 12 на фиг.1 содержит экран 32, клавиатуру 34, микрофон 36, наушники 38, инфракрасный порт 42, антенну 44, смарт-карту в форме UICC в соответствии с вариантом осуществления изобретения, устройство 48 считывания карт, схему 52 радиоинтерфейса, схему кодека 54, контроллер 56 и память 58. Типы отдельных схем и блоков хорошо известны в технике, например в линейке мобильных телефонов Nokia.
[0053] Фиг.2 показывает обобщенную систему мультимедийной связи для использования с настоящим изобретением. Источник 100 данных выдает исходный сигнал в аналоговом, несжатом цифровом или сжатом цифровом формате, или же в любой комбинации этих форматов. Кодировщик 110 кодирует исходный сигнал в кодированный мультимедийный битовый поток. Кодировщик 110 может иметь возможность кодирования более одного типа мультимедиа, например аудио и видео, или же для кодирования разных типов мультимедиа-данных в исходном сигнале может потребоваться более одного кодировщика 110. Кодировщик 110 также может получать искусственно созданные входные данные, такие как графика или текст, или может иметь возможность производить кодированные битовые потоки синтетических медиаданных. Далее для упрощения описания будет рассматриваться обработка только одного кодированного мультимедийного битового потока одного типа мультимедиа. Однако необходимо заметить, что обычно вещательные службы, работающие в режиме реального времени, содержат несколько потоков (обычно по меньшей мере один аудио, видео и текстовый субтитровый поток). Также необходимо заметить, что система может содержать много кодировщиков, но далее для упрощения описания без потери универсальности будет рассматриваться только один кодировщик 110.
[0054] Кодированный мультимедийный битовый поток передается в запоминающее устройство 120. Запоминающее устройство 120 может иметь любой тип массовой памяти для хранения кодированного мультимедийного битового потока. Формат кодированного мультимедийного битового потока в запоминающем устройстве 120 может быть элементарным независимым битовым потоком, или же один или более кодированных мультимедийных битовых потоков могут быть инкапсулированы в файл-контейнер. Некоторые системы работают в режиме реального времени, т.е. пропускают сохранение и передают кодированный мультимедийный битовый поток от кодировщика 110 непосредственно на передатчик 130. Затем кодированный мультимедийный битовый поток подается в передатчик 130, также называемый сервером. Формат, используемый при передаче, может быть элементарным независимым битовым потоком, или же один или более кодированных мультимедийных битовых потоков могут быть инкапсулированы в файл-контейнер. Кодировщик 110, запоминающее устройство 120 и сервер 130 могут размещаться в одном физическом устройстве или могут быть включены в раздельные устройства. Кодировщик 110 и сервер 130 могут работать с контентом в режиме реального времени, в этом случае кодированный мультимедийный битовый поток не хранится постоянно, а буферизуется небольшими интервалами времени в кодировщике 110 контента и/или сервере 130 для сглаживания изменений в задержке обработки, задержке передачи и скорости передачи кодированного мультимедиа.
[0055] Сервер 130 отправляет кодированный мультимедийный битовый поток при помощи стека протоколов связи. Стек может включать транспортный протокол реального времени (RTP), протокол пользовательских дейтаграмм (UDP) и Интернет-протокол (IP), но не ограничивается ими. Когда стек протоколов связи является пакетно-ориентированным, сервер 130 инкапсулирует кодированный мультимедийный битовый поток в пакеты. Например, когда используется RTP, сервер 130 инкапсулирует кодированный мультимедийный битовый поток в пакеты RTP в соответствии с форматом полезной нагрузки RTP. Обычно каждый тип мультимедиа имеет специальный формат полезной нагрузки RTP. Снова необходимо заметить, что система может содержать более одного сервера 130, но ради простоты в дальнейшем описании будет рассматриваться только один сервер 130.
[0056] Сервер 130 может быть соединен или не соединен со шлюзом 140 через сеть связи. Шлюз 140 может выполнять различные функции, такие как преобразование потока пакетов, соответствующего одному стеку протоколов связи, в другой стек протоколов связи, объединение и разделение потоков данных и управление потоком данных в соответствии с возможностями нисходящей линии связи и/или приемника, например управление скоростью передачи перенаправленного потока в соответствии с доминирующими условиями сети нисходящей связи. Примеры шлюзов 140 включают устройства управления многоточечными конференциями (MCU), шлюзы между видеотелефонией с канальной и пакетной коммутацией, серверы связи «нажми и говори» по сотовой сети (РоС), инкапсуляторы IP в системах цифрового телевидения для портативных устройств (DVB-H) или приставки, которые пересылают вещательные передачи локально в домашнюю беспроводную сеть. Когда используется RTP, шлюз 140 называется смесителем RTP и работает как конечная точка соединения RTP.
[0057] Система включает один или более приемников 150, обычно имеющих возможность приема, демодуляции и декапсуляции сигнала, переданного в кодированном мультимедийном битовом потоке. Кодированный мультимедийный битовый поток обычно далее обрабатывается декодером 160, на выходе которого выдается один или более декомпрессированных мультимедийных потоков. В конце концов рендерер 170 может воспроизвести декомпрессированные мультимедийные потоки при помощи, например, динамика или экрана. Приемник 150, декодер 160 и рендерер 170 могут размещаться в одном физическом устройстве или могут быть включены в раздельные устройства.
[0058] С точки зрения скорости передачи, сложности декодирования и размера изображения масштабируемость является желательным свойством для разнородных и склонным к ошибкам сред передачи. Это свойство желательно для противодействия ограничениям, таким как ограничения скорости передачи, разрешение экрана, пропускная способность сети и вычислительная мощность приемного устройства.
[0059] Масштабируемость может использоваться для улучшения возможности транспортной системы противостоять ошибкам, где многоуровневое кодирование комбинируется с назначением транспортных приоритетов. Термин «назначение транспортных приоритетов» относится к различным механизмам для обеспечения различного качества услуг в транспортном потоке, включая разную защиту от ошибок, и для предоставления различных каналов с разными коэффициентами ошибок/потерь. В зависимости от характера данных, они назначаются по-разному. Например, базовый уровень может доставляться через канал с высокой степенью защиты от ошибок, а улучшающие уровни могут передаваться через каналы с большей подверженностью ошибкам.
[0060] В многоточечных и широковещательных мультимедийных системах ограничения пропускной способности сети могут прогнозироваться во время кодирования. Таким образом, должен использоваться масштабируемый битовый поток. Фиг.3 показывает устройство групповой передачи IP, где каждый маршрутизатор может обрабатывать поток битов в зависимости от своих возможностей. На фиг.3 показан сервер S, предоставляющий битовый поток некоторому количеству абонентов С1-С3. Битовые потоки направляются абонентам маршрутизаторами R1-R3. В этом примере сервер предоставляет клип, который можно масштабировать по меньшей мере с тремя скоростями передачи - 120 кбит/с, 60 кбит/с и 28 кбит/с.
[0061] Если абонент и сервер соединены через нормальное индивидуальное соединение, сервер может попытаться настроить скорость передачи данных передаваемого мультимедийного клипа в соответствии с временной пропускной способностью канала. Одним из решений является использование многоуровневого битового потока и адаптация к изменениям пропускной способности за счет изменения количества передаваемых улучшающих уровней.
[0062] Настоящее изобретение в основном описано в контексте этапов способа, которые могут быть реализованы в одном варианте его осуществления в виде компьютерной программы, включающей выполняемые компьютером инструкции, такие как программный код, выполняемый компьютерами в сетевых средах. Как правило, программа включает подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые выполняют отдельные задачи или реализуют отдельные абстрактные типы данных. Выполняемые компьютером инструкции, связанные структуры данных и программные модули представляют примеры программного кода для выполнения шагов способа, описанного здесь. Отдельная последовательность таких выполняемых инструкций или связанных структур данных представляет примеры соответствующих действий для реализации функций, описанных в этих шагах.
[0063] Программные и сетевые варианты реализации настоящего изобретения могут быть осуществлены при помощи стандартной технологии программирования с логикой, основанной на правилах, или другой логикой для выполнения различных шагов поиска в базе данных, шагов корреляции, шагов сравнения и шагов принятия решения. Также необходимо заметить, что слова «компонент» и «модуль», используемые здесь и в формуле, охватывают варианты реализации, осуществленные при помощи одной или более строк программного кода, и/или аппаратные варианты реализации и/или оборудование для приема вводимых вручную данных.
[0064] Предшествующее описание вариантов реализации настоящего изобретения было представлено в целях иллюстрации и описания. Оно не является исчерпывающим и не предназначено для четкого ограничения настоящего изобретения описанными вариантами, и поэтому в свете вышеизложенных идей или исходя из практического использования настоящего изобретения могут быть выполнены различные модификации и изменения. Варианты реализации были выбраны и описаны для того, чтобы объяснить принципы и варианты практического применения настоящего изобретения и обеспечить специалистам возможность использовать его в различных вариантах и с различными модификациями, подходящими для предполагаемого частного случая использования.

Claims (33)

1. Способ инкапсуляции масштабируемого кодированного видеосигнала, включающего базовый уровень кодированного изображения и по меньшей мере один улучшающий уровень кодированного изображения, в последовательность агрегирующих блоков данных, включающую первый агрегирующий блок данных, при этом способ включает: выбор по меньшей мере одного элементарного блока данных кодированного изображения, который должен быть инкапсулирован в указанный первый агрегирующий блок данных; формирование элементарного блока данных с информацией о масштабируемости, связанного с указанным по меньшей мере одним элементарным блоком данных; и инкапсуляцию указанного элементарного блока данных с информацией о масштабируемости и указанного по меньшей мере одного элементарного блока данных в указанный первый агрегирующий блок данных.
2. Способ по п.1, в котором элементарный блок данных с информацией о масштабируемости связан с:
указанным по меньшей мере одним элементарным блоком данных или
множеством элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости.
3. Способ по п.2, в котором, если элементарный блок данных с информацией о масштабируемости связан с множеством элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости, также формируют индикацию, являющуюся:
количеством байтов, следующих за указанным элементарным блоком данных с информацией о масштабируемости, причем указанное количество байтов включает указанное множество элементарных блоков данных, или
количеством указанных элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости.
4. Способ по п.2, в котором указанный элементарный блок данных с информацией о масштабируемости сконфигурирован так, чтобы он игнорировался во время декапсуляции.
5. Способ по п.2, в котором информация о масштабируемости выбрана из группы, включающей идентификатор приоритета для элементарного блока данных, временной уровень, индикатор порядка зависимости, уровень качества, индикатор того, требуют ли элементарные блоки данных, связанные с более высоким индикатором порядка зависимости, по меньшей мере часть связанных элементарных блоков данных для декодирования, индикатор того, принадлежат ли указанные связанные элементарные блоки данных точке переключения уровней, в которой другой уровень может переключиться на текущий уровень, и их комбинации.
6. Способ по п.1, в котором элементарный блок данных с информацией о масштабируемости сконфигурирован так, чтобы он игнорировался по меньшей мере одним из следующих устройств: декодером Н.264/ усовершенствованного кодирования видеосигнала (AVC), анализатором файлов (AVC), устройством извлечения полезной нагрузки транспортного протокола реального времени (RTP) H.264/AVC или декодером масштабируемого кодирования видеосигнала (SVC).
7. Способ по п.2, в котором масштабируемый кодированный видеосигнал инкапсулируют в последовательность пакетов, а агрегирующий блок данных является полезной нагрузкой пакета.
8. Способ по п.7, также включающий: формирование и инкапсуляцию индикации того, что в первом агрегирующем блоке данных имеется более одного элементарного блока данных, и упорядочение элементарного блока данных с информацией о масштабируемости так, чтобы он следовал за упомянутой индикацией в первом агрегирующем блоке данных, и по меньшей мере одного элементарного блока данных так, чтобы он следовал за элементарным блоком данных с информацией о масштабируемости в первом агрегирующем блоке данных.
9. Способ по п.7, в котором последовательность пакетов включает поток RTP.
10. Способ по п.2 или 3, в котором масштабируемый кодированный видеосигнал инкапсулируют по меньшей мере в один файл в соответствии по меньшей мере с одним форматом файла, а агрегирующий блок данных является сэмплом в соответствии по меньшей мере с одним форматом файлов.
11. Способ по п.10, также включающий: формирование элементарного блока данных с информацией о масштабируемости, связанного с первым подмножеством по меньшей мере из одного элементарного блока данных, причем указанное первое подмножество включает элементарные блоки данных базового уровня кодированного изображения; и инкапсуляцию второго подмножества по меньшей мере из одного элементарного блока данных в агрегирующий элементарный блок данных.
12. Способ по п.11, в котором указанный агрегирующий элементарный блок данных сконфигурирован с возможностью его декапсуляции в последовательность элементарных блоков данных в соответствии с первым или вторым алгоритмом, причем в соответствии с указанным первым алгоритмом последовательность элементарных блоков данных включает второе подмножество по меньшей мере из одного элементарного блока данных, и в соответствии с указанным вторым алгоритмом последовательность элементарных блоков данных не включает элементарные блоки данных из упомянутого второго подмножества.
13. Способ по п.10, в котором указанный по меньшей мере один формат файлов является одним или более из следующих форматов: базового формата файлов мультимедиа Международной организации по стандартизации (ISO), формата файлов AVC, формата файлов SVC, формата файлов проекта партнерства третьего поколения (3GP) и формата файлов проекта партнерства третьего поколения 2 (3G2).
14. Машиночитаемый носитель, содержащий компьютерную программу для инкапсуляции масштабируемого кодированного видеосигнала, включающего базовый уровень кодированного изображения и по меньшей мере один улучшающий уровень кодированного изображения, в последовательность агрегирующих блоков данных, включающую первый агрегирующий блок данных, причем компьютерная программа включает компьютерный код для: выбора по меньшей мере одного элементарного блока данных кодированного изображения, который должен быть инкапсулирован в указанный первый агрегирующий блок данных; формирования элементарного блока данных с информацией о масштабируемости, связанного с указанным по меньшей мере одним элементарным блоком данных, и инкапсуляции указанного элементарного блока данных с информацией о масштабируемости и указанного по меньшей мере одного элементарного блока данных в указанный первый агрегирующий блок данных.
15. Машиночитаемый носитель по п.14, в котором компьютерная программа включает компьютерный код для связывания элементарного блока данных с информацией о масштабируемости с:
по меньшей мере одним элементарным блоком данных или
множеством элементарных блоков данных, следующих за элементарным блоком данных с информацией о масштабируемости.
16. Машиночитаемый носитель по п.15, содержащий компьютерную программу, которая включает компьютерный код для формирования индикации в случае, если элементарный блок данных с информацией о масштабируемости связан с множеством элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости, при этом указанная индикация является:
количеством байтов, следующих за указанным элементарным блоком данных с информацией о масштабируемости, причем указанное количество байтов включает указанное множество элементарных блоков данных, или
количеством указанных элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости.
17. Машиночитаемый носитель по п.15, в котором компьютерная программа включает компьютерный код для игнорирования элементарного блока данных с информацией о масштабируемости во время декапсуляции.
18. Машиночитаемый носитель по п.15, в котором информация о масштабируемости выбрана из группы, включающей идентификатор приоритета для элементарного блока данных, временной уровень, индикатор порядка зависимости, уровень качества, индикатор того, требуют ли элементарные блоки данных, связанные с более высоким индикатором порядка зависимости, по меньшей мере часть связанных элементарных блоков данных для декодирования, индикатор того, принадлежат ли указанные связанные элементарные блоки данных точке переключения уровней, в которой другой уровень может переключиться на текущий уровень, и их комбинации.
19. Машиночитаемый носитель по п.14, в котором элементарный блок данных с информацией о масштабируемости сконфигурирован так, чтобы он игнорировался по меньшей мере одним из следующих устройств: декодером H.264/AVC, анализатором файлов AVC, устройством извлечения полезной нагрузки RTP H.264/AVC или декодером SVC.
20. Машиночитаемый носитель данных по п.15, в котором масштабируемый кодированный видеосигнал инкапсулируется в последовательность пакетов, а агрегирующий блок данных является полезной нагрузкой пакета.
21. Машиночитаемый носитель данных по п.20, в котором компьютерная программа включает компьютерный код для формирования и инкапсуляции индикации того, что в первом агрегирующем блоке данных имеется более чем один элементарный блок данных, и упорядочения элементарного блока данных с информацией о масштабируемости так, чтобы он следовал за упомянутой индикацией в первом агрегирующем блоке данных, и по меньшей мере одного элементарного блока данных так, чтобы он следовал за элементарным блоком данных с информацией о масштабируемости в первом агрегирующем блоке данных.
22. Машиночитаемый носитель по п.20, отличающийся тем, что последовательность пакетов включает поток RTP.
23. Машиночитаемый носитель по п.15 или 16, отличающийся тем, что масштабируемый кодированный видеосигнал инкапсулируется по меньшей мере в один файл в соответствии по меньшей мере с одним форматом файлов, а агрегирующий блок данных является сэмплом в соответствии по меньшей мере с одним форматом файлов.
24. Машиночитаемый носитель по п.23, в котором компьютерная программа включает компьютерный код для формирования элементарного блока данных с информацией о масштабируемости, связанного с первым подмножеством по меньшей мере из одного элементарного блока данных, причем указанное первое подмножество включает элементарные блоки данных базового уровня кодированного изображения; и инкапсуляции второго подмножества по меньшей мере из одного элементарного блока данных в агрегирующий элементарный блок данных.
25. Машиночитаемый носитель по п.24, в котором указанный агрегирующий элементарный блок данных сконфигурирован с возможностью его декапсуляции в последовательность элементарных блоков данных в соответствии с первым или вторым алгоритмом, причем в соответствии с указанным первым алгоритмом последовательность элементарных блоков данных включает второе подмножество по меньшей мере из одного элементарного блока данных, и в соответствии с указанным вторым алгоритмом последовательность элементарных блоков данных не включает элементарные блоки данных из упомянутого второго подмножества.
26. Электронное устройство для инкапсуляции масштабируемого кодированного видеосигнала, включающее процессор и блок памяти, соединенный с процессором и содержащий компьютерный программный продукт для инкапсуляции масштабируемого кодированного видеосигнала, включающего базовый уровень кодированного изображения и по меньшей мере один улучшающий уровень кодированного изображения, в последовательность агрегирующих блоков данных, включающую первый агрегирующий блок данных, при этом компьютерный программный продукт содержит: компьютерный код для выбора по меньшей мере одного элементарного блока данных кодированного изображения, который должен быть инкапсулирован в указанный первый агрегирующий блок данных; компьютерный код для формирования элементарного блока данных с информацией о масштабируемости, связанного с указанным по меньшей мере одним элементарным блоком данных; и компьютерный код для инкапсуляции указанного элементарного блока данных с информацией о масштабируемости и указанного по меньшей мере одного элементарного блока данных в указанный первый агрегирующий блок данных.
27. Способ декапсуляции последовательности агрегирующих блоков данных, включающей первый агрегирующий блок данных, с получением последовательности элементарных блоков данных, которая представляет инкапсулированный масштабируемый кодированный видеосигнал, включающий базовый уровень кодированного изображения и по меньшей мере один улучшающий уровень кодированного изображения, при этом указанный способ включает: обнаружение первого элементарного блока данных с информацией о масштабируемости в первом агрегирующем блоке данных; пропуск этого первого элементарного блока данных с информацией о масштабируемости при формировании последовательности элементарных блоков данных; обнаружение по меньшей мере одного элементарного блока данных кодированного изображения в первом агрегирующем блоке данных и включение упомянутого по меньшей мере одного элементарного блока данных кодированного изображения в последовательность элементарных блоков данных.
28. Способ по п.27, в котором агрегирующий блок данных является полезной нагрузкой пакета.
29. Способ по п.28, в котором полезная нагрузка пакета является полезной нагрузкой пакета RTP.
30. Способ по п.27, в котором агрегирующий блок данных является сэмплом в соответствии по меньшей мере с одним форматом файлов.
31. Способ по п.27, также включающий: связывание первого элементарного блока данных с информацией о масштабируемости с:
указанным по меньшей мере одним элементарным блоком данных или
множеством элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости.
32. Способ по п.31, в котором, если элементарный блок данных с информацией о масштабируемости связан с множеством элементарных блоков данных, следующих за указанным элементарным блоком данных с информацией о масштабируемости, способ также включает интерпретирование индикации, являющейся: количеством байтов, следующих за указанным первым элементарным блоком данных с информацией о масштабируемости, причем указанное количество байтов включает указанное множество элементарных блоков данных, или количеством указанных элементарных блоков данных, следующих за указанным первым элементарным блоком данных с информацией о масштабируемости.
33. Способ по п.27, также включающий решение исключить первый улучшающий уровень из последовательности элементарных блоков; прием агрегирующего блока данных из последовательности агрегирующих блоков данных; определение, имеется ли в агрегирующем блоке данных элементарный блок данных с информацией о масштабируемости; в ответ на наличие элементарного блока данных с информацией о масштабируемости в агрегирующем блоке данных, интерпретирование элементарного блока данных с информацией о масштабируемости; в ответ на интерпретирование элементарного блока данных с информацией о масштабируемости как относящегося к первому улучшающему уровню, определение множества элементарных блоков данных, связанных с этим элементарным блоком данных с информацией о масштабируемости, исключение этого множества элементарных блоков данных из последовательности элементарных блоков данных на основании элементарного блока данных с информацией о масштабируемости, исключение упомянутого элементарного блока данных с информацией о масштабируемости из последовательности элементарных блоков данных и включение элементарных блоков данных из агрегирующего блока данных, не связанных с упомянутым элементарным блоком данных с информацией о масштабируемости, в упомянутую последовательность элементарных блоков данных.
RU2008128293/09A 2006-01-11 2007-01-11 Агрегация изображений с обратной совместимостью при масштабируемом видеокодировании RU2409910C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75825406P 2006-01-11 2006-01-11
US60/758,254 2006-01-11

Publications (2)

Publication Number Publication Date
RU2008128293A RU2008128293A (ru) 2010-02-20
RU2409910C2 true RU2409910C2 (ru) 2011-01-20

Family

ID=38256684

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2008128293/09A RU2409910C2 (ru) 2006-01-11 2007-01-11 Агрегация изображений с обратной совместимостью при масштабируемом видеокодировании

Country Status (13)

Country Link
US (1) US8767818B2 (ru)
EP (1) EP1977604B1 (ru)
JP (1) JP4874343B2 (ru)
KR (1) KR101029854B1 (ru)
CN (1) CN101390399B (ru)
AU (1) AU2007204168B2 (ru)
BR (1) BRPI0707457A2 (ru)
HK (1) HK1127205A1 (ru)
MY (1) MY148628A (ru)
RU (1) RU2409910C2 (ru)
TW (1) TWI432035B (ru)
WO (1) WO2007080502A2 (ru)
ZA (1) ZA200806042B (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2633100C2 (ru) * 2012-10-08 2017-10-11 Квэлкомм Инкорпорейтед Применимость битового субпотока к вложенным sei-сообщениям при кодировании видео
RU2688668C2 (ru) * 2014-04-14 2019-05-22 Сони Корпорейшн Передающее устройство, способ передачи, приёмное устройство и способ приёма
US11595695B2 (en) 2018-09-25 2023-02-28 Telefonaktiebolaget Lm Ericsson (Publ) Media bitstream having backwards compatibility

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9344362B2 (en) 2007-01-12 2016-05-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, QOS control algorithm and apparatus for IPV6 label switching using the format
CA2675955C (en) * 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
US8619868B2 (en) * 2007-02-23 2013-12-31 Nokia Corporation Backward-compatible characterization of aggregated media data units
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
BRPI0815735A2 (pt) * 2007-08-28 2019-09-24 Thomson Licensing difusão alternada sem retardo durante a troca entre canais.
AU2008298602A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
US20110038386A1 (en) * 2008-04-29 2011-02-17 France Telecom Transmission of a video stream coded by hierarchical coding
KR101635235B1 (ko) * 2008-07-26 2016-06-30 톰슨 라이센싱 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
KR20100071688A (ko) * 2008-12-19 2010-06-29 한국전자통신연구원 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
IT1398195B1 (it) * 2009-06-25 2013-02-14 St Microelectronics Srl "procedimento e sistema per la distribuzione di contenuti informativi, relativo prodotto informatico"
CN102165776B (zh) * 2009-07-06 2012-11-21 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US8386266B2 (en) 2010-07-01 2013-02-26 Polycom, Inc. Full-band scalable audio codec
WO2011068355A2 (ko) * 2009-12-01 2011-06-09 삼성전자 주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8831932B2 (en) 2010-07-01 2014-09-09 Polycom, Inc. Scalable audio in a multi-point environment
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8190677B2 (en) 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
KR20120011774A (ko) * 2010-07-29 2012-02-08 한국전자통신연구원 전송 스케쥴링 방법
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
JP5640574B2 (ja) * 2010-09-01 2014-12-17 ヤマハ株式会社 端末装置
CN102404560B (zh) * 2010-09-17 2013-12-18 中兴通讯股份有限公司南京分公司 实现可伸缩视频编码业务协同传输的方法及系统
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
EP2627054B1 (en) * 2012-02-10 2018-12-19 Polycom, Inc. System and method for handling the loss of critical packets in multi-hop rtp streaming
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9635394B2 (en) 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception
US9723305B2 (en) * 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
US9350781B2 (en) * 2013-05-31 2016-05-24 Qualcomm Incorporated Single network abstraction layer unit packets with decoding order number for video coding
WO2015005622A1 (ko) * 2013-07-07 2015-01-15 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
EP3050300B1 (en) 2013-09-26 2018-07-11 Telefonaktiebolaget LM Ericsson (publ) Hybrid codec scalable video
US9516147B2 (en) 2014-10-30 2016-12-06 Microsoft Technology Licensing, Llc Single pass/single copy network abstraction layer unit parser
GB2533775B (en) * 2014-12-23 2019-01-16 Imagination Tech Ltd In-band quality data
US20160192018A1 (en) * 2014-12-29 2016-06-30 Microsoft Technology Licensing, Llc Previewing content available at local media sources
CN110445582B (zh) * 2019-08-12 2020-10-23 广东工业大学 一种编码交织方法、系统、装置及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
RU2284671C2 (ru) * 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
AU2003237279A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
US20050275752A1 (en) 2002-10-15 2005-12-15 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
BRPI0316861B1 (pt) * 2002-12-03 2018-12-11 Thomson Licensing Sa disco de vídeo digital codificado com dados de sinais
US8437347B2 (en) * 2003-10-14 2013-05-07 Qualcomm Incorporated Scalable encoding for multicast broadcast multimedia service
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
RU2384956C2 (ru) 2005-05-19 2010-03-20 Нокиа Корпорейшн Система и способ обеспечения неравномерной защиты от ошибок для маркированных согласно приоритету дейтаграмм в системе передачи dvb-h
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
DE102005033981A1 (de) * 2005-07-20 2007-02-01 Siemens Ag Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in eine Datei sowie zugehörige Vorrichtung

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A.ARGYRIOU et al, Streaming H.264/AVC video over the Internet, Consumer Communications and Networking Conference, 2004. CCNC 2004. First IEEE (2004), c.169-174. S.WENGER et al, RTP Payload Format for H.264 Video, RFC 3984, February 2005, найдено в Интернет на http://www.rfc-editor.org/rfc/rfc3984.txt. ЯН РИЧАРДСОН, Видеокодирование H.264 и MPEG-4 - стандарты нового поколения. - М.: Техносфера, 2005, с.113-132, 186-197. *
S.WENGER, Y.-K.WANG, RTP Payload Format for SVC Video, Versions 00, найдено в Интернет на http://tools.ietf.org/html/draft-wenger-avt-rtp-svc-00. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2633100C2 (ru) * 2012-10-08 2017-10-11 Квэлкомм Инкорпорейтед Применимость битового субпотока к вложенным sei-сообщениям при кодировании видео
RU2688668C2 (ru) * 2014-04-14 2019-05-22 Сони Корпорейшн Передающее устройство, способ передачи, приёмное устройство и способ приёма
US11595695B2 (en) 2018-09-25 2023-02-28 Telefonaktiebolaget Lm Ericsson (Publ) Media bitstream having backwards compatibility

Also Published As

Publication number Publication date
US8767818B2 (en) 2014-07-01
EP1977604A2 (en) 2008-10-08
EP1977604A4 (en) 2010-11-17
BRPI0707457A2 (pt) 2011-05-03
AU2007204168B2 (en) 2011-02-24
KR101029854B1 (ko) 2011-04-15
AU2007204168A1 (en) 2007-07-19
TW200742447A (en) 2007-11-01
RU2008128293A (ru) 2010-02-20
WO2007080502A3 (en) 2007-10-25
KR20080092420A (ko) 2008-10-15
EP1977604B1 (en) 2014-03-19
CN101390399B (zh) 2010-12-01
CN101390399A (zh) 2009-03-18
JP4874343B2 (ja) 2012-02-15
JP2009537078A (ja) 2009-10-22
HK1127205A1 (en) 2009-09-18
WO2007080502A2 (en) 2007-07-19
ZA200806042B (en) 2009-04-29
US20070201549A1 (en) 2007-08-30
MY148628A (en) 2013-05-15
TWI432035B (zh) 2014-03-21

Similar Documents

Publication Publication Date Title
RU2409910C2 (ru) Агрегация изображений с обратной совместимостью при масштабируемом видеокодировании
RU2435235C2 (ru) Система и способ указания взаимосвязей треков в мультимедийном файле
RU2409006C1 (ru) Маркировка виртуальных декодированных опорных изображений и список опорных изображений
US9161032B2 (en) Picture delimiter in scalable video coding
RU2697741C2 (ru) Система и способ предоставления указаний о выводе кадров при видеокодировании
KR101087379B1 (ko) 패킷화 방법 및 장치, 비트스트림 표현 처리 방법 및 장치와 컴퓨터 판독 가능 매체
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
KR101635235B1 (ko) 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법
Schierl et al. Using H. 264/AVC-based scalable video coding (SVC) for real time streaming in wireless IP networks
US20090222855A1 (en) Method and apparatuses for hierarchical transmission/reception in digital broadcast
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
US20100183033A1 (en) Method and apparatus for encapsulation of scalable media
US8352625B2 (en) Coded application data unit order recovery in layered multicast
Schäfer et al. MPEG-4 transmission over wireless networks
MX2008009353A (en) Backward-compatible aggregation of pictures in scalable video coding
KR20080012377A (ko) 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20160602