RU2369040C2 - Буферизация при потоковой передаче данных - Google Patents
Буферизация при потоковой передаче данных Download PDFInfo
- Publication number
- RU2369040C2 RU2369040C2 RU2007140542/09A RU2007140542A RU2369040C2 RU 2369040 C2 RU2369040 C2 RU 2369040C2 RU 2007140542/09 A RU2007140542/09 A RU 2007140542/09A RU 2007140542 A RU2007140542 A RU 2007140542A RU 2369040 C2 RU2369040 C2 RU 2369040C2
- Authority
- RU
- Russia
- Prior art keywords
- packets
- buffer
- hypothetical
- transmission
- media
- Prior art date
Links
- 230000003139 buffering effect Effects 0.000 title claims abstract description 86
- 239000000872 buffer Substances 0.000 claims abstract description 175
- 230000005540 biological transmission Effects 0.000 claims abstract description 164
- 230000008439 repair process Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0041—Arrangements at the transmitter end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/56—Queue scheduling implementing delay-aware scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9084—Reactions to storage capacity overflow
- H04L49/9089—Reactions to storage capacity overflow replacing packets in a storage arrangement, e.g. pushout
- H04L49/9094—Arrangements for simultaneous transmit and receive, e.g. simultaneous reading/writing from/to the storage element
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64315—DVB-H
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/14—Flow control between communication endpoints using intermediate storage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/12—Wireless traffic scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
- H04H60/06—Arrangements for scheduling broadcast services or broadcast-related services
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Изобретение относится к буферизации пакетов медиапотока при передаче от передающего устройства приемному устройству. Техническим результатом изобретения является повышение эффективности буферизации пакетов медиапотока. Медиапакеты формируют из по меньшей мере одного вида медиаинформации в потоковом генераторе, по меньшей мере один кадр передачи генерируют на основе передаваемых медиапакетов из по меньшей мере одного кадра передачи формируют передаваемые пакеты и генерируют расписание передачи для передаваемых пакетов. В дополнение, также выполняют первый и второй шаги гипотетического декодирования. Первый шаг гипотетического декодирования выполняют согласно расписанию передачи, и он включает буферизацию передаваемых пакетов согласно расписанию передачи в первом буфере гипотетического декодирования и вывод пакетов из первого буфера гипотетического декодирования на основе кадра передачи. Второй шаг гипотетического декодирования включает управление уровнем занятости первого буфера гипотетического декодирования и второго буфера гипотетического декодирования путем управления по меньшей мере одним из следующего: работой потокового генератора, генерированием по меньшей мере одного кадра передачи, расписанием передачи. 5 н. и 15 з.п. ф-лы, 7 ил.
Description
Настоящее изобретение относится к буферизации пакетов медиапотока при передаче от передающего устройства приемному устройству. Изобретение также относится к системе, передающему устройству, приемному устройству, серверу, устройству беспроводной связи, сигналу, шлюзу, программному продукту.
УРОВЕНЬ ТЕХНИКИ
Передача медиаинформации, такой как аудиосигнал, видеосигнал, неподвижные образы и т.д., обычно основана на пакетировании, т.е. передаваемая информация заключается в пакеты. Пакеты затем передаются как один или несколько потоков пакетов. В потоках пакеты могут быть переданы, например, как пакеты RTP (Real Time Protocol - Протокол реального времени), или как пакеты другого протокола, которые не обязательно являются пакетами RTP. Может случиться, что в ходе передачи по каким-то причинам некоторые пакеты окажутся потерянными. Например, в канале передачи могут быть помехи, ослабляющие сигнал, переносящий пакеты, что может быть причиной потери пакетов. На стадии передачи можно добавить в поток пакетов некоторую информацию для коррекции ошибок, которая может быть использована на стадии приема для восстановления потерянных пакетов. Один из известных методов основан на прямой коррекции ошибок (FEC), при этом в поток пакетов вставляются дополнительные пакеты, несущие информацию о коррекции ошибок. Такие дополнительные пакеты называются в этом описании ремонтными пакетами, т.е. пакетами, переносящими информацию для исправления ошибок. Ремонтные пакеты формируются на основе тех пакетов, которые должны быть защищены с помощью ремонтных пакетов. Например, побитовая операция ИСКЛЮЧАЮЩЕЕ ИЛИ (XOR) выполняется над данными пакетов и рассчитанное значение FEC упаковывается в ремонтные пакеты. Ремонтные пакеты и пакеты, используемые для создания ремонтных пакетов, формируют блок FEC. Следовательно, любой потерянный пакет из включенных в блок FEC может быть восстановлен с использованием информации из ремонтных пакетов того же блока FEC.
Пакетирование может быть также применено на разных уровнях так называемых стеков протоколов. Хорошо известная модель OSI описывает семиуровневую структуру, в которой физический уровень является нижним, а уровень приложений - верхним в стеке протоколов. Другими уровнями модели OSI являются канальный уровень, лежащий выше физического, сетевой уровень, транспортный уровень, сеансовый уровень и представительский уровень, лежащий под уровнем приложений. RTP пакеты могут быть отнесены к пакетам уровня приложений (который, следовательно, может быть назван в этом случае уровнем RTP).
Многие системы видеосвязи предусматривают средства контроля скорости передачи данных и буферизации. В системах с топологией "один-один" получатель может посылать статус занятости своего буфера отправителю, который может соответственно настраивать скорость передачи (например, адаптация скорости в потоке с коммутацией пакетов 3GPP (стандарт связи третьего поколения)). В однонаправленных системах потоки данных обычно должны подчиняться известной модели буферизации получателя. Примеры систем буферизации, включающих специфицированные получателем модели буферизации, - это системы стандарта MPEG-2, Приложение G для потоковой передачи данных с коммутацией пакетов 3GPP (техническая спецификация 3GPP 26.234) и система мультимедийного широкого/многоадресного вещания 3GPP (MBMS, техническая спецификация 3GPP 26.346). Отправители должны быть уверены, что передаваемые потоки соответствуют модели буферизации, т.е. не будут являться причиной незаполненности или переполнения буферов. Получатели должны быть в состоянии принять существующие потоки и использовать размер буфера предполагаемой модели буфера для назначения реального буфера данных.
Упрощенная система передачи данных поверх DVB-H (стандарт цифрового мобильного телевидения) изображена на фиг.1 в виде блок-схемы. Серверы содержимого (контента) предоставляют мультимедийный контент поверх сети IP инкапсуляторам IP. Последние инкапсулируют IP потоки для передачи по транспортным потокам MPEG-2, которые передаются по сети DVB-H к приемным терминалам.
На фиг.7 изображен пример передачи медиаданных в сети 701 DVB. В системах DVB мультиплексный поток 702 - это набор DVB служб 703, объединяемых и передаваемых в одном транспортном потоке. Транспортные потоки от разных мультиплексных потоков 702 могут быть переданы в DVB сеть 701. Компоненты DVB службы (например, аудиокомпонента, видеокомпонента, текстовая компонента) содержатся в элементарных потоках 704, каждый из которых переносит данные одной из компонент одной из DVB служб 703. Компоненты DVB служб могут быть инкапсулированы как IP (Internet Protocol) потоки 705, содержащие IP дейтаграммы.
В DVB системах введена так называемая многопротокольная инкапсуляция (МРЕ). МРЕ предназначена для преобразования дейтаграмм (IP пакетов) сетевого уровня (3-й уровень модели OSI) в транспортные потоки. Каждая IP дейтаграмма обычно преобразуется в отдельную МРЕ секцию. Единичный элементарный поток может содержать множество потоков МРЕ секций. Элементарный поток, переносящий МРЕ секцию, может также переносить данные коррекции ошибок, т.е. секции МРЕ FEC для поддержки коррекции ошибок для пакетов данных в МРЕ секциях. МРЕ секции могут рассматриваться как пакеты канального уровня стека протоколов OSI.
Гипотетический эталонный декодер (HRD) используется в некоторых стандартах видеокодирования для проверки совместимости со стандартами созданного потока данных и выходных данных после декодера. Совместимые со стандартами декодеры должны воспринимать входные потоки, совместимые с HRD. HRD используется для предотвращения «неблагоприятных» потоков, т.е. он сдерживает потребление ресурсов в декодерах как в отношении используемой памяти, так и вычислительной сложности. Входные данные HRD имеют постоянную скорость передачи или представляют собой кусочно-линейную функцию из нулевой и постоянной скорости передачи данных. HRD также используется, чтобы допустить флуктуацию скорости передачи видео, что позволяет достичь почти постоянного качества и частоты передачи изображений.
Когда медиапотоки посылают в мультиплексном режиме, выходной сигнал гипотетического демультиплексора должен быть совместим с входными требованиями гипотетического медиадекодера. В ином случае совместимость с моделью буфера медиадекодера не может быть гарантирована.
FEC декодирование кадра МРЕ FEC требует первичной буферизации (от приема первого пакета кадра МРЕ FEC до начала медиадекодирования) в приемном терминале, потому что если приемник начнет декодировать исходные RTP пакеты (т.е. медиапакеты RTP) незамедлительно, по получении первого пакета, то любая потеря исходного RTP пакета будет причиной задержки декодирования до получения ремонтной информации кадра МРЕ FEC. Это соответственно вызовет паузу в воспроизведении.
К тому же, как объяснено дальше, воспроизведение без пауз может потребовать дополнительной первичной буферизации после приема первого кадра МРЕ FEC. Пусть tai(n) - время приема первого бита кадра МРЕ FEC с номером n в порядке передачи, taf(n) - время приема последнего бита кадра МРЕ FEC. Далее, пусть b(n) - число битов в полезной нагрузке RTP медиапотока кадра n МРЕ FEC, и r(n) - скорость передачи (которая используется для проверки соответствия HRD). Если для любых значений n b(n)/r(n)=taf(n)-tai(n), то длительность первичной буферизации всегда могла бы быть равной нулю. Однако этого не будет по следующим причинам.
Первое: "выкалывание" (число "медиа" колонок в кадре МРЕ FEC), кодовая скорость FEC (число FEC колонок в кадре МРЕ FEC) и количество битов заполнения могут меняться.
Второе: планирование процессов не может быть настолько точным, как требует вышеуказанная формула, но можно придерживаться средней скорости потока и временных интервалов, получаемых из средней скорости передачи.
Третье: элементарный поток и интервал временного разделения могут содержать пакеты из множества IP потоков. Точное удовлетворение требований по битам для каждого IP потока во временном интервале является сложной задачей для медиапотока с меняющейся скоростью передачи, такого как видео.
Таким образом, первичная буферизация одного блока данных МРЕ FEC целиком не является достаточным условием, чтобы гарантировать декодирование и воспроизведение без пауз. Следовательно, отправители должны давать получателям информацию, которая обеспечивает достаточную, но не исчерпывающую величину первичной буферизации.
Статья 13 документа ETSI EN 301192 v.1.4.1 определяет модель декодера для трансляции данных в DVB. Модель состоит из транспортного буфера и необязательного основного буфера. Транспортный буфер - это маленький (512 байт) буфер для удаления дубликатов пакетов MPEG-2 TS. Основной буфер используется для сглаживания темпа передачи для соответствия медиадекодерам. Работа основного буфера может контролироваться путем установления выходной скорости передачи в синтаксической структуре дескриптор сглаживающего буфера систем MPEG-2. Однако в основном буфере нет механизма сигнализации и использования задержки первичной буферизации, следовательно, основной буфер не подходит для использования в комбинации с декодированием МРЕ FEC.
Так как IP передача данных в DVB-H - это широковещательный сервис, новые получатели могут "настраиваться" в середине потока, т.е. новые получатели могут начать принимать поток после того, как первый пакет потока был передан. Оптимальная (минимальная) задержка первичной буферизации обычно непостоянна во время передачи потока.
Размер буфера декодирования FEC
Как было показано выше, полученные для кадра МРЕ FEC пакеты должны быть помещены в буфер до того, как начнется декодирование FEC пакетов. В этом описании буфер для этих целей называется буфер декодирования FEC. Уровень занятости буфера декодирования FEC зависит, в числе прочего, от: 1) расписания передачи элементарного потока, 2) величины первичной буферизации до начала освобождения буфера, 3) метода построения матрицы FEC внутри буфера декодирования FEC, и 4) скорости вывода данных из буфера декодирования FEC. Максимум уровня занятости буфера определяет требуемый размер буфера для потока. Очевидно, что в различных приемных устройствах реализация декодирования FEC и связанной с ним буферизации может быть разной. Например, плееры могут иметь различные способы управления скоростью выходных данных - одно устройство может выталкивать данные из буфера декодирования FEC, как только позволят буферы "закачки" (например, входные буферы декодера), а другое устройство может выталкивать данные из буфера в тот момент, когда необходимо декодировать следующий массив данных. Следовательно, максимум уровня занятости буфера может меняться в разных реализациях и поэтому проблематично определить требуемый для конкретного потока размер буфера декодирования FEC без модели гипотетического буфера.
Кодерам и приемопередатчикам тоже следует иметь информацию о поддерживаемом размере буфера декодирования FEC всех приемников во время выполнения кодирования и составления расписания передачи.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Представленное изобретение реализует модель буферизации гипотетического декодера при обработке потока медиаданных. Модель может быть использована для определения минимальных требований к приемникам/декодерам, которые должны быть способны обрабатывать по меньшей мере все потоки, которые в состоянии обработать гипотетическая модель. Кодеры и приемопередатчики используют модель буферизации гипотетического декодера для проверки того, что передаваемые потоки не являются причиной переполнения или недогрузки буфера гипотетического декодирования.
Модель буферизации, представленная в этой заявке, содержит два буфера, один для декапсуляции кадров МРЕ FEC и виртуального декодирования FEC и второй для сглаживания вариаций скорости передачи, вызванных пульсирующим выводом данных декодирования FEC.
Согласно первому аспекту представленного изобретения предлагается способ буферизации пакетов медиапотока, включающий:
- формирование медиапакетов из по меньшей мере одного вида медиаинформации в потоковом генераторе;
- генерирование по меньшей мере одного кадра передачи на базе медиапакетов для передачи;
- формирование пакетов для передачи из по меньшей мере одного кадра передачи;
- генерирование расписания передачи для передаваемых пакетов;
- выполнение первого гипотетического декодирования в соответствии с расписанием передачи, включая:
- буферизацию передаваемых пакетов в соответствии с расписанием передачи в первом буфере гипотетическом декодирования; и
- вывод пакетов из первого буфера гипотетического декодирования на базе кадра передачи;
- выполнение второго гипотетического декодирования, включая:
- буферизацию пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования;
- управление уровнем занятости первого буфера гипотетического декодирования и второго гипотетического уровня декодирования путем управления по меньшей мере одним из следующего:
- работой потокового генератора;
- генерированием по меньшей мере одного кадра передачи;
- расписанием передачи.
Согласно второму аспекту настоящего изобретения предлагается система для буферизации медиапотока для передачи от передающего устройства приемному устройству, в которой передающее устройство включает:
- потоковый генератор, включающий
- первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока;
- генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов;
второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи; и
- планировщик для генерирования расписания передачи для передаваемых пакетов; и
- гипотетический декодер для выполнения гипотетического декодирования во время передачи в соответствии с расписанием передачи, включающий:
- первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи;
- устройство вывода пакетов из первого буфера гипотетического декодирования на базе кадра передачи;
- второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; и
- контроллер для управления уровнем занятости первого буфера гипотетического декодирования и второго буфера гипотетического декодирования путем управления по меньшей мере одним из следующего:
работой потокового генератора;
генерированием по меньшей мере одного кадра передачи;
расписанием передачи.
Согласно третьему аспекту настоящего изобретения предлагается передающее устройство, включающее буфер для буферизации медиапотока для передачи от передающего устройства приемному устройству, при этом передающее устройство включает:
- потоковый генератор, включающий:
- первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока;
- генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов;
- второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи; и
- планировщик для генерирования расписания передачи для передаваемых пакетов; и
- гипотетический декодер для выполнения гипотетического декодирования во время передачи в соответствии с расписанием передачи, включающий:
- первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; и
- устройство вывода пакетов из первого гипотетического буфера декодирования на базе кадра передачи;
- второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; и
- контроллер для управления уровнем занятости первого буфера гипотетического декодирования и второго буфера гипотетического декодирования путем управления по меньшей мере одним из следующего:
работой потокового генератора;
генерированием по меньшей мере одного кадра передачи;
расписанием передачи.
Согласно четвертому аспекту настоящего изобретения предлагается устройство беспроводной связи, включающее буфер для буферизации медиапотока для передачи от беспроводного устройства связи приемному устройству, при этом беспроводное устройство связи включает:
- потоковый генератор, включающий:
- первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока;
- генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов;
- второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи; и
- планировщик для генерирования расписания передачи для передаваемых пакетов; и
- гипотетический декодер для выполнения гипотетического декодирования во время передачи в соответствии с расписанием передачи, включающий:
- первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; и
- устройство вывода пакетов из первого гипотетического буфера декодирования на базе кадра передачи;
- второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; и
- контроллер для управления уровнем занятости первого буфера гипотетического декодирования и второго буфера гипотетического декодирования путем управления по меньшей мере одним из следующего:
работой потокового генератора;
генерированием по меньшей мере одного кадра передачи;
расписанием передачи.
Согласно пятому аспекту настоящего изобретения предлагается сервер, включающий буфер для буферизации медиапотока для передачи от сервера приемному устройству, при этом сервер также включает:
- потоковый генератор, включающий:
- первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока;
- генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов;
- второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи; и
- планировщик для генерирования расписания передачи для передаваемых пакетов; и
- гипотетический декодер для выполнения гипотетического декодирования во время передачи в соответствии с расписанием передачи, включающий:
- первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; и
- устройство вывода пакетов из первого гипотетического буфера декодирования на базе кадра передачи;
- второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; и
контроллер для управления уровнем занятости первого буфера гипотетического декодирования и второго буфера гипотетического декодирования путем управления по меньшей мере одним из следующего:
работой потокового генератора;
генерированием по меньшей мере одного кадра передачи;
расписанием передачи;
- приемопередатчик для передачи пакетов приемному устройству.
Согласно шестому аспекту настоящего изобретения предлагается сервер мультимедийной службы широкого/многоадресного вещания, включающий буфер для буферизации медиапотока для передачи от сервера приемному устройству, при этом сервер также включает:
- потоковый генератор, включающий:
- первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока;
- генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов;
второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи; и
- планировщик для генерирования расписания передачи для передаваемых пакетов; и
- гипотетический декодер для выполнения гипотетического декодирования во время передачи в соответствии с расписанием передачи, включающий:
- первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; и
- устройство вывода пакетов из первого гипотетического буфера декодирования на базе кадра передачи;
- второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; и
контроллер для управления уровнем занятости первого буфера гипотетического декодирования и второго буфера гипотетического декодирования путем управления по меньшей мере одним из следующего:
работой потокового генератора;
генерированием по меньшей мере одного кадра передачи;
расписанием передачи.
приемопередатчик для передачи пакетов как мультимедийной службы широкого/многоадресного вещания.
Согласно седьмому аспекту настоящего изобретения предлагается приемное устройство для приема пакетов, имеющих расписание передачи и включающих по меньшей мере один кадр передачи, из которого сформированы передаваемые пакеты, при этом упомянутый по меньшей мере один кадр передачи включает медиапакеты, сформированные на базе по меньшей мере одного вида медиаинформации медиапотока, при этом приемное устройство включает:
- приемник для приема передаваемых пакетов, включающих информацию о величине первичной буферизации для задержки декодирования пакетов при начале приема пакетов;
- первый распаковщик для реконструкции медиапакетов из принятых пакетов;
- буфер для буферизации информации медиапакетов;
- декодер для декодирования медиаинформации медиапакетов; и
- контроллер для задержки декодирования в соответствии с информацией о величине первичной буферизации.
Согласно восьмому аспекту настоящего изобретения предлагается сигнал, связанный с медиапотоком, включающим медиапакеты, сформированные на базе по меньшей мере одного вида медиаинформации медиапотока, где медиапакеты включены в по меньшей мере один кадр передачи, из которого сформированы пакеты для передачи, и имеют расписание передачи, при этом указанный сигнал включает информацию о такой величине первичной буферизации для задержки декодируемых пакетов при начале приема медиапотока, которая делает каждые медиапакет медиапотока в любом кадре передачи доступным во время или до времени декодирования.
Согласно девятому аспекту настоящего изобретения предлагается компьютерный программный продукт, включающий компьютерную программу, записанную на читаемом компьютером носителе, включающий исполняемые шаги, выполняемые машиной для буферизации пакетов медиапотока путем
- формирования медиапакетов из по меньшей мере одного вида медиаинформации в потоковом генераторе передающего устройства;
- генерирования по меньшей мере одного кадра передачи на базе медиапакетов для передачи;
- формирования пакетов для передачи из по меньшей мере одного кадра передачи;
- генерирования расписания передачи для передаваемых пакетов;
- выполнения первого гипотетического декодирования в соответствии с расписанием передачи, включающего выполняемые машиной шаги для
- буферизации пакетов для передачи в соответствии с расписанием передачи в первом буфере гипотетическом декодирования; и
- вывода пакетов из первого буфера гипотетического декодирования на базе кадра передачи;
- выполнения второго гипотетического декодирования, включающего:
- буферизацию пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования;
- управление уровнем занятости первого буфера гипотетического декодирования и второго гипотетического уровня декодирования путем управления по меньшей мере одним из следующего:
работой потокового генератора;
генерированием по меньшей мере одного кадра передачи;
расписанием передачи.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Далее настоящее изобретение будет описано более детально со ссылкой на прилагаемые чертежи.
Фиг.1 изображает систему в соответствии с примером осуществления настоящего изобретения.
Фиг.2 показывает упрощенную систему IP передачи поверх DVB-H.
Фиг.3 показывает структуру кадра МРЕ FEC.
Фиг.4 показывает передающее устройство в соответствии с примером осуществления настоящего изобретения в виде упрощенной блок-схемы.
Фиг.5 иллюстрирует процедуру расчета RSDT (таблица кодов Рида-Соломона).
Фиг.6 изображает модель буферизации в соответствии с примером осуществления настоящего изобретения.
Фиг.7 изображает пример медиапередачи в сети формата DVB.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Далее система в соответствии с примером реализации настоящего изобретения описана более детально со ссылками на фиг.1-6.
Система на фиг.1 включает передающее устройство 1, канал передачи 2 и приемное устройство 3. Передающим устройством 1 может быть, например, сервер, устройство беспроводной связи, персональный компьютер и т.п. Приемным устройством 3 может быть, например, устройство беспроводной связи, персональный компьютер, телевизор и т.п.
Передающее устройство 1 включает потоковый генератор 1.0 для формирования транспортных потоков 702 от одной или более DVB системы связи (включающей медиакомпоненты или IP потоки). В этой реализации потоковый генератор 1.0 включает кодировщик 1.1 для кодирования при необходимости медиаинформации, формирователь 1.2 пакетов RTP/UDP/IP, многопротокольный инкапсулятор 1.3, буфер 1.4 кодирования FEC, блок 1.6 кодирования FEC и блок 1.8 планировщика передачи. Кодировщик 1.1 создает поток данных D1, содержащий кодированные двоичные сигналы. Поток данных D1 передается в формирователь 1.2, в котором поток данных D1 заключается в полезные нагрузки R2 IP-дейтаграмм согласно спецификации формата. Далее эти исходные IP-дейтаграммы (поток D2 на фиг.2) обрабатываются в блоке многопротокольного инкапсулятора 1.3, который формирует МРЕ секцию путем заключении IP-дейтаграмм D2 в кадровую структуру МРЕ. МРЕ секции (поток данных D3) запоминаются в буфере кодирования FEC.
Чтобы дать возможность коррекции ошибок от потерянных транспортных пакетов, должна быть сформирована информация, необходимая для восстановления. В этом примере ремонтные пакеты формируются следующим образом. Блок 1.6 кодирования FEC рассчитывает код коррекции ошибок МРЕ секций и формирует секции МРЕ FEC для ремонтных пакетов, содержащих код коррекции ошибок для исходных IP дейтаграмм D2. Секции МРЕ FEC (поток данных D6) также запоминаются в буфере 1.4 кодирования FEC.
Планировщик 1.8 пакетов определяет темп передачи пакетов МРЕ секций. IP передача поверх DVB-H обычно осуществляется с разделением времени, при котором элементарный поток передается в пачках, поэтому приемник, используя сигналы управления, остается неактивным, когда получение пачек сигналов не ожидается. Пачки передаются с существенно большей интенсивностью, чем требуемая для передачи со скоростью декодирования медиапотока. Благодаря временному разделению может быть достигнута значительная экономия потребляемой мощности по сравнению с приемником, в котором радиоприемник постоянно остается активным.
Планировщик 1.8 контролирует выходящие пакеты МРЕ секций так, чтобы каждый пакет МРЕ секции был бы передан в нужный момент времени в соответствии с действующим расписанием процесса. Порядок, в котором могут быть переданы пакеты МРЕ секций, например, такой, что все исходные пакеты МРЕ секции одного блока FEC передаются перед ремонтными пакетами. Однако, очевидно, что может быть применен порядок, отличный от этого. Например, исходные пакеты МРЕ секций и ремонтные пакеты могут чередоваться.
Планировщик 1.8 передает пакеты МРЕ секций как пакеты транспортного потока (TS) MPEG-2. Другими словами, пакеты МРЕ секций сегментируются на пакеты MPEG-2 транспортного потока. Когда необходимые транспортному протоколу преобразования выполнены, пакеты могут быть переданы в канал 2 приемопередатчиком 1.13 устройства 1. Передача может быть беспроводной или проводной, или обе могут использоваться в разных каналах передачи. Канал передачи может включать один или более узлов, базовых станций и т.д., через которые передается поток пакетов. Детали канала передачи и способа передачи известны, и нет необходимости описывать их здесь более подробно.
Пакеты не обязательно передаются после выполнения процесса планирования, возможно, что пакеты запоминаются в памяти, например, в виде файла. Файл может быть также снабжен дополнительной информацией.
В системе согласно настоящему изобретению пакеты транспортного потока MPEG-2 также передаются в гипотетический декодер 1.9 (поток данных D9a). Работа гипотетического декодера 1.9 более подробно описана далее. Гипотетический FEC декодер может управлять скоростью планирования передачи, числом создаваемых ремонтных пакетов (на каждый FEC блок) и числом исходных пакетов МРЕ секций (IP дейтаграмм) в каждом FEC блоке. Эти управляющие операции изображены пунктирными линиями на фиг.1.
Далее более подробно описывается работа приемного устройства 3. Приемник 3.1 принимает сигналы, которые переносят передаваемый поток пакетов, и производит необходимую демодуляцию, с выхода приемника 3.1 демодулированная информация идет в блок 3.2 планировщика приема. Планировщик 3.2 определяет, когда приемник должен быть включен для приема разделенных по времени пачек сигналов. В блоке 3.2 планировщика демодулированная информация преобразуется в поток пакетов МРЕ секций. Блок 3.2 планировщика может выполнять при необходимости некоторые операции преобразования протоколов и декодирования, чтобы восстановить поток пакетов МРЕ секций (поток данных D13). Блок планировщика отправляет МРЕ секции в буфер 3.4 декодирования FEC.
Если в FEC блоке есть хотя бы один потерянный исходный пакет, приемное устройство 3 будет пытаться исправить потерю следующим образом: FEC декодер 3.6 использует соответствующий алгоритм декодирования FEC для восстановления потерянных исходных МРЕ секций и запоминания их снова в буфере 3.4 декодирования FEC.
Блок 3.7 многопротокольной декапсуляции получает пакеты МРЕ секций из буфера 3.4 декодирования FEC. В блоке 3.7 многопротокольной декапсуляции пакет RTP/UDP/IP формируется путем извлечения полезной нагрузки МРЕ секции и, если необходимо, повторной сборки пакета RTP/UDP/IP из нескольких МРЕ секций. После этой операции поток пакетов дейтаграмм RTP/UDP/IP (поток данных D19) соответствует спецификации полезной нагрузки медиаформата и может быть передан в распаковщик 3.8.
Распаковщик 3.8. обрабатывает поток пакетов дейтаграмм RTP/UDP/IP и отделяет полезную нагрузку от исходных пакетов дейтаграмм RTP/UDP/IP в соответствии со спецификацией полезной нагрузки медиаформата. Результатом является битовый поток или поток блоков данных приложения (ADU, поток данных D20). Блок данных приложения - элементарный блок формата медиакодирования, такой как блок Абстрактного Сетевого Уровня (NAL) стандарта кодирования H.264/AVC или кодированный аудиокадр. Затем медиапоток битов или поток ADU может быть декодирован для дальнейшей обработки.
Гипотетический декодер
Далее более подробно описывается работа гипотетического FEC декодера 1.9. Гипотетический приемник содержит буферы, изображенные на фиг.6. При этом считается, что гипотетический FEC декодер состоит из транспортного буфера 611, буфера 612 многопротокольной декапсуляции и буфера 613 RTP декапсуляции. Считается, что гипотетический медиадекодер состоит из буфера 614 кодированных данных и буфера 615 декодированных данных.
Транспортный буфер 611 (фиг.6) получает пакеты MPEG-2 TS и убирает дубликаты пакетов. Эта операция подобна описываемой в спецификации ETSI EN 301192 и используемой в MPEG-2 системах. Буфер 612 многопротокольной декапсуляции используется для виртуального декодирования FEC и декапсуляции МРЕ в IP дейтаграммы. Буфер 613 RTP декапсуляции используется для декапсуляции RTP и полезной нагрузки заголовков RTP и для сглаживания пульсаций при временном разделении до равномерного потока данных для входов медиадекодеров. Буфер 614 кодированных данных и буфер 615 декодированных данных определены в спецификациях медиадекодеров.
По одному транспортному буферу 611 приходится на каждый мультиплексный поток 702 MPEG-2 TS, один буфер 612 многопротокольной декапсуляции на каждый элементарный поток 704, один буфер 613 RTP декапсуляции на каждый IP поток 705, один буфер 614 кодированных данных на каждый элементарный медиапоток, переносимый IP потоком, и обычно один буфер 615 декодированных данных на каждый элементарный медиапоток, переносимый IP потоком.
Модель буфера многопротокольной декапсуляции (MDP) применяется для разделенных по времени элементарных потоков 704, переносящих IP потоки 705. Величина элемента time_slicing временного разделения и идентификатор FEC могут быть равными единице для разделенных по времени элементарных потоков.
Модель MDP буфера определена следующим образом. MDP буфер 612 изначально пуст. Передача данных начинается с первого пакета MPEG-2 TS в порядке передачи во временном интервале. Каждый пакет MPEG-2 TS, вышедший из транспортного буфера 611, вводится в MDP буфер (без заголовка TS пакета). Когда значение элемента mpe_fec временного интервала и идентификатор FEC равны 00b, пакет MPEG-2 TS завершает МРЕ секцию, и завершенная МРЕ секция завершает дейтаграмму (т.е. значение последнего номера секции равно значению номера секции в заголовке МРЕ секции). МРЕ секция удаляется из MDP буфера 612, и дейтаграмма, переносимая в МРЕ секции, выводится. Когда значение элемента mpe_fec временного интервала и идентификатор FEC равны 01b, и пакет MPEG-2 TS - первый во временном интервале, кадр MPE-FEC формируется в MDP буфере в соответствии со спецификацией пункта 9.3.1 ETSI EN 301192 v.1.4.1. Когда значение элемента mpe_fec временного интервала и FEC идентификатор равны 01b, каждый пакет MPEG-2 TS вставляется в кадр MPE-FEC в MDP буфере 612 в соответствии со спецификацией пункта 9.3.1 ETSI EN 301 192 v.1.4.1. Когда значение элемента mpe_fec временного интервала и идентификатор FEC равны 01b и пакет MPEG-2 TS - последний для кадра MPE-FEC в MDP буфере 612, тогда дейтаграммы, переносимые в МРЕ секциях кадра MPE-FEC выводятся, и кадр MPE-FEC убирается из MDP буфера 612.
Буфер RTP декапсуляции
Модель буфера RTP декапсуляции применяется к дейтаграммам, выведенным из буфера многопротокольной декапсуляции 612 и содержащим RTP пакеты. Модель буфера RTP декапсуляции характерна для IP потока.
Буфер 613 RTP декапсуляции изначально пуст. Каждый RTP пакет помещается в буфер RTP декапсуляции без UDP и IP заголовка, но с RTP заголовком, сразу же после выхода из MDP буфера 612. RTP пакеты не выводятся из буфера 613 RTP декапсуляции до сигнализации об окончании задержки первичной буферизации (с момента помещения первого RTP пакета). Способ сигнализации об окончании задержки первичной буферизации определен далее. Блоки данных приложения (ADD) выводятся из буфера 613 RTP декапсуляции в порядке декодирования. Для потоков стандарта H264/AVC ADU определяется как блок NAL, и порядок их декодирования определен в спецификации RFC 3984. Для потоков стандарта ААС ADU определяется как блок доступа и определен в спецификации RFC 3640. Первый ADU по порядку декодирования выводится сразу же по окончании задержки первичной буферизации. Каждый следующий ADU по порядку декодирования выводится, когда он становится доступен в буфере 613 RTP декапсуляции, и когда прошло следующее время (в секундах) с момента удаления предыдущего ADU: 8*(размер предыдущего ADU в байтах)/(1000*(величина "b=AS" SDP атрибута потока). RTP пакет удаляется из буфера RTP декапсуляции, когда все ADU, которые он содержит, выведены.
Сигнализация о задержке первичной буферизации
Задержка первичной буферизации регулирует задержку (в миллисекундах) от помещения RTP пакета в буфер 613 RTP декапсуляции до того как первый по порядку декодирования ADU может быть выведен из буфера 613 RTP декапсуляции. Регулируемая задержка гарантирует декодирование и воспроизведение без пауз. Значением является беззнаковое 16-битовое целое число в байтовом порядке сети.
Далее будут представлены некоторые подробности примера семантики и синтаксиса сигнализации первичной буферизации.
Расширенное сообщение (XR) протокола RTCP, описанное в спецификации RFC 3611, - это механизм расширения сообщения переносимого по протоколу RTCP, за рамки отчетов отправителя и получателя. Семь типов блоков сообщений RTCP XR представлены в спецификации RFC 3611, и представлен механизм расширения для включения дополнительных типов блоков сообщений. Новый тип типов блоков сообщений RTCP XR может быть специфицирован для передачи задержки первичной буферизации.
Сообщения RTCP отправителя должны быть переданы в каждом МРЕ-FEC кадре для обеспечения корректной аудио-видео синхронизации в приемниках, которые начинают прием MPE-FEC кадра. Предложенное расширенное сообщение о задержке первичной буферизации может быть объединено в тот же RTCP пакет, что и сообщение отправителя. Следовательно, для переноса информации первичной буферизации не требуется служебных сигналов секции UDP/IP/MPE.
В качестве альтернативы, элемент задержки первичной буферизации может быть представлен в RTR пакетах, как показано ниже. Когда элемент задержки первичной буферизации не представлен в RTP пакете, применяется предыдущее значение задержки первичной буферизации. Если не имеется предыдущего значения, задержка первичной буферизации подразумевается равной нулю. Когда дополняющий бит в RTP заголовке равен 1, величина последнего октета в дополнении больше, чем 2, и величина октета, предшествующего последнему октету в дополнении, равна 0х80, присутствует элемент задержки первичной буферизации. Значение задержки первичной буферизации предшествует двум последним октетам RTP дополнения.
Как альтернатива, дополнительное поле задержки первичной буферизации специфицировано в идентификаторе, который мультиплексирован в транспортный поток MPEG-2.
Как альтернатива, специфицируется структура новой МРЕ секции или структура существующей МРЕ или MPE-FEC секции дополняется, чтобы включить элемент задержки первичной буферизации.
Генерирование блока FEC
Кадр MPE-FEC организован как матрица с 255 столбцами и переменным числом строк. На данный момент определены размеры строк в 256, 512, 768, 1024 байта. На фиг.3 показана структура кадра MPE-FEC. Каждая позиция в матрице содержит байт информации. Первые 191 столбцов выделены для МРЕ секций, переносящих IP дейтаграммы, и возможных дополнений. Эта часть кадра MPE-FEC называется таблицей данных приложения (ADT). Следующие 64 столбца кадра MPE-FEC зарезервированы для информации FEC кодов четности Рида-Соломона (RS) и называются таблицей данных RS (RSDT).
ADT может быть полностью или частично заполнена дейтаграммами. Оставшиеся столбцы, когда ADT частично заполнена, дополняются нулевыми байтами и называются столбцами дополнения. Дополнение также делается, когда в кадре MPE-FEC не остается места для заполнения следующей целой дейтаграммой. RSDT рассчитывается по каждой строке ADT, с использованием FEC кодов RS (255, 191). Фиг.5 иллюстрирует процедуру расчета RSDT.
Нет необходимости полностью рассчитывать все 64 столбца RSDT, и некоторые из крайних правых столбцов могут быть полностью отброшены, эта процедура называется выкалыванием. Добавленные и выколотые столбцы не посылаются в канал передачи.
Требования соответствия
Передающее устройство 1, такое как IP инкапсулятор, проверяет, что уровень занятости гипотетического FEC декодера 1.9 не выходит за границы требуемого размера буфера. Если необходимо, гипотетический FEC декодер 1.9 может контролировать потоковый генератор 1.0, чтобы изменять некоторые параметры, воздействующие на уровень занятости буфера. Например, гипотетический FEC декодер 1.9 может контролировать частоту и/или количество формируемых медиапакетов, частоту и количество формируемых ремонтных пакетов и/или расписание передачи медиапакетов и ремонтных пакетов. Кроме того, передающее устройство 1 должно быть выполнено так, чтобы выходной сигнал гипотетического FEC декодера 1.9 соответствовал спецификациям медиаформатов для полезной нагрузки и декодирования.
В некоторых реализациях размер буфера декодирования может быть непостоянным и может меняться в соответствии с потребностями. Гипотетический FEC декодер 1.9 может определять необходимый размер буферизации для декодирования FEC. Этот определенный размер может затем быть указан приемному устройству 3, которое резервирует достаточный объем памяти для буферизации.
Гипотетический FEC декодер 1.9 может включать контроллер (не показан) для выполнения описанных выше операций, или контроллер 1.14 передающего устройства может быть использован как контроллер гипотетического FEC декодера 1.9.
Когда применяется представленная модель буферизации, содержащая буферы многопротокольной декапсуляции и RTP декапсуляции, передающее устройство проверяет, чтобы любой разделенный по времени элементарный поток, переносящий IP потоки, соответствовал представленной модели буферизации и следующим требованиям.
Для любого элементарного потока уровень занятости буфера 612 многопротокольной декапсуляции не должен превышать значения первого параметра (А), указывающего первое количество байт.
Для любого IP потока, переносимого в элементарном потоке, выходные данные буфера RTP декапсуляции должны соответствовать спецификации медиаформата для декодирования.
Для любого IP потока, переносимого в элементарном потоке, уровень занятости буфера 613 RTP декапсуляции не должен превышать значения второго параметра (В) указывающего второе количество байт.
Значение первого параметра А и второго параметра В пропорциональны размеру кадра MPE-FEC. Определенный запас для сглаживания вариаций скорости передачи и интервал временного разделения должны быть учтены при определении значения второго параметра В.
Приемное устройство 3, такое как клиент цифрового телевизионного вещания DVB-H, должно быть способно принимать транспортный поток MPEG-2, находящийся в соответствии с гипотетическим FEC декодером 1.9.
Кроме того, когда приемное устройство 3 удовлетворяет требованиям декодирования транспортного потока пакетов MPEG-2, оно должно быть способно распаковывать и декодировать пакеты транспортного потока MPEG-2 и выводить декодированные данные с корректной скоростью.
Claims (20)
1. Способ буферизации пакетов медиапотока, включающий формирование передаваемых пакетов из по меньшей мере одного вида медиаинформации в потоковом генераторе; генерирование расписания передачи для передаваемых пакетов; выполнение первого гипотетического декодирования в соответствии с расписанием передачи, включая буферизацию передаваемых пакетов в соответствии с расписанием передачи в первом буфере гипотетического декодирования; и вывод пакетов из первого буфера гипотетического декодирования на базе кадра передачи; выполнение второго гипотетического декодирования, включая буферизацию пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; управление уровнем занятости первого буфера гипотетического декодирования так, чтобы он не превышал первого значения; и управление уровнем занятости второго буфера гипотетического декодирования так, чтобы он не превышал второго значения.
2. Способ по п.1, включающий управление по меньшей мере одним из следующего: работой потокового генератора; генерированием по меньшей мере одного кадра передачи; расписанием передачи.
3. Способ по п.1 или 2, включающий формирование данных для прямой коррекции ошибок на основе медиапакетов; формирование одного или более ремонтных пакетов на основе данных для прямой коррекции ошибок; включение по меньшей мере одного из ремонтных пакетов в пакеты для передачи.
4. Способ по п.1 или 2, включающий задание значения первичной буферизации для задержки второго гипотетического декодирования после ввода первого пакета во второй буфер гипотетического декодирования.
5. Способ по п.4, где второе гипотетическое декодирование, кроме того, включает удаление одного элементарного медиаблока из второго буфера гипотетического декодирования, когда значение первичной буферизации для задержки второго гипотетического декодирования истекает.
6. Способ по п.3, где размер буфера гипотетического декодирования заранее задан, при этом способ включает такое управление, чтобы уровень занятости буфера не превышал определенного значения, путем управления по меньшей мере одним из следующего: частотой формируемых медиапакетов, числом формируемых ремонтных пакетов и расписанием передачи медиапакетов и ремонтных пакетов.
7. Система для буферизации медиапотока для передачи, содержащая устройство для передачи и устройство для приема, в которой устройство для передачи включает потоковый генератор, конфигурированный для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока и для формирования передаваемых пакетов; и гипотетический декодер, конфигурированный для выполнения гипотетического декодирования в соответствии с расписанием передачи, включающий первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; устройство вывода пакетов из первого буфера гипотетического декодирования на базе кадра передачи; второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; при этом указанное устройство для передачи конфигурировано для управления уровнем занятости первого буфера гипотетического декодирования так, чтобы он не превышал первого значения, и управления уровнем занятости второго буфера гипотетического декодирования так, чтобы он не превышал второго значения.
8. Система по п.7, в которой указанный контроллер конфигурирован для управления уровнем занятости буфера путем управления по меньшей мере одним из следующего: работой потокового генератора; генерированием по меньшей мере одного кадра передачи; расписанием передачи.
9. Система по п.7 или 8, в которой указанный потоковый генератор включает первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока; генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов; второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи и планировщик для генерирования расписания передачи для передаваемых пакетов.
10. Система по п.7 или 8, включающая формирователь кода коррекции ошибок для формирования данных прямой коррекции ошибок на основе медиапакетов, при этом указанный второй формирователь пакетов конфигурирован для формирования одного или более ремонтных пакетов на основе данных прямой коррекции ошибок, где система конфигурирована так, чтобы включать по меньшей мере один ремонтный пакет в пакеты для передачи.
11. Система по п.7, включающая задание величины первичной буферизации для задержки второго гипотетического декодирования после ввода первого пакета во второй буфер гипотетического декодирования.
12. Система по п.11, где гипотетический декодер адаптирован к удалению одного элементарного медиаблока из второго буфера гипотетического декодирования, когда истекает величина первичной буферизации для задержки второго гипотетического декодирования.
13. Система по п.10, в которой размер буфера гипотетического декодирования заранее задан, при этом гипотетический декодер адаптирован для такого управления, чтобы уровень занятости буфера не превышал определенного значения, путем управления по меньшей мере одним из следующего: частотой формируемых медиапакетов, числом формируемых ремонтных пакетов и расписанием передачи медиапакетов и ремонтных пакетов.
14. Устройство для управления передачей, включающее буфер для буферизации медиапотока для передачи от указанного устройства приемному устройству, потоковый генератор, конфигурированный для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока и для формирования передаваемых пакетов; и гипотетический декодер, конфигурированный для выполнения гипотетического декодирования в соответствии с расписанием передачи, включающий первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; устройство вывода пакетов из первого буфера гипотетического декодирования на базе кадра передачи; второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; при этом указанное устройство для управления передачей конфигурировано для управления уровнем занятости первого буфера гипотетического декодирования так, чтобы он не превышал первого значения, и управления уровнем занятости второго буфера гипотетического декодирования так, чтобы он не превышал второго значения.
15. Устройство по п.14, в котором указанный контроллер конфигурирован для управления уровнем занятости буфера путем управления по меньшей мере одним из следующего: работой потокового генератора; генерированием по меньшей мере одного кадра передачи; расписанием передачи.
16. Устройство по п.14 или 15, в котором указанный потоковый генератор включает первый формирователь пакетов для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока; генератор кадра для генерирования по меньшей мере одного кадра передачи на базе передаваемых медиапакетов; второй формирователь пакетов для формирования передаваемых пакетов из по меньшей мере одного кадра передачи и планировщик для генерирования расписания передачи для передаваемых пакетов.
17. Сервер мультимедийной службы широкого/многоадресного вещания, включающий буфер для буферизации медиапотока для передачи от сервера приемному устройству, при этом сервер также включает потоковый генератор, конфигурированный для формирования медиапакетов из по меньшей мере одного вида медиаинформации медиапотока и для формирования передаваемых пакетов; и гипотетический декодер, конфигурированный для выполнения гипотетического декодирования в соответствии с расписанием передачи, включающий первый буфер гипотетического декодирования для буферизации передаваемых пакетов в соответствии с расписанием передачи; устройство вывода пакетов из первого буфера гипотетического декодирования на базе кадра передачи; второй гипотетический буфер для буферизации пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; при этом указанный сервер конфигурирован для управления уровнем занятости первого буфера гипотетического декодирования так, чтобы он не превышал первого значения, и управления уровнем занятости второго буфера гипотетического декодирования так, чтобы он не превышал второго значения; приемопередатчик для передачи пакетов приемному устройству.
18. Читаемый компьютером носитель, на котором записана компьютерная программа, включающая исполняемые шаги, выполняемые машиной для буферизации пакетов медиапотока путем формирования передаваемых пакетов из по меньшей мере одного вида медиаинформации в потоковом генераторе передающего устройства; генерирования расписания передачи для передаваемых пакетов; выполнении первого гипотетического декодирования в соответствии с расписанием передачи, включающего выполняемые машиной шаги для буферизации пакетов для передачи в соответствии с расписанием передачи в первом буфере гипотетического декодирования; и вывода пакетов из первого буфера гипотетического декодирования на базе кадра передачи; выполнения второго гипотетического декодирования, включающего буферизацию пакетов, сформированных на базе выходных данных первого буфера гипотетического декодирования; управление уровнем занятости первого буфера гипотетического декодирования так, чтобы он не превышал первого значения; и управление уровнем занятости второго буфера гипотетического декодирования так, чтобы он не превышал второго значения.
19. Читаемый компьютером носитель по п.18, в котором указанное управление включает исполняемые машиной шаги для управления по меньшей мере одним из следующего: работой потокового генератора; генерированием по меньшей мере одного кадра передачи; расписанием передачи.
20. Читаемый компьютером носитель по п.18 или 19, в котором указанное управление включает исполняемые машиной шаги для формирования данных прямой коррекции ошибок на базе медиапакетов; формирования одного или более ремонтных пакетов на базе данных прямой коррекции ошибок; включения по меньшей мере одного из ремонтных пакетов в передаваемые пакеты.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US66958005P | 2005-04-07 | 2005-04-07 | |
US60/669,580 | 2005-04-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2007140542A RU2007140542A (ru) | 2009-05-20 |
RU2369040C2 true RU2369040C2 (ru) | 2009-09-27 |
Family
ID=37073117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2007140542/09A RU2369040C2 (ru) | 2005-04-07 | 2006-04-05 | Буферизация при потоковой передаче данных |
Country Status (12)
Country | Link |
---|---|
US (1) | US7864805B2 (ru) |
EP (1) | EP1867079A4 (ru) |
KR (1) | KR20070114308A (ru) |
CN (1) | CN101151829A (ru) |
AU (1) | AU2006231216A1 (ru) |
BR (1) | BRPI0610404A2 (ru) |
CA (1) | CA2603883A1 (ru) |
MX (1) | MX2007012338A (ru) |
RU (1) | RU2369040C2 (ru) |
TW (1) | TW200706003A (ru) |
WO (1) | WO2006106185A1 (ru) |
ZA (1) | ZA200708516B (ru) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7447978B2 (en) * | 2004-11-16 | 2008-11-04 | Nokia Corporation | Buffering packets of a media stream |
US8260945B2 (en) * | 2005-11-16 | 2012-09-04 | ABSi Corporation | System and method for wirelessly broadcasting content from a core for receipt by a mobile client |
KR101419287B1 (ko) * | 2006-07-07 | 2014-07-14 | 삼성전자주식회사 | Ipdc 서비스를 제공하는 장치 및 방법 및 ipdc서비스를 처리하는 장치 및 방법 |
WO2008013528A1 (en) * | 2006-07-25 | 2008-01-31 | Thomson Licensing | Recovery from burst packet loss in internet protocol based wireless networks using staggercasting and cross-packet forward error correction |
KR101221913B1 (ko) * | 2006-12-20 | 2013-01-15 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
US7724780B2 (en) * | 2007-04-19 | 2010-05-25 | Cisco Technology, Ink. | Synchronization of one or more source RTP streams at multiple receiver destinations |
US20090007207A1 (en) * | 2007-06-29 | 2009-01-01 | Broadcom Corporation | Hardware-implemented handling of back-to-back and parallel time slices in a video broadcasting receiver |
CN100544447C (zh) * | 2007-07-11 | 2009-09-23 | 中兴通讯股份有限公司 | 一种移动多媒体广播业务数据流的传输方法 |
US8190750B2 (en) * | 2007-08-24 | 2012-05-29 | Alcatel Lucent | Content rate selection for media servers with proxy-feedback-controlled frame transmission |
US8358687B2 (en) * | 2007-09-07 | 2013-01-22 | Qualcomm Incorporated | Method and apparatus for receiving multiple simultaneous stream bursts with limited DVB receiver memory |
JP2011503919A (ja) * | 2007-09-24 | 2011-01-27 | ノキア コーポレイション | 階層化マルチキャストにおける符号化アプリケーションデータユニットの順序回復 |
WO2009150578A2 (en) | 2008-06-11 | 2009-12-17 | Koninklijke Philips Electronics N.V. | Synchronization of media stream components |
US20100011274A1 (en) * | 2008-06-12 | 2010-01-14 | Qualcomm Incorporated | Hypothetical fec decoder and signalling for decoding control |
US8453191B2 (en) * | 2008-09-19 | 2013-05-28 | Texas Instruments Incorporated | Method of broadcasting audio and video data over a time-slicing network, an audio and video data processor and a DVB-H system |
FR2937820B1 (fr) * | 2008-10-29 | 2011-01-07 | Enensys Technologies | Procede d'adaptation de debit dans un appareil de generation d'un flux de donnees video et appareil correspondant |
US8332365B2 (en) | 2009-03-31 | 2012-12-11 | Amazon Technologies, Inc. | Cloning and recovery of data volumes |
US20100312905A1 (en) * | 2009-06-08 | 2010-12-09 | Dov Sandmann | Sustaining Live Interactive Streaming |
CN102474384B (zh) * | 2009-07-15 | 2016-05-04 | 诺基亚技术有限公司 | 一种装置 |
KR101995221B1 (ko) | 2011-11-24 | 2019-07-16 | 삼성전자주식회사 | 통신 시스템에서 패킷 송수신 장치 및 방법 |
WO2013131561A1 (en) * | 2012-03-06 | 2013-09-12 | Appear Tv As | Method, device and system for packet transmission over ip networks |
US10356143B2 (en) * | 2012-10-10 | 2019-07-16 | Samsung Electronics Co., Ltd. | Method and apparatus for media data delivery control |
US9794135B2 (en) | 2013-11-11 | 2017-10-17 | Amazon Technologies, Inc. | Managed service for acquisition, storage and consumption of large-scale data streams |
US9471585B1 (en) * | 2013-12-20 | 2016-10-18 | Amazon Technologies, Inc. | Decentralized de-duplication techniques for largescale data streams |
US9785510B1 (en) | 2014-05-09 | 2017-10-10 | Amazon Technologies, Inc. | Variable data replication for storage implementing data backup |
US9734021B1 (en) | 2014-08-18 | 2017-08-15 | Amazon Technologies, Inc. | Visualizing restoration operation granularity for a database |
JP6706784B2 (ja) * | 2014-09-12 | 2020-06-10 | パナソニックIpマネジメント株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
US20170063495A1 (en) * | 2015-08-28 | 2017-03-02 | Red Sunrise Co., Ltd. | Audio signal transmission system and data processing method for enhancing data accuracy of the same |
US10567500B1 (en) | 2015-12-21 | 2020-02-18 | Amazon Technologies, Inc. | Continuous backup of data in a distributed data store |
US10423493B1 (en) | 2015-12-21 | 2019-09-24 | Amazon Technologies, Inc. | Scalable log-based continuous data protection for distributed databases |
US10853182B1 (en) | 2015-12-21 | 2020-12-01 | Amazon Technologies, Inc. | Scalable log-based secondary indexes for non-relational databases |
US10754844B1 (en) | 2017-09-27 | 2020-08-25 | Amazon Technologies, Inc. | Efficient database snapshot generation |
US10990581B1 (en) | 2017-09-27 | 2021-04-27 | Amazon Technologies, Inc. | Tracking a size of a database change log |
US11182372B1 (en) | 2017-11-08 | 2021-11-23 | Amazon Technologies, Inc. | Tracking database partition change log dependencies |
US11269731B1 (en) | 2017-11-22 | 2022-03-08 | Amazon Technologies, Inc. | Continuous data protection |
US11042503B1 (en) | 2017-11-22 | 2021-06-22 | Amazon Technologies, Inc. | Continuous data protection and restoration |
US10621049B1 (en) | 2018-03-12 | 2020-04-14 | Amazon Technologies, Inc. | Consistent backups based on local node clock |
US11126505B1 (en) | 2018-08-10 | 2021-09-21 | Amazon Technologies, Inc. | Past-state backup generator and interface for database systems |
US11042454B1 (en) | 2018-11-20 | 2021-06-22 | Amazon Technologies, Inc. | Restoration of a data source |
US11917206B2 (en) * | 2021-12-17 | 2024-02-27 | Lenovo (Singapore) Pte. Ltd. | Video codec aware radio access network configuration and unequal error protection coding |
US11947682B2 (en) | 2022-07-07 | 2024-04-02 | Netskope, Inc. | ML-based encrypted file classification for identifying encrypted data movement |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5461420A (en) * | 1992-09-18 | 1995-10-24 | Sony Corporation | Apparatus for coding and decoding a digital video signal derived from a motion picture film source |
US5619337A (en) * | 1995-01-27 | 1997-04-08 | Matsushita Electric Corporation Of America | MPEG transport encoding/decoding system for recording transport streams |
US5751336A (en) | 1995-10-12 | 1998-05-12 | International Business Machines Corporation | Permutation based pyramid block transmission scheme for broadcasting in video-on-demand storage systems |
US6700893B1 (en) * | 1999-11-15 | 2004-03-02 | Koninklijke Philips Electronics N.V. | System and method for controlling the delay budget of a decoder buffer in a streaming data receiver |
GB9930787D0 (en) * | 1999-12-30 | 2000-02-16 | Koninkl Philips Electronics Nv | Method and apparatus for convrerting data streams |
FI118830B (fi) | 2001-02-08 | 2008-03-31 | Nokia Corp | Tietovirran toisto |
GB2372657B (en) | 2001-02-21 | 2005-09-21 | Sony Uk Ltd | Signal processing |
US7532670B2 (en) * | 2002-07-02 | 2009-05-12 | Conexant Systems, Inc. | Hypothetical reference decoder with low start-up delays for compressed image and video |
MY134659A (en) | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
CN1751518B (zh) | 2003-02-18 | 2010-12-01 | 诺基亚有限公司 | 图像编码方法 |
JP2006518127A (ja) * | 2003-02-18 | 2006-08-03 | ノキア コーポレイション | ピクチャ復号化方法 |
SE0300832D0 (sv) * | 2003-03-25 | 2003-03-25 | Teracom Ab | Data Transmisson system |
US7266147B2 (en) * | 2003-03-31 | 2007-09-04 | Sharp Laboratories Of America, Inc. | Hypothetical reference decoder |
US7403660B2 (en) * | 2003-04-30 | 2008-07-22 | Nokia Corporation | Encoding picture arrangement parameter in picture bitstream |
US20040218669A1 (en) | 2003-04-30 | 2004-11-04 | Nokia Corporation | Picture coding method |
US20050201471A1 (en) | 2004-02-13 | 2005-09-15 | Nokia Corporation | Picture decoding method |
US20050254575A1 (en) | 2004-05-12 | 2005-11-17 | Nokia Corporation | Multiple interoperability points for scalable media coding and transmission |
US9124907B2 (en) | 2004-10-04 | 2015-09-01 | Nokia Technologies Oy | Picture buffering method |
US7447978B2 (en) * | 2004-11-16 | 2008-11-04 | Nokia Corporation | Buffering packets of a media stream |
-
2006
- 2006-04-05 BR BRPI0610404-5A patent/BRPI0610404A2/pt not_active IP Right Cessation
- 2006-04-05 WO PCT/FI2006/050128 patent/WO2006106185A1/en active Application Filing
- 2006-04-05 AU AU2006231216A patent/AU2006231216A1/en not_active Abandoned
- 2006-04-05 RU RU2007140542/09A patent/RU2369040C2/ru not_active IP Right Cessation
- 2006-04-05 CA CA002603883A patent/CA2603883A1/en not_active Abandoned
- 2006-04-05 CN CNA2006800107835A patent/CN101151829A/zh active Pending
- 2006-04-05 MX MX2007012338A patent/MX2007012338A/es not_active Application Discontinuation
- 2006-04-05 EP EP06725903A patent/EP1867079A4/en not_active Ceased
- 2006-04-05 KR KR1020077022599A patent/KR20070114308A/ko not_active Application Discontinuation
- 2006-04-06 US US11/400,748 patent/US7864805B2/en not_active Expired - Fee Related
- 2006-04-07 TW TW095112324A patent/TW200706003A/zh unknown
-
2007
- 2007-10-05 ZA ZA200708516A patent/ZA200708516B/xx unknown
Non-Patent Citations (1)
Title |
---|
Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, Study of Final Committee Draft of Joint Video Specification, * |
Also Published As
Publication number | Publication date |
---|---|
BRPI0610404A2 (pt) | 2012-01-10 |
EP1867079A4 (en) | 2009-12-09 |
EP1867079A1 (en) | 2007-12-19 |
CA2603883A1 (en) | 2006-10-12 |
RU2007140542A (ru) | 2009-05-20 |
US20060253600A1 (en) | 2006-11-09 |
WO2006106185A1 (en) | 2006-10-12 |
MX2007012338A (es) | 2007-11-23 |
TW200706003A (en) | 2007-02-01 |
KR20070114308A (ko) | 2007-11-30 |
ZA200708516B (en) | 2009-07-29 |
CN101151829A (zh) | 2008-03-26 |
AU2006231216A1 (en) | 2006-10-12 |
US7864805B2 (en) | 2011-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2369040C2 (ru) | Буферизация при потоковой передаче данных | |
TWI419565B (zh) | 緩衝媒體流之封包的方法、緩衝媒體流之系統、用於傳送之裝置與晶片組、伺服器、以及電腦程式產品 | |
US11805286B2 (en) | Apparatus and method for transmitting/receiving processes of a broadcast signal | |
JP4118617B2 (ja) | ストリームメディアに対する交渉方式の/動的なエラー訂正 | |
US8819714B2 (en) | Ratings and quality measurements for digital broadcast viewers | |
KR101722719B1 (ko) | 역방향의 강력한 헤더 압축 수신기 | |
RU2521466C2 (ru) | Способ и устройство для предоставления возможности быстрого переключения каналов при ограниченной памяти приемника dvb | |
US8010863B2 (en) | Method and apparatus for synchronizing multiple multimedia streams | |
KR20110117033A (ko) | 미디어 데이터를 송수신하기 위한 인터페이스 장치 및 방법 | |
CN106416154B (zh) | 用于在广播和通信系统中发送和接收分组的方法和装置 | |
US9918112B2 (en) | System and method for multiplexed streaming of multimedia content | |
KR102001014B1 (ko) | 차세대 지상파 방송 네트워크 장치, 송신 장치 및 패킷 전송방법 | |
CN101193290A (zh) | 一种mpeg-4的传输码流到互联网流媒体联盟流的实时转换系统 | |
US10440406B2 (en) | Method and apparatus for transmitting or receiving multimedia | |
JP6333969B2 (ja) | 放送送受信装置および放送送受信方法 | |
US9172914B1 (en) | Using EQAM video de-jitter memory for processing M-CMTS DEPI PSP priority queues | |
JP2002141944A (ja) | データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20100406 |