RU2420909C2 - Разделение потока данных - Google Patents
Разделение потока данных Download PDFInfo
- Publication number
- RU2420909C2 RU2420909C2 RU2008130421/09A RU2008130421A RU2420909C2 RU 2420909 C2 RU2420909 C2 RU 2420909C2 RU 2008130421/09 A RU2008130421/09 A RU 2008130421/09A RU 2008130421 A RU2008130421 A RU 2008130421A RU 2420909 C2 RU2420909 C2 RU 2420909C2
- Authority
- RU
- Russia
- Prior art keywords
- video information
- data stream
- blocks
- packets
- block
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Изобретение относится к способу и устройству для разделения потока данных на пакеты, причем упомянутый поток данных содержит блоки видеоинформации и блоки информации, не являющейся видеоинформацией. Техническим результатом является обеспечение пропускания транспортных потоков непосредственно по бытовой сети без демультиплексирования для повышения качества отображаемого потока видеоинформации. Указанный технический результат достигается тем, что предложен способ разделения потока данных на пакеты, которые содержат либо только блоки видеоинформации, либо только блоки информации, не являющейся видеоинформацией, которые перемежаются в структуре мультиплексированного потока, чтобы лучше способствовать повышению качества отображаемого потока видеоинформации с помощью метода решения задач планирования сетей, именуемого «задержкой I-кадров» (IFD), не вызывая при этом никаких искажений аудиоинформации, при этом разделяют поток данных на пакеты, которые содержат либо только блоки видеоинформации, либо только блоки информации, не являющейся видеоинформацией, путем осуществления разделения в потоке данных в том виде, в каком он пропускается, для завершения пакета и начала нового пакета. 5 н. и 8 з.п. ф-лы, 2 ил.
Description
Настоящее изобретение относится к способу и устройству для разделения потока данных на пакеты, причем упомянутый поток данных содержит блоки видеоинформации и блоки информации, не являющейся видеоинформацией. Изобретение также относится к компьютерной программе для осуществления способа, носителю записи, содержащему эту компьютерную программу, передатчику, содержащему устройство для разделения потока данных на пакеты, и способу передачи блоков видеоинформации и блоков информации, не являющейся видеоинформацией, содержащихся в потоке данных.
В реферате документа “Network-Adaptive High Definition MPEG-2 Streaming over IEEE 802.11a WLAN using Frame-based Piroritized Packetization”, и SangHoon Park, Seungjoo Lee и JongWon Kim (Networked Media Lab. Department of Information and Communication, Gwangju Institute of Science и technology (GIST), Gwangju, 500-712, KOREA) описано практическое воплощение адаптированного к сети формирования имеющих высокое разрешение (HD) потоков стандарта MPEG-2 по беспроводной локальной сети (WLAN), соответствующей стандарту 802.11а Института инженеров по электротехнике и радиоэлектронике (IEEE). Предложенная система адаптированного формирования потоков обеспечивает приоритетное пакетирование на основе кадров путем разработки средства синтаксического разбора транспортного потока (TS), соответствующего стандарту MPEG-2, в реальном масштабе времени. Это средство динамически осуществляет удаления пакетов на основе приоритетов в соответствии с состоянием сети, наблюдаемым посредством сквозного мониторинга.
Бытовые сети соединяют персональные компьютеры, телефоны и потребительские электронные устройства. Кабельная проводка обычно нежелательна, поэтому растет популярность беспроводных сетей и устройств. Недостатком беспроводной среды передачи является ее чувствительность к условиям передачи. Когда ширина полосы пропускания сети уменьшается и становится недостаточной для передачи всего потока, пакеты теряются, а влияние этого, например, на отображаемую видеоинформацию и аудиоинформацию становится и в самом деле губительным. Чтобы уменьшить или даже полностью устранить все эти нежелательные эффекты, предложены различные методы, характеризующиеся попытками принятия мер в связи с той частью информации, которая утрачивается. Одним из этих методов, касающихся потоков видеоинформации, является метод решения задач планирования сетей, именуемый «задержкой I-кадров» (IFD) (см. “Adaptive Scheduling of MPEG Video Frames during Real-Time Wireless Video Streaming”, S. Kozlov, P. van der Stok, и J. Lukkien, Proceedings of WoWMoM, июнь 13-16, 2005). IFD обуславливает удаление кадров видеоинформации, когда обнаруживается, что имеющаяся ширина полосы пропускания недостаточна для передачи всего потока видеоинформации. Это удаление делается таким образом, что первыми удаляются наименее важные кадры (B-кадры), вследствие чего значительно уменьшается появление искажений на стороне приемника, которые являются эффектом появляющихся в противном случае потерь (частей) более важных кадров (I- и P-кадров).
Однако потребительские электронные устройства обычно также имеют звуковую ассоциативную связь с потоком видеоинформации. Простое решение заключается в том, чтобы отправлять поток аудиоинформации отдельно от потока видеоинформации и применять IFD, например, только к потоку видеоинформации. Во время передачи аудиоинформации назначается более высокий приоритет, чем потоку видеоинформации, потому что люди чувствительнее к искажениям аудиоинформации. Однако в случае, когда мультимедийный контент попадает в дом посредством трансляции, например цифрового видеовещания (DVB), используемыми потоками, как правило, являются транспортные потоки стандарта MPEG-2, в которых блоки аудиоинформации и видеоинформации мультиплексированы совместно с некоторыми другими системными данными. Демультиплексирование транслируемых транспортных потоков с получением элементарных потоков аудиоинформации и видеоинформации перед пропусканием потоков по бытовой сети требует большей вычислительной мощности в бытовом шлюзе, кроме того, теряется дополнительная информация (например, субтитры). Следовательно, наилучшим вариантом было бы пропускание транспортных потоков непосредственно по бытовой сети без демультиплексирования.
Поэтому задача настоящего изобретения состоит в том, чтобы устранить вышеупомянутые ограничения.
Эта задача решается путем разделения упомянутого потока данных на пакеты, которые содержат либо только блоки видеоинформации, либо только блоки информации, не являющейся видеоинформацией, путем осуществления разделения в упомянутом потоке данных для завершения пакета и начала нового пакета.
Поток данных содержит блоки видеоинформации и блоки информации, не являющейся видеоинформацией, такие как блоки аудиоинформации и блоки данных, которые перемежаются в типичной структуре мультиплексированного потока. Таким образом, за счет разделения потока данных в том виде, в каком он пропускается, на пакеты, которые содержат только блоки видеоинформации или только блоки информации, не являющейся видеоинформацией, становится возможной раздельная работа с соответствующими блоками. Следовательно, можно улучшить отображаемый поток видеоинформации посредством IFD, не вызывая при этом появление каких-либо искажений аудиоинформации в потоке аудиоинформации. Воплощение настоящего изобретения предусматривает изменения только в передатчике потока данных, а приемники можно использовать стандартные.
Истинный смысл настоящего изобретения состоит в постижении сути и в реализации разделения потока данных на меньшие пакеты, чем обычно. За счет этого становится возможным получение пакетов, содержащих либо блоки видеоинформации, либо блоки информации, не являющейся видеоинформацией, с которыми можно работать по отдельности. Кроме того, выделяются также разные блоки видеоинформации, относящиеся к разным кадрам видеоинформации, для использования посредством IFD.
Вышеупомянутая задача также решается с помощью устройства для разделения потока данных на блоки видеоинформации и блоки информации, не являющейся видеоинформацией. Эта задача также решается с помощью компьютерной программы для осуществления способа, носителя записи, содержащего эту компьютерную программу, передатчика, содержащего устройство для разделения потока данных на пакеты, и способа передачи блоков видеоинформации и блоков информации, не являющейся видеоинформацией, содержащихся в потоке данных.
В предпочтительном варианте осуществления настоящего изобретения способ разделения упомянутого потока данных предусматривает выделение текущего блока для нового пакета, если только один из текущего блока и непосредственно предшествующего блока является блоком видеоинформации.
Мультиплексированный поток данных принимается в потоке блоков видеоинформации, аудиоинформации и данных. Начиная новый пакет назначением текущего блока этому пакету, если текущий блок или непосредственно предшествующий блок является блоком видеоинформации, тем самым осуществляют разделение с получением блоков видеоинформации или отделение их от блоков информации, не являющейся видеоинформацией.
В еще одном предпочтительном варианте осуществления настоящего изобретения, способ разделения упомянутого потока данных предусматривает выделение текущего блока для нового пакета, если количество блоков, уже выделенных для непосредственно предшествующего пакета, равно предварительно заданному количеству.
В сетях с коммутацией пакетов существуют правила для максимальных размеров пакетов, которые можно передавать через сетевые интерфейсы. Максимальный размер пакета в Ethernet составляет 1500 байт. При формировании потока в соответствии, например, с транспортным протоколом реального времени (RTP) заданы правила пакетирования блоков транспортных потоков общим размером 188 байт с получением блоков, соответствующих RTP (RTP-блоков). Обычный путь - взять 7 блоков транспортного потока и упаковать их в один пакет, соответствующий RTP (RTP-пакет), что дает размер полезной нагрузки, составляющий 1316 байт. Выделяя текущий блок для нового пакета, если количество блоков, уже выделенных для непосредственно предшествующего пакета, равно предварительно заданному количеству, можно гарантировать, что максимальный размер пакета не будет превышен никогда.
В еще одном предпочтительном варианте осуществления настоящего изобретения, способ разделения упомянутого потока данных предусматривает выделение текущего блока для нового пакета, если и текущий блок, и непосредственно предшествующий блок являются пакетами видеоинформации, но относятся к разным кадрам видеоинформации.
Пакет может содержать блоки, которые принадлежат нескольким кадрам, и если в разделяемом потоке данных надлежит применять IFD, то части многих кадров могут быть удалены одновременно, что обуславливает возможные искажения видеоинформации. Назначение разным пакетам блоков видеоинформации, которые принадлежат разным кадрам, уменьшает этот риск.
Дополнительные признаки и преимущества настоящего изобретения изложены в прилагаемой формуле изобретения, упоминание о которой приводится здесь для справок и к которой читатель теперь может обратиться непосредственно.
Теперь, лишь в качестве примера и со ссылками на прилагаемые чертежи, будут описаны предпочтительные варианты осуществления настоящего изобретения, при этом:
на фиг. 1 показаны три примера потока данных и границ пакета после применения способа разделения в соответствии с настоящим изобретением;
на фиг. 2 схематически показано решение с посылающим устройством в случаях посылающего устройства, работающего в соответствии с транспортным протоколом реального времени (посылающего RTP-устройства), и посылающего устройства, работающего в соответствии с протоколом управления передачей (посылающего TCP-устройства).
Возможны различные варианты осуществления настоящего изобретения. Сначала будет описан вариант осуществления для формирования потоков в соответствии с транспортным протоколом реального времени (протоколом RTP). Типичным путем в соответствии с известным уровнем техники является разделение потока данных на RTP-пакеты, содержащие семь блоков транспортного потока, такие как блоки видеоинформации (V-блоки), блоки аудиоинформации (А-блоки) и блоки данных (D-блоки) (см. позицию 1 на фиг. 1). Проблема, возникающая в связи с алгоритмом разделения этого типа, заключается в том, что когда применяют IFD (по поводу IFD - см. “Adaptive Scheduling of MPEG Video Frames during Real-Time Wireless Video Streaming”, S. Kozlov, P. van der Stok, и J. Lukkien, Proceedings of WoWMoM, июнь 13-16, 2005), удаляются все RTP-пакеты, а при заданной типичной структуре мультиплексированного транспортного потока, в которой пакеты аудиоинформации и видеоинформации перемещены, удаление RTP-пакета может привести к удалению аудиоинформации, а также данных. Кроме того, в одном RTP-пакете могут содержаться части многих кадров, так что может произойти удаление многих кадров (как важных, так и неважных) одновременно. Отметим, что обозначения, употребляемые на фиг. 1 для блоков V1-V4 видеоинформации, означают, что они принадлежат разным кадрам 1-4 видеоинформации.
Поэтому нужен другой алгоритм разделения, который описан ниже. Во время разделения текущий блок выделяется для нового пакета (иными словами, предшествующий RTP-пакет завершается), если удовлетворяется любой из следующих критериев.
1. Если только один из текущего блока и непосредственно предшествующего блока является блоком видеоинформации.
2. Если количество блоков, уже выделенных для непосредственно предшествующего пакета, равно предварительно заданному количеству.
3. Если и текущий блок, и предшествующий блок являются блоками видеоинформации, но относятся к разным кадрам видеоинформации.
В случае RTP, показанном на фиг. 1, поток данных разделен на девять RTP-пакетов в соответствии с алгоритмом разделения. Для того чтобы проиллюстрировать каждый из критериев в алгоритме разделения, будут прокомментированы три разделения (3, 5 и 7). При разделении (3) текущим блоком является блок V1 видеоинформации, а непосредственно предшествующим блоком является блок А аудиоинформации, так что разделение проведено по первому критерию. Таким образом, блок А аудиоинформации завершает предшествующий пакет (в этом случае - содержащий только один блок), а блок V1 видеоинформации начинает новый пакет. Определение того, является ли блок транспортного потока блоком типа видеоинформации, аудиоинформации или данных, проводят просто путем считывания заголовка транспортного пакета каждого блока, в котором сохранен идентификатор пакета (PID).
Все следующие восемь блоков в потоке данных являются блоками V1 видеоинформации, а второй критерий гласит, что если количество блоков, уже выделенных для непосредственно предшествующего пакета, равно предварительно заданному количеству, в этом случае восьми, то проводят разделение (5), а текущий блок выделяется для нового пакета. Таким образом, предшествующий блок V1 видеоинформации завершает предшествующий пакет, а текущий блок V1 видеоинформации начинает новый пакет (в этом случае - содержащий только один блок видеоинформации). Следовательно, пакеты никогда не будут содержать более семи блоков.
При разделении (7) оба - текущий блок V4 и предшествующий блок V3 - являются блоками видеоинформации, но относятся они к разным кадрам 3 и 4 видеоинформации, так что разделение проведено в соответствии с третьим критерием. Таким образом, блок V3 видеоинформации завершает предшествующий пакет, а блок V4 видеоинформации начинает новый пакет. Определение того, начинает ли блок видеоинформации новый пакет, проводят путем сканирования на предмет наличия заголовков изображений стандарта MPEG в полезной нагрузке блоков видеоинформации. Заголовки изображений также дают информацию о важности кадров (I-, P- или B-кадров).
Результатом алгоритма разделения в соответствии с настоящим изобретением являются RTP-пакеты, которые представляют собой либо пакеты информации, не являющейся видеоинформацией, либо пакеты видеоинформации. В случае пакетов видеоинформации, в пределах одного RTP-пакета будут содержаться только части одного кадра. Это также означает, что будут доставлены RTP-пакеты, которые будут иметь размер, в среднем меньший, чем семь блоков транспортного потока. Это приводит к менее эффективному использованию ресурсов сети из-за меньших пакетов и тем самым вызывает некоторые накладные расходы во время передачи. По причинам эффективности RTP-пакеты должны быть как можно больше, так что обычно нет причин завершать пакеты слишком рано. Настоящее изобретение предполагает использование IFD, и при этом подлежащие обработке блоки видеоинформации приходится отделять от блоков информации, не являющейся видеоинформацией.
Один способ увеличения среднего размера пакетов, а значит и уменьшения накладных расходов, заключается в том, чтобы упаковывать блоки информации, не являющейся видеоинформацией, вместе с блоками видеоинформации I-кадров, если они соседствуют друг с другом. Поскольку блоки обоих типов обрабатываются с наивысшим приоритетом, такие пакеты удаляться не будут. На фиг. 1 для случая RTP показано, что если V1 является I-кадром, а за ним следует кадр А аудиоинформации, то разделение между V1 и А можно исключить.
Тогда RTP-пакеты, являющиеся результатом этого алгоритма разделения, можно помечать и передавать в средство планирования IFD. На фиг. 2 показано воплощение передатчика 18, работающего в соответствии с транспортным протоколом реального времени (RTP-передатчика). Можно идентифицировать несколько частей:
1) средство 10 считывания транспортного потока (TS), которое считывает транспортный поток из файла или из широковещательной трансляции;
2) средство 12 разделения и помечания транспортного потока в соответствии с транспортным протоколом реального времени (TS-RTP-устройство для разделения и помечания), которое разделяет транспортный поток на RTP-пакеты с помощью алгоритма разделения, поясненного выше, и создает RTP-заголовки; оно также помечает получаемые в результате RTP-пакеты, которые содержат блоки видеоинформации и блоки информации, не являющейся видеоинформацией, как являющиеся кадрами видеоинформации или кадрами информации, не являющейся видеоинформацией (т.е. кадрами аудиоинформации или данных) или кадрами видеоинформации (более конкретно B-, P- или I-кадрами);
3) посылающее средство 14, работающее в соответствии с транспортным протоколом реального времени (посылающее RTP- средство), которое посылает RTP-пакеты с надлежащим хронированием в средство 16 планирования IFD;
4) средство 16 планирования IFD, которое посылает пакеты по беспроводной сети и осуществляет удаление в соответствии с алгоритмом IFD, когда это необходимо; при IFD используются метки, присоединенные к пакетам, для определения того, какие пакеты надо исключить, когда ширина полосы пропускания сети оказывается недостаточной. Во избежание искажения аудиоинформации и потери системных данных, пакеты информации, не являющейся видеоинформацией, не удаляются никогда.
В реальности, средство 16 планирования IFD может быть установлено перед посылающим RTP-средством, как бывает в случае передатчика, работающего в соответствии с протоколом управления передачей (TCP-передатчика) (см. ниже).
В еще одном варианте осуществления изобретения, для формирования потоков используется протокол ТСР. Преимущество ТСР состоит в том, что этот протокол обеспечивает механизм борьбы с перегрузкой и сквозную обратную связь касаемо полосы пропускания между отправителем и получателем, независимые от топологии сети (наличия проводных или беспроводных транзитных участков). Поверх ТСР можно воплотить формирование потоков на основе протокола передачи гипертекста (НТТР). Недостаток заключается в том, что требования в отношении режима реального времени не учитываются. Благодаря механизму повторной передачи в соответствии с TCP, в случае потерь пакетов поток будет замедляться, когда может произойти срыв ввода (например, из файла) или если нельзя сорвать поток (например, в случае прямой трансляции), буферы будут переполняться и будут происходить потери, приводящие к искажениям. На фиг. 2 показан предлагаемый ТСР-передатчик 28. Он состоит из следующих компонентов:
1) средство 20 считывания транспортного потока (TS);
2) средство 22 разделения и помечания, работающее в соответствии с транспортным протоколом управления передачей (TS-ТСР-устройство для разделения и помечания). Этот компонент аналогичен TS-RTP-средству для разделения и помечания, показанному на фиг. 2, но с той большой разницей, появляется возможность создавать фрагменты длиной более семи блоков транспортного потока (см. случай ТСР на фиг. 1), потому что ТСР обеспечивает автоматическое разделение больших фрагментов на меньшие пакеты;
3) средство 24 планирования IFD. Это средство планирования будет помещать пакеты в буфер посылки с надлежащим хронированием. Оно также применяет IFD путем удаления кадров из этого буфера, если тот оказывается заполненным, что свидетельствует о недостаточной ширине полосы пропускания сети;
4) посылающее средство, работающее в соответствии с протоколом управления передачей (посылающее ТСР-средство). Этот компонент пытается как можно скорее посылать пакеты, находящиеся в буфере посылки, в сеть с использованием ТСР.
Теперь следует отметить место нахождения средства 24 планирования IFD, которое отличается от решения, предусматривающего использование RTP. Причина заключается в том, что кадры приходится удалять до того, как они попадают на уровень ТСР (в посылающем ТСР-средстве 26), в противном случае ТСР запросит повторную передачу удаленных кадров и удаление не поможет. Посылающее ТСР-средство 26 будет замедлять свою работу, когда возникает перегрузка сети, вызывая заполнение буфера посылки. В такой момент, средство 24 планирования IFD может обнаружить это и провести удаление кадров.
И RTP- средство 12 разделения, и ТСР-средство 22 разделения содержит средство синтаксического разбора и буфер (не показаны). Средства 12, 22 разделения будут проводить разбор поступающих блоков транспортных потоков, чтобы можно было увидеть, являются ли эти блоки блоками видеоинформации или информации, не являющейся видеоинформацией, и найти границы кадров видеоинформации, и будут сохранять их, записывая в буфер. Буфер должен быть достаточно большим, чтобы хранить максимально возможные семь блоков транспортных потоков.
Отметим также, что поскольку базовый алгоритм планирования IFD остался неизменным, воплощение средства планирования IFD можно использовать в системе, поддерживающей и формирование транспортных потоков, и формирование элементарных потоков. Последнее, в частности, полезно для организации потоков DVD-контента (после демультиплексирования с получением элементарных потоков видеоинформации и аудиоинформации).
Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалисты в данной области техники смогут разработать многие альтернативные варианты в рамках существа и объема прилагаемой формулы изобретения. Настоящее изобретение не ограничивается использованием IFD, оно также полезно во всех вариантах применения, которые требуют отделения блоков видеоинформации от блоков информации, не являющейся видеоинформацией, например, при других - помимо IFD - методах решения задач планирования сетей. Любые обозначения, заключенные в скобки и указанные в пунктах формулы изобретения, не следует считать ограничивающими пункт формулы изобретения. Слово «содержащий(ая, ее)» не исключает присутствие элементов или этапов, отличающихся от тех, которые перечислены в пункте формулы изобретения. Указание признаков единственного числа перед элементом не исключает присутствия множества таких элементов.
Claims (13)
1. Способ разделения потока данных на пакеты, причем этот поток данных содержит блоки видеоинформации и блоки информации, не являющейся видеоинформацией, которые перемежаются в структуре мультиплексированного потока, причем способ заключается в том, что разделяют поток данных на пакеты, которые содержат либо только блоки видеоинформации, либо только блоки информации, не являющейся видеоинформацией, путем осуществления разделения в потоке данных в том виде, в каком он пропускается, для завершения пакета и начала нового пакета.
2. Способ по п.1, в котором при разделении потока данных выделяют текущий блок для нового пакета, если только один из текущего блока и непосредственно предшествующего блока является блоком видеоинформации.
3. Способ по п.1, в котором при разделении потока данных выделяют текущий блок для нового пакета, если количество блоков, уже выделенных для непосредственно предшествующего блока, равно предварительно заданному количеству.
4. Способ по п.1, в котором при разделении потока данных выделяют текущий блок для нового пакета, если и текущий блок, и предшествующий блок являются блоками видеоинформации, но относятся к разным кадрам видеоинформации.
5. Способ по п.1, в котором поток данных представляет собой транспортный поток стандарта MPEG, который пропускается по бытовой сети без демультиплексирования.
6. Способ по п.1, в котором пакеты являются пакетами, соответствующими транспортному протоколу реального времени (RTR) или протоколу управления передачей (TCP).
7. Считываемый компьютером носитель записи, содержащий компьютерную программу, которой при ее исполнении компьютером осуществляется способ по п.1.
8. Устройство для разделения потока данных на пакеты, причем этот поток данных содержит блоки видеоинформации и блоки информации, не являющейся видеоинформацией, которые перемежаются в структуре мультиплексированного потока, при этом устройство выполнено с возможностью разделять поток данных на пакеты, которые содержат либо только блоки видеоинформации, либо только блоки информации, не являющейся видеоинформацией, путем осуществления разделения в потоке данных в том виде, в каком он пропускается, для завершения пакета и начала нового пакета.
9. Устройство по п.8, в котором разделение потока данных включает в себя выделение текущего блока для нового пакета, если только один из текущего блока и непосредственно предшествующего блока является блоком видеоинформации.
10. Устройство по п.8, в котором разделение потока данных включает в себя выделение текущего блока для нового пакета, если количество блоков, уже выделенных для непосредственно предшествующего блока, равно предварительно заданному количеству.
11. Устройство по п.8, в котором разделение потока данных включает в себя выделение текущего блока для нового пакета, если и текущий блок, и предшествующий блок являются блоками видеоинформации, но относятся к разным кадрам видеоинформации.
12. Передатчик, содержащий устройство для разделения потока данных на пакеты по п.8 и средства для передачи упомянутых пакетов.
13. Способ передачи блоков видеоинформации и блоков информации, не являющейся видеоинформацией, которые содержатся в потоке данных и перемежаются в структуре мультиплексированного потока, причем способ заключается в том, что разделяют поток данных на пакеты, которые содержат либо только блоки видеоинформации, либо только блоки информации, не являющейся видеоинформацией, путем осуществления разделения в потоке данных в том виде, в каком он пропускается, для завершения пакета и начала нового пакета, и передают упомянутые пакеты.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP05112883.3 | 2005-12-23 | ||
EP05112883 | 2005-12-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2008130421A RU2008130421A (ru) | 2010-01-27 |
RU2420909C2 true RU2420909C2 (ru) | 2011-06-10 |
Family
ID=38123752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2008130421/09A RU2420909C2 (ru) | 2005-12-23 | 2006-12-20 | Разделение потока данных |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080310451A1 (ru) |
EP (1) | EP1967006A2 (ru) |
JP (1) | JP5011308B2 (ru) |
CN (1) | CN101346995A (ru) |
RU (1) | RU2420909C2 (ru) |
WO (1) | WO2007072441A2 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2579992C2 (ru) * | 2011-07-28 | 2016-04-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Демультиплексирование пакетного транспортного потока |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100544439C (zh) * | 2006-11-21 | 2009-09-23 | 华为技术有限公司 | 一种支持多种编码格式的媒体数据的方法及系统 |
WO2009138656A2 (fr) * | 2008-04-29 | 2009-11-19 | France Telecom | Transmission d'un flux video code par codage hierarchique |
US8375139B2 (en) * | 2010-06-28 | 2013-02-12 | Canon Kabushiki Kaisha | Network streaming over multiple data communication channels using content feedback information |
TW201236470A (en) * | 2011-02-17 | 2012-09-01 | Acer Inc | Method for transmitting internet packets and system using the same |
EP2615790A1 (en) * | 2012-01-12 | 2013-07-17 | Alcatel Lucent | Method, system and devices for improved adaptive streaming of media content |
KR101861941B1 (ko) * | 2014-02-10 | 2018-07-02 | 돌비 인터네셔널 에이비 | 완벽 스플라이싱을 위한 인코딩된 오디오의 전송 스트림에의 삽입 |
US9917786B2 (en) * | 2014-06-27 | 2018-03-13 | Intel Corporation | Systems, methods, and devices to support intra-application flow prioritization |
EP3352461A4 (en) * | 2015-09-16 | 2019-03-06 | Sony Corporation | TRANSMISSION DEVICE, TRANSMISSION METHOD, REPRODUCTION DEVICE, AND REPRODUCTION METHOD |
US10645199B2 (en) * | 2018-01-22 | 2020-05-05 | Lattice Semiconductor Corporation | Multimedia communication bridge |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956088A (en) * | 1995-11-21 | 1999-09-21 | Imedia Corporation | Method and apparatus for modifying encoded digital video for improved channel utilization |
JP3516585B2 (ja) * | 1997-03-17 | 2004-04-05 | 松下電器産業株式会社 | データ処理装置及びデータ処理方法 |
US6680976B1 (en) * | 1997-07-28 | 2004-01-20 | The Board Of Trustees Of The University Of Illinois | Robust, reliable compression and packetization scheme for transmitting video |
US7031348B1 (en) * | 1998-04-04 | 2006-04-18 | Optibase, Ltd. | Apparatus and method of splicing digital video streams |
JP2001148853A (ja) * | 1999-03-12 | 2001-05-29 | Toshiba Corp | 動画像符号化装置および復号化装置 |
EP1035735A3 (en) * | 1999-03-12 | 2007-09-05 | Kabushiki Kaisha Toshiba | Moving image coding and decoding apparatus optimised for the application of the Real Time Protocol (RTP) |
US7916794B2 (en) * | 2001-04-28 | 2011-03-29 | Microsoft Corporation | System and process for broadcast and communication with very low bit-rate bi-level or sketch video |
US7274862B2 (en) * | 2001-09-27 | 2007-09-25 | Sony Corporation | Information processing apparatus |
AU2003302731A1 (en) * | 2002-11-27 | 2004-07-09 | Rgb Media, Inc. | Method and apparatus for time-multiplexed processing of multiple digital video programs |
CN1871800A (zh) * | 2003-01-09 | 2006-11-29 | 汤姆森许可贸易公司 | 将mpeg传输流映射到ip分组上进行wlan广播的方法和设备 |
US7483532B2 (en) * | 2003-07-03 | 2009-01-27 | Microsoft Corporation | RTP payload format |
US7860005B2 (en) * | 2004-01-30 | 2010-12-28 | Hewlett-Packard Development Company, L.P. | Methods and systems that use information about a frame of video data to make a decision about sending the frame |
ATE484157T1 (de) * | 2004-05-13 | 2010-10-15 | Qualcomm Inc | Synchronisierung von audio und video daten in einem drahtlosen nachrichtenübertragungssystem |
-
2006
- 2006-12-20 RU RU2008130421/09A patent/RU2420909C2/ru not_active IP Right Cessation
- 2006-12-20 JP JP2008546810A patent/JP5011308B2/ja not_active Expired - Fee Related
- 2006-12-20 CN CNA2006800489473A patent/CN101346995A/zh active Pending
- 2006-12-20 US US12/097,940 patent/US20080310451A1/en not_active Abandoned
- 2006-12-20 EP EP06842629A patent/EP1967006A2/en not_active Withdrawn
- 2006-12-20 WO PCT/IB2006/054972 patent/WO2007072441A2/en active Application Filing
Non-Patent Citations (1)
Title |
---|
SANGHOON PARK et al. Network-adaptive high definition MPEG-2 streaming over IEEE 802.11a WLAN using frame-based prioritized packetization, ACM WMASH, 2 September 2005, c.c.84-87. KIKUCHI et al. RTP Payload Format for MPEG-4 Audio/Visual Streams, 1 November 2000, Найдено в Интернет на URL:http://tools.ietf.org/html/rfc3016>. AVARO-FRANCE TELECOM et al. RTP Payload Format for MPEG-4 Streams, Internet Engineering Task Force, IETF, December 2000, найдено в Интернет на http://tools.ietf.org/html/draft-gentric-avt-mpeg4-singlesl-00. ЛОКШИН Б.А. Цифровое вещание от студии к телезрителю. - М.: Сайрус Системе, 2001, сс.82-87, 117-138. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2579992C2 (ru) * | 2011-07-28 | 2016-04-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Демультиплексирование пакетного транспортного потока |
Also Published As
Publication number | Publication date |
---|---|
EP1967006A2 (en) | 2008-09-10 |
JP2009521180A (ja) | 2009-05-28 |
WO2007072441A2 (en) | 2007-06-28 |
JP5011308B2 (ja) | 2012-08-29 |
RU2008130421A (ru) | 2010-01-27 |
CN101346995A (zh) | 2009-01-14 |
US20080310451A1 (en) | 2008-12-18 |
WO2007072441A3 (en) | 2007-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2420909C2 (ru) | Разделение потока данных | |
US11621984B2 (en) | Interface apparatus and method for transmitting and receiving media data | |
EP2424241B1 (en) | Method, device and system for forwarding video data | |
US8717897B2 (en) | Method and system for packet discard precedence for video transport | |
CN101729228B (zh) | 丢包抑制重传的方法、网络节点和系统 | |
KR102107514B1 (ko) | 방송 시스템에서 동적 큐 관리 방법 및 장치 | |
CA2936164C (en) | Communication apparatus, communication data generation method, and communication data processing method | |
US20110067072A1 (en) | Method and apparatus for performing MPEG video streaming over bandwidth constrained networks | |
Burza et al. | Adaptive streaming of MPEG-based audio/video content over wireless networks | |
EP2348730B1 (en) | Method, device and system for video stream transmission | |
US7720067B2 (en) | Data transfer apparatus and transfer control method | |
EP3096525A1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
KR101249613B1 (ko) | 비디오 스트리밍을 위한 네트워크 적응형 가변 스트림 계층화 장치 및 방법 | |
CN107483220B (zh) | 一种服务质量控制方法、装置及系统 | |
JP5213130B2 (ja) | データ配信システム、切替装置及びデータ配信方法 | |
JP2008301139A (ja) | 符号化画像に優先度を割り当てる映像データ送信装置、プログラム及び方法 | |
JP2003264820A (ja) | デジタル画像の配信方法及び配信装置ならびに受信装置 | |
WO2023168133A2 (en) | Packet wash of rtp aggregation packets in a video stream | |
Kang et al. | Adaptive streaming of combined audio/video content over wireless networks | |
Haywood | H264 data partitioned video streaming | |
CN102594775A (zh) | 流媒体传输方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20131221 |