RU2516010C2 - Система многоканальной видеосвязи и способ обработки многоканальной видеосвязи - Google Patents

Система многоканальной видеосвязи и способ обработки многоканальной видеосвязи Download PDF

Info

Publication number
RU2516010C2
RU2516010C2 RU2011149387/07A RU2011149387A RU2516010C2 RU 2516010 C2 RU2516010 C2 RU 2516010C2 RU 2011149387/07 A RU2011149387/07 A RU 2011149387/07A RU 2011149387 A RU2011149387 A RU 2011149387A RU 2516010 C2 RU2516010 C2 RU 2516010C2
Authority
RU
Russia
Prior art keywords
digital stream
client device
stream
digital
truncation
Prior art date
Application number
RU2011149387/07A
Other languages
English (en)
Other versions
RU2011149387A (ru
Inventor
Чэньчэнь ГУ
Original Assignee
Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед filed Critical Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед
Publication of RU2011149387A publication Critical patent/RU2011149387A/ru
Application granted granted Critical
Publication of RU2516010C2 publication Critical patent/RU2516010C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone

Abstract

Изобретение относится к области видеосвязи, в частности к системе многоканальной видеосвязи и способу обработки такой связи. Техническим результатом является создание эффективной системы многоканальной видеосвязи, подходящей для разных условий в сети и терминалов с разной обрабатывающей способностью. Указанный технический результат достигается тем, что система многоканальной видеосвязи содержит: масштабируемый видеокодек, модуль усечения цифрового потока, сетевой модуль и модуль управления усечением многоканального цифрового потока. Масштабируемый видеокодек кодирует источник видеосигнала с обеспечением создания масштабируемого исходного цифрового видеопотока. Модуль усечения цифрового потока установлен между масштабируемым видеокодеком и сетевым модулем. Модуль усечения цифрового потока предназначен для усечения исходного цифрового видеопотока с получением окончательного цифрового видеопотока и передает этот поток удаленному клиенту через сетевой модуль. Модуль управления усечением многоканального цифрового потока соединен с модулем усечения цифрового потока и он рассчитывает параметр фильтрации каждого блока усечения цифрового потока в модуле усечения цифрового потока, согласно полученным сведениям о возможностях удаленного клиентского устройства и условиях в его сети. 2 н. и 12 з.п. ф-лы, 5 ил.

Description

Область техники
Настоящее изобретение относится к системе и способу видеосвязи, в частности, к системе многоканальной видеосвязи и способу обработки такой связи.
Уровень техники
По мере развития и роста популярности Интернета и беспроводной связи, многоканальная видеосвязь, включая многопользовательские видеоразговоры, видеоконференции, сетевые видеоигры и т.д., обеспечивает все более удобную и быструю связь между людьми, более широкие возможности для развлечений и поэтому становится все более популярной.
Поскольку при многоканальной видеосвязи многоканальная сеть может быть неоднородной и изменяющейся во времени, а терминалы (например, мобильные телефоны и персональные компьютеры) могут иметь разную обрабатывающую способность, необходимо, чтобы видеокодер мог создавать цифровой поток, удовлетворяющий разным требованиям и адаптирующийся к изменениям в условиях в сети. Кроме того, если количество пользователей, участвующих в видеосвязи, возрастает, объем передаваемых по сети данных соответствующим образом увеличивается и на терминалах также возрастает нагрузка по обработке. Поэтому важно надлежащим образом выделять полосы пропускания для многоканальной видеосвязи для достижения оптимального качества видеосвязи при ограниченных ресурсах полосы пропускания.
При обычной видеосвязи в каждом участвующем в ней клиентском устройстве имеется видеокодек. Параметры кодирования кодека настраиваются для кодирования и декодирования видеосигнала в соответствии с условиями в сети и обрабатывающей способностью терминала среднестатистического пользователя или большинства пользователей. Исходные видеоданные кодируются для создания одного цифрового потока с определенным качеством видеосигнала после декодирования. Этот поток широковещательно передается всем пользователям, участвующим в видеосвязи. От одного источника видеосигнала все пользователи получают видеосигналы одинакового качества. Недостатки обычной технологии очевидны - невозможность адаптироваться к разной обрабатывающей способности терминалов и разным условиям в сети. Для пользователя с относительно хорошими условиями в сети (например, с относительно большой полосой пропускания) или с терминалом с хорошей обрабатывающей способностью (например, способным обрабатывать изображения с высоким разрешением, которые не могут обрабатываться большинством терминалов) ресурсы (полоса пропускания сети или обрабатывающая способность устройства) используются неполностью и качество видеосвязи неоптимально. Для пользователя с относительно плохими условиями в сети (например, с относительно маленькой полосой пропускания или большим трафиком) или с терминалом с плохой обрабатывающей способностью (например, способным обрабатывать изображения только с низким разрешением) видеосвязь может перегружать сеть (что приводит к долговременной буферизации видеопотока) или терминал не может выполнять надлежащую обработку (например, не может обеспечивать нормальное представление видеоизображений).
С учетом указанных выше проблем в каждом клиентском устройстве можно установить отдельный видеокодек для каждого канала подключения к этому устройству и корректировать параметры кодирования каждого видеокодека отдельно в соответствии с условиями в сети для каждого подключения и обрабатывающей способностью терминала, чтобы создавать и передавать цифровые потоки с разным качеством видеосигнала после декодирования для разных терминалов. Однако кодирование видеосигнала имеет высокую вычислительную сложность и выделенный видеокодек необходимо настраивать для каждого терминала, подключаемого к клиентскому устройству Поэтому при увеличении количества видеосоединений будет заниматься много ресурсов обработки и потребляться очень много ресурсов памяти. В результате некоторые портативные устройства не смогут поддерживать многоканальную связь.
Сущность изобретения
Таким образом, в настоящем изобретении предложена система многоканальной видеосвязи, подходящая для разных условий в сети и разных терминалов.
Кроме того, в настоящем изобретении предложен способ обработки многоканальной видеосвязи, подходящий для разных условий в сети и разных терминалов.
Система многоканальной видеосвязи содержит:
масштабируемый видеокодек, предназначенный для кодирования источника видеосигнала с обеспечением создания масштабируемого исходного цифрового видеопотока и для передачи этого потока модулю усечения цифрового потока;
сетевой модуль, предназначенный для получения сведений о возможностях клиентского устройства и условиях в его сети, передачи этих сведений модулю усечения цифрового потока и передачи окончательного цифрового видеопотока, полученного модулем усечения цифрового потока, удаленному клиентскому устройству;
модуль усечения цифрового потока, предназначенный для передачи сведений о возможностях удаленного клиентского устройства и условиях в его сети модулю управления усечением многоканального цифрового потока, для усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, переданным модулем управления усечением многоканального цифрового потока, и для получения первого окончательного цифрового видеопотока и его передачи сетевому модулю;
модуль управления усечением многоканального цифрового потока, предназначенный для расчета параметра фильтрации каждого блока усечения цифрового потока в модуле усечения цифрового потока, согласно полученным сведениям о возможностях удаленного клиентского устройства и условиях в его сети, и для передачи этого параметра модулю усечения цифрового потока.
Способ обработки многоканальной видеосвязи содержит следующие этапы:
кодирование источника видеосигнала с получением масштабируемого исходного цифрового видеопотока;
получение сведений о возможностях удаленного клиентского устройства и условиях в его сети;
расчет параметра фильтрации в соответствии с указанными возможностями устройства и условиями в сети;
усечение исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству.
С помощью многоканальной системы видеосвязи с масштабируемым видеокодеком и благодаря масштабируемости цифрового потока обеспечивается адаптация к обрабатывающей способности разных терминалов и разному состоянию полосы пропускания сети, в результате чего достигается более высокая гибкость по сравнению с режимом широковещательной передачи одного обычного цифрового потока. При этом по сложности масштабируемое кодирование видеосигнала практически не отличается от обычного кодирования. Поэтому многоканальная система видеосвязи с масштабируемым видеокодеком намного проще многоканальной системы видеосвязи с несколькими обычными видеокодеками.
В примерах настоящего изобретения пороговое значение приоритета каждого блока усечения цифрового потока вычисляется в соответствии с обрабатывающей способностью терминала и состоянием полосы пропускания сети в реальном времени с использованием отношения приоритетов всех пакетов цифрового потока в группе изображений, определенной согласно расстоянию до текущего кадра кодирования. Следовательно, усечение цифрового потока выполняется в реальном времени и скорость передачи для него может надлежащим образом адаптироваться к требованиям полосы пропускания. Кроме того, с учетом характеристик искажения скорости многоканального цифрового потока видеосигналам нескольких трактов выделяется соответствующая полоса пропускания, что обеспечивает общее качество оптимизации подхода к многоканальной видеосвязи, благодаря чему повышается общее качество многопользовательской видеосвязи.
Краткое описание рисунков
На фиг.1 схематически показана структура цифрового потока в соответствии с масштабируемым кодированием видеосигнала (SVC - Scalable Video Coding) группы JVT.
На фиг.2 схематически показана структура системы, соответствующая первому варианту изобретения.
На фиг.3 показана блок-схема процедуры обработки многоканальной видеосвязи.
На фиг.4 показана блок-схема процедуры установки порогового значения приоритета.
На фиг.5 схематически представлена структура системы, соответствующая другому варианту изобретения.
Подробное описание изобретения
Масштабируемое кодирование видеосигнала- это схема кодирования, разработанная для гетерогенных сетей и множества терминалов, которая обеспечивает масштабирование цифрового потока в пространственной области, временной области и по качеству В многоканальной видеосвязи масштабируемость цифрового потока позволяет получать и передавать цифровой поток, лучше всего соответствующий возможностям удаленного клиентского устройства и условиям в его сети. В результате ресурсы полосы пропускания сети и обрабатывающая способность клиентского устройства используются надлежащим образом, и общее качество многопользовательской видеосвязи повышается.
Усовершенствованное кодирование видеосигнала (AVC - Advanced Video Coding) группы JVT, определенное на основе стандарта H.264 AVC, обеспечивает масштабируемость в пространственной области, временной области и по качеству, что будет описано ниже.
В отношении масштабируемости в пространственной области следует отметить, что, поскольку разные устройства имеют разную максимальную разрешающую способность для представления изображений, то для обеспечения масштабируемости в пространственной области для каждого кадра изображения в видеосигнале предусматривается несколько пространственных разрешений. Каждое пространственное разрешение соответствует определенному уровню, и разные уровни пространственного разрешения соответствуют разным разрешениям. Такое соответствие предусмотрено в основном для ситуаций, в которых экраны разных принимающих устройств имеют разные разрешения.
Масштабируемость во временной области достигается с помощью структуры иерархического кодирования В-изображений. Каждому кадру изображения назначается некоторый уровень временной области, и выполняется предсказание с компенсацией движения с использованием изображений более низких уровней временной области в качестве опорных кадров для изображений более высоких уровней временной области.
Иерархическое кодирование B-изображений - это схема кодирования, полностью соответствующая стандарту H.264/AVC. В ней используется пирамидный порядок кодирования. Согласно иерархическому кодированию В-изображений, если эти изображения, закодированные до кодирования определенного изображения, отображаются до отображения определенного изображения, это определенное изображение называется ключевым кадром. При использовании иерархического кодирования B-изображений первый кадр видеопоследовательности кодируется как I-кадр, а затем кодируются ключевые кадры. Ключевой кадр может кодироваться как I-кадр или как P-кадр, с использованием предыдущего ключевого кадра в качестве опорного изображения. Другие изображения в группе изображений кодируются с использованием кодирования B-кадров, но кодирование выполняется в пирамидном порядке. В качестве примера рассмотрим группу изображений, состоящую из восьми кадров. Первым кодируется 8-й кадр, затем - 4-й кадр и затем - 2-й и 6-й кадры. Наконец, кодируются 1-й, 3-й, 5-й и 7-й кадры. Пирамидный порядок кодирования обеспечивает масштабируемость во временной области (классификацию по времени). Все ключевые кадры формируют видеопоследовательность с самой большой степенью детализации в разрешении по времени. Разрешение по времени увеличивается с увеличением порядка кодирования изображений и в конечном счете получается видеопоследовательность с полным разрешением по времени.
Что касается масштабирования по качеству, то исходный видеосигнал кодируется для создания нескольких уровней качества цифрового потока. Эти уровни качества включают в себя уровень базового качества и несколько уровней повышенного качества. Уровнем качества цифрового потока для пространственного разрешения может быть уровень базового качества или один из нескольких уровней повышенного качества. Уровень базового качества включает в себя видеосигналы и является самым основным и наиболее важным уровнем качества. Получив информацию, содержащую уровень базового качества, принимающая сторона может обработать ее для получения изображения с базовым качеством (т.е. изображения, удовлетворяющего базовым требованиям для идентификации). Уровень повышенного качества содержит подробную информацию видеосигналов. Получив эту подробную информацию, принимающая сторона может обработать ее одновременно на уровнях базового и повышенного качества с получением изображения, характеризующегося более высоким качеством. Уровни повышенного качества получаются путем постепенного уменьшения длины блока квантификации. В результате качество изображений, получаемых путем декодирования уровня базового качества и уровней повышенного качества, постепенно повышается.
Для заданного пространственного разрешения в результате кодирования JVT SVC данные цифрового потока упаковываются с одним уровнем качества каждого кадра в пакет цифрового потока. На фиг.1 показана структура цифрового потока, содержащая два уровня пространственной области (уровни 0 и 1 для форматов QCIF (Quarter Common Intermediate Format) (176 пикселов × 144 пиксела) и CIF (352 пиксела × 288 пикселов) соответственно) и четыре уровня временной области (уровни 0-3 для частот кадров 3,75 кадров в секунду 7,5 кадров в секунду, 15 кадров в секунду, 30 кадров в секунду соответственно). Каждый пространственный уровень содержит три уровня качества.
Вариант 1
В многопользовательской видеосвязи одновременно участвуют по меньшей мере три пользователя в сети, взаимодействующие друг с другом через клиентские устройства системы многоканальной видеосвязи.
На фиг.2 показаны модули системы многоканальной видеосвязи. На этой фигуре локальное клиентское устройство 500 участвует в видеосвязи с N (N≥2) удаленными клиентскими устройствами.
Система многоканальной видеосвязи содержит масштабируемый видеокодек 100, модуль 200 усечения цифрового потока, состоящий из N блоков усечения цифрового потока, сетевой модуль 300, состоящий из N блоков подключения к сети, соединенных с N блоками усечения цифрового потока, и модуль 400 управления усечением многоканального цифрового потока, соединенный с N блоками усечения цифрового потока.
Масштабируемый видеокодек 100 выполнен с возможностью кодирования источника видеосигнала для создания масштабируемого исходного цифрового видеопотока, передачи этого потока модулю 200 усечения цифрового потока и декодирования цифрового видеопотока, получаемого сетевым модулем 300 от удаленного клиентского устройства для создания видеоизображения.
Сетевой модуль 300 выполнен с возможностью получения сведений о возможностях удаленного клиентского устройства и условиях в его сети, передачи этих сведений модулю 200 усечения цифрового потока, передачи окончательного цифрового видеопотока, полученного от модуля 200 усечения цифрового потока, удаленному клиентскому устройству и передачи цифрового видеопотока удаленного клиентского устройства масштабируемому видеокодеку 100.
Модуль 200 усечения цифрового потока выполнен с возможностью передачи сведений о возможностях удаленного клиентского устройства и условиях в его сети модулю 400 управления усечением многоканального цифрового потока, фильтрации исходного цифрового видеопотока в соответствии с параметром фильтрации, переданным модулем 400 управления усечением многоканального цифрового потока, получения окончательного цифрового видеопотока и передачи его сетевому модулю 300.
Модуль 200 усечения цифрового потока состоит из по меньшей мере двух блоков усечения цифрового потока, а сетевой модуль 300 - из по меньшей мере двух блоков подключения к сети.
Блоки усечения цифрового потока соединены с блоками подключения к сети по принципу «один к одному». Блок подключения к сети подключается к удаленному клиентскому устройству. Блок усечения цифрового потока фильтрует исходный цифровой видеопоток в соответствии с параметром фильтрации, предоставленным модулем 400 управления усечением многоканального цифрового потока, и получает окончательный цифровой видеопоток. Блок подключения к сети получает сведения о возможностях удаленного клиентского устройства и условиях в его сети и отправляет эти сведения блокам усечения цифрового потока, а также передает получаемый от удаленного устройства цифровой видеопоток масштабируемому видеокодеку или передает окончательный цифровой видеопоток локального клиентского устройства удаленному клиентскому устройству.
Модуль 400 управления усечением многоканального цифрового потока настраивает параметр фильтрации для усечения цифрового потока в соответствии с полученными сведениями о возможностях удаленного клиентского устройства и условиях в его сети и передает этот параметр модулю 200 усечения цифрового потока.
Модуль 400 управления усечением многоканального цифрового потока содержит блок 402 памяти и вычислительный блок 404. Блок 402 памяти служит для хранения данных параметра, связанного с фильтрацией. Вычислительный блок 404 предназначен для расчета параметра фильтрации для модуля 200 усечения цифрового потока в соответствии с возможностями устройства, условиями в сети и данными этого параметра.
Во время видеосвязи блок усечения цифрового потока и блок подключения к сети устанавливают для каждого удаленного клиентского устройства, чтобы обеспечить связь с ним.
Как видно из фиг.2, в соответствии с направлением потока данных локального клиентского устройства масштабируемый видеокодек 100 подключен к N блокам усечения цифрового потока (первому блоку 202 усечения цифрового потока, второму блоку 204 усечения цифрового потока, ……, N-му блоку 206 усечения цифрового потока). Первый блок 202 усечения цифрового потока подключен к первому блоку 302 подключения к сети, второй блок 204 усечения цифрового потока подключен ко второму блоку 304 подключения к сети, ……, N-й блок 206 усечения цифрового потока подключен к N-му блоку 306 подключения к сети. Первый блок 302 подключения к сети подключен к первому клиентскому устройству 502, второй блок 304 подключения к сети подключен ко второму клиентскому устройству 504, ……, N-й блок 306 подключения к сети подключен к N-му клиентскому устройству 506.
Все N блоков подключения к сети, входящие в сетевой модуль 300, соединены с видеокодеком 100.
Рассмотрим в качестве примера процесс от установления до разъединения соединения между локальным клиентским устройством 500 и первым удаленным клиентским устройством 502, показанными на фиг.2. Процедура обработки многоканальной видеосвязи с помощью системы многоканальной видеосвязи с описанной выше структурой проиллюстрирована на фиг.3. Она может включать в себя следующие процедуры.
На этапе S101 локальное клиентское устройство 500 выясняет, является ли первое удаленное клиентское устройство 502, с которым только что установлено соединение, первым клиентским устройством, установившим соединение с этим локальным клиентским устройством. Системе многоканальной видеосвязи локального клиентского устройства 500 требуется только один масштабируемый видеокодек 100. Поэтому если первое удаленное клиентское устройство 502 является первым устройством, установившим соединение, в локальном клиентском устройстве необходимо установить масштабируемый видеокодек 100. Если впоследствии другое клиентское устройство устанавливает соединение, устанавливать другой масштабируемый видеокодек 100 не требуется, так как используется существующий видеокодек. По этой причине при установлении каждым клиентским устройством соединения с локальным клиентским устройством выясняется, является ли это клиентское устройство первым подключаемым устройством.
На этапе S102 кодируют источник видеосигнала с получением масштабируемого исходного цифрового видеопотока. Масштабируемый видеокодек 100 кодирует источник видеосигнала по правилам JVT SVC с получением масштабируемого исходного цифрового видеопотока, т.е. цифрового потока с пакетами для различных уровней временной области, уровней пространственной области и уровней качества. В каждом пакете цифрового потока имеется идентификатор, представляющий данные пакета. Идентификаторы (т.е. данные пакетов цифрового потока) передаются в блок 402 памяти модуля 400 управления усечением многоканального цифрового потока и сохраняются в нем.
На этапе S103 принимают сведения о возможностях клиентского устройства и условиях в его сети. Рассмотрим в этой связи первый блок 302 подключения к сети, получающий сведения о возможностях устройства и условиях в его сети. Условия в сети могут включать в себя максимально доступную полосу пропускания восходящего канала локального клиентского устройства 500 и максимально доступную полосу пропускания нисходящего канала первого удаленного клиентского устройства 502. Возможности устройства могут включать в себя максимальное разрешение дисплея и максимальную частоту кадров первого удаленного клиентского устройства 502. Все эти сведения передаются первому блоку 202 усечения цифрового потока.
На этапе S104 выполняют настройку параметра фильтрации в соответствии с возможностями устройства и условиями в сети. В частности, параметр фильтрации первого блока 202 усечения цифрового потока настраивают в соответствии с возможностями и условиями в сети клиентского устройства 502, подключенного к этому блоку Пакеты цифрового потока, не удовлетворяющие условию, заданному параметром фильтрации, не проходят через первый блок 202 усечения цифрового потока. Подробно процедура фильтрации пакетов будет рассмотрена ниже при описании этапов S402-S410.
На этапе S105 путем фильтрации исходного цифрового видеопотока в соответствии с параметром фильтрации получают окончательный цифровой видеопоток, направляемый удаленному клиентскому устройству. После определения, параметра фильтрации первый блок 202 усечения цифрового потока выполняет усечение исходного цифрового видеопотока, получает окончательный цифровой видеопоток и направляет его первому удаленному клиентскому устройству 502 через первый блок 302 подключения к сети.
На этапе S106 выясняют, выключено ли удаленное клиентское устройство. После выключения первого удаленного клиентского устройства 502 первый блок 202 усечения цифрового потока и первый блок 302 подключения к сети, выделенные для этого клиентского устройства, больше не требуются. Поэтому они отключаются для освобождения занятых ресурсов. Если обнаруживается, что первое удаленное клиентское устройство 502 выключено, выполняют этап S109, а в противном случае - этап S107.
На этапе S107 выясняют, выключено ли локальное клиентское устройство 500. При отсутствии необходимости в видеосвязи локальное клиентское устройство 500 выключается и ресурсы, занятые всеми участвовавшими в обеспечении связи модулями, также освобождаются. Если обнаруживается, что локальное клиентское устройство 500 выключено, выполняют этап S110, а в противном случае - этап S108.
Этапы S107 и S106 могут выполняться параллельно или один за другим.
На этапе S108 спустя некоторое время проверяют условия в сети. Поскольку условия в сети нестабильны, при их изменении необходимо корректировать параметр фильтрации. Поэтому для своевременного выяснения условий в сети первого удаленного клиентского устройства 502 их требуется проверять через определенные интервалы времени.
На этапе S109 соответствующие блок подключения к сети и блок усечения цифрового потока отключаются. Когда первое удаленное клиентское устройство 502 завершает видеосвязь, первый блок 302 подключения к сети и первый блок 202 усечения цифрового потока отключаются.
На этапе S110 отключаются сетевой модуль и блок усечения цифрового потока. Когда локальное клиентское устройство 500 выключается, видеосоединения со всеми удаленными клиентскими устройствами разъединяются. Следовательно, все модули 200 усечения цифрового потока и сетевые модули 300, участвовавшие в видеосвязи, больше не требуются и поэтому отключаются для освобождения занятых ресурсов системы. Затем выполняют этап S112.
На этапе S111 проверяют наличие какого-либо клиентского устройства, подключенного к локальному клиентскому устройству 500. Если обнаруживается, что первое удаленное клиентское устройство 502 выключено, выясняется, является ли оно последним клиентским устройством. Если все подключенные удаленные клиентские устройства выключены, выполняют этап S112. В противном случае процедура обработки связи между локальным клиентским устройством 500 и первым удаленным клиентским устройством 502 завершается.
На этапе S112 отключается масштабируемый видеокодек 100 и обработка видеосвязи завершается.
На этапе S104 получение адаптивного цифрового потока обеспечивается усечением цифрового потока в реальном времени, т.е. путем настройки параметра фильтрации в реальном времени. Таким образом, настоящее изобретение предоставляет способ вычисления порогового значения приоритета для каждого блока усечения цифрового потока в соответствии с приоритетами всех пакетов цифрового потока, расположенных относительно текущего кадра кодирования на расстоянии, не превышающем размер группы изображений. После получения порогового значения приоритета с использованием описанного выше способа пакеты цифрового потока с приоритетом выше порогового значения проходят через блок усечения цифрового потока и передаются, а пакеты цифрового потока с приоритетом ниже порогового значения не проходят через этот блок. Здесь группа изображений состоит из кадров, расположенных между ключевым кадром и предыдущим ключевым кадром.
В блоке 402 памяти модуля 400 усечения многоканального цифрового потока хранится циклическая очередь данных всех пакетов цифрового потока в последней группе изображений. Данные каждого пакета цифрового потока включают в себя приоритет pk, уровень временной области tk, уровень пространственной области sk и приращение скорости передачи Rk. Rk=lk×Fpsmax/GopSize для пакета k цифрового потока. Rk определяет приращение сетевых ресурсов для передачи пакета цифрового потока, lk - длина пакета k цифрового потока, Fpsmax - частота кадров, соответствующая максимальному уровню временной области, GopSize - число изображений, входящих в одну группу изображений.
Предположим, что в масштабируемом видеокодеке 100 локального терминала 500 имеется S уровней пространственной области и T уровней временной области. si представляет уровень пространственной области, соответствующий максимальному разрешению дисплея i-го клиентского устройства, подключенного к локальному клиентскому устройству, a fi - уровень временной области, соответствующий максимальной частоте кадров i-го клиентского устройства, подключенного к локальному клиентскому устройству Bup0 представляет максимально доступную полосу пропускания восходящего канала локального клиентского устройства, a B0i - максимально доступную полосу пропускания нисходящего канала локального клиентского устройства i. В процедуре вычисления порогового значения приоритета в модуле 400 управления усечением многоканального цифрового потока могут также храниться скорость передачи для каждого тракта усекаемых в настоящий момент цифровых потоков (т.е. текущая скорость передачи Ri), сумма скоростей передачи всех усекаемых в настоящий момент цифровых потоков (т.е. общая скорость передачи Rsum) и текущее пороговое значение приоритета каждого блока i усечения цифрового потока.
На этапе S104 параметром фильтрации является пороговое значение приоритета, используемое для выполнения фильтрации в соответствии с приоритетами пакетов цифрового видеопотока. Процесс настройки порогового значения приоритета в вычислительном блоке 404 представлен на фиг.4. Как видно из фигуры, этот процесс включает в себя следующие процедуры.
На этапе S402 данные пакетов цифрового потока, хранящиеся в циклической очереди блока 402 памяти, сортируют в порядке убывания приоритетов и пакетам цифрового потока назначают числовые индексы 0, 1, 2, … n, где n - количество пакетов цифрового потока в циклической очереди.
На этапе S404 все пакеты цифрового потока просматриваются всеми блоками усечения цифрового потока в порядке убывания приоритетов, т.е. в порядке возрастания индексов.
На этапе S406 проверяют выполнение условия обновления порогового значения приоритета. Условие обновления следующее:
s(Index)≤si, f(Index)≤fi, Ri+R(Index)≤B0i, Rsum+R(Index)≤Bup0
где s(Index), f(Index) и R(Index) - уровень пространственной области, частота кадров и приращение скорости передачи пакета цифрового потока с числовым индексом Index соответственно. Представленное выше условие обновления означает, что передача изображения с уровнем качества текущего пакета цифрового потока не превышает возможности подключенного клиентского устройства i, скорость передачи в восходящем направлении не превышает полосу пропускания восходящего канала локального клиентского устройства и скорость передачи в нисходящем направлении не превышает максимально доступную полосу пропускания нисходящего канала к подключенному клиентскому устройству i. Это означает, что пороговое значение приоритета можно уменьшить для передачи пакетов цифрового потока более высокого качества и более низкого приоритета. Если условие обновления выполнено, выполняют обработку согласно этапу S408, а в противном случае - согласно этапу S410.
На этапе S408 обновляют пороговое значение приоритета блока усечения цифрового потока, текущую скорость передачи и текущую общую скорость передачи:
Thresholdi=P(Index)
Ri=Ri+R(Index)
Rsum=Rsum+R(Index)
В качестве порогового значения приоритета устанавливают значение приоритета пакетов цифрового потока, удовлетворяющих в данный момент условию обновления. Новая текущая скорость передачи устанавливается равной сумме текущей скорости передачи и приращения скорости передачи, а новая текущая общая скорость передачи - сумме текущей общей скорости передачи и приращения скорости передачи.
На этапе S410 проверяют, все ли пакеты цифрового потока просмотрены всеми блоками усечения цифрового потока. Если да, процедура сравнения завершается; в противном случае происходит переход к блоку S404 для обработки другого пакета цифрового потока.
Поскольку видеопоследовательности в коротком интервале времени похожи по своему содержимому, приоритеты всех пакетов цифрового потока группы изображений в структуре иерархического кодирования В-изображений могут примерно отражать отношение приоритетов пакетов цифрового потока во всей видеопоследовательности. Следовательно, вычисление порогового значения приоритета каждого блока усечения цифрового потока на основе приоритетов всех пакетов цифрового потока, расположенных относительно текущего кадра кодирования на расстоянии в пределах размера группы изображений, не только обеспечивает получение цифрового потока в реальном времени, но и гарантирует точное соответствие скорости передачи усеченного цифрового потока требованиям к полосе пропускания и почти оптимальное качество видео.
Вариант 2
В этом варианте, помимо модулей, описанных применительно к варианту 1, в систему многоканальной видеосвязи входит также модуль 600 клиентских данных (см. фиг.5). Этот модуль содержит таблицу данных клиентских устройств. Он может получать коммуникационные данные удаленного клиентского устройства через сетевой модуль 300 и отправлять их модулю 400 управления усечением многоканального цифрового потока.
Таблица данных клиентских устройств содержит информацию по видеосвязи, например IP-адрес или сетевой физический адрес, максимальное разрешение, максимальную частоту кадров, максимальную полосу пропускания восходящего канала клиентского устройства и т.д.
После добавления указанной выше информации в таблицу данных клиентских устройств сведения о возможностях удаленного клиентского устройства можно получать разными способами. Когда удаленное клиентское устройство подключается к локальному клиентскому устройству, удаленному клиентскому устройству передается таблица данных локального клиентского устройства. Пока соединение не установлено, в таблице данных клиентских устройств локального клиентского устройства содержатся только данные терминала этого устройства. После установления соединения полученная таблица данных удаленного клиентского устройства и таблица данных локального клиентского устройства объединяются для получения новой таблицы данных клиентских устройств. Таким образом, касающиеся видеосвязи данные каждого клиентского устройства могут быть получены посредством запроса таблицы данных клиентских устройств перед передачей цифрового потока.
Процедура обработки многоканальной видеосвязи в варианте 2 аналогична процедуре обработки, описанной для варианта 1. Поэтому здесь она рассматриваться не будет.
Описанные выше варианты представляют только некоторые примеры реализации настоящего изобретения. Они рассмотрены подробно, но не ограничивают объем притязаний данного изобретения. Любая модификация, эквивалентная замена и улучшение, которые могут быть сделаны в рамках настоящего изобретения специалистами данной области техники, должны расцениваться как подпадающие под объем притязаний данного изобретения. Таким образом, объем притязаний настоящего изобретения ограничивается только пунктами приложенной формулы.

Claims (14)

1. Система многоканальной видеосвязи, содержащая:
масштабируемый видеокодек, предназначенный для кодирования источника видеосигнала с обеспечением создания масштабируемого исходного цифрового видеопотока и для передачи этого потока модулю усечения цифрового потока;
сетевой модуль, предназначенный для получения сведений о возможностях удаленного клиентского устройства и условиях в его сети, передачи этих сведений модулю усечения цифрового потока и передачи окончательного цифрового видеопотока, полученного модулем усечения цифрового потока, удаленному клиентскому устройству;
модуль усечения цифрового потока, предназначенный для передачи сведений о возможностях удаленного клиентского устройства и условиях в его сети модулю управления усечением многоканального цифрового потока, для усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, переданным модулем управления усечением многоканального цифрового потока, и для получения окончательного цифрового видеопотока и его передачи сетевому модулю;
модуль управления усечением многоканального цифрового потока, предназначенный для расчета параметра фильтрации каждого блока усечения цифрового потока в модуле усечения цифрового потока, согласно полученным сведениям о возможностях удаленного клиентского устройства и условиях в его сети, и для передачи этого параметра модулю усечения цифрового потока;
причем модуль управления усечением многоканального цифрового потока служит для сортировки данных пакетов цифрового потока в группе изображений в порядке убывания приоритетов; для назначения данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначаются меньшие числовые индексы; для просмотра каждым блоком усечения цифрового потока всех пакетов цифрового потока в порядке возрастания числовых индексов; для проверки выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети подключенного клиентского устройства; для установления порогового значения приоритета, равным значению приоритета пакета цифрового потока, удовлетворяющего в данный момент условию обновления, если определено, что условие обновления выполнено; для проверки, все ли пакеты цифрового потока обработаны, после просмотра всеми блоками усечения цифрового потока текущего пакета цифрового потока; для завершения обработки, если обработаны все пакеты цифрового потока; или для обработки другого пакета цифрового потока, если обработаны не все пакеты; и для передачи модулю усечения цифрового потока порогового значения приоритета в качестве параметра фильтрации.
2. Система по п.1, в которой модуль усечения цифрового потока содержит по меньшей мере два блока усечения цифрового потока, а сетевой модуль содержит по меньшей мере два блока подключения к сети;
причем указанные по меньшей мере два блока усечения цифрового потока соединены по принципу «один к одному» с указанными по меньшей мере двумя блоками подключения к сети, каждый из которых подключен к удаленному клиентскому устройству;
при этом блок усечения цифрового потока служит для блокирования пакетов цифрового потока, приоритет которых ниже порогового значения приоритета, вычисленного модулем управления усечением многоканального цифрового потока, и для получения окончательного цифрового видеопотока;
причем блок подключения к сети предназначен для получения сведений о возможностях удаленного клиентского устройства и условиях в его сети и для передачи этих сведений блоку усечения цифрового потока, а также для передачи окончательного цифрового видеопотока локального клиентского устройства удаленному клиентскому устройству.
3. Система по п.1 или 2, в которой модуль управления усечением многоканального цифрового потока содержит блок памяти и вычислительный блок, причем блок памяти предназначен для хранения данных, связанных с усечением цифрового потока, а вычислительный блок служит для расчета параметра фильтрации для каждого блока усечения цифрового потока в модуле усечения цифрового потока в соответствии с возможностями устройства, условиями в сети и данными этого параметра;
причем указанные данные, связанные с усечением цифрового потока, содержат по меньшей мере один из следующих компонентов: уровень приоритета, уровень временной области, уровень пространственной области, размер пакета цифрового потока, частота кадров, соответствующая максимальному уровню временной области, и количество изображений в группе изображений.
4. Система по п.1, содержащая также модуль клиентских данных, который служит для получения коммуникационных данных удаленного клиентского устройства через сетевой модуль и передачи этих данных модулю управления усечением многоканального цифрового потока;
причем модуль клиентских данных содержит таблицу с клиентскими данными, представляющими собой коммуникационные данные локального клиентского устройства и всех удаленных клиентских устройств, подключенных к этому локальному клиентскому устройству, при этом указанные коммуникационные данные содержат по меньшей мере один из следующих компонентов: IP-адрес, сетевой физический адрес, максимальное разрешение, максимальная частота кадров и максимальная полоса пропускания восходящего направления.
5. Система по п.3, содержащая также:
первый модуль, предназначенный для сортировки данных пакетов цифрового потока в блоке памяти в порядке убывания приоритетов и для назначения данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначаются меньшие числовые индексы;
при этом блок усечения цифрового потока предназначен также для просмотра всех пакетов цифрового потока в блоке памяти в порядке возрастания числовых индексов, для проверки выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети клиентского устройства, соответствующего этому блоку, и для обновления порогового значения приоритета, если условие обновления выполнено.
6. Способ обработки многоканальной видеосвязи, содержащий следующие этапы:
кодирование источника видеосигнала с получением масштабируемого исходного цифрового видеопотока;
получение сведений о возможностях удаленного клиентского устройства и условиях в его сети;
расчет параметра фильтрации в соответствии с указанными возможностями устройства и условиями в сети;
усечение исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству;
причем указанный этап расчета параметра фильтрации предусматривает:
сортировку данных пакетов цифрового потока в группе изображений в порядке убывания приоритетов пакетов цифрового потока; назначение данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначают меньшие числовые индексы;
просмотр каждым блоком усечения цифрового потока пакетов цифрового потока в порядке возрастания числовых индексов; проверку выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети подключенного клиентского устройства; установление порогового значения приоритета, равным значению приоритета пакета цифрового потока, удовлетворяющего в данный момент условию обновления, если определено, что условие обновления выполнено; проверку, все ли пакеты цифрового потока обработаны, после просмотра всеми блоками усечения цифрового потока текущего пакета цифрового потока;
завершение обработки, если обработаны все пакеты цифрового потока; или обработку другого пакета цифрового потока, если обработаны не все пакеты;
принятие полученного порогового значения приоритета в качестве параметра фильтрации.
7. Способ по п.6, в котором усечение исходного цифрового видеопотока в соответствии с параметром фильтрации предусматривает блокирование пакетов цифрового потока, приоритет которых ниже порогового значения приоритета.
8. Способ по п.7, в котором данные пакета цифрового потока содержат приоритет, уровень временной области, уровень пространственной области и приращение скорости передачи, причем способ предусматривает также при кодировании каждого кадра изображения добавление данных всех пакетов цифрового потока, соответствующих изображению, в циклическую очередь данных всех пакетов цифрового потока в группе изображений.
9. Способ по п.6, содержащий также следующие этапы: когда одно из удаленных клиентских устройств участвует в многоканальной видеосвязи, перед кодированием источника видеосигнала для создания масштабируемого исходного цифрового видеопотока выясняют, является ли это удаленное клиентское устройство первым устройством, подключаемым к локальному клиентскому устройству, если да, то создают масштабируемый видеокодек, в противном случае кодирование источника видеосигнала выполняют с помощью существующего масштабируемого видеокодека.
10. Способ по п.6, содержащий также следующие этапы: проверку, выключено ли локальное клиентское устройство после усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству;
отключение сетевого модуля, модуля усечения цифрового потока и масштабируемого видеокодека для завершения локальной многоканальной видеосвязи; либо продолжение многоканальной видеосвязи, проверку условий в сети через определенные интервалы и корректировку параметра фильтрации для усечения исходного цифрового видеопотока при обнаружении того, что локальное клиентское устройство не выключено.
11. Способ по п.6, содержащий также следующие этапы: проверку, выключено ли удаленное клиентское устройство после усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству;
отключение модуля подключения к сети и блока усечения цифрового потока, соответствующих удаленному клиентскому устройству, проверку наличия другого подключения, отключение масштабируемого видеокодека при обнаружении выключения удаленного клиентского устройства и отсутствия другого подключения; либо продолжение многоканальной видеосвязи, проверку условий в сети через определенные интервалы и корректировку параметра фильтрации для усечения исходного цифрового видеопотока при обнаружении выключения удаленного клиентского устройства и наличия другого подключения.
12. Способ по п.8, в котором указанный этап расчета параметра фильтрации включает:
сортировку данных пакетов цифрового потока в циклической очереди в порядке убывания приоритетов, назначение данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначают меньшие числовые индексы;
просмотр каждым блоком усечения цифрового потока всех пакетов цифрового потока в порядке возрастания числовых индексов; проверку выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети всех подключенных клиентских устройств; обновление порогового значения приоритета, если условие обновления выполнено, проверку, все ли пакеты цифрового потока обработаны, после просмотра всеми блоками усечения цифрового потока текущего пакета цифрового потока;
завершение обработки, если обработаны все пакеты цифрового потока, или обработку другого пакета цифрового потока, если обработаны не все пакеты.
13. Способ по п.12, в котором указанное условие обновления включает в себя:
уровень пространственной области текущего пакета цифрового потока не больше уровня пространственной области, соответствующего максимальному разрешению дисплея проверяемого клиентского устройства;
уровень временной области текущего пакета цифрового потока не больше уровня временной области, соответствующего максимальной частоте кадров проверяемого клиентского устройства;
скорость передачи в направлении проверяемого клиентского устройства, т.е. сумма текущей скорости передачи и приращения скорости передачи, не превышает максимально доступную полосу пропускания нисходящего канала проверяемого клиентского устройства;
текущая общая скорость передачи, т.е. сумма текущей общей скорости передачи и приращения скорости передачи, не превышает максимально доступную полосу пропускания восходящего канала локального клиентского устройства;
причем при одновременном выполнении перечисленных выше условий пороговое значение приоритета устанавливают равным значению приоритета текущего пакета цифрового потока, текущую скорость передачи устанавливают равной сумме текущей скорости передачи и приращения скорости передачи, и текущую общую скорость передачи устанавливают равной сумме текущей общей скорости передачи и приращения скорости передачи.
14. Способ по п.8 или 3, в котором приращение скорости передачи определяют по выражению Rk=lk×Fpsmax/GopSize, где lk - длина пакета k цифрового потока, Fpsmax - частота кадров, соответствующая максимальному уровню временной области, GopSize - число изображений, входящих в одну группу изображений.
RU2011149387/07A 2009-05-12 2010-05-06 Система многоканальной видеосвязи и способ обработки многоканальной видеосвязи RU2516010C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910039393.6 2009-05-12
CN2009100393936A CN101552913B (zh) 2009-05-12 2009-05-12 多路视频通讯系统及处理方法
PCT/CN2010/072488 WO2010130182A1 (zh) 2009-05-12 2010-05-06 多路视频通讯系统及处理方法

Publications (2)

Publication Number Publication Date
RU2011149387A RU2011149387A (ru) 2013-06-20
RU2516010C2 true RU2516010C2 (ru) 2014-05-20

Family

ID=41156851

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011149387/07A RU2516010C2 (ru) 2009-05-12 2010-05-06 Система многоканальной видеосвязи и способ обработки многоканальной видеосвязи

Country Status (6)

Country Link
US (1) US8890930B2 (ru)
CN (1) CN101552913B (ru)
BR (1) BRPI1013734B1 (ru)
MX (1) MX2011012029A (ru)
RU (1) RU2516010C2 (ru)
WO (1) WO2010130182A1 (ru)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552913B (zh) * 2009-05-12 2011-07-06 腾讯科技（深圳）有限公司 多路视频通讯系统及处理方法
CN102238066B (zh) * 2010-04-27 2014-06-04 杭州华三通信技术有限公司 实时上报流量的方法、媒体终端及系统
WO2013000125A1 (en) * 2011-06-28 2013-01-03 Nokia Corporation Method and apparatus for live video sharing with multimodal modes
CN103200399B (zh) * 2012-01-04 2016-08-31 北京大学 基于可伸缩视频编码的控制视频质量波动的方法及装置
US8806529B2 (en) 2012-04-06 2014-08-12 Time Warner Cable Enterprises Llc Variability in available levels of quality of encoded content
CN104782119B (zh) * 2012-09-17 2018-05-18 谷歌有限责任公司 带宽降低系统和方法
US10034008B2 (en) 2013-03-06 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering
US9210444B2 (en) * 2013-03-15 2015-12-08 Sri International Method and apparatus for vision and network guided prefiltering
GB2514543B (en) 2013-04-23 2017-11-08 Gurulogic Microsystems Oy Server node arrangement and method
CN103338355A (zh) * 2013-06-17 2013-10-02 广东新视野信息科技有限公司 一种3g航空腹舱视频监控方法
US9344218B1 (en) 2013-08-19 2016-05-17 Zoom Video Communications, Inc. Error resilience for interactive real-time multimedia applications
CN103747077B (zh) * 2013-12-31 2017-07-14 华为技术有限公司 一种传输机制调整方法和服务端、客户端
DE102014012355A1 (de) * 2014-08-25 2016-02-25 Unify Gmbh & Co. Kg Verfahren zur Steuerung einer Multimedia-Anwendung, Softwareprodukt und Vorrichtung
CN104159107B (zh) * 2014-09-04 2017-09-29 上海航天电子通讯设备研究所 多通道视频信号的静态图像编码方法
CN105376595A (zh) * 2015-12-17 2016-03-02 杭州雄迈信息技术有限公司 一种视频混合编码系统和方法
CN105681826B (zh) * 2016-01-08 2019-08-23 全时云商务服务股份有限公司 视频数据传输系统和方法以及视频数据解码方法
KR102160621B1 (ko) * 2016-09-20 2020-09-29 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 디스플레이 매핑
CN107968768A (zh) * 2016-10-19 2018-04-27 中兴通讯股份有限公司 媒体流的发送、接收方法及装置、系统、视频中继
CN108093197B (zh) * 2016-11-21 2021-06-15 阿里巴巴集团控股有限公司 用于信息分享的方法、系统及机器可读介质
CN108206924A (zh) * 2016-12-20 2018-06-26 展讯通信（上海）有限公司 多路视频通话的控制方法、装置及多通终端
CN106878659B (zh) * 2017-03-08 2019-11-29 威盛电子股份有限公司 视频会议系统以及服务器
CN107332818B (zh) * 2017-05-18 2020-10-30 西安万像电子科技有限公司 媒体数据的处理方法、装置和系统、存储介质及处理器
EP3493535B1 (en) * 2017-11-29 2020-09-09 Mitsubishi Electric R & D Centre Europe B.V. Method for controlling a video encoder of a video camera installed on a moving conveyance
CN111314738A (zh) * 2018-12-12 2020-06-19 阿里巴巴集团控股有限公司 数据传输方法和装置
CN110139113B (zh) * 2019-04-30 2021-05-14 腾讯科技（深圳）有限公司 视频资源的传输参数分发方法及装置
CN111405231B (zh) * 2020-03-03 2021-10-15 浙江华创视讯科技有限公司 视频会议方法、装置、设备和计算机可读存储介质
CN115208862A (zh) * 2022-07-12 2022-10-18 厦门立林科技有限公司 云对讲视频传输控制方法及云对讲视频装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2284671C2 (ru) * 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
CN101365125A (zh) * 2008-09-27 2009-02-11 腾讯科技（深圳）有限公司 多路视频通信方法与系统
EP2051525A1 (en) * 2007-10-15 2009-04-22 Mitsubishi Electric Information Technology Centre Europe B.V. Bandwidth and content dependent transmission of scalable video layers

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9817292D0 (en) * 1998-08-07 1998-10-07 Nokia Mobile Phones Ltd Digital video coding
US7103668B1 (en) * 2000-08-29 2006-09-05 Inetcam, Inc. Method and apparatus for distributing multimedia to remote clients
EP1454250A4 (en) 2001-12-15 2010-08-25 Thomson Licensing SYSTEM AND METHOD FOR MODIFYING A VIDEO DATA FLOW BASED ON A CLIENT OR NETWORK ENVIRONMENT
US20030135863A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Targeted scalable multicast based on client bandwidth or capability
US20050165849A1 (en) * 2003-08-05 2005-07-28 G-4, Inc. Extended intelligent video streaming system
US7535484B2 (en) * 2005-03-14 2009-05-19 Sony Ericsson Mobile Communications Ab Communication terminals that vary a video stream based on how it is displayed
EP1869891A4 (en) 2005-04-13 2014-06-11 CODING, STORAGE AND SIGNALING OF SCALABILITY INFORMATION
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7593032B2 (en) * 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
CN101043618B (zh) 2006-03-24 2010-04-07 腾讯科技（深圳）有限公司 一种在多路视频通讯中控制帧率的装置和方法
US7764965B2 (en) * 2007-04-10 2010-07-27 Microsoft Corporation Dynamically changing service characteristics based on device and network connectivity attributes
US8300556B2 (en) * 2007-04-27 2012-10-30 Cisco Technology, Inc. Optimizing bandwidth in a multipoint video conference
US8345083B2 (en) * 2007-07-31 2013-01-01 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
WO2009032214A2 (en) * 2007-08-29 2009-03-12 The Regents Of The University Of California Network and device aware video scaling system, method, software, and device
CN101552913B (zh) 2009-05-12 2011-07-06 腾讯科技（深圳）有限公司 多路视频通讯系统及处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2284671C2 (ru) * 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
EP2051525A1 (en) * 2007-10-15 2009-04-22 Mitsubishi Electric Information Technology Centre Europe B.V. Bandwidth and content dependent transmission of scalable video layers
CN101365125A (zh) * 2008-09-27 2009-02-11 腾讯科技（深圳）有限公司 多路视频通信方法与系统

Also Published As

Publication number Publication date
MX2011012029A (es) 2011-12-12
BRPI1013734A2 (pt) 2016-04-05
WO2010130182A1 (zh) 2010-11-18
US20120050457A1 (en) 2012-03-01
BRPI1013734B1 (pt) 2021-07-20
CN101552913B (zh) 2011-07-06
CN101552913A (zh) 2009-10-07
US8890930B2 (en) 2014-11-18
RU2011149387A (ru) 2013-06-20

Similar Documents

Publication Publication Date Title
RU2516010C2 (ru) Система многоканальной видеосвязи и способ обработки многоканальной видеосвязи
CA2390715C (en) Method of transmitting layered video-coded information
CN102571526B (zh) 会场带宽的调整方法、装置、会议终端和媒体控制服务器
CN101742223B (zh) 视频流带宽智能调节方法
CN102239690B (zh) 用于拥塞控制的稳定视频速率适配
US8441517B2 (en) Data processing apparatus and method, and network system
CN102065302B (zh) 一种基于h.264的可伸缩视频编码方法
CN109068187B (zh) 实时流量传送系统和方法
EP1241837A1 (en) Transmitting/receiving method and device therefor
US20050244070A1 (en) Moving picture distribution system, moving picture distribution device and method, recording medium, and program
US20100158134A1 (en) Method and Apparatus for Contrained Variable Bit Rate (VBR) Video Encoding
US20070121720A1 (en) Image coding apparatus, image decoding apparatus and image processing system
WO2010037310A1 (zh) 多路视频通信方法与系统
WO2011142569A2 (en) Method and apparatus for transmitting and receiving layered coded video
WO2004077831A1 (ja) 映像伝送システム、映像送信装置、映像受信装置および映像伝送方法
CN105635636A (zh) 一种视频会议系统及其实现视频图像传输控制的方法
Qian et al. A QoE-driven encoder adaptation scheme for multi-user video streaming in wireless networks
Yao et al. IPB-frame adaptive mapping mechanism for video transmission over IEEE 802.11 e WLANs
Zhu et al. Distributed media-aware rate allocation for video multicast over wireless networks
Zhai et al. Joint source coding and packet classification for real-time video transmission over differentiated services networks
CN103347201A (zh) 集群系统组呼中的视频传输方法和视频传输系统
Chiang et al. Scalable video coding of H. 264/AVC video streaming with QoS-based active dropping in 802.16 e networks
WO2006135250A2 (en) Method for down-speeding in an ip communication network
Shan et al. Scalable video streaming with fine-grain adaptive forward error correction
Ramaboli et al. Improving H. 264 scalable video delivery for multi-homed terminals using multiple links in heterogeneous wireless networks