RU2282946C2 - Способ передачи визуальной информации - Google Patents

Abstract

Изобретение относится к области технологий передачи информации, в частности, к Web-телевидению. Техническим результатом является повышение качества передаваемого изображения и снижение пропускной способности канала за счет его разделения на составляющие и раздельной передачи, а также обеспечение обратной связи, позволяющей оказывать влияние на содержание визуальной информации с клиентской стороны. Технический результат достигается тем, что при передаче визуальной информации между серверной стороной и клиентской стороной, снабженной программными средствами для обработки принятой информации, визуальную информацию, включающую в себя информацию переднего плана и информацию заднего плана, на серверной стороне разделяют на информации переднего и заднего планов, в процессе сеанса связи постоянно передают сформированный таким образом сигнал, а в случае изменения информации заднего плана, формируют и передают на клиентскую сторону сигнал изменения информации заднего плана, на основании которого на клиентской стороне восстанавливают визуальную информацию с помощью ЭВМ программными средствами. 29 з.п. ф-лы, 2 ил.

Description

Изобретение относится к области технологий передачи информации, а именно к области передачи визуальной информации, т.е. изображения и звука, в частности к Web-телевидению. Изобретение позволяет передавать визуальную информацию с помощью различных средств связи, в том числе через всемирную глобальную компьютерную сеть Интернет (Internet), локальные сети (например, Ethernet и т.п.).

В телевидении давно используется способ формирования визуальной информации (телевизионных сигналов или изображения), комбинируя два (или более) отдельных изображений, образующих в совокупности законченную в смысловом отношении сцену. Данного результата достигают с помощью использования рирпроекции (хромакей). При этом одно из изображений служит задним планом сцены (обычно задним планом сцены является рисунок, реже - анимация). Другое изображение является передним планом (обычно это изображение дикторов или актеров и иных объектов). Передний план снимают телевизионной (или видео) камерой на однородном контрастном фоне, создаваемом гладкой однотонной поверхностью, таким образом, максимальное различие отражающих свойств объекта и фона обеспечивается при использовании цветного фона (как правило, используют синий). Рирпроекция осуществляется быстродействующим электронным переключателем видеосигналов обоих изображений под действием так называемого силуэтного сигнала, сформировать который позволяет достаточное изменение уровня видеосигнала при переходе от фона к объекту. Переключение происходит в соответствии с силуэтом объекта таким образом, что внутри силуэта оказывается изображение объекта, а вне его - задний план сцены (в связи с этим для обозначения рирпроекции иногда применяют термин "инкрустация"). При помощи современной аппаратуры данную обработку производят с помощью ЭВМ (также существует возможность создания эффекта рирпроекции при помощи обычного персонального компьютера, на котором установлено соответствующее программное обеспечение). Затем оба сигнала суммируют, полученный сигнал, при необходимости, модулируют и передают в эфир. Таким образом, на приемной стороне не происходит какой-либо специальной обработки полученного сигнала, и его принимают, демодулируют и воспроизводят с помощью приемника телевизионных сигналов.

В описанной выше известной классической схеме оба изображения объединяют в телестудии, поэтому их транслирование в сеть без потери качества ничем не отличается от транслирования одного изображения и требует очень большой пропускной способности от соединения.

Задача, решаемая изобретением, заключается в повышении качества передаваемого изображения за счет его разделения на составляющие и раздельной передачи или в снижении требуемой пропускной способности канала.

Поставленная задача решается за счет того, что передачу визуальной информации осуществляют между передающей - серверной стороной и приемной - клиентской стороной, клиентскую сторону до передачи визуальной информации снабжают программными средствами для ЭВМ, предназначенными для обработки принятой информации, при этом на передающей, то есть серверной, стороне визуальную информацию, включающую в себя информацию переднего плана и информацию заднего плана, разделяют на информацию переднего плана и информацию заднего плана, в процессе сеанса связи постоянно передают сформированный сигнал, содержащий информацию переднего плана, на приемную, то есть клиентскую, сторону, а также, в случае изменения информации заднего плана, формируют и передают на клиентскую сторону сигнал изменения информации заднего плана, затем на клиентской стороне, на основе принятого сигнала, содержащего информацию переднего плана, и сигнала, содержащего информацию изменения заднего плана, восстанавливают визуальную информацию с помощью ЭВМ программными средствами.

Сигнал, содержащий информацию о переднем плане, а также сигнал изменения информации заднего плана передают по сети Интернет или локальной сети.

Информацию переднего плана можно передавать, например, в виде видео потока.

Информацию заднего плана, как правило, замещают статическим либо динамическим графическим изображением, видеоизображением или трехмерной компьютерной графикой.

Перед передачей информацию переднего плана предпочтительно сжимают.

Перед передачей информации переднего плана и сигнала изменения информации заднего плана, на клиентскую сторону может быть передано N вариантов информации заднего плана (N - целое число) и из нее сформирована библиотека информации заднего плана.

Изменение информации заднего плана на клиентской стороне могут осуществлять, кроме получения от серверной стороны, путем выбора из библиотеки информации заднего плана по желанию пользователя.

В случае изменения по инициативе пользователя информации заднего плана на клиентской стороне, могут формировать и передавать на серверную сторону сигнал изменения информации заднего плана.

При этом визуальную информацию могут также передавать с клиентской стороны на серверную сторону.

Передача визуальной информации с клиентской стороны на серверную сторону может быть осуществлена в виде видео потока.

При этом визуальную информацию с клиентской стороны перед передачей предпочтительно сжимают.

При любом варианте осуществления способа вместе с визуальной информацией на клиентскую сторону можно передавать также аудио информацию.

Аудио информацию при этом можно также передавать с клиентской стороны на серверную сторону.

Перед передачей аудио информацию предпочтительно сжимают.

На клиентскую сторону одновременно с визуальной информацией могут также передавать текстовую информацию.

Возможна также передача текстовой информации с клиентской стороны на серверную сторону.

На клиентскую сторону могут передавать информацию переднего плана с более чем одной серверной стороны одновременно, при этом клиентская сторона обладает возможностью принимать информацию с более чем одной серверной стороны или/и формировать визуальную информацию самостоятельно.

При этом с серверной стороны могут передавать информацию более чем на одну клиентскую сторону одновременно.

Серверная сторона по всем вышеописанным вариантам способа может одновременно выполнять функции клиентской стороны.

Техническим результатом от использования изобретения является повышение качества передаваемого изображения за счет его разделения на составляющие и раздельной передачи или в снижении требуемой пропускной способности канала, а также наличие обратной связи и как следствие наличие интерактивности, т.е. возможности оказывать влияние на содержание визуальной информации с принимающей стороны. Также обеспечена возможность внесения элемента обратной связи (в случае наличия информационных каналов обратной связи) и как следствие интерактивности. За счет переноса процесса совмещения составляющих изображения на принимающую сторону исключается необходимость передачи результирующего изображения целиком.

Изобретение поясняется чертежами, на которых изображено:

на фиг.1 - функциональная схема ближайшего аналога;

на фиг.2 - функциональная схема предлагаемого изобретения.

Передачу визуальной информации между передающей - серверной стороной и принимающей - клиентской стороной осуществляют следующим образом. Конечное изображение формируют в процессе работы системы из нескольких составляющих частей, которые можно разделить на две основные группы:

1. Изображение, специальным образом формируемое на передающей стороне и непрерывно передаваемое стандартными существующими средствами по информационным каналам.

2. Изображение, формируемое на принимающей стороне. Эту группу можно разделить на две подгруппы:

a) изображение формируемое автономно;

b) изображение, формируемое по метаданным, полученным с передающей стороны.

Для ясности понимания процесса разделим все изображения на три группы: изображение, формируемое на передающей части, изображение, формируемое на принимающей части, и конечное изображение.

Формирование изображения на передающей стороне происходит следующим образом. Исходное изображение (полученное, к примеру, от видеокамеры) состоит из переднего и заднего планов, причем задний план представляет собой контрастный одноцветный фон. Необходимо отметить, что исходное изображение может быть представлено как в аналоговом виде, так и в цифровом. Цифровой сигнал изображения может быть получен, в частности, если исходное изображение получают с помощью цифровой видеокамеры. Исходное изображение в реальном времени (т.е. "на лету") преобразуется каким-либо специальным методом (например, хромакей). Примером такого преобразования может служить программа "Ultimatte AdvantEdge" (http://www.unitv.ru/catalog/vstudio/ultimatte/advantedge/). В результате его работы все изображение заднего плана заменяется фоном с цветом (т.е. его численным представлением в цифровом виде) определенного значения. Из сигнала, характеризующего конечное изображение, численное значение, относящееся к фону, достаточно просто выделяется. При необходимости подготовленное таким образом изображение сжимается существующими алгоритмами сжатия и непрерывно передается по информационным каналам на принимающую сторону. Следует заметить, что сжатие изображения с однотонным фоном работает на много эффективнее сжатия исходного изображения. Это приводит к увеличению его качества, при фиксированной пропускной способности информационного канала. Соответствующая численному представлению фона "цифра" может вычитаться и вообще не передаваться на клиентскую сторону.

Кроме того, при использовании алгоритмов сжатия с потерей качества (в настоящее время все наиболее используемые алгоритмы сжатия работают именно так), происходит некоторое "замыливание" изображения и вследствие этого перемешивание цветов границ изображения переднего плана с цветом однотонного фона. В результате возникает необходимость в повторном применении метода отделения заднего плана на принимающей стороне.

Формирование изображения на принимающей стороне происходит либо автономно (независимо от передающей стороны), либо по метаданным, передаваемым с передающей стороны. Также возможны различные комбинации этих способов. Изображение, формируемое на принимающей стороне, может быть как статическим, так и динамическим. К примеру, видеозапись; реальное изображение, получаемое с видеокамеры в реальном времени; результат работы системы визуализации трехмерной графики или просто картинка.

Следует также отметить, что формируемым на принимающей стороне изображением может быть результат работы данной системы в целом, но с другой передающей частью. Термин "метаданные" удобно пояснить на примере. Допустим, на принимающей стороне должно быть сформировано изображение графика функции F(x). В этом случае нет необходимости передавать изображение графика, а достаточно лишь передать аналитический вид функции F(x), затем принимающая сторона самостоятельно сформирует требуемое изображение. Здесь метаданными будет являться аналитический вид функции F(x).

Формирование конечного изображения происходит на принимающей стороне путем объединения изображений, сформированных на обеих сторонах. Происходит это путем специального метода (например, хромакей), сутью которого является замена одноцветного фона (заднего плана) изображения, полученного с передающей стороны, на изображение, сформированное на принимающей стороне. Примером такого формирования изображений может служить программа Adobe Photoshop (www.adobe.ru), которая позволяет производить наложение двух (и более) изображений одно на другое, причем существует возможность обратного разделения наложенных изображений, что осуществляется благодаря размещению изображений в отдельных слоях (layer). Следует заметить, что в случае использования алгоритмов сжатия, полученное с передающей стороны изображение предварительно разархивируется (декодируется).

В результате получается полноценное изображение.

В случае наличия информационных каналов обратной связи, есть возможность влиять как на формирование изображения на передающей стороне, так и на метаданные, передаваемые на принимающую сторону, таким образом, влияя на изображение, формируемое на принимающей стороне.

Изображение, формируемое на передающей стороне, можно передавать в виде видеопотока.

В качестве каналов связи предпочтительно использовать Всемирную Сеть Интернет (Internet).

При возможности всю передаваемую информацию сжимают и кодируют ("криптуют") с целью избежания утечек конфиденциальной информации.

Следует заметить что метаданные, передаваемые с передающей стороны на принимающую сторону, несут в себе ключевую информацию об изображении, которое должно быть сформировано на принимающей стороне, но не несут само изображение. Т.е. в метаданных передается ключевая информация об изображении и правила ее обработки. Метаданные передаются не постоянно, а только при необходимости.

Частный технический результат от использования изобретения заключается в переносе части процедуры интеграции видео в виртуальное окружение на компьютер пользователя таким образом, чтобы конечное изображение формировалось непосредственно на компьютере пользователя путем объединения полученного видеопотока со сгенерированной по полученным метаданным трехмерной сценой.

Технология распределенного формирования видеоизображения является одним из методов передачи видеоизображения. Эта технология является совокупностью процессов, позволяющих создавать и транслировать по транспортной сети видеоизображение, интегрированное в виртуальное трехмерное окружение.

Алгоритм работы предлагаемого способа можно разделить на две части: серверную (передающую) и клиентскую (принимающую, пользовательскую).

Серверная часть включает подготовку метаданных, подготовку видео потока (из любого источника) для трансляции и трансляцию (транспортировку) подготовленных метаданных и видео потока в транспортную сеть.

Клиентская часть включает получение транслируемых данных. Формирование на основании полученных метаданных 3D (3-dimentional, т.е. трехмерной) сцены и осуществление на основании полученных метаданных обработки видео потока и помещения его в 3D сцену. 3D сцена - трехмерная сцена, т.е. визуальное отображение совокупности трехмерных объектов. Для представления трехмерной графики в двумерном виде на устройстве вывода (дисплей) применяют рендер (render) - процесс создания реалистичных изображений на экране, использующий известные математические модели проецирования трехмерных объектов на плоскость, а также различные известные методы для добавления цвета, теней и прочих визуальных эффектов.

Формирование конечного изображения происходит следующим образом. В виде видео потока передается только один персонаж (информация переднего плана), а виртуальное окружение передается метаданными, что минимизирует требования к пропускной способности транспортной сети. Далее по метаданным формируется 3D сцена, в которую помещается персонаж. Дополнительно при помощи программы (такие программы широко известны), установленной у клиента, пользователь может взаимодействовать с виртуальным окружением и персонажем.

В целом система, созданная по описываемой технологии, может работать следующим образом. После заключения договора с поставщиком услуг пользователь получает программное обеспечение, позволяющее осуществить доступ к системе.

В телевизионной студии видеосигнал "прямого эфира" от видеокамеры или с носителя видеоинформации, полученный при съемке на одноцветном фоне, поступает на компьютер. Там с помощью серверной программы из исходного видеосигнала выделяют видеосигнал персонажа (объекта или объектов на синем фоне). Выделение происходит путем проверки соответствия цвета каждой точки изображения с диапазонами цветов фона, полученными заранее. (Chromo Keying) Полученный сигнал, несущий визуальную информацию персонажа, сжимают алгоритмом сжатия с потерей качества и передают пользователю. На стороне пользователя клиентская программа распаковывает полученный видеопоток и помещает его как экран с прозрачными областями в определенное место 3D сцены.

Одновременно поставщик услуг осуществляет постоянный мониторинг и контроль разделенного сигнала "прямого эфира" или с носителя видеоинформации, поступающего пользователю.

Сигнал, несущий информацию о персонаже, с помощью передающей аппаратуры постоянно передают пользователю, а сигнал, несущий информацию об 3D сцене, передают один раз, а также при ее изменении (движении виртуальной камеры и пр., а также замене одной 3D сцены на другую).

В предпочтительном варианте исполнения предлагаемого изобретения, передача всей информации происходит через всемирную компьютерную сеть Интернет.

Вся система работает в режиме реального времени.

Предлагаемый способ предназначен в первую очередь для создания и распространения высококачественного интерактивного медиа контента, т.е. высококачественной интерактивной медиа информации (видимой и слышимой информации).

Способ пригоден для использования в электронной коммерции, медиа проектах развлекательного характера, системах дистанционного обучения, а также в любых иных проектах В2В (Business-to-Business - сегмент коммерции, направленной на корпоративного заказчика) или В2С (Business-to-Consumer - сегмент коммерции, направленной на частного заказчика).

Claims (30)

1. Способ передачи визуальной информации, характеризующийся тем, что его осуществляют между передающей - серверной стороной и принимающей - клиентской стороной, которую до передачи визуальной информации снабжают программными средствами для ЭВМ, предназначенными для обработки принятой информации, при этом на передающей, то есть серверной, стороне визуальную информацию, включающую в себя информацию переднего плана и информацию заднего плана, разделяют на информацию переднего плана и информацию заднего плана, перед передачей информации переднего плана и сигнала изменения информации заднего плана на клиентскую сторону передают N вариантов информации заднего плана (N-целое число), постоянно передают информацию переднего плана на принимающую, то есть клиентскую, сторону, а также, в случае изменения информации заднего плана формируют и передают на клиентскую сторону сигнал изменения информации заднего плана, затем на клиентской стороне на основе принятой информации переднего плана и информации изменения заднего плана восстанавливают визуальную информацию с помощью ЭВМ программными средствами.

2. Способ по п.1, отличающийся тем, что информацию переднего плана, а также сигнал изменения информации заднего плана передают по сети Интернет или локальной сети.

3. Способ по п.2, отличающийся тем, что информацию переднего плана передают в видевидео потока.

4. Способ по п.1, отличающийся тем, что информацию заднего плана замещают статическим либо динамическим графическим изображением, видеоизображением или трехмерной компьютерной графикой.

5. Способ по п.2, отличающийся тем, что перед передачей информацию переднего плана сжимают.

6. Способ по любому из предшествующих пунктов, отличающийся тем, что из переданных N вариантов информации заднего плана (N - целое число) формируют библиотеку информации заднего плана.

7. Способ по п.6, отличающийся тем, что изменение информации заднего плана осуществляют на клиентской стороне путем выбора из библиотеки информации заднего плана.

8. Способ по п.7, отличающийся тем, что в случае изменения информации заднего плана на клиентской стороне, формируют и передают на серверную сторону сигнал изменения информации заднего плана.

9. Способ по любому из пп.1-5 или 7 и 8, отличающийся тем, что также передают визуальную информацию с клиентской стороны на серверную сторону.

10. Способ по любому из пп.1-4 или 7 и 8, отличающийся тем, что также передают визуальную информацию с клиентской стороны на серверную сторону.

11. Способ по п.10, отличающийся тем, что визуальную информацию с клиентской стороны передают на серверную сторону в виде видеопотока.

12. Способ по п.9, отличающийся тем, что визуальную информацию с клиентской стороны перед передачей сжимают.

13. Способ по 10, отличающийся тем, что визуальную информацию с клиентской стороны перед передачей сжимают.

14. Способ по любому из пп.1-5 или по любому из пп.7, 8, 10-12, отличающийся тем, что вместе с визуальной информацией на клиентскую сторону передают также аудиоинформацию.

15. Способ по п.13, отличающийся тем, что также передают аудиоинформацию с клиентской стороны на серверную сторону.

16. Способ по п.13, отличающийся тем, что перед передачей аудиоинформацию сжимают.

17. Способ по п.14, отличающийся тем, что перед передачей аудиоинформацию сжимают.

18. Способ по любому из пп.1-5, или по любому из пп.7 и 8, или по любому из пп.10-12, или по любому из пп.14-16, отличающийся тем, что на клиентскую сторону также передают текстовую информацию.

19. Способ по п.17, отличающийся тем, что также передают текстовую информацию с клиентской стороны на серверную сторону.

20. Способ по любому из пп.1-5, или по любому из пп.7 и 8, или по любому из пп.10-12, или по любому из пп.14-16, или по п.18, отличающийся тем, что на клиентскую сторону передают информацию переднего плана с более чем одной серверной стороны одновременно, клиентская сторона обладает возможностью принимать информацию с более чем одной серверной стороны или/и формировать визуальную информацию самостоятельно.

21. Способ по 17, отличающийся тем, что на клиентскую сторону передают информацию переднего плана с более чем одной серверной стороны одновременно, клиентская сторона обладает возможностью принимать информацию с более чем одной серверной стороны или/и формировать визуальную информацию самостоятельно.

22. Способ по любому из пп.1-5, или по любому из пп.7 и 8, или по любому из пп.10-12, или по любому из пп.14-16, или по п.18 или 20,отличающийся тем, что с серверной стороны передают информацию более чем на одну клиентскую сторону одновременно.

23. Способ по п.19, отличающийся тем, что с серверной стороны передают информацию более чем на одну клиентскую сторону одновременно.

24. Способ по п.21, отличающийся тем, что с серверной стороны передают информацию более чем на одну клиентскую сторону одновременно.

25. Способ по п.1, отличающийся тем, что серверная сторона одновременно выполняет функции клиентской стороны.

26. Способ по п.9, отличающийся тем, что серверная сторона одновременно выполняет функции клиентской стороны.

27. Способ по любому из пп.1-5, или по любому из пп.7 и 8, или по любому из пп.10-12, или по любому из пп.14-16, или по п.18 или 20 или 22, или 23, отличающийся тем, что серверная сторона одновременно выполняет функции клиентской стороны.

28. Способ по п.17, отличающийся тем, что серверная сторона одновременно выполняет функции клиентской стороны.

29. Способ по п.19, отличающийся тем, что серверная сторона одновременно выполняет функции клиентской стороны.

30. Способ по п.21, отличающийся тем, что серверная сторона одновременно выполняет функции клиентской стороны.

Images