RU2506715C2 - Передача изменяющегося визуального контента - Google Patents

Передача изменяющегося визуального контента Download PDF

Info

Publication number
RU2506715C2
RU2506715C2 RU2010129037/07A RU2010129037A RU2506715C2 RU 2506715 C2 RU2506715 C2 RU 2506715C2 RU 2010129037/07 A RU2010129037/07 A RU 2010129037/07A RU 2010129037 A RU2010129037 A RU 2010129037A RU 2506715 C2 RU2506715 C2 RU 2506715C2
Authority
RU
Russia
Prior art keywords
visual content
changing
content
changing visual
remote client
Prior art date
Application number
RU2010129037/07A
Other languages
English (en)
Other versions
RU2010129037A (ru
Inventor
Раджниш МАХАДЖАН
Владимир СТОЯНОВ
Кейси ДВОРАК
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2010129037A publication Critical patent/RU2010129037A/ru
Application granted granted Critical
Publication of RU2506715C2 publication Critical patent/RU2506715C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

Изобретение относится к передаче изменяющегося видеоконтента в сеансе терминального сервера. Техническим результатом является повышение эффективности передачи и снижение объема данных, формирующих видеоконтент. Указанный технический результат достигается тем, что предложена технология для представления изменяющегося визуального контента, включающего в себя видео, анимацию и так далее, в режиме наложения. Изменяющийся визуальный контент, включенный в визуальное представление, может быть идентифицирован среди прочих визуальных элементов, включенных в визуальное представление. Изменяющимся визуальным контентом можно управлять на основе доступных ресурсов, связанных с представлением изменяющегося визуального контента в режиме наложения для клиента. 3 н. и 17 з.п. ф-лы, 4 ил.

Description

УРОВЕНЬ ТЕХНИКИ
Передача видеоконтента в сеансе терминального сервера может быть неэффективной, так как относительно большой объем данных, формирующий видеоконтент, может быть часто обновляемым наряду с другим визуальным контентом. Например, видеоданные могут быть обновлены и переданы с другим контентом экрана, таким как текст. Дополнительный контент может быть передан с видеоконтентом даже, несмотря на то, что дополнительный контент может меняться не с такой же скоростью как видеоконтент.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Рассматриваются способы представления изменяющегося визуального контента, включающего в себя видео, анимацию и т.д., в режиме наложения. Изменяющийся визуальный контент, включенный в визуальное представление, может быть идентифицирован среди прочих визуальных элементов, включенных в визуальное представление. Изменяющимся визуальным контентом можно управлять на основе доступных ресурсов, связанных с представлением изменяющегося визуального контента в режиме наложения для клиента.
Это краткое описание предоставлено для того, чтобы ознакомить в упрощенной форме с выбором идей, которые дополнительно описаны ниже в подробном описании. Это краткое описание как не предназначено установить ключевые признаки или основные признаки заявленного объекта изобретения так, и не предназначено для того, чтобы быть использованным в качестве средства для определения объема заявленного объекта изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Подробное описание описано со ссылкой на сопроводительные фигуры. На фигурах, крайняя(ие) левая(ые) цифра(ы) ссылочного номера обозначает фигуру на которой впервые появляется ссылочный номер. Использование одних и тех же ссылочных номеров в разных примерах в описании и фигурах может указывать похожие или идентичные элементы.
Фиг. 1 иллюстрирует среду в примерных осуществлениях, которая может использовать изменяющийся визуальный контент.
Фиг. 2 является блок-схемой изображающей примерные потоки данных во время передачи изменяющегося визуального контента.
Фиг. 3 является блок-схемой изображающей процедуру в примерных осуществлениях в соответствии, с которой передается изменяющийся визуальный контент.
Фиг. 4 является блок-схемой изображающей процедуру в примерных осуществлениях в соответствии, с которой изменяющийся визуальный контент передается в режиме наложения.
ПОДРОБНОЕ ОПИСАНИЕ
Обзор
Соответственно, описаны способы, которые могут позволить осуществлять удаленное представление изменяющегося визуального контента, который может включать в себя видеоконтент, анимацию и так далее, который часто изменяется на основании порога или в сравнении с прочим визуальным контентом. Например, идентифицированный изменяющийся визуальный контент может быть представлен в режиме наложения на удаленном устройстве. Изменяющийся визуальный контент может интерпретироваться отлично от прочего визуального контента, который может не меняться, меняться с меньшей скоростью, чем тот, что относится к изменяющемуся видеоконтенту, или не соответствует порогу изменения. Представление изменяющегося визуального контента в режиме наложения может позволить данным, формирующим контент, обрабатываться в качестве изменяющегося контента (например, видео) на основании доступных ресурсов. Изменяющийся визуальный контент может управляться и передаваться таким образом, что доступные ресурсы могут использоваться эффективно.
В осуществлениях, система, включающая в себя модуль идентификации, может идентифицировать изменяющийся визуальный контент. Например, анимация, которая включает в себя обновления экрана сверх установленного порога, может быть идентифицирована на основании соотношения геометрических размеров (форматного соотношения) растрового отображения представляющего анимированный контент. Таким образом, изменяющаяся анимация может быть идентифицирована среди прочего визуального контента и может управляться на этой основе. Идентифицированный визуальный контент может управляться в зависимости от доступных ресурсов. Управление может включать в себя сжатие данных, формирующих контент, пропуск обновлений, например, видеокадров, и так далее, что может быть осуществлено в зависимости от ресурсов доступных для обработки изменяющегося визуального контента.
ПРИМЕРНАЯ СРЕДА
Фиг. 1 иллюстрирует среду 100 в примерных осуществлениях, которая может удаленно представлять изменяющийся визуальный контент. Фиг. 2 иллюстрирует примерные способы и потоки данных, которые могут выполняться рассматриваемыми здесь примерными осуществлениями. Система 102 может включать в себя модуль 104 обнаружения видео для обнаружения, включен ли изменяющийся визуальный контент в визуальный контент.
Например, если модуль 106 обработки обновления экрана предоставляет видеоконтент и прочий визуальный контент (который возможно не изменяется), модуль 104 обнаружения видео может идентифицировать наличие изменяющегося видеоконтента внутри предоставленного визуального контента. Тогда как видеоконтент рассматривается впервые, примерный изменяющийся визуальный контент может включать в себя, но не ограничивается, анимацию, переходы (такие как переходы POWERPOINT (Microsoft Corporation, Рэдмонд, Вашингтон) и так далее, которые могут изменяться в сравнении с прочими визуальными данными или изменяться вне установленного порога (например, не изменяться) и так далее.
Модуль 106 обработки обновления экрана может пересылать прочий визуальный контент, такой как текст, графические объекты и так далее, удаленному клиенту 108 для отображения, в то время как изменяющийся визуальный контент обрабатывается в соответствии с рассматриваемыми здесь положениями. Например, прочий визуальный контент может обновляться менее часто в сравнении с видео, анимацией или прочим изменяющимся визуальным контентом, если упомянутые ранее визуальные компоненты изменяются формально или не изменяются. Интерпретация прочего визуального контента иным образом может минимизировать влияние различных схем сжатия по сравнению с тем, когда как к изменяющемуся визуальному контенту, так и прочему визуальному контенту применяется общая схема сжатия.
Модуль 110 обработки аудио может быть включен для того, чтобы получать аудиоконтент, который ассоциирован с изменяющимся визуальным контентом. Аудиоконтент может обрабатываться отдельно от изменяющегося визуального контента так, что контент может обрабатываться особым для контента образом. Для несжатого видеоклипа аудиоданные могут быть выделены из видеоданных для последующего повторного соединения, используя временные метки для того, чтобы синхронизировать аудиоданные с соответствующими видеоданными во время представления на удаленном устройстве 108 клиента.
Использование модуля 104 обнаружения видео для того, чтобы идентифицировать изменяющийся визуальный контент, может позволить обрабатывать, лежащие в его основе данные, иначе, чем прочий визуальный контент. В то время как изменяющийся визуальный контент (такой как видео 112) может обрабатываться и передаваться первым образом, неизменяющийся или минимально изменяющийся визуальный контент может интерпретироваться иным или вторым образом, так что прочий контент может не расходовать избыточно ресурсы и может позволить обрабатывать изменяющийся визуальный контент особым для изменяющегося визуального контента образом.
Модуль 104 обнаружения видео может идентифицировать информацию изменяющегося визуального контента в несжатом состоянии. Прочий визуальный контент может обновляться с меньшей скоростью, чем изменяющийся визуальный контент, и тем самым минимизировать общий объем передаваемых данных.
Видеоконтент или прочий изменяющийся визуальный контент может быть закодирован и/или передан на основании вычислительных ресурсов, включающих в себя доступные для выполнения задачи ресурсы передачи информации. Как результат, системные возможности кодирования (такие как кодировщики 114-118) и ресурсы передачи информации (например, сеть 120) могут использоваться эффективно не препятствуя вычислительным ресурсам, при этом обрабатывая изменяющийся визуальный контент особым для изменяющегося визуального контента образом. Если, например, отображение включает в себя флэш-видео, как впрочем и текст и графические объекты, текст и графические объекты могут не изменяться или могут редко изменяться в сравнении с видеоконтентом или порогом частоты обновления, используемым для того, чтобы отличать изменяющийся от неизменяющегося контента. Примеры неизменяющегося или минимально изменяющегося контента могут включать в себя, но не ограничиваются, текст, графические объекты и так далее, которые могут не изменяться или изменяться редко по сравнению с изменяющимся визуальным контентом.
В примере, видео 112 управления автомобилем может быть представлено в окне, в то время как текст и графические объекты 122, которые дают возможность пользователю связаться с дилером, получить расценки, могут быть представлены в другой части отображения. При сравнении, видеочасть отображения может изменяться часто по сравнению с прочим визуальным контентом или некоторым критериям. Текст и графические объекты могут оставаться неизменяемыми или изменяться редко на основании похожего сравнения или предопределенного стандарта обновления экрана.
Модуль 104 обнаружения видео может идентифицировать то, что визуальный контент изменяется на основании различных критериев. Примерный критерий может включать в себя, но не ограничивается, частоту обновления экрана, соотношение геометрических размеров (форматное соотношение), имя класса окна, имя процесса для обновления экрана и так далее. Более того, модуль 104 обнаружения видео может определять то, что воспроизведение изменяющегося контента остановлено или, что его обработка задержана. Если изменяющийся контент остановлен, модуль 104 обнаружения видео может идентифицировать то, что окно для представления, изменяющегося визуального контента, должно быть закрыто при дублировании на клиентском устройстве. Если воспроизведение изменяющегося контента просто задержано, наложение, представляющее изменяющийся контент на клиентском устройстве, может быть оставлено, несмотря на то, что в нем не будет представлен контент или наложение может быть замаскировано.
Частота обновления экрана может быть идентифицирована в соответствии с числом обновления экрана в секунду, например, двадцать четыре кадра в секунду для фильма, двадцать пять кадров в секунду для Европейского телевидения, тридцать кадров в секунду для Американского телевидения и так далее. В осуществлениях, скорость обновления экрана может использоваться в качестве порога для определения, является ли визуальный контент изменяющимся. Вышеупомянутые примеры являются только примерными. В осуществлениях для идентификации могут использоваться комбинации критериев. В дальнейших примерах изменяющийся визуальный контент может идентифицироваться эвристически.
Соотношение геометрических размеров изменяющегося визуального контента может быть идентифицировано в соответствии с соотношением геометрических размеров растрового отображения, представляющего визуальный контент. Для примера, соотношение 4:3 может указывать стандартный телевизионный контент, в то время как соотношение 16:9 может указывать на широкоформатный изменяющийся контент. Имя класса окна может включать в себя имя устройства формирования изображения, используемого для представления окна, которое будет, по меньшей мере, частично закрывать экран, на котором будет отображаться визуальный контент. Изменяющийся визуальный контент может быть идентифицирован, если окно имеет соотношение геометрических размеров 4:3 и обновляется, приблизительно, двадцать четыре кадра в секунду.
Модуль 124 обработки может указывать управление идентифицированным изменяющимся визуальным контентом. Например, как только идентифицирован, анимированный контент может управляться в качестве указанного модулем обработки на основании вычислительных ресурсов доступных для обработки включая передачу данных. Управление может включать в себя пропуск кадров (для видео) или обновления экрана (для анимации); сжатие содержимого; не отправление изменяющегося визуального контента; использование конкретной схемы кодирования и так далее. Например, растровые отображения, представляющие анимацию или видео, могут быть пропущены.
Например, если доступна относительно большая величина полосы пропускания, модуль 124 обработки может указывать одному или более модулям 114-118 кодировщиков осуществить простую схему кодирования (например, технологию кодирования с потерями) для того, чтобы минимизировать потери процессора для изменяющегося визуального контента. В противоположность, если доступная полоса пропускания ограничена, могут использоваться технологии кодирования с интенсивным использованием ресурсов для того, чтобы минимизировать расход полосы пропускания. Так же могут быть рассмотрены комбинации факторов, включающие в себя ресурсы, выделенные прочим, не относящимся к данной теме, задачам и так далее. Например, модули «1-N» 114-118 кодировщика могут реализовывать различные форматы включающие в себя, но не ограничивающиеся, видеокодек 1 (VC1), кодек экспертной группы по кинематографии (MPEG), кодек объединенной группы экспертов по машинной обработке фотографических изображений (JPEG) и так далее.
Информация управления может быть включена в данные, формирующие визуальный контент. Информация управления может включать в себя данные для указания каким образом изменяющийся визуальный контент должен быть представлен удаленно. Например, информация управления может включать в себя размер наложения, которое необходимо для представления изменяющихся данных, местоположение наложения на отображении, временные отметки и так далее (например, наложение, включающее в себя видео 136 автомобиля, на удаленном клиенте 108). Один или более модули кодировщика могут кодировать информацию управления совместно с данными изменяющегося визуального контента для передачи информации удаленному клиенту. Например, когда представлен удаленно, визуальный контент, включающий в себя изменяющийся визуальный контент, может отражать конфигурацию сервера для визуальных данных. Другими словами, что наложение, как впрочем, и прочий визуальный контент, может представляться на клиенте поскольку визуальный контент был получен модулем 106 обработки обновления экрана сервера. В дополнительных осуществлениях, данные управления могут передаваться отдельно, передаваться в выделенных частях потока данных, транспортирующих данные контента и данные управления, и так далее, вместе с временными метками, позволяющими синхронизировать аудио и визуальный контент.
Модуль 126 отслеживания ресурсов может отслеживать доступность вычислительных ресурсов, включая ресурсы передачи информации, ассоциированные с удаленным представлением визуального контента. Например, модуль 126 отслеживания ресурсов, включенный в систему сервера, может отправлять модулю 124 обработки указание вычислительных ресурсов ассоциированных с представлением визуального контента на удаленном клиенте. Если, в качестве примера, полоса пропускания ограничена, модуль 124 обработки может выбрать пропуск кадров, использование конкретной технологии кодирования и так далее, на основании ресурсов как определено модулем отслеживания ресурсов. Соответствующее указание ресурса может включать в себя, но не ограничивается, указание относящиеся к: доступности полосы пропускания передачи информации (например, сети 120), доступным кодировщикам и так далее. Таким образом, модуль 124 обработки может получать доступ к доступным ресурсам для удаленного представления изменяющегося визуального контента без непомерного вовлечения вычислительных ресурсов или чрезмерного расхода вычислительных ресурсов. Использование модуля 126 отслеживания ресурсов, может адаптировать то, каким образом изменяющийся визуальный контент должен передаваться, что именно передает изменяющийся визуальный контент и так далее, в соответствии с доступными вычислительными ресурсами. Использование ресурса может меняться по мере того, как изменяющийся визуальный контент предоставляется удаленному клиенту на основании доступности ресурса.
Удаленный клиент 108 может включать в себя клиентский модуль 128 обработки, который определяет то, каким образом представить декодированный изменяющийся визуальный контент. Например, клиентский модуль 128 обработки может представлять изменяющийся контент (который декодирован клиентскими декодерами «1-N» 130-132) в режиме наложения на основании данных управления, которые были закодированы совместно с данными контента. Вышеописанным образом, клиентский модуль 128 обработки может восстанавливать изменяющийся визуальный контент так, чтобы представление изменяющегося визуального контента было согласовано с тем что есть на сервере 102, так как если бы контент представлялся на отображении, ассоциированном с сервером 102. Например, размер, соотношение геометрических размеров и так далее, могут быть указаны данными управления включенными совместно с изменяющимся видеоконтентом. Данные управления могут включать в себя информацию, относящуюся к обнаружению дочернего видеоокна, отслеживания геометрии, которая соответственно может использоваться клиентским модулем обработки во время определения того, каким образом представлять изменяющийся визуальный контент. Если применимо, аудио может быть вновь соединено с изменяющимся визуальным контентом, используя временные метки для координации мультимедиа.
Клиентский модуль 134 обработки экрана может принимать прочие визуальные данные, если применимо, от модуля обработки обновления экрана сервера. Например, тем временем как видео представляется в режиме наложения на клиентском отображении, текст, графические объекты и им подобное, могут представляться в качестве «фона» для наложения. Другими словами, что тем временем пока видео может выделяться и интерпретироваться индивидуально, как правило, часть неизменяющегося визуального контента может представляться на клиентском отображении с частью видеоконтента поверх, по меньшей мере, части отображения. Наложение и прочий визуальный контент, если представлен, могут быть организованы и выполнены так, чтобы отображаться на клиенте согласованно с контентом от модуля 106 обработки обновления экрана сервера.
Как правило, любая из описанных здесь функций может быть реализована, используя программное обеспечение, встроенное программное обеспечение, аппаратное обеспечение (например, неизменяемые логические схемы), ручную обработку или комбинацию этих реализаций. Используемые здесь термины «модуль», «функциональные возможности» и «логика», как правило, представляют собой программное обеспечение, встроенное программное обеспечение, аппаратное обеспечение или их комбинацию. В случае, например, реализации в программном обеспечении модуль, функциональные возможности или логика представляют собой код программы, который выполняет конкретные задачи при выполнении на процессоре (например, ЦПУ или нескольких ЦПУ). Код программы может храниться на одном или более машиночитаемых устройствах памяти, например, материальной памяти и так далее.
Нижеследующее обсуждение описывает технологию преобразования, которая может быть осуществлена с применением ранее описанных систем и устройств. Аспекты каждой из процедур могут быть осуществлены в аппаратном обеспечении, встроенном программном обеспечении или программном обеспечении, или их комбинации. Процедуры показаны в качестве набора блоков, которые указывают операции, выполняемые одним или более устройствами, и необязательно ограничены последовательностью, показанной для выполнения операций соответствующими блоками.
ПРИМЕРНЫЕ ПРОЦЕДУРЫ
Нижеследующее обсуждение описывает методику, которая может быть реализована с применением ранее описанных систем и устройств. Аспекты каждой из процедур могут быть осуществлены в аппаратном обеспечении, встроенном программном обеспечении или программном обеспечении или их комбинации. Процедуры показаны в качестве набора блоков, которые указывают операции, выполняемые одним или более устройствами, и необязательно ограничены последовательностью, показанной для выполнения операций соответствующими блоками. Так же предполагается разнообразие прочих примером.
Фиг. 3 раскрывает примерные процедуры для предоставления изменяющихся визуальных данных в режиме наложения. Отображение изменяющегося визуального контента, который может часто меняться, по сравнению с набором стандартного или прочего визуального контента, может давать возможность обработки данных, формирующих изменяющийся визуальный контент, на низком уровне, при этом адаптируя обработку данных в соответствии с доступными вычислительными ресурсами. Например, визуальное представление может быть представлено удаленно на клиентском устройстве, получающем доступ к видеоконтенту через web сервер.
Изменяющийся визуальный контент, который может быть включен совместно с прочим визуальным контентом (который не изменяется или изменяется с незначительной скоростью), в качестве части обновления 302 экрана, может быть идентифицирован 304 в несжатом состоянии. Например, изменяющийся визуальный контент может включать в себя, но не ограничивается, видео, переходы, анимацию и так далее, которые обновляются, как правило, через постоянные интервалы. Изменяющийся визуальный контент может быть в противоположность, как приложение, неизменяющемуся визуальному контенту, минимально изменяющемуся контенту или сравненный с некоторым установленным стандартом (например, скоростью изменения или обновлением экрана). Идентификация 304 изменяющегося визуального контента может, по меньшей мере, частично основываться на частоте обновления, соотношении геометрических размеров контента, идентификации окна, имени процесса и так далее. Эвристические технологии могут использоваться совместно с идентификацией изменяющегося визуального контента.
В примерах могут рассматриваться комбинации вышеназванных критериев. Идентификация 304 изменяющегося визуального контента может быть основана на том, согласовано ли соотношение геометрических размеров окна с тем с каким отображается кинофильм или фильм, и если имя процесса для входящего обновления экрана согласовано с тем, что есть у видеопроигрывателя. Например, если контент имеет соотношение геометрических размеров 4:3 и имя процесса для обновления согласуется с именем, ассоциированным с проигрывателем для воспроизведения телевизионных передач, визуальный контент может быть идентифицирован в качестве изменяющегося контента, даже если, например, воспроизведение изменяющегося контента не поставлено на паузу. Примерные имена процессов могут включать в себя, но не ограничиваются, WINDOWS MEDIA CENTER (Microsoft Corporation, Рэдмонд, Вашингтон) и так далее. Если изменяющийся визуальный контент не представлен или визуальный контент перестал поступать может быть произведено обновление прочего контента или может быть удалено 306 наложение остановленного изменяющегося контента.
Могут быть оценены 308 доступные ресурсы. Конкретная схема управления и/или сжатия может выбираться 310 в соответствии с параметрами вычислительных ресурсов обрабатывающих удаленное представление. Например, вычислительные устройства могут оцениваться 308 для того, чтобы определить их пригодность. Примерные параметры вычислительных ресурсов которые могут рассматриваться во время управления и/или указывать кодирование изменяющегося визуального контента 310, включают в себя, но не ограничиваются, ресурс сервера, ресурсы клиента и ресурсы передачи информации. Например, если по сравнению с данными, которые могут быть переданы, допустимая полоса пропускания относительно мала, изменяющийся визуальный контент не может быть отправлен без задержки 312 видео или пропуска кадров, как части управления 310 изменяющимся визуальным контентом.
Соответственно, изменяющийся видео или анимационный контент может обрабатываться на основании доступных вычислительных ресурсов 308, в то время как прочий визуальный контент обрабатывается посредством прочих технологий. Например, минимально изменяющийся текст или графические объекты могут отдельно пересылаться для представления клиенту. Если применимо, прочий визуальный контент может обрабатываться другим образом. Например, минимально изменяющийся визуальный контент может обновляться с иной скоростью или передаваться отдельно. Таким образом, изменяющийся визуальный контент может накладываться поверх минимально изменяющегося контента так, чтобы визуальное представление клиенту было согласовано с тем, что у удаленного источника, предоставляющего визуальный контент. В осуществлениях, изменяющийся визуальный контент и прочий визуальный контент могут быть воссозданы (например, с изменяющимся контентом в режиме наложения) так что визуальное представление согласуется с визуальным контентом при идентификации. В других случаях, минимально изменяющийся контент может накладываться поверх изменяющегося контента. Пример вышеупомянутого может включать в себя, нерегулярную область, такую как всплывающее уведомление (такое как окно уведомления в OUTLOOK (Microsoft Corporation, Рэдмонд, Вашингтон), накладываемое поверх изменяющегося контента. Таким же образом, изменяющийся контент может частично перекрываться неизменяющимся контентом.
Идентифицированный изменяющийся визуальный контент может управляться 310 по желанию. Например, управление может включать в себя сжатие изменяющегося визуального контента, пропуск кадров и обновления экрана для изменяющегося визуального контента, задержки воспроизведения изменяющегося визуального контента 312 и подобное. Например, изменяющийся визуальный контент может управляться 310 таким образом, что наложенное видео или анимация появляется на клиенте в конкретном местоположении отображения, согласуется с назначенным размером, соотношением геометрических размеров или тому подобным. В осуществлениях, при создании наложения для того, чтобы представить изменяющийся визуальный контент, могут использоваться обнаружение дочернего окна, отслеживание геометрии или подобные технологии. Вышеописанные технологии могут дать возможность низкоуровневого удаленного взаимодействия изменяющегося визуального контента.
В качестве примера, оценка ресурсов включает в себя, но не ограничивается, выбор конкретной технологии кодирования или пропуска кадров для того, чтобы минимизировать расход полосы пропускания, управляя изменяющимся визуальным контентом на основании других задач обрабатываемых сервером. Например, схема со сжатием с потерями может использоваться, если полоса пропускания наиболее востребована. Таким образом, чем более интенсивным может быть кодирование контента 310, сниженное потребление полосы пропускания может быть главным соображением.
Изменяющийся визуальный контент может кодироваться 310 для передачи информации клиенту. Например, данные управления и данные, формирующие изменяющийся визуальный контент, могут кодироваться посредством различных технологий для передачи информации 312 удаленному клиенту. В других примерах, данные управления и данные контента могут передаваться индивидуально. Кодирование/указание кодирования может включать в себя использование VC1, MPEG и подобных технологий для кодирования и/или сжатия контента для удаленного представления.
Аудиоконтент может обрабатываться и передаваться отдельно. Например, временные метки могут быть ассоциированы с аудио и видеоконтентом и для использования в повторной синхронизации или при согласовании представления аудиоконтента с видео, анимацией или прочим изменяющимся визуальным контентом.
С точки зрения клиента, изменяющийся визуальный контент может быть представлен в режиме наложения, который накладывает на визуальный контент, который не меняется или меняется в минимальном виде. Например, клиент может декодировать 314 изменяющийся визуальный контент для представления в режиме наложения. Наложение может быть воссоздано на основании информации управления пересылаемой системой сервера, предоставляющей визуальный контент. Например, технологии отслеживания дочернего окна, отслеживания геометрии могут использоваться для того, чтобы сформировать и/или воссоздать изменяющийся визуальный контент так, чтобы визуальный контент появлялся в соответствии с тем как сконфигурировано и организовано при идентификации 304.
Если аудиоконтент ассоциирован с анимационным или видеоконтентом, например, мультимедийное представление, аудио может быть повторно объединено 316 с изменяющимся визуальным контентом. Например, соответствующие временные метки привязанные, соответственно, к аудио и визуальным данным могут использоваться для того, чтобы повторно синхронизировать аудио и видео для представления клиентом. Аудиоконтент может быть сжат для переноса. Например, сжатый аудиоконтент, переносимый в отдельном потоке данных, может быть распакован, а временные метки использованы в повторном объединении с видеоконтентом. В дополнительных примерах, сжатое аудио и сжатый изменяющийся видеоконтент могут передаваться в общем потоке данных.
Фиг. 4 раскрывает примерные процедуры и инструкции для предоставления изменяющихся визуальных данных в режиме наложения. Например, технологии, рассмотренные ниже, могут быть реализованы в качестве набора машиноисполняемых инструкций для удаленного представления изменяющегося видео, анимации или прочего изменяющегося визуального контента.
Несжатый изменяющийся визуальный контент, включенный в обновление 402 экрана, может быть идентифицирован 404 среди прочих визуальных компонентов на основании критерия включающего в себя, частоту обновления экрана, соотношение геометрических размеров, имя окна, в случае если часть экрана закрыта окном, так же может быть рассмотрено имя процесса для обновления экрана. Может рассматриваться комбинация вышеназванных параметров идентификации или критерий. Например, видео может быть идентифицировано на основании частоты обновления кадра растрового отображения, представляющего видео, в то время как прочий визуальный контент может оставаться большей частью неизменяемым. Могут использоваться технологии эвристического обучения для улучшения идентификации изменяющегося визуального контента. Если изменяющийся визуальный контент не идентифицирован, прочий визуальный контент, который может не изменяться или только минимально изменяться, может быть передан 406 независимо клиентскому устройству. Например, если видео прекратило воспроизводиться, прочие графические элементы могут быть обновлены и наложение, которое ранее представляло видео, может быть удалено 406.
В момент идентификации 404, различные вычислительные ресурсы, привлеченные для передачи и представления визуального контента удаленно, могут быть проверены 408 для того, чтобы определить, являются ли вычислительные ресурсы доступными для обработки изменяющегося визуального контента. Оценки ресурсов могут включать в себя, но не ограничиваются, пригодность кодировщиков, полосу пропускания сети, параметры клиента, доступную емкость процессора сервера и так далее. Если достаточные вычислительные ресурсы не доступны, изменяющийся визуальный контент может не передаваться 412. Например, обновление экрана, которое включает в себя изменение в видеоконтенте, может не отправляться если сеть, передающая контент, не имеет достаточной пропускной способности.
Если вычислительные ресурсы доступны, несжатые данные, формирующие изменяющийся визуальный контент, могут управляться 410 на основании вычислительных ресурсов, привлеченных к обработке, и/или передачи изменяющегося визуального контента 408. Например, управление 410 может включать в себя указание кодировщикам использовать конкретные технологии кодирования, пропуск кадров или обновления экрана, не передавать 412 изменяющийся визуальный контент, сжатие данных изменяющегося визуального контента, включение информации управления и так далее, в соответствии с доступностью ресурса.
Информация управления может включать в себя данные относящиеся к обнаружению дочернего окна и/или отслеживания геометрии, которые могут использоваться для того, чтобы указывать клиенту действия при воссоздании изменяющегося визуального контента. В осуществлениях, информация управления может кодироваться совместно с данными, формирующими изменяющийся визуальный контент, при этом в прочих случаях, данные управления могут в значительной степени передаваться совместно с данными, формирующими изменяющийся визуальный контент. Данные управления могут указывать то, каким образом изменяющийся визуальный контент должен быть воссоздан клиентом. Например, данные управления могут указывать одно или более из: размера наложения для представления видео, соотношения геометрических размеров наложения, местоположения наложения и так далее.
Прочие визуальные элементы, которые изменяются минимально или не изменяются, могут обрабатываться отдельно. Например, тем временем как видеоконтент может обрабатываться первым образом, неизменяющиеся графические элементы могут обрабатываться и/или передаваться вторым образом. Например, минимально изменяющиеся элементы могут передаваться посредством других методик, с другими интервалам и так далее.
Если аудиоконтент ассоциирован с изменяющимся визуальным контентом, могут быть выполнены 414 временные метки для того, чтобы координировать изменяющийся визуальный контент с аудиоконтентом, который может обрабатываться отдельно. Например, временная метка может быть включена с видео так, чтобы аудио было согласовано с видеоналожением на клиентском устройстве. Таким образом, аудио может передаваться особым для аудио образом, тем временем как изменяющийся визуальный контент может обрабатываться и/или передаваться, как рассмотрено здесь.
Закодированный изменяющийся визуальный контент может передаваться 416 в соответствии с определенными вычислительными ресурсами. Например, если доступна относительно большая величина полосы пропускания сети (по сравнению с изменяющимся визуальным контентом) может использоваться более простой алгоритм, который может использовать меньше вычислительных ресурсов для того, чтобы кодировать/декодировать. Если, в противоположность, полоса пропускания наиболее востребована, может использоваться более сложный алгоритм, который расходует меньший размер полосы пропускания, но может нагрузить кодировщики и/или декодеры.
Со стороны клиента, клиент может декодировать 418 изменяющийся визуальный контент для представления в режиме наложения. Изменяющийся визуальный контент может быть представлен в режиме наложения, который накладывается на визуальный контент, который не изменяется или меняется минимальным образом. Наложение может быть воссоздано на основании информации управления, пересылаемой системой сервера, предоставляющей визуальный контент. Например, технологии отслеживания дочернего окна, отслеживания геометрии могут использоваться для того, чтобы формировать и/или воссоздавать изменяющийся визуальный контент так, чтобы визуальный контент появлялся как сконфигурированный и организованный в обновлении 402 экрана. Прочий визуальный контент, такой как неизменяющийся или минимально изменяющийся контент может накладываться поверх изменяющегося визуального контента. Например, всплывающее окно может скрывать часть наложения изменяющегося визуального контента.
Если аудиоконтент ассоциирован с анимационным или видеоконтентом, например, мультимедийное представление, аудио может быть согласовано 420 с изменяющимся визуальным контентом. Например, соответствующие временные метки, привязанные соответственно к аудио и визуальным данным, могут использоваться для того, чтобы повторно синхронизировать аудио и видео в наложении для представления клиентом.
Заключение
Несмотря на то, что изобретение было описано на языке специфичном для структурных признаков и/или методологических действий, должно быть понятно, что изобретение, определенное в прилагаемой формуле изобретения, не обязательно ограничено описанными конкретными признаками или действиями. Наоборот, конкретные признаки и действия раскрыты в качестве примерных форм осуществления заявленного изобретения.

Claims (20)

1. Реализуемый в компьютерной системе способ передачи визуального контента на удаленный клиент, содержащий этапы, на которых:
выполняют идентификацию визуального контента, причем визуальный контент содержит неизменяющийся визуальный контент и изменяющийся визуальный контент, при этом при идентификации отличают изменяющийся визуальный контент от неизменяющегося визуального контента; осуществляют оценку доступных ресурсов, содержащую две или более из: оценки ресурсов, доступных на сервере, оценки ресурсов, доступных в сети, соединяющей с возможностью осуществления связи сервер и удаленный клиент, и оценки ресурсов, доступных на удаленном клиенте; выполняют управление в отношении изменяющего визуального контента на основе, по меньшей мере частично, оценки доступных ресурсов; передают неизменяющийся визуальный контент в первом формате на удаленный клиент; и передают изменяющийся визуальный контент, в отношении которого выполнено управление, во втором формате на удаленный клиент.
2. Способ по п.1, в котором изменяющийся визуальный контент идентифицируют на основе по меньшей мере одного из частоты обновления, соотношения геометрических размеров, идентификации окна и имени процесса.
3. Способ по п.1, в котором изменяющийся визуальный контент идентифицируют на основе комбинации двух или более из частоты обновления, соотношения геометрических размеров, идентификации окна и имени процесса.
4. Способ по п.1, дополнительно содержащий: идентификацию одной или более временных меток в изменяющемся визуальном контенте; согласование изменяющегося визуального контента с соответствующим аудиоконтентом на основе, по меньшей мере частично, этих одной или более временных меток; и наложение изменяющегося визуального контента на соответствующий аудиоконтент.
5. Способ по п.1, в котором изменяющийся визуальный контент является, по меньшей мере, одним из анимации, видеоконтента и переходов.
6. Способ по п.1, в котором передача изменяющегося визуального контента, в отношении которого выполнено управление, дополнительно содержит передачу информации управления для воссоздания изменяющегося визуального контента в качестве наложения на неизменяющийся визуальный контент в удаленном клиенте, причем информация управления содержит по меньшей мере одно из данных обнаружения дочернего видеоокна или данных отслеживания геометрии.
7. Способ по п.1, в котором управление в отношении изменяющегося визуального контента содержит по меньшей мере одно из сжатия данных, формирующих изменяющийся визуальный контент, пропуска обновлений экрана и пропуска видеокадров.
8. Способ по п.1, в котором изменяющийся визуальный контент является несжатым до управления.
9. Способ по п.1, в котором неизменяющийся визуальный контент содержит визуальный контент, который не изменяется, и визуальный контент, который изменяется с незначительной скоростью.
10. Машиночитаемый носитель информации, содержащий машиноисполняемые инструкции, которые при их исполнении процессором предписывают компьютерной системе осуществлять способ передачи визуального контента на удаленный клиент, причем способ содержит:
идентификацию визуального контента, причем визуальный контент содержит неизменяющийся визуальный контент и изменяющийся визуальный контент, при этом при идентификации отличают изменяющийся визуальный контент от неизменяющегося визуального контента, причем изменяющийся визуальный контент является несжатым; оценку доступных ресурсов, содержащую две или более из: оценки ресурсов, доступных на сервере, оценки ресурсов, доступных в сети, соединяющей с возможностью осуществления связи сервер и удаленный клиент, и оценки ресурсов, доступных на удаленном клиенте; управление в отношении изменяющего визуального контента на основе, по меньшей мере частично, оценки доступных ресурсов; передачу неизменяющегося визуального контента в первом формате на удаленный клиент; и передачу изменяющегося визуального контента, в отношении которого выполнено управление, во втором формате на удаленный клиент.
11. Машиночитаемый носитель информации по п.10, причем изменяющийся визуальный контент идентифицируют на основе технологий эвристического обучения.
12. Машиночитаемый носитель информации по п.10, причем растровое отображение изменяющегося визуального контента изменяется с заранее определенной скоростью обновления.
13. Машиночитаемый носитель информации по п.10, причем управление изменяющимся визуальным контентом включает в себя по меньшей мере одно из сжатия данных, формирующих изменяющийся визуальный контент, пропуска обновлений экрана и пропуска видеокадров.
14. Машиночитаемый носитель информации по п.10, причем изменяющийся визуальный контент идентифицируют на основе по меньшей мере одного из скорости изменения в сравнении с неизменяющимся визуальным контентом и заранее определенной частоты кадров.
15. Машиночитаемый носитель информации по п.10, причем управление в отношении изменяющегося визуального контента основано по меньшей мере на одном из доступной полосы пропускания, доступной возможности обработки сервера, доступной возможности обработки клиента, доступных декодеров или доступных кодировщиков.
16. Компьютерная система, содержащая:
по меньшей мере один процессор; и по меньшей мере одну память, соединенную с возможностью обмена данными с по меньшей мере одним процессором и содержащую машиночитаемые инструкции, которые при их исполнении по меньшей мере одним процессором предписывают компьютерной системе осуществлять способ передачи визуального контента на удаленный клиент, причем способ содержит: идентификацию визуального контента, причем визуальный контент содержит неизменяющийся визуальный контент и изменяющийся визуальный контент, при этом при идентификации отличают изменяющийся визуальный контент от неизменяющегося визуального контента; оценку доступных ресурсов, содержащую две или более из: оценки ресурсов, доступных на сервере, оценки ресурсов, доступных в сети, соединяющей с возможностью осуществления связи сервер и удаленный клиент, и оценки ресурсов, доступных на удаленном клиенте; управление в отношении изменяющего визуального контента на основе, по меньшей мере частично, оценки доступных ресурсов; передачу неизменяющегося визуального контента в первом формате на удаленный клиент; и передачу изменяющегося визуального контента, в отношении которого выполнено управление, во втором формате на удаленный клиент, причем второй формат включает в себя инструкции, которые обеспечивают представление изменяющегося визуального контента в качестве наложения на неизменяющийся визуальный контент при представлении на удаленном клиенте.
17. Компьютерная система по п.16, в которой инструкции позволяют удаленному клиенту воссоздавать наложение, при этом инструкции содержат одно или более из размера наложения, соотношения геометрических размеров для наложения и местоположения наложения.
18. Компьютерная система по п.16, в которой идентификация изменяющегося визуального контента основана на одном из частоты обновления, соотношения геометрических размеров, идентификации окна и имени процесса.
19. Компьютерная система по п.16, в которой передача изменяющегося визуального контента, в отношении которого выполнено управление, содержит передачу информации управления относительно по меньшей мере одного из данных положения видео и данных отслеживания геометрии.
20. Компьютерная система по п.19, в которой управление изменяющимся визуальным контентом, основанное, по меньшей мере частично, на доступных ресурсах, содержит по меньшей мере одно из сжатия изменяющегося визуального контента, пропуска обновлений экрана для изменяющегося визуального контента и пропуска видеокадров для изменяющегося визуального контента.
RU2010129037/07A 2007-12-14 2008-11-26 Передача изменяющегося визуального контента RU2506715C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/957,321 2007-12-14
US11/957,321 US8890874B2 (en) 2007-12-14 2007-12-14 Changing visual content communication
PCT/US2008/084975 WO2009079190A2 (en) 2007-12-14 2008-11-26 Changing visual content communication

Publications (2)

Publication Number Publication Date
RU2010129037A RU2010129037A (ru) 2012-01-20
RU2506715C2 true RU2506715C2 (ru) 2014-02-10

Family

ID=40752619

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010129037/07A RU2506715C2 (ru) 2007-12-14 2008-11-26 Передача изменяющегося визуального контента

Country Status (8)

Country Link
US (3) US8890874B2 (ru)
EP (1) EP2232858B1 (ru)
JP (1) JP2011507401A (ru)
KR (1) KR101560850B1 (ru)
CN (2) CN101897181B (ru)
BR (1) BRPI0820978A2 (ru)
RU (1) RU2506715C2 (ru)
WO (1) WO2009079190A2 (ru)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890874B2 (en) 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
US20100023485A1 (en) * 2008-07-25 2010-01-28 Hung-Yi Cheng Chu Method of generating audiovisual content through meta-data analysis
US9854254B2 (en) 2009-08-04 2017-12-26 Avocent Corporation Method and system for remote viewing of static and video images
US20110154214A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Offloading Content Retrieval And Decoding In Pluggable Content-Handling Systems
JP5471794B2 (ja) * 2010-05-10 2014-04-16 富士通株式会社 情報処理装置、画像送信プログラム及び画像表示方法
US8467324B2 (en) * 2010-11-03 2013-06-18 Broadcom Corporation Managing devices within a vehicular communication network
US9276972B2 (en) * 2010-12-14 2016-03-01 Microsoft Technology Licensing, Llc Real-time media optimization over remoted sessions
US8745122B2 (en) 2011-06-14 2014-06-03 At&T Intellectual Property I, L.P. System and method for providing an adjunct device in a content delivery network
US8902248B1 (en) 2011-07-14 2014-12-02 Vmware, Inc. Method and system for measuring display performance of a remote application
US20140046923A1 (en) 2012-08-10 2014-02-13 Microsoft Corporation Generating queries based upon data points in a spreadsheet application
JP2014200074A (ja) * 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
FR3009916A1 (fr) * 2013-08-26 2015-02-27 Orange Procede et dispositif d'enrichissement d'une communication
US9674265B2 (en) * 2013-11-04 2017-06-06 Vmware, Inc. Filtering unnecessary display updates for a networked client
US9674518B2 (en) 2013-12-20 2017-06-06 Vmware, Inc. Measuring remote video display with embedded pixels
US9699247B2 (en) 2014-06-17 2017-07-04 Vmware, Inc. User experience monitoring for application remoting
EP3029943B1 (en) * 2014-12-04 2018-01-31 Axis AB Method and device for determining properties of a graphical overlay for a video stream
US10255021B2 (en) * 2015-05-28 2019-04-09 Qualcomm Incorporated Low latency screen mirroring
CN107613357B (zh) * 2017-09-13 2020-05-19 广州酷狗计算机科技有限公司 声画同步优化方法、装置及可读存储介质
DE102017218203A1 (de) 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren zur Übertragung von Daten von einem Server auf ein Endgerät und entsprechendes Kommunikationssystem
DE102017218201A1 (de) 2017-10-12 2019-04-18 Robert Bosch Gmbh Übertragungsverfahren
CN110708591B (zh) * 2018-07-10 2022-04-26 杭州海康威视系统技术有限公司 一种图像处理方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0920219A2 (en) * 1997-11-26 1999-06-02 Nec Corporation Audio/video synchronous reproducer enabling accurate synchronization between audio and video data and a method of audio/video synchronous reproduction
US20020015042A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Visual content browsing using rasterized representations
US20030132959A1 (en) * 2002-01-16 2003-07-17 Simister J. Bret Interface engine providing a continuous user interface
US20040151390A1 (en) * 2003-01-31 2004-08-05 Ryuichi Iwamura Graphic codec for network transmission
RU2259588C2 (ru) * 2000-09-08 2005-08-27 Юнайтед Виртуалитиз, Инк. Способ и система компьютеризированной рекламы
RU2005120233A (ru) * 2003-10-23 2006-01-20 Майкрософт Корпорейшн (Us) Компонующий администратор окон рабочего стола
US20070028286A1 (en) * 2005-07-28 2007-02-01 Greene David P Systems, methods, and media for detecting content change in a streaming image system
US20070035543A1 (en) * 2003-03-27 2007-02-15 Microsoft Corporation System and method for managing visual structure, timing, and animation in a graphics processing system
US7266616B1 (en) * 2001-08-08 2007-09-04 Pasternak Solutions Llc Method and system for digital rendering over a network
US7274368B1 (en) * 2000-07-31 2007-09-25 Silicon Graphics, Inc. System method and computer program product for remote graphics processing

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623588A (en) * 1992-12-14 1997-04-22 New York University Computer user interface with non-salience deemphasis
US5621429A (en) * 1993-03-16 1997-04-15 Hitachi, Ltd. Video data display controlling method and video data display processing system
JP3298029B2 (ja) 1993-03-16 2002-07-02 株式会社日立製作所 映像表示制御方法、映像表示処理システム
KR100322727B1 (ko) 1995-10-24 2002-06-20 윤종용 2차원/스테레오영상변환방법및장치
US6343313B1 (en) * 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
US6349301B1 (en) * 1998-02-24 2002-02-19 Microsoft Corporation Virtual environment bystander updating in client server architecture
US6959449B1 (en) * 1998-06-08 2005-10-25 Sony Corporation System and method for simultaneously accessing video data and internet page data
US6637031B1 (en) * 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
US6624761B2 (en) * 1998-12-11 2003-09-23 Realtime Data, Llc Content independent data compression method and system
US6564380B1 (en) * 1999-01-26 2003-05-13 Pixelworld Networks, Inc. System and method for sending live video on the internet
KR20010036581A (ko) 1999-10-09 2001-05-07 손동주 실시간 자동 배경 분리 장치 및 그 방법
JP4532761B2 (ja) * 2000-03-03 2010-08-25 キヤノン株式会社 近接場光による露光方法
AU2001249112A1 (en) * 2000-03-07 2001-09-17 Yahoo Inc. Information display systems and methods
EP1267278A1 (en) * 2001-06-12 2002-12-18 Caplin Systems Limited Streaming of real-time data to a browser
CN1399442A (zh) 2001-07-20 2003-02-26 方程式资讯股份有限公司 网络市场商品搜寻装置与方法
US7224404B2 (en) * 2001-07-30 2007-05-29 Samsung Electronics Co., Ltd. Remote display control of video/graphics data
US7046269B2 (en) * 2001-10-16 2006-05-16 Sprint Communications Company L.P. Sharing of prerecorded motion video over an internetwork
US7562397B1 (en) * 2002-02-27 2009-07-14 Mithal Ashish K Method and system for facilitating search, selection, preview, purchase evaluation, offering for sale, distribution, and/or sale of digital content and enhancing the security thereof
WO2003088694A1 (en) * 2002-04-09 2003-10-23 Nortel Networks Limited Tandem-free operation (tfo) capable communication apparatus
JP2004056777A (ja) 2002-05-30 2004-02-19 Matsushita Electric Ind Co Ltd 無線遠隔操作システム
JP2004166156A (ja) 2002-11-15 2004-06-10 Ricoh Co Ltd 画像送信装置、ネットワークシステム、プログラム及び記憶媒体
JP2004166132A (ja) 2002-11-15 2004-06-10 Ricoh Co Ltd 画像送信装置、ネットワークシステム、プログラム及び記憶媒体
KR100517979B1 (ko) * 2002-12-10 2005-10-04 엘지전자 주식회사 이동 통신 단말기의 영상 오버레이 장치
US8631451B2 (en) * 2002-12-11 2014-01-14 Broadcom Corporation Server architecture supporting adaptive delivery to a variety of media players
US7219127B2 (en) * 2003-03-13 2007-05-15 Oracle International Corporation Control unit operations in a real-time collaboration server
EP1665567A4 (en) 2003-09-15 2010-08-25 Directv Group Inc METHOD AND SYSTEM FOR ADAPTIVELY TRANSCODING AND TRANSRATING IN A VIDEO NETWORK
US7133051B2 (en) * 2003-09-19 2006-11-07 Microsoft Corporation Full scale video with overlaid graphical user interface and scaled image
JP2006173962A (ja) 2004-12-15 2006-06-29 Nec Engineering Ltd 画像符号化装置
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
US20070112971A1 (en) * 2005-11-14 2007-05-17 Infodraw Ltd. Real time video streaming and data collaboration over wireless networks
KR101091910B1 (ko) * 2005-12-29 2011-12-08 삼성테크윈 주식회사 실시간 전송 프로토콜을 사용하는 비디오 서버의 제어 방법및 그 기록 매체
KR20060031829A (ko) 2006-03-21 2006-04-13 뷰웨이 주식회사 움직이는 객체 영역 검출을 위한 적응 배경 학습 방법
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US20080270110A1 (en) * 2007-04-30 2008-10-30 Yurick Steven J Automatic speech recognition with textual content input
US8890874B2 (en) 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
US9135024B2 (en) * 2008-11-30 2015-09-15 Red Hat Israel, Ltd. Playing multimedia content at remote graphics display client
US9025898B2 (en) * 2009-04-06 2015-05-05 Red Hat Israel, Ltd. Dynamically selecting compression method for graphics remoting
US8355585B2 (en) * 2009-05-12 2013-01-15 Red Hat Israel, Ltd. Data compression of images using a shared dictionary
US8392596B2 (en) * 2009-05-26 2013-03-05 Red Hat Israel, Ltd. Methods for detecting and handling video and video-like content in remote display system
JP2011128792A (ja) * 2009-12-16 2011-06-30 Toshiba Corp メモリ管理装置
US20130039408A1 (en) * 2011-02-07 2013-02-14 Screenovate Technologies Ltd Method for enhancing compression and transmission process of a screen image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0920219A2 (en) * 1997-11-26 1999-06-02 Nec Corporation Audio/video synchronous reproducer enabling accurate synchronization between audio and video data and a method of audio/video synchronous reproduction
US7274368B1 (en) * 2000-07-31 2007-09-25 Silicon Graphics, Inc. System method and computer program product for remote graphics processing
US20020015042A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Visual content browsing using rasterized representations
RU2259588C2 (ru) * 2000-09-08 2005-08-27 Юнайтед Виртуалитиз, Инк. Способ и система компьютеризированной рекламы
US7266616B1 (en) * 2001-08-08 2007-09-04 Pasternak Solutions Llc Method and system for digital rendering over a network
US20030132959A1 (en) * 2002-01-16 2003-07-17 Simister J. Bret Interface engine providing a continuous user interface
US20040151390A1 (en) * 2003-01-31 2004-08-05 Ryuichi Iwamura Graphic codec for network transmission
US20070035543A1 (en) * 2003-03-27 2007-02-15 Microsoft Corporation System and method for managing visual structure, timing, and animation in a graphics processing system
RU2005120233A (ru) * 2003-10-23 2006-01-20 Майкрософт Корпорейшн (Us) Компонующий администратор окон рабочего стола
US20070028286A1 (en) * 2005-07-28 2007-02-01 Greene David P Systems, methods, and media for detecting content change in a streaming image system

Also Published As

Publication number Publication date
BRPI0820978A2 (pt) 2015-06-16
WO2009079190A3 (en) 2009-08-13
WO2009079190A2 (en) 2009-06-25
EP2232858A4 (en) 2011-05-11
KR20100103558A (ko) 2010-09-27
CN101897181A (zh) 2010-11-24
CN101897181B (zh) 2013-03-27
US9330634B2 (en) 2016-05-03
US20150279337A1 (en) 2015-10-01
US8890874B2 (en) 2014-11-18
KR101560850B1 (ko) 2015-10-15
CN103151023B (zh) 2015-11-18
US9082337B2 (en) 2015-07-14
CN103151023A (zh) 2013-06-12
JP2011507401A (ja) 2011-03-03
EP2232858A2 (en) 2010-09-29
US20150054835A1 (en) 2015-02-26
EP2232858B1 (en) 2019-01-23
RU2010129037A (ru) 2012-01-20
US20090153585A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
RU2506715C2 (ru) Передача изменяющегося визуального контента
US11824913B2 (en) Video stream management for remote graphical user interfaces
US7627886B2 (en) Systems and methods for displaying video streams
EP2517470B1 (en) Systems and methods for video-aware screen capture and compression
US8254704B2 (en) Remote computing platforms providing high-fidelity display and interactivity for clients
US9609338B2 (en) Layered video encoding and decoding
CN104685873B (zh) 编码控制设备以及编码控制方法
US20150117515A1 (en) Layered Encoding Using Spatial and Temporal Analysis
CN110582012A (zh) 视频切换方法、视频处理方法、装置及存储介质
CN113973224B (zh) 媒体信息的传输方法、计算设备及存储介质
CN103716318A (zh) 云计算环境中通过混合使用rfb和h.264编码提高虚拟桌面显示质量的方法
WO2017180402A1 (en) Progressive updates with motion
CN101622873B (zh) 由服务器播送音频和视频数据序列的方法
JP6483850B2 (ja) データ処理方法および装置
Vats et al. Semantic-aware view prediction for 360-degree videos at the 5g edge
TWI735297B (zh) 具有初始化片段之視訊及音訊之寫碼
EP3989566A1 (en) Motion information list construction method in video encoding and decoding, device, and apparatus
CN115801878A (zh) 云应用画面传输方法、设备和存储介质

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20150526