RU2467506C2 - Управление потоком расширенного медиа - Google Patents

Управление потоком расширенного медиа Download PDF

Info

Publication number
RU2467506C2
RU2467506C2 RU2009119437/07A RU2009119437A RU2467506C2 RU 2467506 C2 RU2467506 C2 RU 2467506C2 RU 2009119437/07 A RU2009119437/07 A RU 2009119437/07A RU 2009119437 A RU2009119437 A RU 2009119437A RU 2467506 C2 RU2467506 C2 RU 2467506C2
Authority
RU
Russia
Prior art keywords
scene
random access
access data
secondary stream
extended media
Prior art date
Application number
RU2009119437/07A
Other languages
English (en)
Other versions
RU2009119437A (ru
Inventor
Клинтон ПРИДДЛЕ (SE)
Клинтон ПРИДДЛЕ
Пер ФРЕЙД (SE)
Пер ФРЕЙД
Original Assignee
Телефонактиеболагет Лм Эрикссон (Пабл)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Телефонактиеболагет Лм Эрикссон (Пабл) filed Critical Телефонактиеболагет Лм Эрикссон (Пабл)
Publication of RU2009119437A publication Critical patent/RU2009119437A/ru
Application granted granted Critical
Publication of RU2467506C2 publication Critical patent/RU2467506C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

Изобретение относится к системам связи и, в частности, к управлению расширенным медиа и использованию точек произвольного доступа во вторичном потоке, связанном с первичным потоком пакетов расширенного медиа. Техническим результатом является обеспечение управления пакетами расширенного медиа, которое обеспечивает восстановление при ошибках и/или возможность настраивания во вторичном или вспомогательном потоке пакетов расширенного медиа. Указанный технический результат достигается тем, что вторичный поток (20) пакетов (21, 22, 23) расширенного медиа, определяющий состояния сцены части (34) сцены (30), представленного первичным потоком (10) или пакетами (11, 12, 13) расширенного медиа. Обеспечиваются локальные данные произвольного доступа, определяющие инструкции для допущения, будучи обработанными, создания начального состояния части сцены (34), не влияя на состояние сцены частей (32, 36) сцены. Локальные данные произвольного доступа упакованы в, по меньшей мере, один пакет (21, 23) расширенного медиа, который вставляется во вторичный поток (20) и передается, по меньшей мере, на один пользовательский терминал (300). Локальные данные произвольного доступа могут использоваться терминалами (300) для настройки на вторичный поток (20) и/или для восстановления при ошибках, касающихся вторичного потока (20). 7 н. и 22 з.п. ф-лы, 13 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение в целом имеет отношение к управлению расширенным медиа, в частности к образованию и использованию точек произвольного доступа во вторичном потоке, связанном с первичным потоком пакетов расширенного медиа.
УРОВЕНЬ ТЕХНИКИ
Масштабируемая векторная графика (SVG) является основанным на расширяемом языком разметки (XML) языком для представления статической и динамической векторной графики. SVG основана на векторах, что означает, что информационное наполнение не сделано для определенных разрешений экрана, но может быть легко масштабировано. SVG стандартизирована Консорциумом Всемирной паутины (W3C). Мобильная конфигурация версии 1.1 SVG была принята 3GPP Release 5, и она сегодня поддерживается примерно 100 миллионами мобильных телефонов.
SVG Tiny 1.2 [1] является более мощной версией SVG, которая специально спроектирована для мобильных устройств и терминалов. Она в настоящее время является рекомендацией кандидата W3C и была принята 3GPP Release 6. Поддержка множества новых особенностей мультимедиа, включая полный контроль над аудио и видео, включена наряду с микрообъектной моделью документов (µDOM) и созданием сценария.
В дополнение к тому, что она является типом медиа для векторной графики, SVG может также использоваться как язык описания сцен, где сцена может быть составлена как временно, так и пространственно. Фактически, SVG Tiny 1.2 был принят как формат представления для рабочего элемента 3GPP на динамических и интерактивных мультимедиа сценах (DIMS), так же как и для рабочего элемента Открытого Мобильного Альянса (OMA) в Среде Расширенного Медиа (RME). Стандартизация DIMS была завершена в 3GPP Release 7, тогда как OMA все еще работает над завершением RME. Для DIMS (и также для RME) главными конкурирующими предложениями были Мобильная Открытая Среда Расширенного Медиа (MORE) [2], строящаяся на технологиях от W3C и Легкого Прикладного Представления Сцена (LASeR) [3], стандартизированного MPEG. Оба используют SVG Tiny 1.2 как основу.
Контент DIMS (RME) в противоположность чистому контенту SVG может передаваться потоково, используя Транспортный протокол реального времени (RTP) [4]. Визуализированный документ SVG упоминается как сцена SVG и будет, как правило, обновляться с меньшими обновлениями сцены. MORE и LASeR определяют, как сцены SVG могут быть переданы по RTP. Механизмы для обновлений сцен концептуально сходны, хотя не идентичны. LASeR определяет свои собственные механизмы, тогда как MORE использует Удаленные События для XML (REX) [5] от W3C.
Способность настроить и способность исправить ошибку настраиванием очень важна в DIMS, в особенности когда используются такие ненадежные протоколы, как RTP. Когда происходит ошибка, терминал обработки может использовать следующую так называемую точку произвольного доступа (RAP), чтобы исправить ошибку. Эта RAP декодируется так же, как будто терминал настраивался впервые, и все из старой сцены удаляется, и выполняется новая настройка.
Другая важная особенность DIMS - способность объединить потоки из различных источников, даже посланных по различным протоколам. Сцена DIMS в первичном потоке может привлекать вторичный поток, который может изменить оригинальную сцену.
В наше время точка настройки (RAP) во вторичном потоке должна содержать информацию обо всей сцене. Это очень неэффективно, особенно когда первичный поток доставляется надежно, а вторичный поток - ненадежно. Это означает, что с такой традиционной RAP даже части сцены, принятой надежно, будут снова посланы в точки настройки вторичного потока.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Решение известного уровня техники имеет несколько недостатков. Во-первых, ранее надежно посланное медиа первичного потока должно быть повторно передано, возможно, через ненадежный протокол доставки в случае ошибки, появившейся во вторичном потоке. Во-вторых, у сервера, поставляющего вторичный поток, должно быть знание о сцене, в которой будет использоваться вторичный поток. Таким образом, у сервера должен быть доступ к первичному потоку. Как следствие, несколько пользователей могут только подписаться на один и тот же самый вторичный поток, если у них есть идентичные состояния сцен в их приложениях. Кроме того, сегодня для пользователей невозможно загрузить первичный сцену и настроиться на вторичный поток вещания, поскольку каждый пользователь может настроиться в различные моменты вторичного потока.
Настоящее изобретение преодолевает эти и другие недостатки средств предшествующего уровня техники.
Общей задачей настоящего изобретения является обеспечение управления пакетами расширенного медиа.
Частной задачей настоящего изобретения является обеспечение управления пакетами расширенного медиа, которое обеспечивает восстановление при ошибках и/или возможность настраивания во вторичном или вспомогательном потоке пакетов расширенного медиа.
Эти и другие задачи решаются изобретением, как определено сопровождающей патентной формулой изобретения.
Вкратце, настоящее изобретение подразумевает обеспечение и обработку пакетов расширенного медиа вторичного или вспомогательного потока, которые будут использоваться совместно с первичным или основным потоком пакетов расширенного медиа, определяющих сцену. Расширенное медиа вторичного потока определяет состояния сцены и управляет частью сцены. Локальные данные произвольного доступа предоставляются для вторичного потока. Эти локальные данные произвольного доступа определяют законченный набор команд, допускающих создание, будучи обработанными, начального состояния части сцены. Начальное состояние, кроме того, доступно без влияния на состояния сцены других частей сцены. Таким образом, локальные данные произвольного доступа настоящего изобретения достигают локального или частичного обновления сцены и не генерируют полное обновление и генерацию новой сцены. Как следствие, только часть сцены, определенная вторичным потоком, будет затронута и установлена в начальное состояние, используя локальные данные произвольного доступа настоящего изобретения.
Предоставленные данные включены в пакет расширенного медиа, который вставляется во вторичный поток. Пакет, вместе с другими (обновление сцены) пакетами вторичного потока, может тогда быть передан на пользовательские терминалы для визуализации.
Локальные данные произвольного доступа настоящего изобретения могут использоваться терминалами при настройке на вторичный поток и/или восстановлении ошибки, возникшей при приеме или обработке пакетов расширенного медиа вторичного потока.
Настраиваясь на вторичный поток во время ведущегося сеанса с привлечением визуализации сцены, представляемой пакетами расширенного медиа первичного потока, терминал начинает прослушивать канал, несущий пакеты вторичного потока. Терминал идентифицирует один из пакетов как несущий локальные данные произвольного доступа, обычно изучая информацию заголовка. Будучи идентифицированной, выполняется настройка посредством обработки локальных данных произвольного доступа, чтобы создать начальное состояние части сцены, но без воздействия на другие части сцены. Терминал может тогда продолжить прием и обработку пакетов расширенного медиа вторичного потока, чтобы таким образом обновить состояние части сцены в дополнение к другим частям сцены.
В случае восстановления ошибки во вторичном потоке терминал ищет в принятых пакетах расширенного медиа вторичного потока после ошибочного пакета. Терминал идентифицирует такой пакет расширенного медиа, содержащий локальные данные произвольного доступа изобретения. Восстановление ошибок вовлекает обработку идентифицированных локальных данных произвольного доступа, чтобы создать начальное состояние части сцены, без влияния на состояние сцены других частей сцены. Терминал продолжает, получая и обрабатывая сцену, обновлять пакеты вторичного потока, чтобы обновить состояние части сцены.
Изобретение также относится к медиа-серверу для обеспечения вторичного потока, такому вторичному потоку и пользовательскому терминалу, обрабатывающему данные расширенного медиа первичного и вторичного потоков.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Изобретение вместе с дальнейшими задачами и своими преимуществами может лучше всего быть понято путем ссылок на следующее описание, взятое вместе с сопроводительными чертежами, в которых:
Фиг.1 - схема последовательности операций способа обеспечения вторичного потока пакетов расширенного медиа согласно воплощению настоящего изобретения;
Фиг.2 - схематический вид первичного и вторичного потоков пакетов расширенного медиа;
Фиг.3 - вид возможной сцены расширенного медиа с различными частями сцены;
Фиг.4 иллюстрирует организацию элементов сцены в древовидной структуре;
Фиг.5 - блок-схема, иллюстрирующая дополнительные этапы способа обеспечения с фиг.1;
Фиг.6 - блок-схема, иллюстрирующая дополнительные этапы способа обеспечения с фиг.1;
Фиг.7 - схематический вид части сети связи, содержащей медиа-сервер согласно настоящему изобретению;
Фиг.8 - схематический вид другой части сети связи, содержащей медиа-сервер согласно настоящему изобретению;
Фиг.9 - схематическая блок-схема медиа-сервера согласно воплощению настоящего изобретения;
Фиг.10 - блок-схема способа восстановления ошибок согласно воплощению настоящего изобретения;
Фиг.11 - блок-схема, иллюстрирующая этап создания состояния блок-схемы на фиг.10 согласно воплощению настоящего изобретения;
Фиг.12 - блок-схема, иллюстрирующая способ настройки на вторичный поток во время сеанса согласно воплощению настоящего изобретения; и
Фиг.13 - схематическая блок-схема пользовательского терминала согласно воплощению настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Всюду в чертежах одинаковые символы позиций будут использоваться для соответствующих или аналогичных элементов.
Настоящее изобретение в целом относится к управлению расширенным медиа, в частности к созданию и использованию точек произвольного доступа во вторичном потоке, связанном с первичным потоком пакетов расширенного медиа.
Как хорошо известно в технике, DIMS - динамическая, интерактивная, основанная на сцене медиа-система, которая допускает отображение и интерактивное управление мультимедиа или медиа-данными, такими как аудио, видео, графика, изображения и текст. Согласно настоящему изобретению расширенное медиа относится к медиа- и мультимедиа контенту, который может быть обработан и визуализирован, чтобы сформировать различные сцены на экране дисплея визуализирующего терминала. Такой контент расширенного медиа включает в себя графику, в частности векторную графику и масштабируемую векторную графику (SVG), статический и/или непрерывный медиа-контент. Примеры статического контента включают в себя изображения и текст, в то время как видео и аудио расцениваются как непрерывное медиа. Таким образом, пакеты расширенного медиа содержат данные и команду, позволяющие, будучи обработанным в терминале, визуализацию сцен расширенного медиа и обновление таких сцен.
Сцена может рассматриваться как разделенная на различные части, например, занимающие различные части экрана дисплея, будучи обработанным. В таком случае данные сцены, касающиеся этих частей, могут брать начало и распространяться различными потоками пакетов расширенного медиа. Вообще, первичный поток обращается к потоку или файлу, определяющему полное дерево сцены, и позволяет построение полной (DIMS) сцены. Этот первичный поток может иметь один или более связанных вторичных потоков, которые только управляют определенными частями дерева сцены.
Первичный и по меньшей мере один вторичный поток могут быть переданы по одному протоколу, но также и по разным протоколам. Например, пакеты расширенного медиа первичной сцены можно надежно послать через загрузку, в то время как вторичный поток можно было послать, используя менее надежный протокол, такой как RTP.
Первичные и вторичные потоки предшествующего уровня техники в основном содержат пакеты расширенного медиа двух различных классов. Во-первых, пакет данных может содержать так называемую точку произвольного доступа (RAP) или полную сцену. Содержимое пакета (пакетов) RAP описывает пространственную организацию элементов сцены, временную организацию элементов сцены, информацию синхронизации и любого взаимодействия между элементами. Таким образом, этой информации достаточно для того, чтобы визуализировать полную сцену без использования любой информации предыдущих пакетов расширенного медиа. Это означает, что клиент может использовать содержащий сцену пакет для того, чтобы инициализировать представление и схему размещения расширенного медиа. В предшествующем уровне техники инициирование визуализации медиа и восстановления предыдущей ошибки приема и декодирования ограничено этими так называемыми RAP. И первичные и вторичные потоки содержат RAP. В предшествующем уровне техники нет прямого различия в обработке RAP, транспортируемой во вторичном потоке по сравнению с RAP первичного потока, так как обе RAP вызовут полное обновление или инициирование сцены и полное обновление дерева сцены. Таким образом, вся часть сцены будет сброшена к начальному состоянию или новой сцене.
Подавляющая часть потока пакетов содержит пакеты обновления сцены, содержащие инкрементные обновления сцены, определенные предыдущей RAP или сценой, представляемой визуализацией предыдущей RAP и рядом предыдущих пакетов обновления сцены. Пакеты обновления сцены определяют операции, такие как добавление элемента сцены, удаление элемента сцены, замена элемента сцены, обновления атрибута элемента сцены и новые операции сцены. В области техники обновление сцены вторичного потока вообще применимо только к части сцены или части дерева сцены, определенного вторичным потоком.
Иногда выражения дополняют документ Расширяемого Языка Разметки (XML), и обновления документа XML используются для того, чтобы обозначить сцены и обновления сцены соответственно. В нижеследующей заявке будут последовательно использоваться сцены выражений и обновления сцены. Однако это охватывает альтернативные обозначения, такие как полные документы XML и обновления документа. RAP, обновления сцен и сцены должны, хотя и не обязательно, быть основаны на XML. Примером дескриптора сцены, не основанного на XML, является Flash. Документ (документы) XML могут быть посланы в открытом контексте или преобразованы в двоичную форму. Примеры таких способов преобразования в двоичную форму включают gzip (GNU zip), сжатие, двоичный LASeR и BiM (формат Binary MPEG для XML).
В четком контрасте по отношению к предшествующему уровню техники настоящее изобретение обеспечивает новый тип данных произвольного доступа, которые являются применимыми только к данному потоку, такому как определенный вторичный поток. Это означает, что обработка таких локальных данных произвольного доступа вызовет частичное обновление сцены, затрагивающее только часть полной сцены, которая описана определенным вторичным потоком. Оставшиеся части сцены остаются незатронутыми. Это можно сравнить с RAP в первичном потоке или RAP во вторичном потоке согласно предшествующему уровню техники, которое приводит к полному обновлению сцены в новую сцену.
Основная идея новых локальных данных произвольного доступа настоящего изобретения состоит в том, чтобы повлиять и обновить только те части сцены и дерева сцены, которые связаны с вторичным потоком, несущим локальные данные произвольного доступа.
Фиг.1 - блок-схема, иллюстрирующая способ обеспечения вторичного потока пакетов расширенного медиа согласно настоящему изобретению. Пакеты вторичного потока определяют состояния сцены части полной сцены, представляемой связанным первичным потоком пакетов расширенного медиа. Способ начинается на этапе S1, где обеспечиваются локальные данные произвольного доступа. Эти локальные данные произвольного доступа определяют полный набор команд для разрешения, при обработке в пользовательском терминале, создания начального состояния части сцены, определенного или ассоциированного с вторичным потоком. Кроме того, это частичное обновление сцены в начальное состояние может быть выполнено без влияния на состояние сцены других частей сцены. Локальные данные произвольного доступа определяют полный и достаточный набор команд для того, чтобы создать начальное состояние и частичное обновление сцены без использования любых команд, содержавшихся в других предыдущих пакетах расширенного медиа вторичного потока, или действительно первичного потока или другого вторичного потока.
Следующий этап S2 генерирует пакет расширенного медиа, основанный на предоставленных локальных данных произвольного доступа. Таким образом, предоставленные локальные данные произвольного доступа включены в один или множество, то есть, по меньшей мере, два пакета расширенного медиа. По меньшей мере один пакет, содержащий данные локальной точки произвольного доступа (LRAP), вставляется во вторичный поток на этапе S3 и может быть затем послан в один или более запрашивающих пользовательских терминалов на этапе S4. Передача потока пакетов может быть выполнена согласно любому протоколу передачи и механизму, известному в технике. Например, пакеты могут быть загружены или переданы потоково на один или более пользовательских терминалов. Альтернативно, может быть возможно вещание или групповая передача на множественные терминалы в сети связи. Основанные на индивидуальной рассылке протоколы передачи также могут использоваться для пакетов расширенного медиа настоящего изобретения. Затем способ заканчивается.
Фиг.2 схематично иллюстрирует первичный поток 10 из пакетов 11, 12, 13 расширенного медиа. Поток содержит пакеты 11, 13, содержащие RAP, которые вызовут, будучи обработанными, полное обновление сцены в новую сцену, влияя на все части сцены и полного дерева сцены. Эти RAP 11, 13 могут использоваться пользовательскими терминалами, присоединяясь или настраиваясь на первичный поток 10. Таким образом, обработка совместно с настраиванием может быть начата только совместно с такими RAP 11, 13. RAP также полезны в использовании в подключении с ошибкой приема, декодирования или обработки одного из пакетов 12 обновления сцены, как известно в технике.
Первичная сцена 10 на фиг.2 связана с вторичным потоком 20, содержащим пакеты расширенного медиа 21, 22, 23, 24. Этот вторичный поток 20 содержит, по меньшей мере, один, а предпочтительно несколько, LRAP 21, 23 согласно настоящему изобретению. Таким образом, эти LRAP 21, 23 обеспечивают, будучи обработанными, локальное/частичное обновление части сцены или части дерева сцены, не влияя на другие части сцены (дерева). Эти LRAP 21, 23 могут использоваться тем же самым способом, как RAP 11, 13 из первичного потока 10. Таким образом, LRAP 21, 23 используются для того, чтобы выполнить настройку на вторичный поток 20 и/или для того, чтобы избавиться от ошибок, принимая, обрабатывая или декодируя один из пакетов 24 обновления сцены из вторичного потока 20.
Фиг.3 схематично иллюстрирует сцену 30, визуализируемую на экране дисплея. Сцена 30 содержит различные части 32, 34, 36 сцены. На чертеже основная часть 32 сцены показывает видеоданные телевизионного канала. Связанные части 34, 36 сцены показывают, например, прогноз погоды и цены фондовой биржи. При такой настройке эти ассоциированные части 34, 36 сцены каждая может управляться отдельным вторичным потоком, связанным с первичным потоком, несущим данные расширенного медиа, определяющие часть сцены телевизионного канала и несущие RAP, влияя на всю сцену 30, то есть также части 34, 36 сцены.
Таким образом, RAP в первичном потоке и RAP во вторичном потоке согласно уровню техники приведут к новой сцене 30 и обновлению всех частей 32, 34, 36 сцены. В четком контрасте LRAP настоящего изобретения только определит начальное состояние части 34 или 36 сцены, связанной с вторичным потоком, несущим LRAP, оставляя другие части 32 и 36 или 34 сцены не затронутыми LRAP.
Хотя все содержащие RAP пакеты 21, 23 из вторичного потока предпочтительно содержат локальные данные произвольного доступа настоящего изобретения, настоящее изобретение может также использоваться в подключении с вторичным потоком, имеющим пакеты расширенного медиа, содержащие полные данные произвольного доступа предшествующего уровня техники и других пакетов расширенного медиа, содержащих локальные данные произвольного доступа настоящего изобретения в дополнение к обновлению сцены, содержащему пакеты.
Сцена часто представляется деревом сцены в уровне техники, как показано на фиг.4. Такое дерево 40 сцены содержит несколько узлов 41-47 дерева, определяющих различные объекты и части полной сцены. RAP в первичном потоке и RAP во вторичном потоке согласно уровню техники вызовут полное обновление всех узлов 41-47 дерева 40. LRAP настоящего изобретения, однако, только обновит часть 48 дерева 40 и поэтому повлияет только на один или более узлов 42, 43 дерева 40, но не на другие узлы 41, 44, 45, 46, 47 дерева.
Фиг.5 - блок-схема, иллюстрирующая дополнительные этапы способа обеспечения потока с фиг.1. Способ продолжается с этапа S2 фиг.1. На следующем этапе S10 предоставляются данные обновления сцены. Эти данные обновления сцены применимы к начальному состоянию, определенному локальными данными произвольного доступа, чтобы "переместить" начальное состояние в состояние сцены части сцены, связанного с вторичным потоком. Эти данные обновления сцены, применимые к начальному состоянию, определенному LRAP, можно передать в отдельном пакете обновления сцены (пакет 22 на фиг.2, если пакет 21 содержит LRAP). Однако в другом воплощении данные обновления сцены могут быть включены, вместе с локальными данными произвольного доступа, в тот же самый пакет расширенного медиа на этапе S10. В таком случае пользовательский терминал, получающий пакет расширенного медиа, может обработать и локальные данные произвольного доступа и данные обновления сцены, включенные туда. Однако в других случаях локальные данные произвольного доступа могли быть расценены как избыточные. Это означает, что пользовательский терминал, получающий пакет расширенного медиа, может решить, обработать ли локальные данные произвольного доступа или нет. Вообще, LRAP только используется пользовательским терминалом, настраивающимся на вторичный поток, или пользовательским терминалом, столкнувшимся с ошибкой в предыдущем пакете расширенного медиа вторичного потока. Другой терминал может опустить обработку/визуализацию LRAP и только обработать включенную информацию обновления сцены.
Пакет расширенного медиа может содержать следующие части:
<LRAP-specific>
. . .
Частичное обновление сцены в начальное состояние для части сцены
. . .
</LRAP-specific>
<update>
. . .
Обновить информацию
. . .
</update>
В предпочтительном воплощении способ продолжается к этапу S11, где маркер заголовка пакета расширенного медиа вставляется или установливается в предопределенное значение, сообщающее, что пакет содержит LRAP. Маркер - ценный информационный источник для терминалов, желающих настраиваться на вторичный поток или терминалам, столкнувшимся с ошибкой приема или декодирования предыдущего пакета расширенного медиа (пакет обновления сцены или пакет LRAP) вторичного потока. Эти терминалы просто исследуют части заголовка полученных пакетов, чтобы идентифицировать следующий пакет, содержащий LRAP.
Маркер заголовка может иметь значение, указывающее, что включенные локальные данные произвольного доступа обязательны. Это означает, что все терминалы, слушающие заданный вторичный поток, должны обработать данные произвольного доступа в пакете, и не только настраивающиеся или восстанавливающие ошибку терминалы. Соответственно, у маркера заголовка может быть значение, представляющее избыточную LRAP. В таком случае включенные местные данные произвольного доступа должны только быть обработаны настраиванием терминалов на поток или восстановлением от предыдущей ошибки пакета. Маркер заголовка может также дополнительно сообщить, что пакет расширенного медиа содержит, в дополнение к LRAP изобретения, информацию обновления сцены, в особенности если о LRAP сообщают как об избыточной.
Этап S11 вставки/установки маркера заголовка фиг.5 может быть выполнен независимо от того, предоставлены ли данные обновления сцены или нет. В таком случае этап S10 может быть опущен в целом и только этап S11 выполнен. В любом случае способ тогда продолжается к этапу S3, где генерируются пакет расширенного медиа, содержащий LRAP, маркер заголовка и дополнительно данные обновления сцены.
Локальные данные произвольного доступа настоящего изобретения предпочтительно содержат полный набор команд, позволяющий обеспечение начального состояния части сцены, связанного с вторичным потоком. Локальные данные произвольного доступа предпочтительно позволяют обеспечивать начальное состояние независимо от того, какие предыдущие пакеты расширенного медиа вторичного потока были потеряны, или если вторичный поток настроен впервые. Команды, включенные в локальные данные произвольного доступа, могут зависеть от конкретных данных расширенного медиа, управляющих вторичным потоком. Типичным примером возможной частичного обновления сцены может быть включение машинной команды, вызывающей удаление элемента сцены из части сцены и затем другой команды, вызывающей вставку правильной версии элемента сцены в часть для формирования начального состояния. Настраивание терминалов на вторичный поток, конечно, еще не имеет никакого элемента сцены вторичного потока для удаления. Эти терминалы просто вставляют упомянутую версию элемента сцены в намеченной части сцены. В случае восстановления при ошибках удаляется ошибочный элемент сцены и правильная версия вставляется в правильную часть сцены.
Примером такой машинной команды LRAP, используя REX (удаленные события для XML), может быть:
Figure 00000001
Первая машинная команда удаляет элемент сцены, имеющий идентификатор узла «advertisment-node00l». Вторая машинная команда вставляет правильную версию элемента сцены. Как можно заметить по этому иллюстративному примеру, различные элементы сцены предпочтительно имеют ассоциированные идентификаторы. В таком случае эти идентификаторы могут использоваться для того, чтобы идентифицировать части сцены, которая была бы затронута локальными данными произвольного доступа. Кратко возвращаясь к фиг.4 и дереву 40 сцены, у каждого узла 41-47 в дереве 40 может быть связанный идентификатор узла. Идентифицируя заданный узел 42, основное направление узлов того узла 42 также будет затронуто LRAP.
Другие возможные команды LRAP, которые могут использоваться согласно настоящему изобретению, устанавливают или сбрасывают значение атрибута, связанное с частью сцены. Например, часть сцены, управляемая вторичным потоком, может отображать часы, сообщающие текущее время. Команда LRAP может затем сбросить текущее время часов. Подобный сценарий возможен для термометра, сообщающего текущую внешнюю температуру.
Как обсуждалось выше, LRAP содержит законченный набор команд, требуемых для того, чтобы достигнуть начального состояния части сцены, не требуя команд, содержавшихся в предыдущих пакетах расширенного медиа вторичного потока. Таким образом, определение машинной команды, добавляющее число N к значению атрибута, не является подходящей командой LRAP, так как значение атрибута может действительно быть ошибочным из-за пропуска терминалом предыдущего пакета обновления сцены, устанавливающего другое значение значению атрибута. На ясном контрасте машинная команда LRAP изобретения тогда установила бы атрибут с численным значением. Согласно фиг.2 LRAP 23 изобретения является предпочтительной, поэтому определяющим является то, что она может использоваться, чтобы достигнуть начального состояния части сцены, независимо от того, какой пакет 21 предыдущей LRAP или пакет 22, 24 обновления сцены был неправильно получен. Таким образом, пакет 23 LRAP может использоваться первым терминалом, который неправильно получил первый пакет 22 обновления сцены. Тот же самый пакет 23 LRAP может также использоваться вторым терминалом, который не получил правильно второй пакет 24 обновления предыдущего сцены.
Хотя набор команд LRAP является предпочтительно достаточно общим, чтобы позволить условие начального состояния, независимо от того, какой предыдущий пакет расширенного медиа текущего потока был неправильно получен или обработан терминалом, изобретение может также генерировать LRAP, основанную на запросах терминала. Подобная процедура показана на фиг.6. Способ начинается на этапе S20, где принят определенный для терминала запрос о локальных данных произвольного доступа. Этот запрос генерируется терминалом, неправильно получившим или обработавшим предыдущий пакет расширенного медиа вторичного потока. Как известно в технике, пакеты данных вообще имеют назначенные идентификаторы пакета, например включенные в пакет заголовки. В таком случае запрос LRAP может включать в себя идентификатор неправильно принятого/обработанного пакета расширенного медиа, и этот идентификатор восстанавливается на этапе S21. Затем способ продолжается к этапу S1 фиг.1, где локальные данные произвольного доступа предоставляются на основании запроса LRAP. Это воплощение позволяет генерирование заданной LRAP, подразумевая, что они используются для борьбы с предыдущей ошибкой заданного пакета расширенного медиа. Как следствие, более заданные команды могут быть включены в LRAP по сравнению с общей LRAP, которая предназначена для использования независимо от того, где произошла ошибка пакета во вторичном потоке.
Использование локальных точек произвольного доступа во вторичном потоке согласно настоящему изобретению допускает эффективное разделение передачи первичного потока и вторичного потока. Кроме того, данные (первичного потока), которые были надежно получены, не должны быть повторно переданы в LRAP вторичного потока. Настоящее изобретение также позволяет статической части сцены быть загруженной, в то время как динамические части, определенные вторичным потоком (потоками), обновляются по RTP.
Кроме того, имея только команды, применимые к части сцены (дереву), пакеты расширенного медиа вторичного потока, содержащего LRAP изобретения, могут быть намного меньшими, чем содержащие RAP пакеты предшествующего уровня техники.
Обработка LRAP вторичного потока не затрагивает остальную часть сцены. Это означает, что интерактивность не является изъяном, нет разрывов в воспроизведении, и нет затрат сложной обработки из-за всей реконструкции DOM, как в предшествующем уровне техники.
Фиг.7 - схематический вид части сети 1 связи, содержащей медиа-сервер 100 согласно настоящему изобретению. В этом воплощении один и тот же самый медиа-сервер 100 обеспечивает и пересылает и первичный поток 10, и связанный вторичный поток на различные пользовательские терминалы 300, используя инфраструктуру, то есть базовые станции 400, 410 мобильной сети 1. Однако настоящее изобретение может успешно использоваться в соединении с сетью 1 и архитектурой медиа-сервера, как показано на фиг.8. На этом чертеже первый медиа-сервер 100 обеспечивает и пересылает первичный поток 10 на пользовательские терминалы 300. Вторичный поток 20 здесь обеспечивается отдельным медиа-сервером 200, подключенным с той же самой или другой базовой станцией 400, 410, как первый медиа-сервер 100. Так как LRAP во вторичном потоке 20 влияет только на те части сцены (дерева), которые управляются интерактивным медиа вторичного потока 20, второму серверу 200 не нужны никакие знания о сцене, в которой должен использоваться вторичный поток 20. Таким образом, второй сервер 200 не должен иметь никакой информации первичного потока 10, обеспечивая и передавая вторичный поток 20. Это позволяет второму серверу 200 поставлять тот же самый вторичный поток 20 многим различным пользовательским терминалам 300 с различными базовыми сценами. Это также делает возможным применить более чем один вторичный поток 20 за один раз. Кроме того, вторичный поток 20 может быть передан основной станцией 410 без требования к первичному потоку 10 через широкополосное вещание, но, например, через загрузку («точка-точке» или "точка-точкам").
Фиг.9 схематично иллюстрирует медиа-сервер 100 согласно настоящему изобретению. Медиа-сервер 100 содержит поставщика 110 данных для того, чтобы обеспечить локальные данные произвольного доступа согласно изобретению, которые определяют полный набор команд для того, чтобы допустить создание начального состояния части сцены, определенного вторичным потоком. Это создание возможно во время обработки данных, не затрагивая состояние сцены других частей сцены, представимого первичным потоком пакетов расширенного медиа. Поставщик 110 данных может быть настроен для предоставления локальных данных произвольного доступа от подключенной памяти 160 данных, хранящей такие данные LRAP. Память 160 может содержать предопределенные команды, из которых поставщик 110 данных выбирает подходящий набор команд, чтобы использовать как данные LRAP. Кроме того, память 160 может содержать идентификатор (идентификаторы) заданных узлов или частей сцены, которыми управляет вторичный поток. Альтернативно, медиа-сервер 100 содержит или подключен к механизму 170 данных, который генерирует данные LRAP по требованию. Соответствующие команды и идентификаторы, используемые для того, чтобы создать данные LRAP, сгенерированы механизмом 170 и отправлены поставщику 110 данных.
Медиа-сервер 100 может дополнительно включать в себя приемник 150, настроенный для приема заданных терминальных запросов о LRAP. Приемник 150 пересылает запрос поставщику 110 данных, который обрабатывает запрос. Предпочтительно, поставщик 110 обеспечивает данные LRAP от памяти 160 и/или механизма, по меньшей мере, частично основанные на запросе, таком как основанный на идентификаторе пакета, включенном в запрос.
Предоставленные локальные данные произвольного доступа отправляются от поставщика 110 данных на генератор 120 пакетов. Генератор 120 создает пакет расширенного медиа или множество таких пакетов, содержащих принятые данные LRAP. Генератор 120 пакетов может быть подключен к дополнительному поставщику 180 данных обновления. Этот поставщик 180 данных обновления предоставляет информацию обновления сцены, применимую к начальному состоянию сцены, представимому локальными данными произвольного доступа от поставщика 110 данных. Генератор 120 пакетов может также вставить эти данные обновления сцены в тот же самый пакет расширенного медиа или в следующий пакет обновления сцены.
Необязательный процессор 190 заголовков подключен к генератору 120 пакетов. Процессор 190 устанавливает маркеры заголовка пакета расширенного медиа согласно предопределенным значениям, сообщающим, содержит ли пакет расширенного медиа LRAP, избыточна ли LRAP или обязательна и/или содержит ли пакет также данные обновления сцены.
Пакет расширенного медиа отправляется от генератора 120 на генератор 130 потоков, настроенный на генерирование вторичного потока. Генератор 130 потоков вставляет принятый пакет расширенного медиа во вторичный поток и пересылает его на передатчик 140, который посылает пакет и другие пакеты вторичного потока на прослушивающий пользовательский терминал (терминалы).
Медиа-сервер 100 необязательно может также обеспечить пакеты расширенного медиа первичного потока. В таком случае сервер 100 содержит поставщика 210 данных для того, чтобы обеспечить данные произвольного доступа и данные обновления сцены, применимые к первичному потоку. Предоставленные данные произвольного доступа допускают создание полной новой сцены, будучи обработанными, и таким образом затрагивают все части сцены (дерева). Генератор 220 пакетов настроен для упаковки данных от поставщика 210 данных в пакеты расширенного медиа, которые вставляются в первичный поток генератором 230 потоков. Пакеты первичного потока передаются передатчиком 140 или специализированным передатчиком первичного потока.
Модули 110-150, 170-190 и 210-230 медиа-сервера 100 могут быть представлены как программное обеспечение, аппаратные средства или их комбинация. Медиа-сервер 100 может быть размещен в сетевом узле сети связи, такой как сеть мобильной связи. Также возможна распределенная реализация, в котором модули медиа-сервера 100 выполнены в более чем одном сетевом узле.
Как обсуждался выше, локальные данные произвольного доступа вторичного потока могут использоваться для восстановления при ошибках и/или настройке на вторичный поток. Фиг.10 - блок-схема, иллюстрирующая способ восстановления из ошибки обработки или ошибки приема в данных расширенного медиа вторичного потока. Начало на этапе S30, где терминал обработки идентифицирует пакет расширенного медиа вторичного потока, который был неправильно получен терминалом и/или не мог быть правильно обработан терминалом. Терминал должен инициализировать процедуру исправления ошибок для данных расширенного медиа вторичного потока. Эта процедура использует ожидание следующего пакета расширенного медиа, содержащего LRAP изобретения во вторичном потоке. Идентификация пакета среди полученных пакетов первичного и вторичного потоков выполняется, по меньшей мере, частично основанной на маркере заголовка пакета, как описано ранее. Таким образом, следующий этап S31 вызывает получение и идентификацию пакета расширенного медиа вторичного потока, содержащего локальные данные произвольного доступа. Эти локальные данные произвольного доступа обрабатываются на этапе S32 с целью создания начального состояния части выполненного сцены (определенного интерактивными данными связанного первичного потока), но не затрагивают состояние сцены других частей сцены. Таким образом, обработка локальных данных произвольного доступа вызывает частичное обновление только части сцены, чтобы таким образом исправить ошибку предыдущего приема/обработки. Прием и обработка пакетов расширенного медиа могут тогда продолжиться, как прежде, со следующими пакетами расширенного медиа вторичного потока и первичного потока. На этом способ заканчивается.
В соответствии с фиг.2 предполагается, что пользовательский терминал принимает пакеты расширенного медиа 11, 12, 21, 22 как из первичного 10, так и из вторичного 20 потоков. Однако один из пакетов 24 во вторичном потоке 20 не был правильно получен или обработан. Терминал принимает и исследует пакеты расширенного медиа вторичного потока (и, конечно, первичного потока), чтобы идентифицировать следующий пакет 23, несущий LRAP. Как только пакет 23 получен и обработан, состояние сцены части сцены, определенной вторичным потоком 20, может быть исправлено, и визуализация продолжается со следующими пакетами первичного и вторичного потоков. В этом контексте начальное состояние части сцены, достигнутое обработкой LRAP, согласуется с состоянием части, которая была бы получена, если ошибочный пакет 24 вместо этого был бы правильно обработан/принят. Таким образом, для целей последующей обработки LRAP предпочтительно отсутствие различий в состояниях сцены по сравнению с ситуацией, когда все предыдущие пакеты вторичного потока 20 были правильны.
Фиг.11 - блок-схема, иллюстрирующая воплощение этапа создания состояния фиг.10 более подробно. Способ продолжается с этапа S31 фиг.10. На следующем этапе S40 терминал обрабатывает локальные данные произвольного доступа и команды, включенные там, чтобы удалить элемент сцены или узел дерева сцены, который ошибочен из-за предыдущей ошибки при приеме пакета или обработке. Таким образом, данные включают в себя команду удаления и, кроме того, включают в себя идентификаторы элемента сцены или узла, к которому должна быть применена команда удаления. Команды предпочтительно также содержат команду повторной вставки, которая используется на этапе S41. Команда повторной вставки связана с идентификатором, таким как адрес, разрешая идентификацию и выбор правильной версии элемента сцены или узла, для использования вместо неправильной. Такой обработкой элемента сцены, как визуализация, получается правильное начальное состояние части сцены и способ заканчивается.
Другое возможное воплощение создания состояния, как было ранее упомянуто, может использовать команду сброса, которая применяется к атрибуту со значением, связанным с частью сцены. Команда, кроме того, сопровождается информацией фактического значения, которое должно иметь значение атрибута.
Фиг.12 - блок-схема, иллюстрирующая другое использование локальных данных произвольного доступа настоящего изобретения. Чертеж иллюстрирует способ настраивания на вторичный поток пакетов расширенного медиа для терминала во время продолжающегося сеанса данных, выполняющего сцену, представимый пакетами расширенного медиа первичного потока. Терминал запускает прослушивание канала, используемого для передачи пакетов расширенного медиа вторичного потока. Маркеры заголовка, включенные в пакеты, предпочтительно используются на этапе S50 для того, чтобы идентифицировать один из пакетов во вторичном потоке как пакет, несущий LRAP. Терминал можно настроить на вторичный поток путем обработки локальных данных произвольного доступа в идентифицируемом пакете, чтобы таким образом создать начальное состояние части сцены, не затрагивая состояние сцены других частей сцены.
Как только начальное состояние части сцены было получено, терминал может продолжать прием и обработку пакетов расширенного медиа и первичного и вторичного потоков. Большинство этих пакетов будет содержать обновления сцены, применимые к полной сцене или только к частям сцены. Обработка этих последующих пакетов создаст различные обновленные состояния сцены и частей сцены.
Выше настоящее изобретение главным образом обсуждалось в связи с использованием LRAP в одном вторичном потоке, связанном с первичным потоком. Однако идея настоящего изобретения может использоваться при подключении к множественным вторичным потокам, которые связаны с тем же самым или другим первичным потоком (потоками). Предпочтительно, чтобы все RAP всех вторичных потоков являлись локальными точками произвольного доступа согласно настоящему изобретению.
Фиг.13 - схематическая блок-схема пользовательского терминала 300 согласно настоящему изобретению. Этот пользовательский терминал 300 содержит передатчик и приемник или приемопередатчик 310, схематично показанный как единый модуль на чертеже. Модуль 310 включает в себя традиционные функциональные возможности передатчика/приемника, такие как модулятор/демодулятор и т.д. Приемная часть модуля 310 в особенности адаптируется к приему пакетов расширенного медиа первичного потока и вторичного потока согласно настоящему изобретению.
Терминал 300 также содержит буфер 350 данных для того, чтобы временно хранить пакеты расширенного медиа потоков, полученных приемником 310. Этот буфер 350 главным образом используется для того, чтобы бороться с появлением искажений, передавая пакеты медиа по сети.
Процессор 320 интерактивных данных размещен для декодирования, произвольно используя специализированный декодер 325, и визуализации интерактивных данных, выбранных из буфера 350 данных. Выполненные данные отображаются на подключенном экране 360 дисплея и, возможно, воспроизведятся на громкоговорителе 370.
Детектор 330 ошибок соединен с приемником 310 и/или декодером 325 процессора 320 данных. Этот датчик 330 отслеживает, принят ли какой-нибудь пакет расширенного медиа неправильно приемником 310, не может быть правильно декодирован декодером 325 данных и/или не может быть обработан процессором 320. В этом случае датчик 330 пересылает запрос идентификации пакета определителю 340 пакетов, находящемуся в пользовательском терминале 300.
Идентификатор 340 пакета идентифицирует в буфере 350 данных пакет расширенного медиа, ранее принятый приемником 310 и который содержит локальные данные произвольного доступа согласно изобретению. Определитель 340 ищет в ранее полученных пакетах данных в буфере 350, пока не идентифицирует несущий LRAP пакет, принадлежащий вторичному потоку, которому принадлежит ошибочный пакет. Определитель 340 ищет в данных заголовка пакетов в буфере модуля 350, он находит маркер заголовка, имеющий определенное значение, соответствующее LRAP. В случае нескольких таких пакетов, несущих LRAP, сохраненных в буфере 350, определитель 340 предпочтительно идентифицирует и выбирает пакет LRAP, который наиболее близок к неправильному пакету расширенного медиа в потоке. Однако, если локальные данные произвольного доступа являются достаточно общими, они могут использоваться, чтобы бороться с любой предыдущей ошибкой.
Как только идентификатор пакета 340 идентифицировал пакет LRAP, процессор 320 обрабатывает данные для того, чтобы создать начальное состояние части сцены, отображенного на экране 360, не затрагивая другие части сцены.
Процессор 330 может, например, использовать команду удаления в пакете LRAP, чтобы удалить элемент сцены или узел (узлы) дерева сцены и заменить элемент сцены или узел (узлы) дерева на правильное значение. Альтернативно или кроме того, машинная команда сброса может использоваться для того, чтобы установить атрибут в правильное текущее значение.
При настройке на вторичный поток во время продолжающегося сеанса данных, вызывающего прием пакетов расширенного медиа первичного потока и произвольно, по меньшей мере, одного другого вторичного потока, приемник 310 принимает пакеты расширенного медиа вторичного потока и временно сохраняет их в буфере 350 данных. Идентификатор пакета ищет в этих пакетах вторичного потока для того, чтобы идентифицировать, предпочтительно основываясь на информации заголовка, пакет, несущий LRAP. Как только такой пакет расширенного медиа был идентифицирован, процессор 320 данных обрабатывает локальные данные произвольного доступа, чтобы создать начальное состояние части сцены, представленного на экране 360 дисплея, но не затрагивая состояние сцены других частей сцены.
Процессор 320 данных может продолжить обработку пакетов обновления сцены вторичного потока в дополнение к обработке пакетов расширенного медиа первичного потока и произвольно, по меньшей мере, одного другого вторичного потока.
Модули 310-340 из пользовательского терминала 300 могут быть представлены как программное обеспечение, аппаратные средства или их комбинация.
Специалистам в данной области техники будет понятно, что могут быть сделаны различные модификации и изменения к настоящему изобретению без отступления от его области применения, которая определена в соответствии с прилагаемой формулой изобретения.
СПРАВОЧНАЯ ИНФОРМАЦИЯ
1. Scalable Vector Graphics (SVG) Tiny 1.2 Specification - W3C Candidate Recommendation, 10 August 2006.
2. 3GPP' S4-AHP255: "MORE Technical Proposal for Dynamic and Interactive Multimedia Scenes (DIMS)".
3. ISO/IEC 14496-20: "Information technology - Coding of audio-visual objects - Part 20: LASeR (Lightweight Applications Scene Representation)".
4. IETF RFC 3550: "RTP: A Transport Protocol for Real-Time Applications".

Claims (29)

1. Способ обеспечения вторичного потока пакетов расширенного медиа, определяющего состояния сцены части сцены, представляемой первичным потоком пакетов расширенного медиа, причем упомянутый способ содержит этапы:
обеспечения локальных данных произвольного доступа, определяющих полный набор команд для того, чтобы, будучи обработанными, позволить настройку на упомянутый вторичный поток и создание начального состояния упомянутой части упомянутой сцены, не влияя на состояние сцены других частей упомянутой сцены;
генерации пакета расширенного медиа, содержащего упомянутые локальные данные произвольного доступа; и
вставки упомянутого сгенерированного пакета расширенного медиа в упомянутый вторичный поток.
2. Способ по п.1, в котором упомянутые локальные данные произвольного доступа позволяют, будучи обработанными, создание упомянутого начального состояния без использования любых команд, содержавшихся в предыдущих пакетах расширенного медиа упомянутого вторичного потока.
3. Способ по п.1 или 2, дополнительно содержащий предоставление информации обновления сцены, применимой к упомянутому начальному состоянию, чтобы, будучи обработанными, достигнуть состояния сцены упомянутой части упомянутой сцены, причем упомянутый этап генерации содержит упомянутую генерацию пакета расширенного медиа, содержащего упомянутые локальные данные произвольного доступа и упомянутую информацию обновления сцены.
4. Способ по п.1, дополнительно содержащий установку маркера заголовка упомянутого пакета расширенного медиа в предустановленное значение, сообщающее, что упомянутый пакет расширенного медиа содержит данные произвольного доступа.
5. Способ п.1, дополнительно содержащий этап передачи пакетов расширенного медиа упомянутого вторичного потока, по меньшей мере, на один пользовательский терминал.
6. Способ п.1, в котором упомянутый этап обеспечения содержит обеспечение локальных данных произвольного доступа, определяющих
i) удаление элемента сцены из упомянутой части упомянутой сцены, и
ii) повторную вставку правильной версии упомянутого элемента сцены в упомянутую часть упомянутой сцены, чтобы сформировать упомянутое начальное состояние.
7. Способ п.1, в котором упомянутый этап обеспечения содержит обеспечение локальных данных произвольного доступа, определяющих сброс значения атрибута, связанного с упомянутой частью упомянутой сцены.
8. Способ п.1, дополнительно содержащий прием заданного запроса терминала о локальных данных произвольного доступа, причем упомянутый этап обеспечения выполняется на основании упомянутого заданного запроса терминала.
9. Способ по п.8, в котором упомянутый этап обеспечения содержит обеспечение упомянутых локальных данных произвольного доступа на основании идентификатора пакета расширенного медиа, включенного в упомянутый заданный запрос терминала и связанного с предыдущим пакетом расширенного медиа упомянутого вторичного потока, неправильно обработанного пользовательским терминалом.
10. Медиа-сервер, содержащий:
поставщика данных для обеспечения локальных данных произвольного доступа, определяющих полный набор команд, позволяющий, будучи обработанным, настройку на упомянутый вторичный поток и создание начального состояния части сцены, определенного вторичным потоком пакетов расширенного медиа, не влияя на состояние сцены других частей упомянутой сцены, представляемой первичным потоком пакетов расширенного медиа;
генератор пакетов для генерации пакета расширенного медиа, содержащего упомянутые локальные данные произвольного доступа; и
генератор потоков для вставки упомянутого сгенерированного пакета расширенного медиа в упомянутый вторичный поток.
11. Медиа-сервер по п.10, дополнительно содержащий поставщика обновлений для обеспечения информации обновления сцены, применимой к упомянутому начальному состоянию, чтобы, будучи обработанным, достигнуть состояния сцены упомянутой части упомянутой сцены, причем упомянутый генератор пакетов выполнен с возможностью генерировать упомянутый пакет расширенного медиа, содержащий упомянутые локальные данные произвольного доступа и упомянутую информацию обновления сцены.
12. Медиа-сервер по п.10 или 11, дополнительно содержащий
процессор заголовков, выполненный с возможностью установки маркера заголовка упомянутого пакета расширенного медиа в предопределенное значение, сообщающее, что упомянутый пакет расширенного медиа содержит данные произвольного доступа.
13. Медиа-сервер п.10, дополнительно содержащий передатчик, подключенный к упомянутому генератору потоков для того, чтобы передать пакеты расширенного медиа упомянутого вторичного потока на, по меньшей мере, один пользовательский терминал.
14. Медиа-сервер п.10, дополнительно содержащий приемник, предназначенный для приема заданного запроса терминала о локальных данных произвольного доступа, причем упомянутый поставщик данных соединен с упомянутым приемником для того, чтобы обеспечить упомянутые локальные данные произвольного доступа, основанные на упомянутом заданном запросе терминала.
15. Медиа-система, содержащая: первый медиа-сервер для обеспечения первичного потока пакетов расширенного медиа, определяющих сцену; и
второй медиа-сервер по любому из пп.10-14 для обеспечения вторичного потока пакетов расширенного медиа, определяющих часть упомянутой сцены.
16. Способ восстановления от ошибки обработки данных расширенного медиа вторичного потока пакетов расширенного медиа, определяющих часть сцены, представляемой первичным потоком пакетов расширенного медиа, причем упомянутый способ содержит этапы:
определения неправильно обработанного пакета расширенного медиа упомянутого вторичного потока;
приема пакета расширенного медиа упомянутого вторичного потока, содержащего локальные данные произвольного доступа, позволяющие, будучи обработанными, настройку на упомянутый вторичный поток;
создания на основании упомянутых локальных данных произвольного доступа стартового состояния упомянутой части упомянутой сцены, не влияя на состояние сцены других частей упомянутой сцены.
17. Способ по п.16, в котором упомянутое начальное состояние соответствует состоянию упомянутой части упомянутой сцены, которое было бы достижимо, если упомянутый определенный пакет расширенного медиа был правильно обработан.
18. Способ по п.16 или 17, в котором упомянутый этап создания содержит этапы:
удаления элемента сцены из упомянутой части упомянутой сцены на основании упомянутых локальных данных произвольного доступа; и
повторной вставки на основании упомянутых локальных данных произвольного доступа правильной версии упомянутого элемента сцены в упомянутую часть упомянутой сцены, чтобы сформировать упомянутое начальное состояние.
19. Способ по п.16, в котором упомянутый этап создания содержит этап сброса значения атрибута, связанного с упомянутой частью упомянутой сцены на основании упомянутых локальных данных произвольного доступа.
20. Способ настройки на вторичный поток пакетов расширенного медиа во время продолжающегося сеанса данных с использованием визуализации сцены, представляемой пакетами расширенного медиа первичного потока, при этом упомянутые пакеты расширенного медиа упомянутого вторичного потока представляют часть упомянутой сцены, а упомянутый способ содержит этапы:
определения в упомянутом вторичном потоке пакета расширенного медиа, содержащего локальные данные произвольного доступа; и
настройку на упомянутый вторичный поток посредством обработки упомянутых локальных данных произвольного доступа, чтобы создать начальное состояние упомянутой части упомянутой сцены, не влияя на состояние сцены других частей упомянутой сцены.
21. Способ по п.20, дополнительно содержащий обработку информации обновления сцены, включенной в упомянутый пакет расширенного медиа, в отношении упомянутых локальных данных произвольного доступа, чтобы создать обновленное состояние упомянутой части упомянутой сцены.
22. Способ по любому из пп.20-21, дополнительно содержащий определение упомянутого пакета расширенного медиа, содержащего упомянутые локальные данные произвольного доступа, на основании маркера заголовка, включенного в упомянутый пакет расширенного медиа.
23. Пользовательский терминал, содержащий:
приемник для приема пакетов расширенного медиа первичного потока, представляющего сцену, и пакетов расширенного медиа вторичного потока, определяющего часть упомянутой сцены;
детектор ошибок для определения пакета расширенного медиа упомянутого вторичного потока, неправильно полученного упомянутым приемником или неправильно декодированного декодером упомянутого пользовательского терминала;
процессор для создания на основании локальных данных произвольного доступа в пакете расширенного медиа указанного вторичного потока, полученного упомянутым приемником, причем упомянутые локальные данные произвольного доступа позволяют, будучи обработанными, настройку на упомянутый вторичный поток, начальное состояние упомянутой части упомянутой сцены, не влияя на состояние сцены других частей упомянутой сцены.
24. Пользовательский терминал по п.23, дополнительно содержащий определитель пакетов, выполненный с возможностью определения упомянутого пакета расширенного медиа, содержащего упомянутые локальные данные произвольного доступа, на основании маркера заголовка, включенного в упомянутый пакет расширенного медиа.
25. Пользовательский терминал по п.23 или 24, в котором упомянутый процессор выполнен с возможностью:
i) удаления элемента сцены из упомянутой части упомянутой сцены на основании упомянутых локальных данных произвольного доступа, и
ii) повторной вставки на основании упомянутых локальных данных произвольного доступа правильной версии упомянутого элемента сцены в упомянутую часть упомянутой сцены, чтобы сформировать упомянутое начальное состояние.
26. Пользовательский терминал по п.23 или 24, в котором упомянутый процессор выполнен с возможностью сброса значение атрибута, связанного с упомянутой частью упомянутой сцены, на основании упомянутых локальных данных произвольного доступа.
27. Пользовательский терминал, содержащий:
приемник для приема пакетов расширенного медиа первичного потока, представляющего сцену;
определитель пакетов для определения во вторичном потоке пакетов расширенного медиа, определяющих часть упомянутой сцены пакета расширенного медиа, содержащего локальные данные произвольного доступа; и
процессор для обработки упомянутых локальных данных произвольного доступа, чтобы создать начальное состояние упомянутой части сцены, не влияя на состояние сцены других частей упомянутой сцены, чтобы позволить настройку на упомянутый вторичный поток.
28. Пользовательский терминал по п.27, в котором упомянутый определитель пакетов выполнен с возможностью определять упомянутый пакет расширенного медиа, содержащий упомянутые локальные данные произвольного доступа, на основании маркера заголовка, включенного в упомянутый пакет расширенного медиа.
29. Пользовательский терминал по пп.27 и 28, в котором упомянутый пакет расширенного медиа также содержит информацию обновления сцены, применимую к упомянутому начальному состоянию, и упомянутый процессор выполнен с возможностью создания обновленного состояния упомянутой части упомянутой сцены посредством обработки упомянутой информации обновления сцены в отношении упомянутых локальных данных произвольного доступа.
RU2009119437/07A 2006-10-25 2007-10-10 Управление потоком расширенного медиа RU2467506C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US85410006P 2006-10-25 2006-10-25
US60/854,100 2006-10-25

Publications (2)

Publication Number Publication Date
RU2009119437A RU2009119437A (ru) 2010-11-27
RU2467506C2 true RU2467506C2 (ru) 2012-11-20

Family

ID=38824971

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009119437/07A RU2467506C2 (ru) 2006-10-25 2007-10-10 Управление потоком расширенного медиа

Country Status (9)

Country Link
US (1) US9219941B2 (ru)
EP (1) EP2084895A1 (ru)
JP (1) JP5237292B2 (ru)
KR (1) KR101503082B1 (ru)
CN (1) CN101529885B (ru)
AU (1) AU2007309759B2 (ru)
MY (1) MY147046A (ru)
RU (1) RU2467506C2 (ru)
WO (1) WO2008051136A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017651B (zh) * 2008-04-21 2014-01-29 三星电子株式会社 使用富媒体内容组成场景的装置和方法
JP2011087194A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
KR20120138604A (ko) 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
WO2013055164A1 (ko) * 2011-10-13 2013-04-18 삼성전자 주식회사 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
US9549024B2 (en) 2012-12-07 2017-01-17 Remote Media, Llc Routing and synchronization system, method, and manager

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999039272A1 (en) * 1998-01-30 1999-08-05 The Trustees Of Columbia University In The City Of New York Method and system for client-server interaction in interactive communications
RU2154357C2 (ru) * 1995-08-18 2000-08-10 Моторола Инк. Мультимедийный приемник и система для него
EP1324230A2 (en) * 2001-12-28 2003-07-02 Samsung Electronics Co., Ltd. Method of controlling a terminal of MPEG-4 system using a caching mechanism
WO2004029829A1 (en) * 2002-09-27 2004-04-08 Sony International (Europe) Gmbh Adaptive multimedia integration language (amil) for adaptive multimedia applications and presentations
RU2006113596A (ru) * 2003-10-23 2006-09-10 Майкрософт Корпорейшн (Us) Система и способ для унифицированной машины компоновки в системе обработки графики

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778877B2 (en) * 2001-07-09 2010-08-17 Linkshare Corporation Enhanced network based promotional tracking system
US7000180B2 (en) 2000-06-29 2006-02-14 Balthaser Online, Inc. Methods, systems, and processes for the design and creation of rich-media applications via the internet
CA2424008A1 (en) 2000-09-01 2003-02-26 Matsushita Electric Industrial Co. Ltd. Optical disc medium, optical disc playback and recorder
KR20020085985A (ko) * 2001-05-10 2002-11-18 권형우 리치 미디어의 실시간 전송 시스템
JP2005065232A (ja) * 2003-07-25 2005-03-10 Victor Co Of Japan Ltd ストリームデータの記録再生方法
KR100695126B1 (ko) 2003-12-02 2007-03-14 삼성전자주식회사 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템과, ａｆｘ부호화 방법 및 장치
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
US7808900B2 (en) 2004-04-12 2010-10-05 Samsung Electronics Co., Ltd. Method, apparatus, and medium for providing multimedia service considering terminal capability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2154357C2 (ru) * 1995-08-18 2000-08-10 Моторола Инк. Мультимедийный приемник и система для него
WO1999039272A1 (en) * 1998-01-30 1999-08-05 The Trustees Of Columbia University In The City Of New York Method and system for client-server interaction in interactive communications
EP1324230A2 (en) * 2001-12-28 2003-07-02 Samsung Electronics Co., Ltd. Method of controlling a terminal of MPEG-4 system using a caching mechanism
WO2004029829A1 (en) * 2002-09-27 2004-04-08 Sony International (Europe) Gmbh Adaptive multimedia integration language (amil) for adaptive multimedia applications and presentations
RU2006113596A (ru) * 2003-10-23 2006-09-10 Майкрософт Корпорейшн (Us) Система и способ для унифицированной машины компоновки в системе обработки графики

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QONITA M. SHAHAB et al, Adaptation of MPEG-4 BIFS Scenes into MPEG-4 LASeR Scenes in MPEG-21 DIA Framework, Advances in Mulitmedia Information Processing - PCM 2005, Lecture Notes in Computer Science, 2005, Volume 3768/2005, abstract. OLA ANDERSSON et al, Mobile SVG Profiles: SVG Tiny and SVG Basic, W3C Recommendation 14 January 2003, найдено в Интернет на http://www.w3.org/TR/2003/REC-SVGMobile-20030114/. *
SETLUR V. et al, More: A mobile open rich media environment, IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO, 9 July 2006, Open Mobile Alliance, Rich Media Environment Technology Landscape Report, OMA-WP-RME-20060711-D Draft, 11th July 2006. *

Also Published As

Publication number Publication date
RU2009119437A (ru) 2010-11-27
KR20090073241A (ko) 2009-07-02
EP2084895A1 (en) 2009-08-05
JP2010507967A (ja) 2010-03-11
MY147046A (en) 2012-10-15
US20100142557A1 (en) 2010-06-10
JP5237292B2 (ja) 2013-07-17
WO2008051136A1 (en) 2008-05-02
CN101529885B (zh) 2012-05-16
AU2007309759B2 (en) 2011-04-07
KR101503082B1 (ko) 2015-03-16
US9219941B2 (en) 2015-12-22
CN101529885A (zh) 2009-09-09
AU2007309759A1 (en) 2008-05-02

Similar Documents

Publication Publication Date Title
US11785289B2 (en) Receiving device, transmitting device, and data processing method
US10715571B2 (en) Self-adaptive streaming medium processing method and apparatus
JP5590881B2 (ja) メディア表現からメディアを再構成する方法及び装置
US20090313293A1 (en) Method to embedding svg content into an iso base media file format for progressive downloading and streaming of rich media content
Lim et al. New MPEG transport standard for next generation hybrid broadcasting system with IP
KR20160139020A (ko) Mmt 및 dash를 이용한 브로드캐스트 및 브로드밴드 하이브리드 서비스
MX2014000313A (es) Extensiones a la tabla de parametros del activador para television interactiva.
CN104584574A (zh) 处理交互服务的设备和方法
CN104662925A (zh) 处理交互服务的设备和方法
US20180109743A1 (en) Broadcasting signal transmission device, broadcasting signal reception device, broadcasting signal transmission method, and broadcasting signal reception method
RU2467506C2 (ru) Управление потоком расширенного медиа
US20120227067A1 (en) Method and device for providing complementary information
US7801182B2 (en) Transmission data structure, and method and device for transmitting the same
US11336957B2 (en) Reception apparatus, transmission apparatus, and data processing method
WO2014161267A1 (zh) 海报的显示方法及装置
KR20170000312A (ko) 디지털 방송 서비스 방법 및 장치
US20210329350A1 (en) Receiving device, receiving method, transmission device, and transmission method
CA2849064A1 (en) Method of processing an interactive service related to a broadcast program and apparatus therefor
US8578228B2 (en) Error recovery for rich media
CN105592354A (zh) 一种基于dsmcc的数据广播显示方法及系统
KR20210025508A (ko) Atsc 3.0 기반의 방송 콘텐츠 전송 장치 및 방법과, 방송 콘텐츠 수신 장치 및 방법
CN117768687A (zh) 直播流切换方法和装置
CN102231804A (zh) 一种支持ps流媒体文件的容错方法

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20191011