RU2494560C2 - Медиа-процессор для организации мультимедийных данных - Google Patents

Медиа-процессор для организации мультимедийных данных Download PDF

Info

Publication number
RU2494560C2
RU2494560C2 RU2009122175/08A RU2009122175A RU2494560C2 RU 2494560 C2 RU2494560 C2 RU 2494560C2 RU 2009122175/08 A RU2009122175/08 A RU 2009122175/08A RU 2009122175 A RU2009122175 A RU 2009122175A RU 2494560 C2 RU2494560 C2 RU 2494560C2
Authority
RU
Russia
Prior art keywords
topology
media
media processor
data
multimedia
Prior art date
Application number
RU2009122175/08A
Other languages
English (en)
Other versions
RU2009122175A (ru
Inventor
Джеффри Т. ДАНБАР
Эрик РУДОЛЬФ
Сохаил Баиг МОХАММЕД
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2009122175A publication Critical patent/RU2009122175A/ru
Application granted granted Critical
Publication of RU2494560C2 publication Critical patent/RU2494560C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00Arrangements for synchronising receiver with transmitter
    • H04L7/04Speed or phase control by synchronisation signals
    • H04L7/10Arrangements for initial synchronisation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Power Sources (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Изобретение относится в целом к вычислениям и в частности к обработке мультимедийных данных в вычислительной среде. Технический результат - эффективная обработка мультимедийных потоков. Раскрыты система и способ, в соответствии с которыми медиа-процессор отделяет функции создания и поддержания топологии от функций обработки данных посредством топологии. Система содержит уровень управления, включающий в себя элемент генерации топологии для генерации топологии, описывающей набор входных мультимедийных потоков, один или более источников входных мультимедийных потоков, последовательность операций, выполняемых над мультимедийными данными, и набор выходных мультимедийных потоков, и медиа-процессор для управления передачей мультимедийных данных, как описано в топологии, и управления выполнением последовательности мультимедийных операций над мультимедийными данными для создания набора выходных мультимедийных потоков. Уровень ядра включает в себя входные мультимедийные потоки, источники входных мультимедийных потоков, один или более преобразователей для оперирования мультимедийными потоками, приемники потоков и медиа-приемники для обеспечения набора выходных мультимедийных потоков. 2 н. и 10 з.п. ф-лы, 6 ил.

Description

Область техники
Данное изобретение относится, в целом, к вычислениям и, в частности, к обработке мультимедийных данных в вычислительной среде.
Предпосылки изобретения
По мере того, как возможности компьютеров распространяются на развлекательные жанры, которые требуют отдельных электронных компонентов, желательно повысить эффективность и дружественность к пользователю. Одним из решений является DirectShow® от фирмы Microsoft®, которая обеспечивает воспроизведение мультимедийных потоков из локальных файлов или интернет-серверов, захват мультимедийных потоков от устройств и преобразование форматов мультимедийных потоков. DirectShow® позволяет воспроизводить видео- и аудио-контент таких типов файлов, как Windows Media Audio, Windows Media Video, MPEG, QuickTime® от Apple®, Audio-Video Interleaved (AVI) и WAV. DirectShow® включает в себя систему подключаемых фильтрующих компонентов. Фильтры являются объектами, которые поддерживают интерфейсы DirectShow® и могут выполнять в отношении потоков данных операции чтения, копирования, изменения и записи данных в файл. Основные типы фильтров включают в себя фильтр источника, который принимает данные из некоторого источника, например, файла на диске, спутниковой антенны, интернет-сервера или видеомагнитофона, и вводят их в граф фильтров, который является соединением фильтров. Граф фильтров обеспечивает преобразующий фильтр, который преобразует формат данных, фильтр синхронизации и источника, который принимает данные и передает данные, и фильтр преобразования (визуализации), который преобразует данные, например, для вывода на устройство отображения. Данные также можно преобразовывать для любого устройства, которое воспринимает медиа. Другие типы фильтров, входящих в состав DirectShow®, включают в себя фильтры эффектов, которые добавляют эффекты, не изменяя тип данных, и фильтры-анализаторы, которые понимают формат данных источника и знают, как читать правильные байты, создавать метки времени и осуществлять поиски.
Поэтому, все данные проходят от фильтра к фильтру совместно со значительным количеством управляющей информации. Когда фильтры соединены с использованием отводов, создается граф (схема) фильтров. Для управления потоком данных и соединениями в графе фильтров DirectShow® содержит администратор графа фильтров. Администратор графа фильтров способствует обеспечению правильного порядка соединения фильтров, но данные и большинство управляющих сигналов не проходят через администратор графа фильтров. Фильтры должны соединяться надлежащим образом. Например, администратор графа фильтров должен искать конфигурацию визуализации, определять имеющиеся типы фильтров, связывать фильтры в надлежащем порядке для данного типа данных и обеспечивать соответствующий фильтр визуализации.
Хотя фильтры допускают большой объем повторного использования программ, использование фильтров также создает некоторые неожиданные проблемы. Одна из проблем, создаваемых фильтрами, состоит в появлении большого количества API (программный интерфейс приложений) для фильтров. По существу, каждый фильтр имеет отдельный API. Поэтому, данный фильтр должен быть способен взаимодействовать с API для каждого фильтра, к которому он может быть присоединен. Кроме того, использование фильтров создает проблему, связанную с отключением данного фильтра. Когда данный фильтр в графе отключен, любой фильтр, который взаимодействует с отключенным фильтром, требует другого связанного интерфейса. В целом, программировать фильтр так, чтобы изящно обрабатывать потерю интерфейса, трудно, поскольку состояние фильтра на момент потери интерфейса может быть неизвестно. Поэтому, потеря интерфейсов обычно приводит к непредсказуемому поведению фильтров и, в конце концов, к нарушению работы программ. Кроме того, общее управление в DirectShow® распределено между двумя блоками. Интерфейс между фильтрами управляет потоком данных, а администратор фильтров управляет установлением и удалением фильтров. Такого рода распределение управления делает конфигурацию программного обеспечения громоздкой вследствие неизбежного наличия некоторых функций управления, которые пересекают границу между блоками. Другая проблема, связанная с DirectShow®, состоит в том, что фильтры берут на себя ответственность за согласование форматов сред и функции управления буфферизацией. Для выполнения этой задачи фильтры связываются с другими фильтрами. Зависимость от фильтров приводит к тому, что построение приложений на основе DirectShow подвержено ошибкам и неэффективностям, которые могут быть запрограммированы в фильтре. Таким образом, плохо написанный фильтр может легко привести к неправильной работе графа фильтров и приложения, связанного с графом фильтров.
Необходимо решить проблемы, связанные с архитектурой DirectShow®. В частности, необходимо усовершенствовать управление обработкой мультимедийных данных и решить вопрос зависимости от фильтров при осуществлении связи между мультимедийными компонентами.
Сущность изобретения
Соответственно, системы и способы обработки мультимедийных данных разделяют функции управления и формируют функции обработки данных, тем самым обеспечивая эффективную обработку мультимедийных потоков. Способ предусматривает создание топологии соединений между одним или несколькими мультимедийными компонентами в элементе генерации топологии, причем топология описывает группу входных мультимедийных потоков, один или несколько источников входных мультимедийных потоков, последовательность операций, осуществляемых над мультимедийными данными, и группу выходных мультимедийных потоков. Способ дополнительно предусматривает передачу топологии к медиа-процессору и передачу данных согласно топологии, причем передачей управляет медиа-процессор. Работа элемента генерации топологии, который может представлять собой загрузчик топологии или приложение, находится вне объема управления медиа-процессора. Медиа-процессор управляет выполнением последовательности мультимедийных операций над мультимедийными данными для создания группы выходных мультимедийных потоков. Согласно одному варианту осуществления, мультимедийные компоненты являются объектами программного обеспечения.
Другой вариант осуществления предусматривает способ изменения первой топологии, используемой медиа-процессором, когда медиа-процессор активен. Согласно способу, медиа-процессор сохраняет текущее состояние медиа-процессора, получает команды на преобразование первой топологии во вторую топологию и обновляет первую топологию до второй топологии в соответствии с командами. Команды могут содержать разницу между первой топологией и второй топологией. После обновления первой топологии до второй топологии медиа-процессор возобновляет действие интерфейса после обновления первой топологии до второй топологии, отправляет сообщения приложению. До изменения топологии медиа-процессор можно настроить так, чтобы он допускал вызовы сообщений. Команды на преобразование первой топологии могут быть приняты посредством сообщения от внешнего источника, чтобы инициировать процесс изменения первой топологии.
Еще один вариант осуществления относится к способу определения порядка использования группы мультимедийных компонентов для выполнения последовательности мультимедийных операций над одним или несколькими потоками мультимедийных данных. Способ является рекурсивным, т.е. использование мультимедийных компонентов определяется запрашиванием предыдущих компонентов на предмет наличия данных выборки. Способ предусматривает определение местоположения одного или нескольких мультимедийных компонентов, выходы которых подключены ко входу приемного устройства, опрос мультимедийных компонентов для определения доступности выборки, причем опрос может включать в себя проверку входов мультимедийных компонентов, в случае недоступности выборки. В отсутствие выборки на входах, проверяют медиа-источник, выдающий мультимедийные компоненты, на предмет выборки. В случае недоступности выборки на медиа-источнике, способ предусматривает выполнение функции завершения файла или объявление состояния ошибки. При доступности выборки способ предусматривает перемещение выборки на следующий мультимедийный компонент из мультимедийных компонентов.
Еще один вариант осуществления относится к способу извлечения фрагмента медиа-потока, так называемого «прореживания». Способ предусматривает кэширование фрагмента медиа-потока. Кэшированный фрагмент медиа-потока может содержать точку представления медиа-потока. Затем способ предусматривает прием запроса от внешнего источника на медиа-процессор для извлечения кэшированного фрагмента медиа-потока и поиск для выяснения, кэширован ли фрагмент медиа-потока. Если фрагмент медиа-потока кэширован, то способ предусматривает передачу запрашиваемого кэшированного фрагмента. Кэширование может осуществляться согласно настройкам пользователя в приложении, которые могут включать в себя выбор или отказ от кэширования, количество кадров и количество выборок, которые должны содержаться в кэшированном фрагменте. Согласно одному варианту осуществления кэшированный фрагмент является непрерывными видеоданными.
Краткое описание чертежей
Хотя в прилагаемой формуле изобретения подробно изложены признаки настоящего изобретения, изобретение, совместно с его задачами и преимуществами, можно наилучшим образом понять из нижеследующего подробного описания, приведенного совместно с прилагаемыми чертежами, в которых:
фиг.1 - обобщенная блок-схема иллюстративной распределенной вычислительной системы, в которой можно реализовать настоящее изобретение;
фиг.2 - блок-схема системы организации медиа согласно вариантам осуществления настоящего изобретения;
фиг.3 -блок-схема алгоритма примера передачи данных в медиа-машине, необходимого для воспроизведения DVD, согласно вариантам осуществления настоящего изобретения;
фиг.4 - блок-схема реализации передачи данных в медиа-процессоре согласно вариантам осуществления настоящего изобретения;
фиг.5 -блок-схема алгоритма динамического изменения топологии в медиа-процессоре согласно вариантам осуществления настоящего изобретения;
фиг.6 - блок-схема алгоритма, иллюстрирующая процесс прореживания согласно вариантам осуществления настоящего изобретения.
Подробное описание изобретения
На фиг.1 показано иллюстративное вычислительное устройство 100, на котором можно реализовать изобретение. Вычислительное устройство 100 является всего лишь примером подходящего вычислительного устройства и не призвано как-либо ограничивать объем использования или функциональные возможности изобретения. Например, иллюстративное вычислительное устройство 100 не эквивалентно ни одному из вычислительных устройств 10-17, показанных на фиг.1. Иллюстративное вычислительное устройство 100 может реализовать одно или несколько вычислительных устройств 10-17, например, посредством сегментирования памяти, виртуальных машин или аналогичных методов программирования, что позволяет физической вычислительной структуре выполнять описанные ниже действия, приписываемые множественным структурам.
Изобретение можно описать в общем контексте компьютерно-выполняемых команд, например, программных модулей, выполняемых компьютером. В целом, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.п., которые выполняют конкретные задания или реализуют определенные абстрактные типы данных. В распределенных вычислительных средах задания могут выполняться удаленными обрабатывающими устройствами, связанными посредством сети связи. В распределенной вычислительной среде программные модули могут размещаться как в локальных, так и в удаленных компьютерных носителях данных.
Компоненты вычислительного устройства 100 обычно включают в себя, но не исключительно, процессор 120, системную память 130 и системную шину 121, которая подключает различные компоненты системы, включая системную память 130, к процессору 120. Системная шина 121 может относиться к любому из нескольких типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, с использованием разнообразных шинных архитектур. В порядке примера, но не ограничения, такие архитектуры включают в себя шину архитектуры промышленного стандарта (ISA), шину микроканальной архитектуры (MCA), шину расширенного стандарта ISA (EISA), локальную шину Ассоциации по стандартам в области видеоэлектроники (VESA) и шину подключений периферийных компонентов (PCI), также именуемую шиной расширения.
Вычислительное устройство 100 обычно содержит разнообразные считываемые компьютером носители. Считываемые компьютером носители могут представлять собой любые имеющиеся носители, к которым может осуществлять доступ вычислительное устройство 100, и включают в себя энергозависимые и энергонезависимые носители, сменные и стационарные носители. В порядке примера, но не ограничения, считываемый компьютером носитель может представлять собой компьютерный носитель данных или среду обмена данными. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, сменные и стационарные носители, реализованные посредством любого способа или технологии для хранения информации, например, считываемых компьютером команд, структур данных, программных модулей или других данных. Компьютерные носители данных включают в себя, но не исключительно, ОЗУ, ПЗУ, ЭСППЗУ, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или иные оптические дисковые носители данных, магнитные кассеты, магнитную ленту, магнитные дисковые носители данных или иные магнитные запоминающие устройства или любой другой носитель, который можно использовать для хранения полезной информации и к которому можно осуществлять доступ с помощью вычислительного устройства 100. Среды обмена данными обычно воплощают компьютерно-считываемые команды, структуры данных, программные модули или другие данные в виде модулированного сигнала данных, например, сигнала несущей или иного транспортного механизма. Среды обмена данными также включают в себя любые среды доставки информации. Термин «модулированный сигнал данных» означает сигнал, одна или несколько характеристик которого изменяется так, чтобы кодировать информацию в сигнале. В порядке примера, но не ограничения, среды обмена данными содержат проводные среды, например, проводную сеть или прямое проводное соединение, и беспроводные среды, например, акустические, РЧ, инфракрасные и другие беспроводные среды. В число считываемых компьютером сред входят также комбинации любых из вышеперечисленных позиций.
Системная память 130 содержит компьютерные носители данных в виде энергозависимой и/или энергонезависимой памяти, например, постоянной памяти (ПЗУ) 131 и оперативной памяти (ОЗУ) 132. Базовая система ввода/вывода (BIOS) 133, содержащая основные процедуры, которые помогают передавать информацию между элементами компьютера 110, например, при запуске, хранится в ПЗУ 131. ОЗУ 132 обычно содержит данные и/или программные модули, которые непосредственно доступны процессору 120 и/или в данный момент обрабатываются им. В порядке примера, но не ограничения, на фиг.1 показаны операционная система 134, прикладные программы 135, другие программные модули 136 и программные данные 137.
Вычислительное устройство 100 может также включать в себя другие сменные/стационарные, энергозависимые/энергонезависимые компьютерные носители данных. В порядке примера, на фиг.1 показан жесткий диск 141, который производит считывание со стационарного энергонезависимого магнитного носителя и запись на него, привод 151 магнитного диска, который производит считывание со сменного энергонезависимого магнитного диска 152 и запись на него, и привод 155 оптического диска, который производит считывание со сменного энергонезависимого оптического диска 156, например, CD-ROM или другого оптического носителя, и запись на него. Другие сменные/стационарные, энергозависимые/энергонезависимые компьютерные носители данных, которые можно использовать в иллюстративной вычислительной среде, включают в себя, но не исключительно, кассеты с магнитной лентой, карты флэш-памяти, цифровые универсальные диски, ленту для цифрового видео, полупроводниковое ОЗУ, полупроводниковое ПЗУ и т.д. Жесткий диск 141 обычно подключен к системной шине 121 посредством интерфейса стационарной памяти, например, интерфейса 140, а привод 151 магнитного диска и привод 155 оптического диска обычно подключены к системной шине 121 посредством интерфейса сменной памяти, например, интерфейса 150.
Приводы и соответствующие компьютерные носители данных, описанные выше и показанные на фиг.1, обеспечивают хранение компьютерно-считываемых команд, структур данных, программных модулей и других данных для вычислительного устройства 100. Например, на фиг.1 показано, что на жестком диске 141 хранятся операционная система 144, прикладные программы 145, другие программные модули 146 и программные данные 147. Заметим, что эти компоненты могут быть идентичны операционной системе 134, прикладным программам 135, другим программным модулям 136 и программным данным 137 или отличны от них. Операционная система 144, прикладные программы 145, другие программные модули 146 и программные данные 147 обозначены здесь различными позициями, чтобы показать, что они, как минимум, представляют собой разные копии. Пользователь может вводить команды и информацию в вычислительное устройство 100 через устройства ввода, например, клавиатуру 162 и указательное устройство 161, под которым обычно понимают мышь, шаровой манипулятор или сенсорную панель. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, игровую панель, спутниковую антенну, сканер и т.п. Эти и другие устройства ввода часто подключают к процессору 120 через интерфейс 160 пользовательского ввода, который подключен к системной шине, но можно подключать посредством других структур интерфейса и шины, например, параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 191 или устройство отображения другого типа может также быть подключен к системной шине 121 через интерфейс, например, видеоинтерфейс 190. Помимо монитора компьютеры могут содержать другие периферийные устройства вывода, например, громкоговорители 197 и принтер 196, которые могут быть подключены через интерфейс 195 периферийных устройств вывода.
Вычислительное устройство 100 работает в сетевой среде, например, показанной на фиг.1, с использованием логических соединений с одним или несколькими удаленными компьютерами. На фиг.1 показано общее сетевое соединение 171 с удаленным вычислительным устройством 180. Общее сетевое соединение 171 может относиться к любому из различных типов сетевых соединений, включая локальную сеть (ЛС), глобальную сеть (ГС), сети, согласующиеся с протоколом Ethernet, протоколом Token-Ring, или другие логические или физические сети, например, Интернет или всемирная паутина.
При реализации в сетевой среде вычислительное устройство 100 подключено к общему сетевому соединению 171 через сетевой интерфейс или адаптер 170, который может представлять собой карту сетевого интерфейса, модем или аналогичное сетевое устройство. В сетевой среде программные модули, указанные в отношении вычислительного устройства 100, или часть из них могут храниться в удаленном запоминающем устройстве. Специалистам в данной области очевидно, что показанные сетевые соединения носят иллюстративный характер, и что можно использовать другие средства установления линий связи между компьютерами.
В нижеследующем описании изобретение будет описано со ссылкой на действия и символические представления операций, которые выполняются одним или несколькими вычислительными устройствами, если не указано обратное. При этом следует понимать, что такие действия и операции, которые иногда называют выполняемыми компьютером, включают в себя манипуляции, выполняемые процессором вычислительного устройства над электрическими сигналами, представляющими данные в структурированной форме. Эти манипуляции сводятся к преобразованию данных или поддержанию их в ячейках системы памяти вычислительного устройства, в результате чего происходит перенастройка или иное изменение работы вычислительного устройства таким образом, как хорошо известно специалистам в данной области. Структуры данных, в которых поддерживаются данные, являются физическими ячейками памяти, которые имеют конкретные свойства, заданные форматом данных. Однако, хотя изобретение описано в вышеприведенном контексте, это не означает, и это очевидно специалистам в данной области, что некоторые из описанных ниже действий и операций не могут также выполняться аппаратными средствами.
На фиг.2 изображена блок-схема системы 200 организации (среды передачи информации). Уровень 201 ядра содержит медиа-источник 210, преобразователи 208 и медиа-приемник 230. Показано, что система 200 организации среды передачи информации подключена к приложению 202 для приема и передачи медиа-потоков. Уровень 201 управления включает в себя медиа-машину 260, медиа-сеанс 240, медиа-процессор 220 и загрузчик 250 топологии. Организация среды 200 предусматривает передачу данных от медиа-источника 210 в медиа-сеанс 240, а затем в медиа-процессор 220. Из медиа-процессора 220 данные поступают в преобразователи 208 и обратно в медиа-процессор 220 один или несколько раз. Затем данные поступают из медиа-процессора 220 в медиа-сеанс 240, а затем на приемники 212 потоков. Медиа-машина 260 обеспечивает управление интерфейсом приложения 202 и обеспечивает общее управление на уровне 201 управления, а загрузчик 250 топологии гарантирует наступление событий, предписанных в топологии. Система 200 организации среды обеспечивает интерфейсы и схему соединения потоковых медиа-объектов.
Уровень ядра включает в себя компонент 210 медиа-источника и компонент 320 медиа-приемника. Также в его состав входят источники 214 потоков, которые действуют под управлением медиа-источника 210, и приемники 212 потоков, которые действуют под управлением медиа-приемника 230. Источники 214 потоков передают мультимедийные данные из устройств хранения или захвата на уровень 201 управления, а приемники 212 потоков передают мультимедийные данные от медиа-машины 260 на устройства визуализации или хранения (не показаны). Компонент 230 медиа-источника реализует конечные автоматы, которые обеспечивают управление источниками 214 потоков. Компонент 230 медиа-приемника реализует конечные автоматы, которые обеспечивают управление приемниками 212 потоков. В каждом случае обработка состояний и передача данных разделены.
Медиа-источник 210, медиа-приемник 230 и преобразователи 208, совместно с источниками 214 потоков и приемниками 212 потоков включают в себя объекты, которые составляют часть уровня 211 ядра. Эти компоненты являются программными объектами, реализующими определенную функцию. Медиа-источник 210 и источники 214 потоков обеспечивают либо захват либо извлечение мультимедийных данных и подачу этих данных в медиа-сеанс 240. Источники данных включают в себя, но не исключительно, диск, например, жесткий диск, CD или DVD, интернет, оперативную память (ОЗУ), видеопамять, видеокамеры, сканнеры, фотокамеры и микрофоны. Медиа-приемник 230 включает в себя объекты, которые управляют передачей данных в приемниках 212 потоков. Приемники 212 потоков состоят из объектов, которые принимают данные из уровня 201 управления для хранения или визуализации. Приемники данных включают в себя, но не исключительно, диск, например, жесткий диск, записываемый CD или записываемый DVD, вещание в компьютерной сети, например, в Интернет, принтеры, устройства отображения, например, мониторы, и громкоговорители. Передача данных для медиа-источника 210 и медиа-приемника 230 может осуществляться во многих средах, включая, но не исключительно, Ethernet, беспроводные сети, аналоговые кабели до оцифровки, USB, IEEE 1384, параллельный порт, последовательный порт и дисковые интерфейсы.
Преобразователи 208 включают в себя объекты, манипулирующие данными. Эти преобразователи могут включать в себя кодеры, декодеры, разветвители, мультиплексоры, блоки обработки аудиосигнала, например, регуляторы низких и высоких частот для добавления таких эффектов, как искусственное эхо, блоки обработки видеосигнала, например, маски настройки цветов, регуляторы четкости, контрастности или яркости. Кодеры и декодеры обрабатывают аудио-, видеоданные и данные изображения. Типы видеоданных могут включать в себя MPEG, Apple Quicktime®, AVI и Н.263 и Windows Media Video (WMV). Заметим, что многие стандарты видео являются истинными мультимедийными стандартами в том смысле, что эти стандарты предусматривают передачу как аудио, так и видео. Форматы данных изображения включают в себя JPEG, GIF, Fax и TIFF. Стандарты аудио могут включать в себя MP3, PCM, ADPCM, а также стандарты для воспроизведения CD и Windows Media Audio (WMA). Преобразователи 208 можно использовать для преобразования данных из одного формата в другой. Например, преобразователь 208 может преобразовывать изображение JPEG в формат, пригодный для отображения на мониторе.
На фиг.3 изображена блок-схема последовательности операций типичной обработки мультимедиа. Предположим, пользователь желает посмотреть DVD. Запускается приложение, позволяющее пользователю смотреть DVD. Приложение имеет графический интерфейс пользователя (ГИП), позволяющий пользователю осуществлять такие функции, как включение воспроизведения, остановку, паузу, перемотку вперед и назад. На этапе 302 пользователь выбирает кнопку «воспроизведение», и приложение посылает сообщение на компонент медиа-машины в организации медиа (среды передачи информации). Сообщение содержит информацию, что приложение желает смотреть DVD. На этапе 304 медиа-машина отправляет на медиа-сеанс и загрузчик топологии сообщения, предписывающие этим блокам начать воспроизведение DVD. На этапе 306 загрузчик топологии устанавливает топологию. Топология обеспечивает путь потоков данных через источники медиа и потоков, преобразователи и приемники медиа и потоков. На этапе 308 загрузчик топологии передает эту топологию медиа-процессору. Медиа-процессор устанавливает и реализует топологию. На этапе 310 медиа-процессор отправляет сообщения на компоненты уровня ядра, чтобы реализовать объекты, вызванные загрузчиком топологии. Помимо вызова объектов уровня ядра в правильном порядке и передачи данных между объектами, скорость передачи данных регулируется так, чтобы обеспечить синхронизацию аудио и видео и их воспроизведение на нужной скорости. Скорость передачи данных может определяться в медиа-сеансе. На этапе 312 медиа-сеанс опрашивает каждый объект, чтобы определить, что нужная скорость может поддерживаться, и передает сообщение на медиа-процессор совместно с информацией скорости. На этапе 314 медиа-процессор определяет тактовую частоту объекта определения скорости на уровне ядра, обычно медиа-приемника, и устанавливает эту тактовую частоту. На этапе 316 медиа-процессор вызывает уровень ядра и передает данные между объектами согласно требованиям топологии. Наконец, медиа-приемники воспроизводят данные на громкоговорителях и мониторе.
Медиа-процессор представляет собой объект, который осуществляет передачу (поток) данных, описанный топологией. Медиа-процессор инициализируется топологией, описывающей поток данных, и представляет себя пользователю в виде интерфейса медиа-источника. Настроенный таким образом медиа-процессор фактически выглядит для пользователя как медиа-источник. Медиа-процессор показывает ряд медиа-потоков в соответствии с топологией. На каждый выходной узел в топологии приходится один медиа-поток.
На фиг.4 показана топология. Поток данных, инициированный пользователем, требует извлечения выборки для одного из медиа-потоков медиа-процессора. Рассмотрим верхний путь на фиг.4. Поток данных начинается с выходного объекта в топологии (объекта 412 приемника) и проходит, рекурсивно, через список объектов, которые генерируют данные. Процесс на верхнем пути фиг.4 начинается с объекта 412 приемника. Единственным выходным узлом, подключенным ко входу 416, является выход 418, подключенный к объекту 408 преобразования. При наличии доступной выборки на объекте 408 преобразования медиа-процессор 220 считывает выборку и записывает выборку в объект 412 приемника. Если на объекте 408 преобразования не имеется доступной выборки, медиа-процессор 220 проверяет вход объекта 408 преобразования, обозначенный позицией 420, который подключен к выходу 422 объекта 404 преобразования. Затем объект 404 преобразования опрашивается на предмет выборки. Если выборка доступна, медиа-процессор 220 считывает выборку и записывает ее в объект 408 преобразования. Если выборка недоступна, медиа-процессор 220 вновь перемещается на один узел влево и опрашивает объект 403 медиа-потока на предмет доступности выборки. Загрузка в объект 403 медиа-потока осуществляется через объект 402 источника. При доступности выборки на объекте 403 медиа-потока, выборка извлекается из объекта 403 медиа-потока в объект 404 преобразования. Если выборка не найдена, то медиа-процессор запрашивает этот объект 403 медиа-потока прочитать источник. Всякий раз при нахождении достоверной выборки и передаче ее в следующий блок, процесс возобновляется. Процесс завершается оперированием объектами, как только данные обнаружены. Объект 404 преобразования оперирует данными и передает преобразованные данные объекту 408 преобразования для оперирования над данными, которые затем поступают на объект 412 приемника для завершения процесса генерирования выборки на выходе. В одном варианте осуществления медиа-процессор поддерживает объекты списка, имеющие входные данные для других объектов. С помощью этого списка медиа-процессор может просматривать выходной объект и определять, из какого объекта медиа-процессору нужно извлечь медиа-данные.
В одном варианте осуществления в списке отслеживается тип узла, поддерживающего объекты и другую информацию об объектах. Объекты разных типов по-разному генерируют данные по запросу медиа-процессора. Узлы преобразования содержат объекты преобразования, которые имеют набор вызовов, используемых для подачи выходных медиа-выборок и генерации выходных медиа-выборок. Тройниковые (Т-образные) узлы передают медиа-процессору указание копировать выборки по мере необходимости. Прежде, чем начать ссылаться на тройниковые узлы, нужно описать их. Узлы источника имеют медиа-поток, который обеспечивает асинхронный вызов, посредством которого медиа-процессор запрашивает поток на предмет данных, после чего поток обеспечивает данные при наличии таковых.
Варианты осуществления относятся к потоку данных с использованием медиа-процессора 220. Согласно варианту осуществления поток (передача) данных является асинхронным. Это значит, что пользователь осуществляет вызов, чтобы генерировать данные для данного медиа-потока, после чего медиа-процессор 220 генерирует данные и извещает пользователя, когда данные доступны. В одном варианте осуществления компоненты, на которые ссылается топология, не вызывают друг друга. Вместо этого за всю связь отвечает медиа-процессор 220. Способ централизованной организации связи обеспечивает целостность потока данных и повышенную способность к взаимодействию между компонентами.
В одном варианте осуществления медиа-процессор 220 не распоряжается каждым аспектом потока данных. Например, в одном варианте осуществления медиа-процессор 220 не управляет медиа-выборками.
Применительно к общей архитектуре организации медиа (среды), медиа-процессор обычно используется в контексте медиа-машины. Медиа-машина 260 это компонент, непосредственно используемый приложением 202 при использовании архитектуры организации медиа, показанной на фиг.2. Приложение 202 может настраивать медиа-машину 260, задавая источник данных (обычно имя файла, URL или устройство или сложную конфигурацию, задающую несколько простых источников) и пункт назначения данных (например, выходной мультимедийный файл или устройство визуализации, например, видеокарту). Затем в ходе работы медиа-машина 260 действует под управлением таких команд, как «начать», «остановить» и т.п. Таким образом, медиа-машина 260 использует для осуществления этих функций другие компоненты организации медиа-среды, и является главным объектом, который приложение 202 использует для выполнения мультимедийных операций. Медиа-процессор 220 может работать под непосредственным управлением сеанса обработки медиа и использоваться совместно с загрузчиком 250 топологии. Сеанс обработки медиа - это объект, который медиа-машина 260 использует для оперирования медиа-источниками 210, медиа-процессором 220, медиа-приемниками 230 и загрузчиком 250 топологии.
В одном варианте осуществления медиа-процессор 220 поддерживает тройниковые объекты и объекты преобразования, имеющие более одного входа или выхода. Например, переход обычно реализуется в виде объекта преобразования, и объект преобразования будет иметь два входа и один выход.
В случае, когда узел имеет более одного входа, медиа-процессор 220 осуществляет следующий способ: при попытке генерации входных данных для преобразования медиа-процессор 220 выбирает лишь один из входов на основании меток времени предыдущих медиа-выборок и генерирует данные для этого входа. Всякий раз, когда медиа-процессор 220 подает входную выборку на объект преобразования, медиа-процессор 220 пытается генерировать выходные данные для преобразователя. Если преобразователь не генерирует никаких данных, то медиа-процессор 220 подает входную выборку на объект преобразования, возможно, тот же вход, который уже использовался.
В случае, когда узел имеет более одного выхода, медиа-процессору 220 нужно больше информации о выходах. Загрузчик топологии будет указывать свойства выхода, который может быть либо первичным (основным), либо отменяемым.
Первичный выход используется в качестве первичного выделителя памяти для выборок, поданных на входные узлы. Для отменяемых выходов не гарантируется получение всех выборок, поступающих в узел; если пользователь не запросит выборку для этого выхода при генерации входной выборки, то отменяемый выход просто не получит выборку. Концепция отменяемости полезна в сценариях, когда лучше потерять данные, чем замедлить обработку, например, при предварительном отображении в приложении кодера.
Важной возможностью мультимедийной системы является способность изменять свойства мультимедийного сеанса в ходе работы. Например, приложение воспроизведения может переключать воспроизведение из оконного режима к полноэкранному режиму. Или же приложение кодирования может переключать кодирование от одной камеры к другой камере. Раскрытая система организации медиа-среды манипулирует этими возможностями путем смены топологии.
Однако, согласно варианту осуществления, медиа-процессор 220 никогда сам не изменяет топологию; изменения топологии всегда осуществляются другим компонентом и затем передаются медиа-процессору. Если медиа-процессор 220 работает под управлением медиа-сеанса 240, то медиа-сеанс 240 отвечает за использование загрузчика топологии для создания полных топологий для медиа-процессора 220 и за последующую передачу этих полных топологий медиа-процессору. Однако, в одном варианте осуществления любой непосредственный пользователь медиа-процессора может также осуществлять изменения топологии в отношении медиа-процессора.
В одном варианте осуществления изменения топологии могут быть статическими или динамическими. Статическое изменение топологии имеет место, когда медиа-процессор 220 не обрабатывает данные и представляет полную замену старой топологии новой топологией. Динамическое изменение топологии имеет место, когда медиа-процессор работает и также может изменить только часть топологии, оставив другие части топологии нетронутыми.
Существует несколько механизмов генерации динамического изменения топологии. Первый состоит в генерировании медиа-источником. В этом случае один из медиа-источников, внутренних по отношению к медиа-процессору 220, обнаруживает некоторое изменение своего формата, изменение медиа-потока, окончание медиа-потока или создание нового медиа-потока. Медиа-источник извещает медиа-процессор 220 о произошедшем изменении; медиа-процессор 220 пересылает это извещение пользователю для обработки и останавливает обработку данных. Пользователь отвечает за создание новой топологии и направляет ее на медиа-процессор. Второй состоит в генерировании топологией. В этом случае сама топология содержит информацию, что она изменится в некоторый момент; или один или несколько объектов топологии имеет срок годности (срок действия), заданный в качестве свойства. Когда медиа-процессор 220 обнаруживает истечение срока действия, он извещает пользователя и останавливает обработку данных. Последний тип заключается в генерировании пользователем. В этом случае пользователь просто задает новую топологию на медиа-процессоре 220, когда медиа-процессор 220 работает. Во всех случаях медиа-процессор 220 одинаково реагирует на изменение топологии.
На фиг.5 показана блок-схема последовательности операций динамического изменения топологии. На этапе 502 медиа-процессор принимает запрос на изменение топологии. На этапе 504 медиа-процессор 220 сначала делает любые извещения пользователю, которые запрошены, например, об изменении форматов медиа-источника. На этапе 506 медиа-процессор 220 останавливает обработку и поддерживает свое состояние так, что он может возобновить обработку на любых узлах, которые остаются в новой топологии. Медиа-процессор 220 также переходит в такое состояние, что любая попытка пользователя продолжить работу будет просто ждать, пока не завершится изменение топлогии. На этапе 508 медиа-процессор 220 принимает новую топологию. Новая топология может поступить от загрузчика топологии или от приложения. На этапе 510 медиа-процессор 220 обновляет свою внутреннюю топологию, чтобы соответствовать новой топологии. На этапе 512 медиа-процессор 220 сообщает приложению, что новая топология на месте, и возобновляет обработку.
Медиа-процессор 220 способен поддерживать работу на произвольных скоростях. Интерфейс медиа-источника является интерфейсом извлечения; то есть пользователь может извлекать выборки так быстро, как возможно. По этой причине медиа-процессор 220 автоматически поддерживает произвольные скорости. Однако, во многих случаях медиа-источники или преобразователи также имеют оптимизации или улучшенное поведение, когда они знают скорость. Таким образом, когда пользователь явно предписывает медиа-процессору 220 работать на данной скорости, медиа-процессор 220 опрашивает любые медиа-источники и преобразователи в топологии, чтобы определить их возможности по скорости. Если данная скорость поддерживается всеми медиа-источниками и преобразователями, медиа-процессор 220 устанавливает скорость всех объектов медиа-источника и объектов преобразования так, чтобы медиа-источники и объекты преобразования могли произвести соответствующие изменения в своем поведении. Запуск мультимедийного потока в обратном направлении является частным случаем изменения скорости.
Прореживание определено как возможность быстрого поиска в мультимедийном представлении и извлечения малого количества медиа-выборок в этой позиции. В силу сложности декодирования мультимедийных данных прореживание сложнее, чем поиск в мультимедийном представлении и просто занимает слишком много времени. Это особенно справедливо для сжатых видеоданных, которые часто имеют большую задержку по времени между независимо декодируемыми ключевыми кадрами.
Для оптимизации прореживания медиа-процессор 220 имеет логику, позволяющую кэшировать определенный объем предварительно декодированных выборок, обычно вблизи текущей позиции представления, чтобы поиск одной из этих предварительно декодированных выборок позволил медиа-процессору 220 своевременно генерировать нужную выборку. Это поведение кэширования настраивается приложением, чтобы обеспечить компромисс между использованием памяти и хорошей производительностью прореживания.
На фиг.6 показана блок-схема последовательности операций процесса, используемого для оптимизации прореживания. Этап 602 предусматривает, что медиа-процессор 220 применяет логические средства к каждой выборке, генерируемой на узле, в отношении кэширования данных выборки. Этап 604 принятия решения предусматривает, что, решая, кэшировать ли данные выборки, медиа-процессор сначала определяет, кэшированы ли данные выборки. Если да, то этап 606 предусматривает отсутствие действия. Если нет, то этап 608 предусматривает, что медиа-процессор 220 определяет настройки кэширования, установленные пользователем. Настройки кэширования могут включать в себя идентификацию узлов, для которых желательно кэширование, частоту кэширования, максимальный объем памяти, используемой для кэширования и т.д. Этап 610 предусматривает применение настроек для определения, кэшировать выборку или нет, и кэширование по необходимости.
Этап 612 предусматривает, что медиа-процессор 220 принимает «поиск» данных, выданный приложением 202. Поиск данных может представлять собой, например, запрос следующего кадра данных для обеспечения покадрового продвижения видеопотока. Получив поиск, медиа-процессор 220 для каждого узла проверяет на этапе 614 принятия решения, присутствуют ли запрошенные данные в кэш-памяти. Если присутствуют, то этап 616 предусматривает отправку данных обратно приложению 202 вместо повторной генерации данных выборки. Если отсутствуют, то этап 618 предусматривает использование соответствующего преобразователя, источника или другого надлежащего компонента для генерации данных выборки.
Некоторые видеодекодеры поддерживают режим, в котором предварительно декодированные выборки можно использовать для инициализации состояния декодера. В этом случае можно кэшировать только часть предварительно декодированных выборок и, тем не менее поддерживать хорошую производительность прореживания. Например, если кэшируется каждая четвертая предварительно декодированная выборка, и пользователь ищет одну из выборок, не присутствующих в кэш-памяти, то для генерации нужной выходной выборки нужно декодировать максимум три выборки.
Поскольку принципы данного изобретения могут применяться во многих вариантах осуществления, следует понимать, что вариант осуществления, описанный здесь со ссылкой на фигуры чертежей, носит исключительно иллюстративный характер и не призван ограничивать объем изобретения. Например, специалисты в данной области могут понять, что элементы проиллюстрированного варианта осуществления, показанные в виде программного обеспечения, можно реализовать аппаратными средствами и наоборот, или что проиллюстрированный вариант осуществления можно модифицировать в конфигурации и деталях, не отклоняясь от сущности изобретения. Поэтому, описанное здесь изобретение охватывает все варианты осуществления, которые соответствуют объему нижеследующей формулы изобретения и ее эквивалентов.

Claims (12)

1. Способ изменения первой топологии соединений, используемой медиа-процессором, когда медиа-процессор активен, причем способ содержит этапы, на которых
сохраняют текущее состояние медиа-процессора,
принимают одну или более команд на преобразование первой топологии во вторую топологию соединений между мультимедийными компонентами, при этом вторая топология описывает набор входных мультимедийных потоков, один или более источников для входных мультимедийных потоков, последовательность операций для выполнения над мультимедийными данными, и набор выходных мультимедийных потоков, и
обновляют первую топологию до второй топологии в соответствии с упомянутыми одной или несколькими командами.
2. Способ по п.1, отличающийся тем, что одна или несколько команд содержат разницу между первой топологией и второй топологией.
3. Способ по п.1, отличающийся тем, что медиа-процессор возобновляет действие интерфейса после обновления первой топологии до второй топологии.
4. Способ по п.3, отличающийся тем, что медиа-процессор посылает сообщения приложению после возобновления действия интерфейса.
5. Способ по п.3, отличающийся тем, что медиа-процессор допускает вызовы сообщений до завершения изменения топологии.
6. Способ по п.1, отличающийся тем, что медиа-процессор принимает сообщение от внешнего источника, чтобы инициировать процесс изменения первой топологии.
7. Считываемый компьютером носитель, на котором хранятся команды для выполнения действий по изменению первой топологии соединений, используемой медиа-процессором, когда медиа-процессор активен, причем действия включают в себя
остановку работы интерфейса в медиа-процессоре,
сохранение текущего состояния медиа-процессора,
прием одной или нескольких команд на преобразование первой топологии во вторую топологию соединений между мультимедийными компонентами, при этом вторая топология описывает набор входных мультимедийных потоков, один или более источников для входных мультимедийных потоков, последовательность операций для выполнения над мультимедийными данными, и набор выходных мультимедийных потоков, и
обновление первой топологии до второй топологии в соответствии с одной или несколькими командами, причем медиа-процессор продолжает обрабатывать первую топологию, пока каждый мультимедийный компонент, вызываемый первой топологией, не перейдет в состояние, позволяющее изменить первую топологию.
8. Считываемый компьютером носитель по п.7, отличающийся тем, что одна или несколько команд содержат разницу между первой топологией и второй топологией.
9. Считываемый компьютером носитель по п.7, отличающийся тем, что мультимедийные компоненты включают с себя, по меньшей мере, медиа-источник и медиа-преобразователь.
10. Считываемый компьютером носитель по п.7, отличающийся тем, что медиа-процессор возобновляет действие интерфейса после обновления первой топологии до второй топологии.
11. Считываемый компьютером носитель по п.10, отличающийся тем, что медиа-процессор посылает сообщения приложению после возобновления действия интерфейса.
12. Считываемый компьютером носитель по п.7, отличающийся тем, что медиа-процессор принимает сообщение от внешнего источника, чтобы инициировать процесс изменения первой топологии.
RU2009122175/08A 2003-06-25 2009-06-09 Медиа-процессор для организации мультимедийных данных RU2494560C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/603,328 2003-06-25
US10/603,328 US7555540B2 (en) 2003-06-25 2003-06-25 Media foundation media processor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2004119366/09A Division RU2366098C2 (ru) 2003-06-25 2004-06-24 Медиа-процессор для организации мультимедийных данных

Publications (2)

Publication Number Publication Date
RU2009122175A RU2009122175A (ru) 2010-12-20
RU2494560C2 true RU2494560C2 (ru) 2013-09-27

Family

ID=33418655

Family Applications (4)

Application Number Title Priority Date Filing Date
RU2009122177/08A RU2501176C2 (ru) 2003-06-25 2004-06-24 Медиапроцессор для организации мультимедийных данных
RU2009122179/08A RU2487395C2 (ru) 2003-06-25 2004-06-24 Медиа-процессор для организации мультимедийных данных
RU2004119366/09A RU2366098C2 (ru) 2003-06-25 2004-06-24 Медиа-процессор для организации мультимедийных данных
RU2009122175/08A RU2494560C2 (ru) 2003-06-25 2009-06-09 Медиа-процессор для организации мультимедийных данных

Family Applications Before (3)

Application Number Title Priority Date Filing Date
RU2009122177/08A RU2501176C2 (ru) 2003-06-25 2004-06-24 Медиапроцессор для организации мультимедийных данных
RU2009122179/08A RU2487395C2 (ru) 2003-06-25 2004-06-24 Медиа-процессор для организации мультимедийных данных
RU2004119366/09A RU2366098C2 (ru) 2003-06-25 2004-06-24 Медиа-процессор для организации мультимедийных данных

Country Status (10)

Country Link
US (7) US7555540B2 (ru)
EP (1) EP1492022A3 (ru)
JP (1) JP4772297B2 (ru)
KR (2) KR101122860B1 (ru)
CN (1) CN100517306C (ru)
AU (1) AU2004202280B2 (ru)
BR (1) BRPI0401937A (ru)
CA (1) CA2464844C (ru)
MX (1) MXPA04006188A (ru)
RU (4) RU2501176C2 (ru)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985934B1 (en) 2000-10-23 2006-01-10 Binham Communications Corporation Method and system for providing rich media content over a computer network
US7555540B2 (en) 2003-06-25 2009-06-30 Microsoft Corporation Media foundation media processor
US7774375B2 (en) * 2003-06-27 2010-08-10 Microsoft Corporation Media foundation topology
US7725920B2 (en) * 2003-06-27 2010-05-25 Microsoft Corporation Media foundation media sink
US7613767B2 (en) 2003-07-11 2009-11-03 Microsoft Corporation Resolving a distributed topology to stream data
US7733962B2 (en) 2003-12-08 2010-06-08 Microsoft Corporation Reconstructed frame caching
US7712108B2 (en) 2003-12-08 2010-05-04 Microsoft Corporation Media processing methods, systems and application program interfaces
US7900140B2 (en) 2003-12-08 2011-03-01 Microsoft Corporation Media processing methods, systems and application program interfaces
US7735096B2 (en) 2003-12-11 2010-06-08 Microsoft Corporation Destination application program interfaces
US20050185718A1 (en) * 2004-02-09 2005-08-25 Microsoft Corporation Pipeline quality control
US7934159B1 (en) 2004-02-19 2011-04-26 Microsoft Corporation Media timeline
US7941739B1 (en) 2004-02-19 2011-05-10 Microsoft Corporation Timeline source
US7664882B2 (en) 2004-02-21 2010-02-16 Microsoft Corporation System and method for accessing multimedia content
US7609653B2 (en) * 2004-03-08 2009-10-27 Microsoft Corporation Resolving partial media topologies
US7577940B2 (en) * 2004-03-08 2009-08-18 Microsoft Corporation Managing topology changes in media applications
US7669206B2 (en) 2004-04-20 2010-02-23 Microsoft Corporation Dynamic redirection of streaming media between computing devices
US7590750B2 (en) 2004-09-10 2009-09-15 Microsoft Corporation Systems and methods for multimedia remoting over terminal server connections
JP4722052B2 (ja) * 2004-10-15 2011-07-13 ソフトバンクモバイル株式会社 連係動作方法及び通信端末装置
US7434155B2 (en) * 2005-04-04 2008-10-07 Leitch Technology, Inc. Icon bar display for video editing system
TW200731113A (en) * 2006-02-09 2007-08-16 Benq Corp Method for utilizing a media adapter for controlling a display device to display information of multimedia data corresponding to an authority datum
US8954851B2 (en) * 2006-09-15 2015-02-10 Microsoft Corporation Adding video effects for video enabled applications
JP4371150B2 (ja) * 2007-05-14 2009-11-25 セイコーエプソン株式会社 ファクシミリ装置、その制御方法及びプログラム
US8230100B2 (en) * 2007-07-26 2012-07-24 Realnetworks, Inc. Variable fidelity media provision system and method
WO2010082208A2 (en) * 2008-05-13 2010-07-22 Tata Consultancy Services Limited Methods and systems for wireless/wired transmission
US20090327344A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Media foundation source reader
KR101086013B1 (ko) 2010-01-12 2011-11-22 전자부품연구원 멀티미디어 데이터 처리 방법
US9570110B2 (en) 2009-12-28 2017-02-14 Korea Electronics Technology Institute Multimedia-data-processing method
GB2483081A (en) * 2010-08-25 2012-02-29 Sony Corp America Tamper resistance in media processing using an obfuscated buffer handle
US8621445B2 (en) * 2010-12-06 2013-12-31 Visualon, Inc. Wrapper for porting a media framework and components to operate with another media framework
KR101051182B1 (ko) * 2011-03-10 2011-07-22 주식회사 다이나믹앤라이브 다이렉트쇼 필터그래프 기반 멀티미디어 스트림 결합분배 장치
US8788683B2 (en) * 2011-08-17 2014-07-22 The Nasdaq Omx Group, Inc. Scalable transcoding for streaming audio
US9185154B2 (en) 2011-08-17 2015-11-10 Nasdaq, Inc. Integrated call capture for streaming audio
US10310824B2 (en) 2011-09-07 2019-06-04 Imagine Communications Corp. Distributed ledger platform for computing applications
US9043747B2 (en) 2011-09-07 2015-05-26 Imagine Communications Corp. Systems and methods for dynamic development and deployment of computing applications using blueprints
US8887154B2 (en) 2012-09-06 2014-11-11 Imagine Communications Corp. Systems and methods for partitioning computing applications to optimize deployment resources
ES2655846T3 (es) * 2012-10-11 2018-02-21 Samsung Electronics Co., Ltd. Aparato y procedimiento de entrega y de recepción de datos multimedia en red híbrida
US8935734B2 (en) * 2013-02-01 2015-01-13 Ebay Inc. Methods, systems and apparatus for configuring a system of content access devices
US10628578B2 (en) 2013-03-15 2020-04-21 Imagine Communications Corp. Systems and methods for determining trust levels for computing components using blockchain
US9785767B2 (en) 2013-03-15 2017-10-10 Imagine Communications Corp. Systems and methods for determining trust levels for computing components
US9182949B2 (en) 2013-03-15 2015-11-10 Imagine Communications Corp. Systems and methods for controlling branch latency within computing applications
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
US11350058B1 (en) 2021-01-21 2022-05-31 Dell Products, Lp System and method for intelligent contextual session management for videoconferencing applications
US11445128B2 (en) 2021-01-24 2022-09-13 Dell Products, Lp System and method for intelligent virtual background management for videoconferencing applications
US11463270B2 (en) 2021-01-28 2022-10-04 Dell Products, Lp System and method for operating an intelligent face framing management system for videoconferencing applications
US11463656B1 (en) 2021-07-06 2022-10-04 Dell Products, Lp System and method for received video performance optimizations during a video conference session

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0204959A1 (en) * 1985-06-10 1986-12-17 International Business Machines Corporation Automatic update of topology in a hybrid network
US6111858A (en) * 1997-02-18 2000-08-29 Virata Limited Proxy-controlled ATM subnetwork
RU2158490C2 (ru) * 1995-03-23 2000-10-27 Телефонактиеболагет Лм Эрикссон (Пабл) Распределенная система радиосвязи
US6202204B1 (en) * 1998-03-11 2001-03-13 Intel Corporation Comprehensive redundant load elimination for architectures supporting control and data speculation
RU24012U1 (ru) * 2001-10-12 2002-07-20 Павликов Сергей Николаевич Устройство для обработки информации
US6539524B1 (en) * 2000-05-10 2003-03-25 Agere Systems Inc. Method and apparatus for matching capacitance of filters having different circuit topologies

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1317109U (ru)
US4655532A (en) * 1986-02-06 1987-04-07 Allied Corporation Circumferential grounding and shielding ring for an electrical connector
KR890003485B1 (ko) * 1986-11-08 1989-09-22 삼성전자 주식회사 합성비디오신호에 포함되어 있는 디지탈 정보신호 분리집적회로
US5101348A (en) * 1988-06-23 1992-03-31 International Business Machines Corporation Method of reducing the amount of information included in topology database update messages in a data communications network
US5625845A (en) * 1992-10-13 1997-04-29 International Business Machines Corporation System for facilitating continuous, real-time, unidirectional, and asynchronous intertask and end-device communication in a multimedia data processing system using open architecture data communication modules
US5325423A (en) * 1992-11-13 1994-06-28 Multimedia Systems Corporation Interactive multimedia communication system
US5404318A (en) 1992-12-01 1995-04-04 Sun Microsystems, Inc. Test mode readback in a memory display interface
CN1125490A (zh) * 1993-09-13 1996-06-26 塔里根特公司 面向目标的视频系统
US5784532A (en) * 1994-02-16 1998-07-21 Qualcomm Incorporated Application specific integrated circuit (ASIC) for performing rapid speech compression in a mobile telephone system
US5666524A (en) 1994-08-31 1997-09-09 Price Waterhouse Llp Parallel processing system for traversing a transactional database
CA2156889C (en) * 1994-09-30 1999-11-02 Edward L. Schwartz Method and apparatus for encoding and decoding data
US5638112A (en) 1995-08-07 1997-06-10 Zenith Electronics Corp. Hybrid analog/digital STB
US5847304A (en) 1995-08-17 1998-12-08 Advanced Micro Devices, Inc. PC audio system with frequency compensated wavetable data
US5963943A (en) * 1996-05-28 1999-10-05 Mci Communication Corporation System and method for storing and retrieving performance and topology information
US5909638A (en) 1996-08-06 1999-06-01 Maximum Video Systems, Inc. High speed video distribution and manufacturing system
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US20020120675A1 (en) * 1997-01-29 2002-08-29 Stewart Neil Everett Method of transferring media files over a communications network
KR100562116B1 (ko) 1997-11-28 2006-05-25 마츠시타 덴끼 산교 가부시키가이샤 처리 효율을 높인 영상음성 처리장치
US6233611B1 (en) 1998-05-08 2001-05-15 Sony Corporation Media manager for controlling autonomous media devices within a network environment and managing the flow and format of data between the devices
US6499036B1 (en) * 1998-08-12 2002-12-24 Bank Of America Corporation Method and apparatus for data item movement between disparate sources and hierarchical, object-oriented representation
JP3396639B2 (ja) 1998-09-30 2003-04-14 株式会社東芝 階層記憶装置及び階層記憶制御方法
JP2955285B1 (ja) * 1998-09-30 1999-10-04 松下電器産業株式会社 デジタルオーディオ受信機
US6434649B1 (en) 1998-10-14 2002-08-13 Hitachi, Ltd. Data streamer
US6560674B1 (en) 1998-10-14 2003-05-06 Hitachi, Ltd. Data cache system
AU768096B2 (en) * 1998-11-18 2003-12-04 Lightbridge, Inc. Event manager for use in fraud detection
US6496980B1 (en) 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
US7275246B1 (en) 1999-01-28 2007-09-25 Ati International Srl Executing programs for a first computer architecture on a computer of a second architecture
US6535920B1 (en) * 1999-04-06 2003-03-18 Microsoft Corporation Analyzing, indexing and seeking of streaming information
US6820144B2 (en) * 1999-04-06 2004-11-16 Microsoft Corporation Data format for a streaming information appliance
EP1065589A1 (en) * 1999-06-28 2001-01-03 Lucent Technologies Inc. Multimedia processing system architecture
US6542921B1 (en) 1999-07-08 2003-04-01 Intel Corporation Method and apparatus for controlling the processing priority between multiple threads in a multithreaded processor
US6463508B1 (en) 1999-07-19 2002-10-08 International Business Machines Corporation Method and apparatus for caching a media stream
KR100315310B1 (ko) * 1999-08-17 2001-11-26 이계철 다중 데이터 동기화 방법 및 그를 이용한 다중 멀티미디어 데이터 스트리밍 방법
US7028096B1 (en) * 1999-09-14 2006-04-11 Streaming21, Inc. Method and apparatus for caching for streaming data
EP1107512A1 (en) * 1999-12-03 2001-06-13 Sony International (Europe) GmbH Communication device and software for operating multimedia applications
EP1117240A1 (fr) * 2000-01-14 2001-07-18 TRT Lucent Technologies (SA) Procédé de gestion des ressources d'une plate-forme multimédia et plate-forme multimédia pour la mise en oeuvre de ce procédé.
US7624337B2 (en) 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7103668B1 (en) 2000-08-29 2006-09-05 Inetcam, Inc. Method and apparatus for distributing multimedia to remote clients
US6760772B2 (en) * 2000-12-15 2004-07-06 Qualcomm, Inc. Generating and implementing a communication protocol and interface for high data rate signal transfer
US6925549B2 (en) 2000-12-21 2005-08-02 International Business Machines Corporation Asynchronous pipeline control interface using tag values to control passing data through successive pipeline stages
US7143268B2 (en) 2000-12-29 2006-11-28 Stmicroelectronics, Inc. Circuit and method for instruction compression and dispersal in wide-issue processors
US20070198739A1 (en) 2001-01-19 2007-08-23 Streamworks Technologies, Inc. System and method for routing media
US6859840B2 (en) 2001-01-29 2005-02-22 Kasenna, Inc. Prefix caching for media objects
US7136934B2 (en) * 2001-06-19 2006-11-14 Request, Inc. Multimedia synchronization method and device
US6980979B2 (en) * 2001-09-19 2005-12-27 Sun Microsystems, Inc. Method and apparatus for customizing Java API implementations
US6700524B2 (en) 2001-09-27 2004-03-02 Matsushita Electric Industrial Co., Ltd. A/D converter for performing pipeline processing
US7480703B2 (en) 2001-11-09 2009-01-20 Sony Corporation System, method, and computer program product for remotely determining the configuration of a multi-media content user based on response of the user
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
EP1317109B1 (en) 2001-11-29 2009-12-23 Sony Deutschland GmbH System and method for controlling the adaptation of adaptive distributed multimedia applications
ATE513415T1 (de) * 2001-12-28 2011-07-15 Koninkl Philips Electronics Nv Verfahren zur verarbeitung von multimediainhalt
US7158141B2 (en) * 2002-01-17 2007-01-02 University Of Washington Programmable 3D graphics pipeline for multimedia applications
US7394968B2 (en) * 2002-01-24 2008-07-01 Lsi Corporation Enhanced personal video recorder including user play programming
US7353513B2 (en) 2002-02-20 2008-04-01 Agere Systems Inc. Method and apparatus for establishing a bound on the effect of task interference in a cache memory
US7296154B2 (en) 2002-06-24 2007-11-13 Microsoft Corporation Secure media path methods, systems, and architectures
US6809732B2 (en) 2002-07-18 2004-10-26 Nvidia Corporation Method and apparatus for generation of programmable shader configuration information from state-based control information and program instructions
US7286748B2 (en) * 2002-07-25 2007-10-23 Microsoft Corporation Sharing live advanced streaming format indexed files
US7024543B2 (en) 2002-09-13 2006-04-04 Arm Limited Synchronising pipelines in a data processing apparatus
US20040083094A1 (en) 2002-10-29 2004-04-29 Texas Instruments Incorporated Wavelet-based compression and decompression of audio sample sets
US7061485B2 (en) 2002-10-31 2006-06-13 Hewlett-Packard Development Company, Lp. Method and system for producing a model from optical images
US7200114B1 (en) 2002-11-18 2007-04-03 At&T Corp. Method for reconfiguring a router
FI20022249A (fi) * 2002-12-20 2004-06-21 Chun Ye Virittimiä, viritettäviä polarointi-interferenssisuodattimia ja viritysmenetelmiä
US7191431B2 (en) * 2002-12-20 2007-03-13 International Business Machines Corporation System and method for selecting a translator to translate a component request using semantic typing
US6961820B2 (en) 2003-02-13 2005-11-01 International Business Machines Corporation System and method for identifying and accessing streaming data in a locked portion of a cache
US7245589B2 (en) * 2003-04-21 2007-07-17 Lucent Technologies Inc. Wireless media gateway with bearer path control and tone allocation
US20040225736A1 (en) * 2003-05-06 2004-11-11 Raphael Roger C. Method and apparatus for providing a dynamic quality of service for serving file/block I/O
US6901072B1 (en) 2003-05-15 2005-05-31 Foundry Networks, Inc. System and method for high speed packet transmission implementing dual transmit and receive pipelines
US7191432B2 (en) 2003-06-05 2007-03-13 International Business Machines Corporation High frequency compound instruction mechanism and method for a compare operation in an arithmetic logic unit
US7555540B2 (en) 2003-06-25 2009-06-30 Microsoft Corporation Media foundation media processor
US20040267778A1 (en) 2003-06-27 2004-12-30 Microsoft Corporation Media foundation topology application programming interface
US7725920B2 (en) 2003-06-27 2010-05-25 Microsoft Corporation Media foundation media sink
US7774375B2 (en) 2003-06-27 2010-08-10 Microsoft Corporation Media foundation topology
US20050021828A1 (en) 2003-07-03 2005-01-27 Yakov Kamen Adaptive data delivery manager for heterogeneous data delivery pipelines
US7613767B2 (en) 2003-07-11 2009-11-03 Microsoft Corporation Resolving a distributed topology to stream data
US7158668B2 (en) 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
US7882510B2 (en) 2003-08-06 2011-02-01 Microsoft Corporation Demultiplexer application programming interface
EP1526714A1 (en) 2003-08-06 2005-04-27 Matsuhita Electric Industrial Co., Ltd. Information processing apparatus
US20060064503A1 (en) 2003-09-25 2006-03-23 Brown David W Data routing systems and methods
WO2005069552A1 (en) 2004-01-14 2005-07-28 Gridiron Software, Inc. Redundant pipelined file transfer
US7539218B2 (en) 2004-03-04 2009-05-26 Nvidia Corporation Media processing engine framework
US7290003B1 (en) 2004-08-19 2007-10-30 Sun Microsystems, Inc. Migrating data using an intermediate self-describing format
US20060080407A1 (en) 2004-10-12 2006-04-13 Motorola, Inc. Multimedia session establishment in a user entity having audio floor control
US20060133513A1 (en) 2004-12-22 2006-06-22 Kounnas Michael K Method for processing multimedia streams
US7388586B2 (en) 2005-03-31 2008-06-17 Intel Corporation Method and apparatus for animation of a human speaker
US7827554B2 (en) 2005-06-20 2010-11-02 Microsoft Corporation Multi-thread multimedia processing
JP4976557B2 (ja) * 2007-10-16 2012-07-18 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 無線通信ネットワークのノード及びルーティングテーブル更新間隔を調整する方法
US20090222506A1 (en) 2008-02-29 2009-09-03 Evident Software, Inc. System and method for metering and analyzing usage and performance data of a virtualized compute and network infrastructure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0204959A1 (en) * 1985-06-10 1986-12-17 International Business Machines Corporation Automatic update of topology in a hybrid network
RU2158490C2 (ru) * 1995-03-23 2000-10-27 Телефонактиеболагет Лм Эрикссон (Пабл) Распределенная система радиосвязи
US6111858A (en) * 1997-02-18 2000-08-29 Virata Limited Proxy-controlled ATM subnetwork
US6202204B1 (en) * 1998-03-11 2001-03-13 Intel Corporation Comprehensive redundant load elimination for architectures supporting control and data speculation
US6539524B1 (en) * 2000-05-10 2003-03-25 Agere Systems Inc. Method and apparatus for matching capacitance of filters having different circuit topologies
RU24012U1 (ru) * 2001-10-12 2002-07-20 Павликов Сергей Николаевич Устройство для обработки информации

Also Published As

Publication number Publication date
AU2004202280A1 (en) 2005-01-20
EP1492022A3 (en) 2006-04-05
US20110185078A1 (en) 2011-07-28
KR20110137760A (ko) 2011-12-23
US20110213892A1 (en) 2011-09-01
JP2005018784A (ja) 2005-01-20
US20120185861A1 (en) 2012-07-19
US20080168100A1 (en) 2008-07-10
US9536565B2 (en) 2017-01-03
US20040267953A1 (en) 2004-12-30
US20080168101A1 (en) 2008-07-10
RU2366098C2 (ru) 2009-08-27
CA2464844C (en) 2012-04-10
US7962639B2 (en) 2011-06-14
KR20050001407A (ko) 2005-01-06
US7937487B2 (en) 2011-05-03
CN1577330A (zh) 2005-02-09
CA2464844A1 (en) 2004-12-25
US9460753B2 (en) 2016-10-04
JP4772297B2 (ja) 2011-09-14
RU2487395C2 (ru) 2013-07-10
KR101122860B1 (ko) 2012-04-19
RU2009122177A (ru) 2010-12-20
RU2009122175A (ru) 2010-12-20
KR101201000B1 (ko) 2012-11-13
US9502074B2 (en) 2016-11-22
CN100517306C (zh) 2009-07-22
MXPA04006188A (es) 2005-03-23
BRPI0401937A (pt) 2005-02-01
RU2501176C2 (ru) 2013-12-10
US20080181137A1 (en) 2008-07-31
RU2004119366A (ru) 2005-12-10
RU2009122179A (ru) 2010-12-20
US7555540B2 (en) 2009-06-30
AU2004202280B2 (en) 2009-11-19
EP1492022A2 (en) 2004-12-29
US8171151B2 (en) 2012-05-01

Similar Documents

Publication Publication Date Title
RU2494560C2 (ru) Медиа-процессор для организации мультимедийных данных
US7669206B2 (en) Dynamic redirection of streaming media between computing devices
CA2605187C (en) Media timeline sorting
JP2005196784A (ja) メディアプレーヤーのユーザインターフェースと対話するためのシステムおよび方法
JP2003303102A (ja) 画像処理装置
US7941739B1 (en) Timeline source
US7934159B1 (en) Media timeline
US7725920B2 (en) Media foundation media sink
US7577940B2 (en) Managing topology changes in media applications
MXPA03007574A (es) Interfase de programacion de aplicacion de desmultiplexor.
JP2004112779A (ja) ストリームデータ処理装置

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20150526

MM4A The patent is invalid due to non-payment of fees

Effective date: 20200625