RU2301502C2 - Механизм синхронизации для введения субтитров и звукового описания в мультимедиа - Google Patents

Механизм синхронизации для введения субтитров и звукового описания в мультимедиа Download PDF

Info

Publication number
RU2301502C2
RU2301502C2 RU2003105494/09A RU2003105494A RU2301502C2 RU 2301502 C2 RU2301502 C2 RU 2301502C2 RU 2003105494/09 A RU2003105494/09 A RU 2003105494/09A RU 2003105494 A RU2003105494 A RU 2003105494A RU 2301502 C2 RU2301502 C2 RU 2301502C2
Authority
RU
Russia
Prior art keywords
media stream
output
composite
additional media
main
Prior art date
Application number
RU2003105494/09A
Other languages
English (en)
Other versions
RU2003105494A (ru
Inventor
Масахико КАНЕКО (US)
Масахико КАНЕКО
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2003105494A publication Critical patent/RU2003105494A/ru
Application granted granted Critical
Publication of RU2301502C2 publication Critical patent/RU2301502C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Изобретение относится к отображению медиапотоков. Его использование при выводе медиапотоков предназначено для оказания своевременной помощи людям с нарушенным зрением или слухом. Этот результат достигается благодаря тому, что осуществляют повторяющийся многократный контроль и обнаружение запускающих событий во время вывода основного медиапотока; и при обнаружении запускающего события: определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием; определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком; и итеративный (многократный) вывод каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений. Синхронные дополнительные медиапотоки выводятся одновременно с основным медиапотоком. Асинхронно выводимые дополнительные медиапотоки приостанавливают основной медиапоток во время их вывода и завершают любые выводящиеся в данный момент дополнительные медиапотоки. 4 н. и 28 з.п. ф-лы, 8 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к способу отображения дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенным зрением и слухом, совместно с основным медиапотоком.
Предпосылки создания изобретения
Существует много людей, которые имеют доступ к мультимедиа, но не могут полностью понять содержимое, передаваемое мультимедиа, вследствие ухудшения одного из их чувств, таких как зрение или слух. Например, человек с нарушенным слухом может иметь доступ к потоку с мультимедийным содержимым, имеющему как видео-, так и аудиоаспекты, однако может воспринимать только видеоаспект содержимого. Аналогично люди с нарушенным зрением могут иметь доступ к потоку с мультимедийным содержимым, имеющему как видео-, так и аудиоаспекты, однако могут воспринимать только аудиоаспекты содержимого.
Введение субтитров представляет собой дополнительный медиапоток, используемый для оказания помощи тем, у которых нарушен слух, и является промышленной основой для телевизионных программ в течение многих лет. Идея введения субтитров вышла из рамок телевизионного вещания на другие платформы, в частности, на передаваемые компьютером мультимедийные потоки. Компании, такие как Apple и RealNetworks, имеют продукты, которые позволяют авторам содержимого включать дополнительные медиапотоки для введения субтитров в конечные продукты, используя уникальные форматы введения субтитров. Эти форматы в основном основаны на языке синхронизированной интеграции мультимедиа консорциума Всемирной паутины (Internet).
Одним основным недостатком существующих систем для интеграции дополнительных медиапотоков в основные мультимедийные потоки является то, что информация, необходимая для адекватного дополнения основного медиапотока, часто может отставать от основного медиапотока. Вследствие характера дополнительных медиапотоков представление всей информации, необходимой для адекватного дополнения основного медиапотока, требует больше времени, чем позволяет основной медиапоток. Как результат, авторы содержимого должны селективно пропускать некоторую информацию, которая иначе была бы включена в дополнительный поток, чтобы не отставать от основного медиапотока.
Как пример вышеописанной проблемы введение субтитров обычно отображает в текстовом формате диалог действующих лиц на экране. Звуки событий, происходящих за экраном, которые оказывают влияние на речь этих героев, такие как крики или звуки столкновений на заднем плане, возможно, следует исключить, чтобы зафиксировать весь диалог присутствующих героев. Идеальным было бы описание звука, который таким образом оказывает влияние на речь этих героев. Но так как диалог героев продолжается, то часто необходимо пропускать такие описания. Кроме того, дополнительный медиапоток одной сцены часто "перетекает" на следующую сцену, создавая некоторую путаницу в отношении того, что в настоящее время происходит в основном медиапотоке.
Поэтому необходима система для обеспечения дополнительных медиапотоков вместе с основным медиапотоком и селективного приостановления основного медиапотока для того, чтобы дополнительный медиапоток полностью представил содержимое, связанное с конкретным событием. Кроме того, система должна приостановить модель тактирования основного медиапотока, на которой основаны дополнительные медиапотоки, так что на тактирование дополнительных медиапотоков не влияют паузы в основном медиапотоке.
Краткое изложение сущности изобретения
Представлен способ вывода дополнительных медиапотоков с основным медиапотоком. Способ контролирует запускающие (инициирующие) события и при обнаружении запускающего события вызывает вывод одного или нескольких дополнительных медиапотоков, связанных с запускающим событием. Связанные дополнительные медиапотоки могут выводиться или синхронно, или асинхронно с основным медиапотоком. Синхронные дополнительные медиапотоки выводятся одновременно с основным медиапотоком. Асинхронно выводимые дополнительные медиапотоки приостанавливают основной медиапоток, в то время как они выводятся, и завершают любые выводящиеся в данный момент дополнительные медиапотоки. Дополнительный медиапоток может вызвать запуск условным запускающим событием второго дополнительного медиапотока и вывода синхронно с первым. Второй основной медиапоток со связанными дополнительными медиапотоками может выводиться асинхронно в виде скомпилированного (составного) дополнительного медиапотока в связи с первым основным медиапотоком.
Как можно легко понять из вышеописанного краткого изложения, изобретение обеспечивает новый и усовершенствованный способ вывода дополнительных медиапотоков с основным медиапотоком. Следовательно, способ идеально подходит для отображения дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенным зрением и слухом совместно с основным мультимедийным потоком.
Краткое описание чертежей
Вышеописанные аспекты и многие из сопутствующих преимуществ настоящего изобретения станут более очевидными, ввиду того что они становятся более понятными, в результате ссылки на следующее подробное описание, рассматриваемое совместно с прилагаемыми чертежами, на которых:
На фиг.1 представлена блок-схема вычислительной системы, пригодной для создания примерной рабочей среды для настоящего изобретения.
На фиг.2 представлена временная диаграмма, иллюстрирующая дополнительный медиапоток, выводимый синхронно с основным медиапотоком согласно известному уровню техники.
На фиг.3 представлена временная диаграмма, иллюстрирующая дополнительный медиапоток, выводимый асинхронно с основным медиапотоком в соответствии с настоящим изобретением.
На фиг.4 представлена временная диаграмма, иллюстрирующая многочисленные дополнительные медиапотоки, выводимые как синхронно, так и асинхронно с основным медиапотоком в соответствии с настоящим изобретением.
На фиг.5 представлена временная диаграмма, иллюстрирующая многочисленные дополнительные медиапотоки, включающие составной дополнительный медиапоток, выводимые как синхронно, так и асинхронно с основным медиапотоком в соответствии с настоящим изобретением.
На фиг.6 представлена схема последовательности операций, иллюстрирующая примерную процедуру вывода медиапотоков для вывода основного медиапотока и дополнительных медиапотоков в соответствии с настоящим изобретением.
На фиг.7А, 7В и 7С представлена схема последовательности операций, иллюстрирующая подпрограмму вывода дополнительных потоков для использования в примерной процедуре вывода медиапотоков, показанной на фиг.6.
На фиг.8 представлена блок-схема, иллюстрирующая примерную медиасистему вывода, выполненную в соответствии с настоящим изобретением.
Подробное описание
Фиг.1 и нижеследующее обсуждение предназначены для создания краткого общего описания вычислительной системы, пригодной для осуществления различных признаков изобретения. Хотя вычислительная система описана в общем контексте персонального компьютера, используемого в распределенной вычислительной среде, где дополнительные задачи выполняются удаленными вычислительными устройствами, объединенными вместе сетью связи, специалисту в этой области техники понятно, что изобретение может быть осуществлено со многими другими конфигурациями вычислительной системы, включающими многопроцессорные системы, миникомпьютеры, большие ЭВМ и т.д. Изобретение может быть осуществлено в локальной сети или, альтернативно, на одном компьютере, использующем логические, а не физически удаленные устройства. Кроме того, хотя настоящее изобретение описывается в связи с вычислительной системой, необходимо понять, что изобретение может быть использовано в связи с другими устройствами воспроизведения медиапотоков, такими как кассетный видеомагнитофон или проигрыватель цифровых многофункциональных дисков (DVD), с соответствующими модификациями системы управления.
Хотя аспекты изобретения могут быть описаны в смысле прикладных программ, которые работают в операционной системе совместно с персональным компьютером, специалисту в этой области техники понятно, что эти аспекты также могут быть осуществлены в комбинации с другими программными модулями. В общих чертах, программные модули включают в себя процедуры, программы, компоненты, структуры данных и т.д., которые выполняют определенные задачи или реализуют конкретные абстрактные типы данных.
Как показано на фиг.1, примерная система для осуществления изобретения включает в себя обычный персональный компьютер 102, включающий в себя этап 104 обработки данных, системное запоминающее устройство 106 и системную шину 108, которая связывает системное запоминающее устройство с этапом 104 обработки данных. Системное запоминающее устройство 106 включает в себя постоянное запоминающее устройство 110 (ПЗУ) и оперативное запоминающее устройство 112 (ОЗУ). Базовая система 114 ввода-вывода (БСВВ), содержащая основные процедуры, которые помогают выполнять передачу информации между элементами в персональном компьютере 102, как, например, во время запуска, хранится в ПЗУ 110. Персональный компьютер 102 дополнительно включает в себя привод 116 жесткого диска, привод 118 магнитных дисков, например, для считывания или записи на съемный диск 120, и привод 122 оптических дисков, например, для считывания с компакт-диска 124 или считывания с другого оптического носителя или записи на него. Привод 116 жесткого диска, привод 118 магнитных дисков и привод 122 оптических дисков подключены к системной шине 108 посредством соответственно интерфейса 126 привода жесткого диска, интерфейса 128 привода магнитных дисков и интерфейса 130 привода оптических дисков. Приводы и связанные с ними считываемые компьютером носители обеспечивают энергонезависимое запоминающее устройство для персонального компьютера 102. Хотя описание выше считываемого компьютером носителя относится к жесткому диску, съемному магнитному диску и компакт-диску, специалисту в этой области техники должно быть понятно, что другие типы носителей, которые могут считываться компьютером, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, картриджи Бернулли, ZIP-диски и т.д., также могут быть использованы в примерной рабочей среде.
Ряд программных модулей может храниться в приводах и ОЗУ 112, включая операционную систему 132, одну или несколько прикладных программ 134, другие программные модули 136 и данные 138 программ. Пользователь может вводить команды и информацию в персональный компьютер 102 через устройства ввода, такие как клавиатура 140 или мышь 142. Другие устройства ввода (не показаны) могут включать в себя микрофон, сенсорную панель, джойстик, игровой планшет, антенну спутниковой связи, сканер и т.п. Эти и другие устройства ввода часто подключаются к этапу 104 обработки данных через интерфейс 144 ввода для пользователя, который подсоединен к системной шине, но могут быть подключены посредством других интерфейсов (не показаны), таких как игровой порт или универсальная последовательная шина (УПШ). Дисплей 158 также подключается к системной шине 108 через подсистему дисплея, которая обычно включает в себя интерфейс 156 графического дисплея и программный модуль, иногда упоминаемый как драйвер дисплея, для сопряжения с интерфейсом графического дисплея. Кроме того, персональные компьютеры также обычно включают в себя другие периферийные устройства вывода (не показаны), такие как громкоговорители или принтеры.
Персональный компьютер 102 может работать в сетевой среде, используя логические подключения к одному или нескольким удаленным компьютерам, таким как удаленный компьютер 146. Удаленный компьютер 146 может быть сервером, маршрутизатором, одноранговым устройством или другим общим узлом сети и обычно включает в себя многие или все элементы, описанные в отношении персонального компьютера 102. Логические подключения, показанные на фиг.1, включают в себя локальную вычислительную сеть 148 (ЛВС) и глобальную вычислительную сеть 150 (ГВС). Такие сетевые среды обычны для офисов, корпоративных вычислительных сетей, интрасетей и сети Интернет.
При использовании в сетевой среде ЛВС персональный компьютер 102 подключается к ЛВС 148 через сетевой интерфейс 152. При использовании в сетевой среде ГВС персональный компьютер 102 обычно включает в себя модем 154 или другое средство для установления связи через ГВС 150, такой как Интернет. Модем 154, который может быть внутренним или внешним, подключается к системной шине 108 через интерфейс 144 ввода для пользователя. В сетевой среде программные модули, описанные в отношении персонального компьютера 102 или его частей, могут храниться в устройстве хранения на удаленном запоминающем устройстве. Понятно, что показанные сетевые подключения являются примерными и может быть использовано другое средство установления канала связи между компьютерами. Кроме того, ЛВС 148 и ГВС 150 могут быть использованы в качестве источника информации на энергонезависимом устройстве хранения для системы.
На фиг.2 представлена временная диаграмма 200, иллюстрирующая дополнительный медиапоток 204, выводимый синхронно с основным медиапотоком 202 согласно известному уровню техники. Как показано на временной диаграмме 200, основной медиапоток 202 начинает вывод в момент времени Т0 и продолжает без перерыва до момента времени Т6. Во время вывода основного медиапотока 202 в момент времени Т1 происходит запускающее событие 201, которое вызывает вывод дополнительным медиапотоком 204 медиасегмента 206. Как видно из временной диаграммы 200, медиасегмент 206 выводится синхронно с основным медиапотоком 202 с продолжительностью DUR0.
В момент времени Т3 происходит второе запускающее событие 203, вызывающее вывод дополнительным медиапотоком 204 второго медиасегмента 208. Согласно известному уровню техники медиасегмент 208 выводится также синхронно с основным медиапотоком 202. Как показано на фиг.2, медиасегмент 208 выводится с продолжительностью DUR1. Так как оба медиасегмента выводятся синхронно с основным медиапотоком 202, общее время воспроизведения основного медиапотока 202 со связанным дополнительным медиапотоком 204 составляет Т6, равное времени воспроизведения одного основного медиапотока.
В качестве примера того, как эта временная диаграмма 200 работает в известном уровне техники, основной медиапоток 202 может представлять мультимедийное воспроизведение, подлежащее отображению на дисплее, таком как дисплей 156 (фиг.1). Дополнительный медиапоток 204 может представлять поток текстовых описаний диалога, происходящего при мультимедийном воспроизведении. Запускающие события 201 и 203 представляют заранее определенные моменты времени относительно мультимедийного воспроизведения, где диалог происходит или происходил, и текстовое описание этого диалога доступно для людей с нарушенным слухом. Согласно известному уровню техники текстовые описания отображаются синхронно с мультимедийным воспроизведением. Однако при синхронном представлении основной медиапоток и дополнительный медиапоток адекватны тогда, когда текстовые описания достаточно короткие для одновременного представления с основным медиапотоком, то легко можно наблюдать, как деградировала бы эта система. Например, когда текстовые описания длинные, они могут перекрывать последующие сцены информации при основном воспроизведении, создавая существенную путаницу для тех, кто полагается на текстовые описания. Альтернативно, автор дополнительного медиапотока может быть вынужден исключить важную информацию, для того чтобы текстовое описание "подходило" к определенному периоду времени. Как описано выше, необходим способ для приостановления основного медиапотока, когда это необходимо, чтобы дополнительные медиапотоки могли отображать большее количество надежного содержимого в пределах временной последовательности основного медиапотока.
На фиг.3 представлена временная диаграмма 300, иллюстрирующая дополнительный медиапоток 304, выводимый асинхронно с основным медиапотоком 302, в соответствии с настоящим изобретением. Как изображено на временной диаграмме 300, основной медиапоток 302 начинает вывод в момент времени Т0 и завершает в момент времени Т6. Во время вывода основного медиапотока 302 в момент времени Т1 происходит запускающее событие 301, которое вызывает вывод дополнительным медиапотоком 304 медиасегмента 306. Однако в отличие от синхронного вывода дополнительных медиасегментов на фиг.2 медиасегмент 306 выводится асинхронно основному медиапотоку 302. Следовательно, основной медиапоток 302 приостанавливается, как указано сегментом 310 паузы. Информация для определения того, должен ли быть приостановлен основной медиапоток, может быть определена из запускающего события, из типа дополнительного медиасегмента или определена внутренне посредством дополнительного медиасегмента. Настоящее изобретение, однако, не должно рассматриваться как ограниченное каким-то конкретным механизмом для определения того, выводить ли дополнительный медиапоток асинхронно с основным медиапотоком.
Как показано на временной диаграмме 300, медиасегмент 306 выводится в течение продолжительности DUR2. В течение этого периода времени основной медиапоток 302 остается приостановленным, включая тактирование основного медиапотока. При завершении медиасегмента 306 происходит запускающее событие 303, вызывающее возобновление основного медиапотока 302 и его тактирования. Запускающее событие может создаваться самим медиасегментом 306, дополнительным медиапотоком 304 или внешней системой контроля. Настоящее изобретение, однако, не должно рассматриваться как ограниченное каким-то конкретным механизмом возобновления приостановленного основного медиапотока 302.
В момент времени Т3 запускающее событие 305 вызывает вывод дополнительным медиапотоком 304 другого медиасегмента 308 асинхронно с основным медиапотоком 302. Медиасегмент 308 выводится в течение продолжительности DUR3, в течение которой основной медиапоток 302 приостановлен, как указывается сегментом 312 паузы. После завершения медиасегмента 308 или, альтернативно, в качестве операции завершения запускающее событие 307 вызывает возобновление вывода основного медиапотока 302. В соответствии с иллюстративной временной диаграммой 300 после этого основной медиапоток продолжает свой вывод без перерыва до завершения в момент времени Т6. Однако хотя время вывода основного медиапотока 302 составляет Т6, общее время воспроизведения для вывода как основного медиапотока, так и дополнительного медиапотока 304 составляет T6+DUR2+DUR3 из-за приостановок во времени асинхронного вывода медиасегментов 306 и 308.
В результате асинхронного вывода сегментов дополнительного медиапотока, как показано на временной диаграмме 300, поставщики содержимого не ограничиваются количеством или качеством дополнительной информации, которая может быть представлена с основным медиапотоком. Кроме того, дополнительная информация может быть представлена более своевременным и скоординированным образом с основным медиапотоком.
На фиг.4 представлена временная диаграмма 400, иллюстрирующая многочисленные дополнительные медиапотоки, выводимые как синхронно, так и асинхронно с основным медиапотоком 402, в соответствии с настоящим изобретением. Начинающийся в момент времени Т0 основной медиапоток 402 начинает свой вывод. Также в момент времени Т0 запускающее событие 401 вызывает вывод дополнительным медиапотоком 408 медиасегмента 410 синхронно с основным медиапотоком 402. Так как медиасегмент 410 выводится синхронно с основным медиапотоком 402, медиасегмент не влияет на общее время воспроизведения основного медиапотока и дополнительных медиапотоков.
Часто могут иметь место многочисленные дополнительные медиапотоки, связанные с одним запускающим событием. В соответствии с настоящим изобретением эти связанные дополнительные медиапотоки могут выводиться или синхронно, или асинхронно с основным медиапотоком. Так как асинхронные дополнительные медиапотоки приостанавливают все другие потоки, когда имеются многочисленные асинхронные дополнительные медиапотоки, связанные с одним запускающим событием, может быть необходим порядок вывода связанных потоков. Например, автор содержимого может посчитать необходимым вывести первый дополнительный медиапоток перед выводом второго дополнительного медиапотока, и оба сегмента должны быть выведены до возобновления вывода основного медиапотока. В соответствии с аспектами настоящего изобретения сначала выводится дополнительный медиапоток с наивысшим приоритетом. Кроме того, когда первый дополнительный медиапоток завершает свой вывод медиасегмента, связанного с запускающим событием, он вызывает вывод вторым связанным медиапотоком дополнительного медиасегмента. В соответствии с одним аспектом настоящего изобретения это может выполняться посредством направления первым дополнительным медиасегментом запускающего события второму дополнительному медиасегменту. Альтернативно, первый дополнительный медиасегмент может вызывать появление второго запускающего события, которое вызывает вывод вторым связанным дополнительным медиапотоком медиасегмента. Настоящее изобретение, однако, не должно рассматриваться как ограниченное каким-то конкретным механизмом итеративного вывода множества дополнительных медиапотоков, связанных с одним запускающим событием. После завершения всех связанных асинхронных дополнительных медиапотоков могут быть выведены любые синхронные медиасегменты и возобновляется основной медиапоток.
В соответствии с иллюстративной временной диаграммой 400 в момент времени Т1 дополнительный медиапоток 404 и дополнительный медиапоток 406, оба связаны с запускающим событием 403. В соответствии с заранее определенным порядком запускающее событие 403 вызывает начало вывода дополнительным медиапотоком 404 своего медиасегмента 412. Так как медиасегмент 412 должен выводиться асинхронно, приостанавливается основной медиапоток 402, что указывается сегментом 418 паузы. Когда завершается медиасегмент 412, запускающее событие 405 вызывает вывод дополнительным медиапотоком 406 медиасегмента 414.
Во многих случаях автор содержимого может пожелать условно вывести второй дополнительный медиапоток одновременно с первым дополнительным медиапотоком. Например, если зритель с нарушенным слухом указал на возможность понимания объяснений с помощью жестов, автор содержимого может пожелать условно вывести дополнительный медиасегмент жестов вместе с текстовым описанием основного медиапотока. При таких обстоятельствах дополнительный медиапоток текстового описания может проверять внешнее условие с целью определения целесообразности одновременного вывода связанного дополнительного медиапотока объяснений с помощью жестов. Альтернативно, может произойти условное запускающее событие, и условный дополнительный медиасегмент сам может определить необходимость вывода, основываясь на внешнем условии.
Как показано на фиг.4, медиасегмент 414 выводится асинхронно с основным медиапотоком 402. Однако во время вывода медиасегмента 414 происходит условное запускающее событие, как изображено условным запускающим событием 407. Указанный условным запускающим событием 407 дополнительный медиапоток выводит медиасегмент 416 синхронно с медиасегментом 414. В соответствии с иллюстративной временной диаграммой 400 условный медиасегмент 416 завершается до завершения медиасегмента 414. Ввиду того что медиасегмент 414 завершается, поскольку он выводится асинхронно с основным медиапотоком 402 и поскольку нет других дополнительных медиапотоков, связанных с запускающим событием 403, запускающее событие 409 вызывает возобновление вывода основного медиапотока. В момент времени Т2 происходит запускающее событие 411, вызывающее синхронный вывод дополнительным медиапотоком 408 медиасегмента 420.
В соответствии с другими аспектами настоящего изобретения (не показаны), если дополнительный медиапоток выводится тогда, когда запускающее событие вызывает вывод второго асинхронного дополнительного медиапотока, первый дополнительный медиапоток обрезается/завершается. Например, если бы медиасегмент 410 был достаточно длинным и выполнялся до момента времени Т2, то он бы обрезался/завершался в момент времени Т1, так как медиасегмент 412 выводится асинхронно. Альтернативно, может продолжаться вывод дополнительных медиапотоков после последующего запускающего события, если второй дополнительный медиасегмент 410 должен выводиться синхронно. Таким образом, в соответствии с только что описанным примером продолжался бы вывод медиасегмента 410 после того, как произошло запускающее событие 403, если медиасегмент 412 также должен был бы выводиться синхронно.
Другим преимуществом, реализуемым настоящим изобретением относительно известного уровня техники, является возможность использования составления (компиляции) основного медиапотока и дополнительных медиапотоков в виде составного медиапотока для второго основного медиапотока. Составной медиапоток использует свое собственное внутреннее тактирование, и связанные дополнительные медиапотоки могут выводиться асинхронно составному основному медиапотоку. На фиг.5 изображено использование составного дополнительного медиапотока.
На фиг.5 представлена временная диаграмма 500, иллюстрирующая многочисленные дополнительные медиапотоки, включающие в себя составной медиапоток 506, выводимые как синхронно, так и асинхронно основному медиапотоку 502, в соответствии с настоящим изобретением. Начиная с момента времени Т0 выводится основной медиапоток. Кроме того, в момент времени Т0 запускающее событие 501 вызывает синхронный вывод дополнительным медиапотоком 504 дополнительного медиасегмента 512. В момент времени Т1 запускающее событие 503 вызывает асинхронный вывод составным медиапотоком 506 составного медиасегмента 508, что изображается сегментом 510 паузы. Как показано на фиг.5, составной медиасегмент 508 содержит составной основной медиапоток 516 и составной дополнительный медиапоток 518.
В соответствии с временной диаграммой 500 в момент времени С0, который соответствует моменту времени Т1 основного медиапотока 502, выводится составной основной медиапоток 516. В момент времени С1 запускающее событие 509 вызывает синхронный вывод составным дополнительным медиапотоком 518 составного медиасегмента 520. В момент времени С3 запускающее событие 511 вызывает асинхронный вывод составным дополнительным медиапотоком 518 составного медиасегмента 522. Так как составной медиасегмент 522 выводится асинхронно, приостанавливается составной основной медиапоток 516, как указано сегментом 524 паузы. По завершении составного медиасегмента 522 запускающее событие 513 вызывает возобновление составного основного медиапотока 516. В момент времени С4 завершается составной основной медиапоток 516. Завершение составного основного медиапотока 516 означает завершение составного медиасегмента 508. Следовательно, происходит запускающее событие 505, которое вызывает возобновление своего вывода основным медиапотоком 502. В момент времени Т3 происходит запускающее событие 507, которое вызывает синхронный вывод дополнительным медиапотоком 504 медиасегмента 514.
На фиг.6 представлена схема последовательности операций, иллюстрирующая примерную процедуру 600 вывода медиапотоков для вывода основного медиапотока с одним или несколькими дополнительными медиапотоками в соответствии с настоящим изобретением. Начиная с этапа 602, выводится основной медиапоток. Специалисту в этой области техники понятно, что будет продолжаться вывод основного медиапотока, когда продолжает работать примерная процедура 600. Следовательно, в то время как выводится основной медиапоток, на этапе 604 процедура 600 ожидает/контролирует то, что произойдет событие, либо запускающее событие, либо событие, означающее завершение основного медиапотока. После приема события, на этапе 606 проверки условия, выполняется определение, являлось ли событие событием, означающим завершение основного медиапотока. Если событие действительно означало завершение основного медиапотока, процедура 600 завершается.
Если на этапе 606 проверки условия событие не означало завершение основного медиапотока, то событием было запускающее событие для дополнительных медиапотоков. На этапе 608 выполняется определение, идентифицирующее эти дополнительные медиапотоки, связанные с запускающим событием. На этапе 610 проверки условия выполняется определение, имеются ли какие-нибудь связанные дополнительные медиапотоки, которые не были выведены. Если имеются еще дополнительные медиапотоки для обработки, то на этапе 612 выбирается следующий связанный дополнительный медиапоток. Как описано выше, может быть установлен заранее определенный порядок вывода дополнительных медиапотоков. Альтернативно, выбор связанных дополнительных медиапотоков может быть основан на значениях приоритета каждого связанного дополнительного медиапотока или индивидуальных дополнительных медиасегментов. Специалисту в этой области техники понятно, что существуют многочисленные различные методы выбора среди связанных дополнительных медиапотоков и настоящее изобретение не следует рассматривать как ограниченное тем, что описано здесь в иллюстративных целях.
На этапе 614 вызывается подпрограмма вывода дополнительных медиапотоков для вывода выбранного дополнительного медиапотока. Более подробное описание этой подпрограммы приведено в отношении фиг.7А, 7В и 7С.
На фиг.7А, 7В и 7С приведена схема последовательности операций, иллюстрирующая подпрограмму 700 вывода дополнительных медиапотоков для использования в примерной процедуре 600 вывода медиапотоков, показанной на фиг.6. Начиная с этапа 702 (фиг.7А), выполняется определение, где необходимо приостановить основной медиапоток, т.е. должен ли дополнительный медиапоток выводиться синхронно или асинхронно. Если основной медиапоток должен быть приостановлен, на этапе 704 проверки условия выполняется определение, приостановлен ли уже основной медиапоток. Если основной медиапоток еще не приостановлен (как, вероятно, было бы в случае, если эта подпрограмма 700 была вызвана для вывода первого связанного дополнительного медиапотока), то на этапе 706 приостанавливается основной медиапоток. После этого подпрограмма 700 переходит к этапу 712 проверки условия. Альтернативно, если на этапе 704 проверки условия определяется, что основной медиапоток уже приостановлен, подпрограмма 700 переходит непосредственно к этапу 712 проверки условия.
Если на этапе 702 проверки условия определяется, что основной медиапоток не должен быть приостановлен, то на этапе 708 проверки условия выполняется определение, приостановлен ли в данный момент основной поток. Если основной медиапоток приостановлен (что может быть в случае, если эта подпрограмма 700 была вызвана для вывода второго связанного дополнительного медиапотока), то на этапе 710 возобновляется основной медиапоток. После этого подпрограмма 700 переходит к этапу 712 проверки условия. Альтернативно, если на этапе 708 проверки условия определяется, что основной медиапоток не приостановлен, то подпрограмма 700 переходит непосредственно к этапу 712 проверки условия.
На этапе 712 проверки условия выполняется определение, является ли дополнительный медиапоток составным медиапотоком. Если дополнительный медиапоток является составным медиапотоком, то на этапе 714 осуществляется вывод составного медиапотока. В соответствии с изображенной подпрограммой 700 рекурсивно вызывается процедура 600 вывода медиапотоков (фиг.6) для вывода составного медиапотока. После вывода составного медиапотока подпрограмма 700 переходит к этапу 728 проверки условия (фиг.7С).
Если на этапе 712 проверки условия определяется, что дополнительный медиапоток не является составным медиапотоком, то на этапе 716 (фиг.7В) выводится дополнительный медиапоток. Во время вывода дополнительного медиапотока на этапе 718 подпрограмма 700 контролирует/ожидает появление условного события или, альтернативно, события, означающего то, что дополнительный медиапоток завершил свой вывод. На этапе 720 проверки условия выполняется определение, было ли обнаруженное событие условным событием. Если событием не было условное событие, то на этапе 722 выполняется определение, означало ли событие то, что дополнительный медиапоток завершил свой вывод. Если дополнительный медиапоток не завершил свой вывод, то подпрограмма 700 снова возвращается на этап 718 для контроля/ожидания другого события. Однако если событие действительно означало, что дополнительный медиапоток завершил свой вывод, то подпрограмма 700 переходит к этапу 728 проверки условия (фиг.7С).
Альтернативно, если на этапе 720 проверки условия определяется, что событием было условное событие, то на этапе 724 проверки условия выполняется определение, выполняется ли условие. Если условие выполняется, то на этапе 726 выводится условный дополнительный медиапоток. После этого процесс возвращается снова на этап 718 для контроля/ожидания другого события. Однако если на этапе 724 проверки условия условие не выполняется, условное событие игнорируется и процесс возвращается на этап 718 для контроля/ожидания другого события.
На этапе 728 проверки условия (фиг.7С) выполняется определение, имеются ли какие-нибудь добавочные дополнительные медиапотоки, связанные с запускающим событием. Если имеются добавочные связанные дополнительные медиапотоки, то на этапе 730 выводится следующий дополнительный поток посредством рекурсивного вызова этой подпрограммы 700 вывода дополнительного потока. После этого подпрограмма 700 завершается. Альтернативно, если на этапе 728 проверки условия определяется, что больше нет связанных дополнительных медиапотоков, то на этапе 734 проверки условия выполняется определение, приостановлен ли основной медиапоток. Если основной медиапоток приостановлен, то на этапе 736 возобновляется основной поток. После этого подпрограмма 700 завершается. Однако если на этапе 734 проверки условия определяется, что основной медиапоток не приостановлен, то подпрограмма 700 завершается.
На фиг.8 представлена блок-схема, иллюстрирующая примерную медиасистему 800 вывода, выполненную в соответствии с настоящим изобретением. Система включает в себя устройство 802 вывода медиапотоков для вывода основного медиапотока и одного или нескольких дополнительных медиапотоков. Хотя на этой схеме могут быть изображены только визуальные представления медиапотоков, то это только с целью иллюстрации и не должно рассматриваться как ограничивающее настоящее изобретение. В соответствии с одним вариантом выполнения устройство 802 вывода медиапотоков может выводить как визуальные, так и звуковые медиапотоки. Кроме того, устройство 802 вывода медиапотоков может состоять из многочисленных составляющих, таких как дисплей и громкоговорители.
В соответствии с изображенным примером устройство 802 вывода медиапотоков подключается к контроллеру 804 вывода медиапотоков. Контроллер 804 вывода медиапотоков принимает основной медиапоток 806 и связанные дополнительные медиапотоки 808 и 810 и направляет их на устройство 802 вывода медиапотоков. В соответствии с изображенным примером устройство 802 вывода медиапотоков выводит основной медиапоток 806 в области 812 просмотра дисплея, в то время как дополнительные медиапотоки 808 и 810 отображаются в дополнительных областях 814 и 816 просмотра дисплея. Как показано в изображенном примере, дополнительные медиапотоки 808 и 810 не отображаются в одной и той же области просмотра дисплея. Однако в соответствии с другими вариантами выполнения эти потоки могут отображаться в одной дополнительной области просмотра дисплея. Кроме того, в соответствии с изображенным примером основной медиапоток 806 и дополнительные медиапотоки 808 и 810 показаны как отдельные потоки, поступающие на контроллер 804 вывода медиапотоков. Это, однако, только с целью иллюстрации и не должно рассматриваться как ограничивающее настоящее изобретение. В соответствии с одним вариантом выполнения основной медиапоток и дополнительные медиапотоки принимаются контроллером 804 вывода медиапотоков в виде одного потока. Хотя был изображен и описан предпочтительный вариант выполнения изобретения, понятно, что в нем могут быть сделаны различные изменения в пределах сущности и объема изобретения.
Варианты выполнения изобретения, в которых заявлено исключительное право собственности или преимущественное право, определены в формуле изобретения.

Claims (32)

1. Способ вывода одного или нескольких дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенными чувствами, совместно с основным медиапотоком, содержащий повторяющийся многократный контроль и обнаружение запускающих событий во время вывода основного медиапотока и при обнаружении запускающего события определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием, определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и итеративный (многократный) вывод каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений.
2. Способ по п.1, в котором связанный дополнительный медиапоток итеративно (многократно) выводится в соответствии с заранее определенным порядком среди связанных дополнительных медиапотоков.
3. Способ по п.2, в котором заранее определенный порядок среди связанных дополнительных медиапотоков устанавливается в соответствии со значениями приоритета, связанными с каждым дополнительным медиапотоком.
4. Способ по п.1, дополнительно содержащий приостановление основного медиапотока во время асинхронного вывода связанного дополнительного медиапотока.
5. Способ по п.4, дополнительно содержащий завершение второго дополнительного медиапотока, выводимого в данный момент, когда связанный дополнительный медиапоток выводится асинхронно.
6. Способ по п.4, дополнительно содержащий возобновление вывода основного медиапотока после асинхронного вывода связанного дополнительного медиапотока.
7. Способ по п.6, в котором запускающие события происходят в соответствии с тактированием основного медиапотока.
8. Способ по п.7, в котором тактирование основного медиапотока приостанавливается, когда приостанавливается основной медиапоток.
9. Способ по п.1, в котором первый связанный дополнительный медиапоток итеративно вызывает вывод второго связанного дополнительного медиапотока, когда первый связанный дополнительный медиапоток завершает свой вывод.
10. Способ по п.1, в котором связанный дополнительный медиапоток формирует условное запускающее событие, которое вызывает вывод условного дополнительного медиапотока синхронно со связанным дополнительным медиапотоком.
11. Способ по п.10, в котором связанный дополнительный медиапоток селективно формирует условное запускающее событие в соответствии с условием, внешним для связанного дополнительного медиапотока.
12. Способ по п.1, в котором определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием, содержит селективное исключение, в соответствии с внешним условием, дополнительного медиапотока, который иначе был бы связан с запускающим событием.
13. Способ по п.12, в котором внешнее условие идентифицирует тип дополнительного медиапотока, подлежащего селективному исключению.
14. Способ по п.1, в котором дополнительный медиапоток содержит или поток звукового описания, или поток визуального описания, или составной медиапоток.
15. Способ по п.14, в котором составной медиапоток содержит составной основной медиапоток и один или несколько составных дополнительных медиапотоков, связанных с составным медиапотоком.
16. Способ по п.15, в котором вывод составного медиапотока содержит многократный контроль и обнаружение составных запускающих событий во время вывода составного основного медиапотока и при обнаружении составного запускающего события определение, какие из одного или нескольких составных дополнительных медиапотоков связаны с составным запускающим событием, определение для каждого связанного составного дополнительного медиапотока, должен ли каждый связанный составной дополнительный медиапоток выводиться синхронно или асинхронно с составным основным медиапотоком, и итеративный (многократный) вывод каждого связанного составного дополнительного медиапотока или синхронно, или асинхронно с составным основным медиапотоком в соответствии с результатами предыдущих определений.
17. Способ по п.16, в котором составной дополнительный медиапоток содержит или поток звукового описания, или поток визуального описания, или составной медиапоток.
18. Способ по п.16, в котором составные запускающие события происходят в соответствии с тактированием составного основного медиапотока.
19. Считываемый компьютером носитель, имеющий выполняемые компьютером команды для осуществления способа, содержащего многократный контроль и обнаружение запускающих событий во время вывода основного медиапотока и при обнаружении запускающего события определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием, определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и итеративный вывод каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений.
20. Считываемый компьютером носитель по п.19, в котором дополнительный медиапоток содержит или поток звукового описания, или поток визуального описания, или составной медиапоток, причем составной медиапоток содержит составной основной медиапоток и один или несколько составленных дополнительных медиапотоков, связанных с составным медиапотоком, и вывод составного медиапотока содержит многократный контроль и обнаружение составных запускающих событий во время вывода составного основного медиапотока и при обнаружении составного запускающего события определение, какие из одного или нескольких составных дополнительных медиапотоков связаны с составным запускающим событием, определение для каждого связанного составного дополнительного медиапотока, должен ли каждый связанный составной дополнительный медиапоток выводиться синхронно или асинхронно с составным основным медиапотоком, и итеративный вывод каждого связанного составного дополнительного медиапотока или синхронно, или асинхронно с составным основным медиапотоком в соответствии с результатами предыдущих определений.
21. Система для вывода по меньшей мере одного дополнительного медиапотока, предназначенного для оказания помощи людям с нарушенными чувствами, совместно с основным медиапотоком, причем система содержит устройство вывода медиапотоков для вывода основного медиапотока и по меньшей мере одного дополнительного медиапотока и контроллер вывода медиапотоков, подключенный с возможностью взаимодействия к устройству вывода медиапотоков для приема основного медиапотока и по меньшей мере одного дополнительного медиапотока, вывода основного медиапотока через устройство вывода медиапотоков, контроля и обнаружения запускающих событий, связанных с выводом основного медиапотока и при обнаружении запускающего события определение, какие из по меньшей мере одного дополнительного медиапотока связаны с обнаруженным запускающим событием, определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и итеративный вывод каждого связанного дополнительного медиапотока через устройство вывода медиапотоков или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений.
22. Система по п.21, в которой связанные дополнительные медиапотоки итеративно выводятся в соответствии с заранее определенным порядком среди связанных дополнительных медиапотоков.
23. Система по п.22, в которой заранее определенный порядок среди связанных дополнительных медиапотоков устанавливается в соответствии со значениями приоритета, присвоенными каждому дополнительному медиапотоку.
24. Система по п.21, в которой контроллер вывода медиапотоков дополнительно предназначен для приостановления основного медиапотока во время асинхронного вывода связанного дополнительного медиапотока.
25. Система по п.24, в которой контроллер вывода медиапотоков дополнительно предназначен для завершения второго дополнительного медиапотока, выводимого в данный момент, когда связанный дополнительный медиапоток выводится асинхронно.
26. Система по п.24, в которой контроллер вывода медиапотоков дополнительно предназначен для возобновления вывода основного медиапотока после асинхронного вывода связанного дополнительного медиапотока.
27. Система по п.21, в которой первый связанный дополнительный медиапоток итеративно вызывает вывод второго связанного дополнительного медиапотока, когда первый связанный дополнительный медиапоток завершает свой вывод.
28. Система по п.21, в которой связанный дополнительный медиапоток формирует условное запускающее событие, которое вызывает вывод условного дополнительного медиапотока синхронно со связанным дополнительным медиапотоком.
29. Система по п.28, в которой связанный дополнительный медиапоток селективно формирует условное запускающее событие в соответствии с условием, внешним для связанного дополнительного медиапотока.
30. Система по п.21, в которой дополнительный медиапоток содержит поток звукового описания, поток визуального описания или составной медиапоток.
31. Система по п.30, в которой составной медиапоток содержит составной основной медиапоток и по меньшей мере один составной дополнительный медиапоток, связанный с составным медиапотоком.
32. Медиасистема отображения для вывода одного или нескольких дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенными чувствами, совместно с выводом основного медиапотока, причем система содержит средство контроля для контроля и обнаружения связанных запускающих событий во время вывода основного медиапотока, средство выбора дополнительного медиапотока для выбора, какие из одного или нескольких дополнительных медиапотоков связаны с обнаруженным запускающим событием, средство определения для определения для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и средство управления для итеративного вывода каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами определений средства определения, завершения любых выводящихся в данный момент дополнительных медиапотоков, когда связанный дополнительный медиапоток выводится асинхронно, и приостановления основного медиапотока, когда связанный дополнительный медиапоток выводится асинхронно.
RU2003105494/09A 2002-12-26 2003-02-26 Механизм синхронизации для введения субтитров и звукового описания в мультимедиа RU2301502C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/330,422 2002-12-26
US10/330,422 US7631326B2 (en) 2002-12-26 2002-12-26 Synchronization mechanism for multimedia captioning and audio description

Publications (2)

Publication Number Publication Date
RU2003105494A RU2003105494A (ru) 2004-09-20
RU2301502C2 true RU2301502C2 (ru) 2007-06-20

Family

ID=32469043

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2003105494/09A RU2301502C2 (ru) 2002-12-26 2003-02-26 Механизм синхронизации для введения субтитров и звукового описания в мультимедиа

Country Status (11)

Country Link
US (1) US7631326B2 (ru)
EP (1) EP1434439B1 (ru)
JP (1) JP2004215217A (ru)
KR (1) KR20040062369A (ru)
CN (1) CN100504883C (ru)
AT (1) ATE496486T1 (ru)
BR (1) BR0300436A (ru)
CA (1) CA2420713A1 (ru)
DE (1) DE60335779D1 (ru)
MX (1) MXPA03002790A (ru)
RU (1) RU2301502C2 (ru)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676737B2 (en) 2003-04-10 2010-03-09 Microsoft Corporation Synchronization mechanism and the implementation for multimedia captioning and audio descriptions
US20050203849A1 (en) * 2003-10-09 2005-09-15 Bruce Benson Multimedia distribution system and method
KR100779117B1 (ko) * 2006-10-11 2007-11-27 (주)아이젠데이타시스템 장애인 시청각 지원 시스템
US7941483B2 (en) * 2007-03-28 2011-05-10 Sap Ag Low latency display methods for thin client devices
US8229748B2 (en) * 2008-04-14 2012-07-24 At&T Intellectual Property I, L.P. Methods and apparatus to present a video program to a visually impaired person
US20100091188A1 (en) * 2008-07-11 2010-04-15 Stmicroelectronics Pvt. Ltd. Synchronization of secondary decoded media streams with a primary media stream
US8169483B1 (en) * 2008-10-03 2012-05-01 The United States Of America As Represented By The Secretary Of Agriculture System and method for synchronizing waveform data with an associated video
US8497939B2 (en) * 2008-12-08 2013-07-30 Home Box Office, Inc. Method and process for text-based assistive program descriptions for television
US9185458B2 (en) * 2010-04-02 2015-11-10 Yahoo! Inc. Signal-driven interactive television
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
JP5518262B2 (ja) 2010-08-06 2014-06-11 エンパイア テクノロジー ディベロップメント エルエルシー 通信ネットワークの監視
US8707448B2 (en) 2010-11-09 2014-04-22 International Business Machines Corporation Secure distribution of media data
US8543623B2 (en) * 2010-11-09 2013-09-24 International Business Machines Corporation Secure distribution of media data
US8935719B2 (en) 2011-08-25 2015-01-13 Comcast Cable Communications, Llc Application triggering
US9414114B2 (en) 2013-03-13 2016-08-09 Comcast Cable Holdings, Llc Selective interactivity
US11076205B2 (en) 2014-03-07 2021-07-27 Comcast Cable Communications, Llc Retrieving supplemental content
GB2525912B (en) 2014-05-08 2018-02-28 Mewt Ltd Synchronisation of audio and video playback
GB2541784B (en) 2014-05-08 2018-03-28 Mewt Ltd Synchronisation of audio and video playback
GB2525913B (en) 2014-05-08 2018-03-28 Mewt Ltd Synchronisation of audio and video playback
CN109952588B (zh) * 2016-09-12 2023-07-21 索诺信标股份有限公司 唯一音频标识符同步系统
US11202117B2 (en) * 2017-07-03 2021-12-14 Telefonaktiebolaget Lm Ericsson (Publ) Methods for personalized 360 video delivery

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2828819B2 (ja) * 1992-01-16 1998-11-25 三洋電機株式会社 キャプションデコーダ
US20020048448A1 (en) * 1993-03-29 2002-04-25 Microsoft Corporation Pausing the display of a television program as a signal including the television program is received
DK0969664T3 (da) 1993-10-29 2001-12-03 Time Warner Entertainm Co Lp Fremgangsmåde til afspilning af en udvalgt version blandt flere versioner af den samme spillefilm lagret på optisk disk
JPH08262965A (ja) * 1995-03-20 1996-10-11 Mitsubishi Electric Corp 語学学習用ポーズ機能付きクローズドキャプションデコーダ
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6637032B1 (en) * 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US20020007493A1 (en) * 1997-07-29 2002-01-17 Laura J. Butler Providing enhanced content with broadcast video
US6324126B1 (en) * 1998-04-24 2001-11-27 Sony Corporation Method for recording an audio broadcast multiplexed with accompanying program information
US6698020B1 (en) * 1998-06-15 2004-02-24 Webtv Networks, Inc. Techniques for intelligent video ad insertion
JP4206445B2 (ja) 1999-02-26 2009-01-14 独立行政法人情報通信研究機構 字幕番組制作方法、及び字幕番組制作システム
JP2000270293A (ja) * 1999-03-18 2000-09-29 Toshiba Corp マルチメディア装置
JP4210724B2 (ja) 1999-03-23 2009-01-21 独立行政法人情報通信研究機構 字幕番組受信システム
US6460180B1 (en) * 1999-04-20 2002-10-01 Webtv Networks, Inc. Enabling and/or disabling selected types of broadcast triggers
US6393158B1 (en) * 1999-04-23 2002-05-21 Monkeymedia, Inc. Method and storage device for expanding and contracting continuous play media seamlessly
US6621980B1 (en) 1999-04-23 2003-09-16 Monkeymedia, Inc. Method and apparatus for seamless expansion of media
US7100193B2 (en) * 2000-03-29 2006-08-29 Intellocity Usa, Inc. Rate controlled insertion of asynchronous data into a synchronous stream
JP2001339637A (ja) * 2000-05-25 2001-12-07 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2002010222A (ja) * 2000-06-27 2002-01-11 Toshiba Corp 文字多重放送受信装置
EP1947858B1 (en) * 2000-10-11 2014-07-02 United Video Properties, Inc. Systems and methods for supplementing on-demand media
CN101257609B (zh) * 2001-02-21 2014-03-19 联合视频制品公司 具有个人视频记录特征的交互式节目导视器的系统和方法
JP2002290919A (ja) * 2001-03-26 2002-10-04 Denon Ltd 光ディスク再生装置
US8166139B2 (en) * 2001-05-11 2012-04-24 Varia Holdings Llc Method and system for generating and sending a hot link associated with a user interface to a device
US6483568B1 (en) * 2001-06-29 2002-11-19 Harris Corporation Supplemental audio content system for a cinema and related methods
US20030070169A1 (en) * 2001-10-09 2003-04-10 Beyers Robert J. Triggered media content in a subscriber television system

Also Published As

Publication number Publication date
EP1434439B1 (en) 2011-01-19
MXPA03002790A (es) 2005-02-14
AU2003200716A1 (en) 2004-07-15
ATE496486T1 (de) 2011-02-15
DE60335779D1 (de) 2011-03-03
BR0300436A (pt) 2004-11-03
JP2004215217A (ja) 2004-07-29
KR20040062369A (ko) 2004-07-07
US20040128702A1 (en) 2004-07-01
CA2420713A1 (en) 2004-06-26
EP1434439A1 (en) 2004-06-30
US7631326B2 (en) 2009-12-08
CN100504883C (zh) 2009-06-24
CN1512409A (zh) 2004-07-14

Similar Documents

Publication Publication Date Title
RU2301502C2 (ru) Механизм синхронизации для введения субтитров и звукового описания в мультимедиа
US7142250B1 (en) Method and apparatus for synchronizing audio and video streams
JP4360905B2 (ja) リアルタイムスライドプレゼンテーションのマルチメディアデータオブジェクト、ならびにマルチメディアデータオブジェクトを記録し閲覧するシステムおよび方法
US8265450B2 (en) Capturing and inserting closed captioning data in digital video
US6148304A (en) Navigating multimedia content using a graphical user interface with multiple display regions
US20040205830A1 (en) Synchronization mechanism and the implementation for multimedia captioning and audio descriptions
JPH09297748A (ja) メッセージング装置及びメッセージング方法
WO2023104102A1 (zh) 一种直播评论展示方法、装置、设备、程序产品及介质
CN101014106A (zh) 视频播放设备及其控制方法
KR102055766B1 (ko) 동영상 요약 정보 재생 장치, 동영상 요약 정보 제공 서버 및 그 방법
US11558674B2 (en) Selective playback of audio at normal speed during trick play operations
US11895175B2 (en) Method and processing unit for creating and rendering synchronized content for content rendering environment
JP2021044669A (ja) 情報処理装置およびプログラム
JP2006033841A (ja) デジタル再生のための画面探索方法及び画面探索装置
US20090006966A1 (en) Creating A Usability Observation Video For A Computing Device Being Studied For Usability
CN102572601B (zh) 一种视频信息显示方法及装置
JP2002008052A (ja) プレゼンテーションシステムおよび記録媒体
US20110235997A1 (en) Method and device for creating a modified video from an input video
CN117336563B (zh) 外挂字幕显示方法、装置、设备、介质及程序产品
US20060176910A1 (en) Method and system for producing and transmitting multi-media
Cournane Digital lectures: A media processing framework and interface evaluation
Cournane Digital
JPH04294393A (ja) プレゼンテーションシステム
Williams Make your own movies with ScreenCam

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20130227