RU2510587C2 - Синхронизация дистанционного аудио с фиксированным видео - Google Patents

Синхронизация дистанционного аудио с фиксированным видео Download PDF

Info

Publication number
RU2510587C2
RU2510587C2 RU2010118478/07A RU2010118478A RU2510587C2 RU 2510587 C2 RU2510587 C2 RU 2510587C2 RU 2010118478/07 A RU2010118478/07 A RU 2010118478/07A RU 2010118478 A RU2010118478 A RU 2010118478A RU 2510587 C2 RU2510587 C2 RU 2510587C2
Authority
RU
Russia
Prior art keywords
audio
frames
delay
video
remote
Prior art date
Application number
RU2010118478/07A
Other languages
English (en)
Other versions
RU2010118478A (ru
Inventor
Майкл Е. РАССЕЛЛ
Арнольд ШЕЙНМАН
Original Assignee
Моторола Мобилити, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Моторола Мобилити, Инк. filed Critical Моторола Мобилити, Инк.
Publication of RU2010118478A publication Critical patent/RU2010118478A/ru
Application granted granted Critical
Publication of RU2510587C2 publication Critical patent/RU2510587C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к беспроводной связи и, более конкретно, к синхронизации аудио- и видеосигналов, воспроизводимых на отдельных устройствах, например на карманном электронном устройстве и беспроводном головном телефоне. Техническим результатом является обеспечение эффективной синхронизации аудио- и видеокадров. Указанный технический результат достигается тем, что мультимедиаустройство, включающее в себя объект разделения, выполненный с возможностью разделения потока мультимедиа на аудиокадры и видеокадры, объект упорядочивания, выполненный с возможностью добавления порядкового номера, по меньшей мере, к одному аудиокадру, приемопередатчик, выполненный с возможностью передачи аудиокадров в дистанционное аудиоустройство, контроллер, соединенный с видеоплеером, причем контроллер выполнен с возможностью определения задержки, связанной с передачей аудиокадров в дистанционное аудиоустройство, на основе порядкового номера и управления представлением видеокадров в видеоплеере на основе задержки. 2 н. и 17 з.п. ф-лы, 5 ил.

Description

Область техники, к которой относится раскрытие
Настоящее раскрытие, в целом, относится к беспроводной связи и, более конкретно, к синхронизации аудио и видеосигналов, воспроизводимых на отдельных устройствах, например, на карманном электронном устройстве и беспроводном головном телефоне.
Уровень техники
В настоящее время многие мобильные телефоны с возможностью Bluetooth поддерживают набор основных функциональных возможностей, таких как профили головного телефона/”свободные руки” для предоставления возможности вызовов “свободные руки”, определенные функциональные возможности OBEX для помещения в стек, извлечения и передачи файлов, и некоторый тип последовательного соединения для обобщенного доступа. Большинство из этих телефонов также отчасти поддерживают медиасодержание, такое как MP3 и другой формат аудиоклипов. Некоторые телефоны с возможностью Bluetooth также имеют функциональную возможность воспроизводить медиасодержание типа МР4, которое объединяет видео, аудио и метаданные в одном и том же файле. Однако проблемы синхронизации аудио и видео могут случаться, когда видео содержание просматривают на дисплее сотового телефона или другом главном устройстве, а сопровождающее аудиосодержание воспроизводят на беспроводном головном телефоне. Например, потоковое аудио стереокачества из медиаустройства, как сотовый телефон или персональный компьютер, через Bluetooth в стерео головной телефон требует использования профиля обобщенного доступа к аудио/видео (GAVDP), усовершенствованного профиля распространения аудио (A2DP) и транспортного протокола распространения аудио/видео (ADVTP). A2DP требует использования схемы поддиапазонного кодирования (SBC), чтобы обеспечивать функциональную совместимость между всеми устройствами Bluetooth. Если музыкальные файлы хранят в телефоне в формате МР3, их обычно транскодируют в SBC, для того чтобы передавать в потоке аудио с использованием A2DP. Транскодирование аудиосодержания и передача его в беспроводной головной телефон вносит время ожидания, которое влияет на синхронизацию. На синхронизацию также может влиять повторная передача данных между главным устройством и головным телефоном и последующая обработка аудиосодержания в головном телефоне.
Различные аспекты, признаки и преимущества раскрытия станут более полно понятными обычным специалистам в данной области техники после внимательного рассмотрения его следующего подробного описания с сопровождающими чертежами, описанными ниже. Чертежи могут быть упрощены для ясности и необязательно начерчены в масштабе.
Краткое описание чертежей
Фиг.1 является схематической блок-схемой мультимедиа-устройства и дистанционного аудиоустройства.
Фиг.2 является блок-схемой процесса определения задержки.
Фиг.3 является блок-схемой процесса определения оцененной задержки.
Фиг.5 является блок-схемой процесса синхронизации аудио и видеокадров.
Фиг.5 является блок-схемой процесса определения, поддерживает ли дистанционное аудиоустройство аудиоформат, присущий главному мультимедиа-устройству.
Подробное описание изобретения
На фиг.1 проиллюстрировано карманное мультимедиа-устройство 100, которое соединено с возможностью связи с дистанционным аудиоустройством 102, причем видеосодержание присутствует в мультимедиа-устройстве, а связанное аудиосодержание присутствует в дистанционном аудиоустройстве. Иллюстративное мультимедиа-устройство является мобильным телефоном, включающим в себя, по меньшей мере, видеоплеер, способный на воспроизведение видеосодержания. Однако в большинстве случаев устройство 100 включает в себя мультимедиа-плеер 104, способный на представление аудио и видеосодержания. В других вариантах осуществления мультимедиа-устройство является любым главным устройством, способным на представление, по меньшей мере, видео содержания и связывание с дистанционным аудиоустройством, способным на представление сопровождающего аудиосодержания. В одной реализации мультимедиа-устройство поддерживает мультимедиа-содержание MP4 или некоторое другое содержание формата мультимедиа. МР4 является форматом контейнера, который объединяет видео, аудио и метаданные. Дистанционное аудиоустройство 102 может быть реализовано как аудио головной телефон или некоторое другое аудиоустройство, способное на связывание с главным устройством. В одном варианте осуществления дистанционное аудиоустройство связывается беспроводным способом с главным устройством, хотя в других вариантах осуществления устройства связываются через проводную линию. Дистанционное аудиоустройство обычно поддерживает аудиоформат, предоставленный главным устройством, как дополнительно обсуждено ниже.
В одном варианте осуществления мультимедиа-устройство связывается беспроводным способом с дистанционным аудиоустройством в соответствии с протоколом Bluetooth. Однако в других вариантах осуществления эти устройства связываются согласно некоторому другому открытому или патентованному протоколу беспроводной или проводной связи. В некоторых случаях проблема синхронизации может случаться, когда видеокомпонент файла мультимедиа представляют в пользовательском интерфейсе мультимедиа-устройства, а сопровождающий аудиокомпонент представляют в дистанционном устройстве. Как сказано, задержка распространения, связанная с передачей аудиокомпонента из мультимедиа-устройства в дистанционное аудиоустройство, может давать, в результате, недопустимое отсутствие синхронизации. На задержку распространения также может влиять повторная передача неправильных или потерянных данных между главным устройством и дистанционным аудиоустройством. На задержку распространения также может влиять изменение состояний канала, например, в мобильных приложениях, где главное устройство связывается беспроводным способом с дистанционным аудиоустройством.
Локальная обработка аудиосодержания в мультимедиа-устройстве и/или в дистанционном аудиоустройстве также может отрицательно влиять на синхронизацию. Например, в некоторых реализациях, потоковое аудио стерео качества из мультимедиа-устройства через Bluetooth в стерео головной телефон требует использования профиля обобщенного доступа к аудио/видео (GAVDP), усовершенствованного профиля распространения аудио (A2DP) и транспортного протокола распространения аудио/видео (ADVTP). A2DP требует использования схемы поддиапазонного кодирования (SBC), чтобы обеспечивать функциональную совместимость между устройствами Bluetooth. Некоторые форматы аудиофайлов, например, МР3, хранящиеся в мультимедиа-устройстве, обычно транскодируют в SBC, для того чтобы использовать A2DP. В других вариантах осуществления могут быть использованы другие аудио и видео протоколы. Транскодирование аудиосодержания в главном устройстве по любой причине, тем не менее, вносит время ожидания, которое может иметь отрицательные воздействия на синхронизацию аудио и видео. На синхронизацию также может влиять обработка аудиосодержания в дистанционном аудиоустройстве.
На фиг.1 мультимедиа-устройство включает в себя объект 106 разделения, соединенный с мультимедиа-плеером. Объект разделения выполнен с возможностью разделения потока мультимедиа на аудиокадры и видеокадры. В одной реализации содержание мультимедиа, введенное в объект разделения, считывают из запоминающего устройства в мультимедиа-устройстве. В других реализациях содержание мультимедиа передают потоком из дистанционного устройства. В последней реализации содержание мультимедиа может быть передано потоком через проводную или беспроводную сеть. Переданное потоком содержание может брать начало из любого источника, например, DVB-H или другого широковещательного источника, или оно может быть передано потоком из сервера содержания, соединенного с Internet, или через некоторую другую сеть. В других реализациях содержание мультимедиа может быть получено из некоторого другого источника, например, из записывающего устройства, соединенного с возможностью связи с мультимедиа-устройством. Не подразумевают, что раскрытие ограничено конкретным источником содержания мультимедиа.
На фиг.1 мультимедиа-устройство 100 также включает в себя объект 108 упорядочивания, имеющий вход, соединенный с выходом устройства разделения. В одном варианте осуществления объект 108 упорядочивания выполнен с возможностью добавления порядкового номера, по меньшей мере, к одному из аудиокадров. В других вариантах осуществления порядковый номер также добавляют, по меньшей мере, к одному из видеокадров. В большинстве случаев порядковый номер может быть добавлен к каждому n-ому аудиокадру и к каждому n-ому видеокадру, где n - некоторая целая величина, большая, чем 0. В некоторых вариантах осуществления порядковые номера, добавляемые к аудио и видеокадрам, могут быть использованы для того, чтобы осуществлять доступ к синхронизации между аудио и видеокадрами во время воспроизведения, как более полно обсуждено ниже.
На фиг.1 видеоплеер 104 соединен с объектом 106 разделения, причем видеоплеер выполнен с возможностью представления видеокадров, принимаемых из объекта разделения, в пользовательском интерфейсе устройства, например, на его видеодисплее. На фиг.1 видеоплеер 104 соединен с объектом 108 упорядочивания, причем объект упорядочивания передает видеокадры в видеоплеер 104 через объект 114 буфера. В других реализациях видеоплеер соединен непосредственно с объектом 106 разделения, причем объект разделения передает видеокадры в видеоплеер через объект 114 буфера. В вариантах осуществления, в которых видеокадры маршрутизируют в видеоплеер через объект упорядочивания, объект упорядочивания может добавлять или может не добавлять порядковые номера к видеокадрам в зависимости от конкретной реализации.
В некоторых вариантах осуществления мультимедиа-устройство включает в себя объект транскодирования для реализаций, в которых транскодирование может быть необходимым. Например, в некоторых случаях форматы аудиофайлов, хранящиеся в мультимедиа-устройстве, могут быть транскодированы в другой формат до передачи в дистанционное аудиоустройство. В некоторых вариантах осуществления, упомянутых выше, аудиокадры формата МР3 транскодируют в SBC, для того чтобы использовать A2DP. В других вариантах осуществления объект транскодера транскодирует другие аудиоформаты. На фиг.1 иллюстративное главное устройство включает в себя объект 109 транскодирования для транскодирования аудиокадров. Задержка, связанная с транскодированием в главном устройстве и дистанционном аудиоустройстве, обсуждена дополнительно ниже.
На фиг.1 главное устройство 100 содержит приемопередатчик 110, соединенный с объектом 108 упорядочивания. В одном варианте осуществления приемопередатчик является беспроводным приемопередатчиком, например Bluetooth, или беспроводным приемопередатчиком некоторого другого протокола. Однако в большинстве случаев приемопередатчик может быть проводным приемопередатчиком. Приемопередатчик обычно выполнен с возможностью передачи аудиокадров в дистанционное аудиоустройство. После приема дистанционное аудиоустройство представляет аудиокадры в его пользовательском интерфейсе, например, в приемопередатчике головного телефона. В некоторых вариантах осуществления аудиокадры могут быть обработаны в дистанционном аудиоустройстве до представления пользователю.
Видеокадры, представленные в пользовательском интерфейсе главного мультимедиа-устройства, предпочтительно синхронизируют с аудиокадрами, представленными в пользовательском интерфейсе дистанционного аудиоустройства. В данном раскрытии синхронизация означает, что представление аудио кадров и сопровождающих видеокадров происходит в определенном интервале времени. Определенный интервал времени является субъективным, поскольку чувствительность к синхронизации может до некоторой степени изменяться между пользователями. Определенный интервал времени обычно выбирают таким, что нет воспринимаемого пользователем заметного отсутствия синхронизации, по меньшей мере, для большинства пользователей. Любая задержка между представлением видеокадров и сопровождающих аудиокадров вне определенного интервала времени является не синхронизированной. В соответствии с одним аспектом настоящего раскрытия представление не синхронизированных аудио и видеокадров уменьшают и, предпочтительно, исключают, по меньшей мере, принимая во внимание субъективно определенный интервал времени.
На фиг.1 мультимедиа-устройство также включает в себя контроллер 112, соединенный с видеоплеером 104. Контроллер обычно выполнен с возможностью определения, синхронизированы ли видеокадры и сопровождающие аудиокадры, а также управления представлением видео и/или аудиокадров некотором способом, чтобы уменьшить или исключить отсутствие синхронизации. В одном варианте осуществления контроллер выполнен с возможностью определения задержки, связанной с передачей аудиокадров в дистанционное аудиоустройство, на основе порядкового номера, добавленного к одному или более аудиокадрам. Контроллер также выполнен с возможностью управления представлением видеокадров в видеоплеере на основе задержки. В одном варианте осуществления контроллер задерживает представление видеокадров в пользовательском интерфейсе мультимедиа-устройства, чтобы синхронизировать представление аудиокадров в дистанционном устройстве с видеокадрами в главном устройстве.
На фиг.1 главное устройство 100 включает в себя объект 114 буфера и задержки, соединенный с видеоплеером 104. В одном варианте осуществления объект буфера и задержки является частью видеоплеера. Однако в других вариантах осуществления объект 114 буфера и задержки является разделенным. Контроллер 112 соединен с объектом 114 буфера и задержки и, следовательно, контроллер соединен с видеоплеером через объект 114. В одном варианте осуществления контроллер 112 управляет представлением видеокадров на основе задержки передачи посредством предоставления управляющих сигналов в объект 114 буфера и задержки, причем управляющий сигнал задерживает передачу видеосигналов в видеоплеер.
В одной реализации контроллер определяет задержку распространения посредством измерения времени передачи аудиокадров, имеющих порядковый номер, в дистанционное аудиоустройство. В конкретном варианте осуществления, проиллюстрированном на фиг.2, в 210 контроллер выбирает выходящий кадр и инициирует таймер задержки в 220 до того, как передают выбранный аудиокадр или в момент времени, когда передают выбранный аудиокадр. Выбранный аудиокадр имеет порядковый номер. На фиг.1 контроллер 112 соединен с объектом 109 транскодирования. В одном варианте осуществления контроллер запускает таймер после получения порядкового номера аудиокадра из объекта транскодирования. Запуск таймера до транскодирования отвечает за задержку, связанную с транскодированием в главном устройстве. В качестве альтернативы таймер мог бы быть инициирован после транскодирования, например, после передачи аудиокадра. Таким образом, в некоторых вариантах осуществления может быть необязательным соединять контроллер с объектом транскодирования. Например, в некоторых реализациях, объект упорядочивания может передавать аудиокадры непосредственно в контроллер, после чего контроллер получает порядковый номер из аудиокадра.
На фиг.1 главное устройство 100 передает выбранный аудио кадр, имеющий порядковый номер, в дистанционное аудиоустройство. На фиг.2 в вариантах осуществления, в которых дистанционное аудиоустройство посылает подтверждение приема в главное устройство для каждого переданного аудиокадра, контроллер ожидает подтверждения приема в 230. Подтверждение приема идентифицирует кадры, имеющие порядковый номер, таким образом, давая возможность контроллеру определять задержку, связанную с соответствующим аудиокадром. В 240 контроллер останавливает таймер после или некоторое время после приема подтверждения приема. В 250 контроллер определяет задержку передачи. Таймер обычно измеряет задержку из-за подтверждения приема аудиокадров, имеющих порядковый номер. В зависимости от того, когда инициируют таймер, таймер также может измерять задержку транскодирования, которая обычно является фиксированной для конкретного размера кадра. Эти и другая фиксированная задержка могут быть вычтены из периода таймера, чтобы позволить точное определение задержки односторонней передачи. Задержка односторонней передачи также может быть добавлена к задержке локальной обработки и/или к задержке дистанционной обработки. Задержка передачи, одна или объединенная с другой задержкой, может быть использована для того, чтобы управлять представлением видеокадров, например, посредством задержки представления видеокадров. В некоторых приложениях задержка передачи может изменяться в результате изменений в канале. Таким образом, в этих и других приложениях контроллер может отслеживать или измерять периодически задержку передачи и делать соответствующие корректировки в представление видеокадра в главном устройстве. В одной реализации контроллер коррелирует задержку передачи, связанную с аудиокадрами, с номером потребляемых видеокадров. Когда задержка превышает некоторый порог, контроллер задерживает передачу видеокадров, предоставляемых в видеоплеер, некоторым способом, чтобы синхронизировать аудио и видеокадры. В одном варианте осуществления видеокадры задерживают посредством вставки пустых кадров в последовательность кадров. В другом варианте осуществления видеокадры задерживают посредством повторения некоторых или всех видеокадров. Число видеокадров, которые повторяют и/или частота повторения обычно зависит от величины задержки, которая должна быть введена.
В другом варианте осуществления контроллер определяет задержку посредством сравнения числа видео и аудиокадров, потребляемых за период времени. Контроллер может подсчитывать число потребляемых аудиокадров посредством мониторинга частоты, с которой объект буфера передает видеокадры в видеоплеер в течение определенного интервала. Контроллер может подсчитывать число потребляемых аудио кадров посредством мониторинга подтверждений приема, принимаемых из дистанционного аудиоустройства в течение определенного интервала времени. В вариантах осуществления, в которых порядковые номера добавляют к аудио и видеокадрам, контроллер может подсчитывать аудио и видеокадры посредством мониторинга порядковых номеров аудио и видеокадров. Контроллер задерживает передачу видеокадров, предоставляемых в видеоплеер, некоторым способом, который синхронизирует аудио и видеокадры, когда задержка превышает определенный порог.
В некоторых вариантах осуществления контроллер задерживает видеокадры в течение оцененной задержки до определения задержки, связанной с передачей аудиокадров в дистанционное аудиоустройство. Оцененная задержка может быть основана на одном или более критериев. В одном варианте осуществления оцененная задержка является оценкой задержки передачи между главным устройством и дистанционным аудиоустройством. В другом варианте осуществления оцененная задержка является оценкой задержки обработки, которая происходит в главном устройстве, и/или задержки обработки, которая происходит в дистанционном устройстве. В других вариантах осуществления оцененная задержка является оценкой комбинации задержки передачи и задержки обработки, происходящей в главном устройстве и/или дистанционном аудиоустройстве. Оцененная задержка обработки может быть основана, например, на конкретном типе транскодирования. Оцененная задержка обработки также может быть основана на конкретном типе дистанционного аудиоустройства при допущении, что разные устройства имеют разные задержки обработки. Таким образом, в отличие от оцененных задержек передачи, оцененная задержка обработки обычно может быть основана на функциональных возможностях дистанционного аудиоустройства, поскольку функциональные возможности дистанционного аудиоустройства указывают задержку обработки дистанционного аудиоустройства и, по меньшей мере, некоторую задержку транскодирования, которое должно выполнить главное устройство, чтобы адаптировать дистанционное аудиоустройство. В одном варианте осуществления контроллер определяет оцененную задержку на основе информации о задержке, хранящейся в справочной таблице мультимедиа-устройства. В реализациях, в которых главное устройство связывается с дистанционным аудиоустройством через Bluetooth, главное устройство может определять тип дистанционного аудиоустройства после установления линии связи главного устройства с дистанционным аудиоустройством. Таким образом, в некоторых приложениях тип дистанционного аудиоустройства может быть использован в качестве основы для выбора оцененной задержки из справочной таблицы. Фиг.1 иллюстрирует таблицу 116 оцененных задержек, соединенную с контроллером 112.
На фиг.3 в 310 контроллер начинает процесс определения оцененной задержки. Этот процесс может быть инициирован после установления линии связи главного устройства с дистанционным аудиоустройством или после некоторого другого события, предпочтительно события, которое предшествует этой передаче аудио кадров в дистанционное аудиоустройство. В 320 контроллер получает информацию, которая может формировать основу для оцененной задержки. Затем контроллер может получить информацию об оцененной задержке из справочной таблицы. В других вариантах осуществления оцененная задержка основана более чем на одном оцененном факторе. Например, контроллер может получить информацию о типе дистанционного аудиоустройства, информацию о формате медиа и т. д. Затем контроллер может получить информацию об оцененной задержке из справочной таблицы для каждого типа информации. В 330 контроллер вычисляет оцененную задержку, например, посредством агрегирования информации об оцененной задержке из справочной таблицы. В 340 контроллер определяет, удовлетворяет ли вычисленная оцененная задержка некоторому условию, например, находится ли вне определенного интервала времени, как обсуждено выше. Если условие удовлетворяется, в 350, контроллер 112 задерживает представление видеокадров на основе оцененной задержки через объект 114 видеобуфера и задержки.
В некоторых вариантах осуществления, проиллюстрированных на фиг.1, главное устройство 100 включает в себя вход 118, который позволяет пользователю вручную управлять или корректировать синхронизацию. Ручное управление входом синхронизации может быть использовано в комбинации с управлением синхронизацией на основе оцененной задержки и/или измеренной задержки.
Фиг. 4 является общей блок-схемой процесса для синхронизации аудио и видеокадров. В 410 процесс инициализируют после инициализации видео или после установления линии связи с дистанционным аудиоустройством. В 420 инициализируют устройство оценки задержки. Иллюстративное устройство оценки задержки обсуждено выше в связи с фиг.3. На фиг.4, в 430, осуществляют мониторинг задержки между потреблением аудио и видеокадров, как обсуждено выше в связи с фиг.2. В 440 делают определение относительно того, превышает ли любая задержка между представлением или потреблением аудио и видеокадров порог времени ожидания. Этот порог связан с определенным интервалом времени, который определяет, синхронизированы или нет аудио и видеокадры, а в некоторых вариантах осуществления соответствует этому интервалу времени. В 450 предоставляют любую корректировку в представление видеокадров, необходимую для синхронизации. В 460 предоставляют любое ручное управление, сгенерированное пользователем, относительно синхронизации аудио и видеокадров. Как сказано выше, ручное управление, сгенерированное пользователем, синхронизацией аудио и видеокадров может быть независимым от любого управления на основе оцененной или измеренной задержки. В 470 контроллер осуществляет мониторинг различных управляющих сигналов, применяемых к представлению видеокадров. В 480 контроллер управляет представлением видеокадров на основе представленной обратной связи.
В соответствии с другим аспектом раскрытия видеокадры и сопровождающие аудио кадры синхронизируют посредством исключения задержки обработки. Задержка обработки может быть уменьшена в комбинации с задержкой представления видеокадров, обсужденной выше, или вместо нее. В одном варианте осуществления мультимедиа-устройство согласовано с протоколом, который поддерживает схему обязательного кодирования аудио. Например, некоторые мультимедиа-устройства с возможностью Bluetooth согласованы с усовершенствованным профилем распространения аудио (A2DP). Чтобы обеспечить функциональную совместимость этих устройств Bluetooth, содержание в собственном формате в мультимедиа-устройстве Bluetooth транскодируют в SBC, для того чтобы передавать потоком аудио кадры с использованием A2DP. Если дистанционное аудиоустройство поддерживает собственный формат кодирования в главном устройстве, содержание может быть передано в дистанционное аудиоустройство без транскодирования, таким образом, исключая задержку, связанную с транскодированием. В случае иллюстративного мультимедиа-устройства Bluetooth задержка, связанная с транскодированием SBC, может быть исключена при допущении, что дистанционное аудиоустройство поддерживает собственный формат главного мультимедиа-устройства Bluetooth.
Фиг.5 иллюстрирует процесс определения, поддерживает ли дистанционное аудиоустройство аудио формат, присущий содержанию аудио в мультимедиа-устройстве. Процесс может быть выполнен процессором, например, процессором 112 на фиг.1. В 510 запускают видеоплеер или приложение в главном мультимедиа-устройстве, которому предоставлена возможность для связи, соответствующей Bluetooth, с дистанционным аудиоустройством. В 520 идентифицируют формат кодирования аудиопотока аудиокадров. Этот формат кодирования аудио может быть поддержан или может быть не поддержан главным мультимедиа-устройством. В 530 получают аудиоформат, поддерживаемый дистанционным аудиоустройством. Один или более кодеков аудио, поддерживаемых дистанционным аудиоустройством, получают посредством главного устройства, например, из справочной таблицы, хранящейся в главном устройстве. В качестве альтернативы дистанционное аудиоустройство может передать эту информацию в главное устройство, например, после установления линии связи между устройствами. В 540 получают формат аудио, поддерживаемый посредством главного устройства. Один или более кодеков аудио, поддерживаемых посредством главного устройства, могут быть получены из справочной таблицы, хранящейся в главном устройстве. В 550 выполняют определение относительно того, поддерживают ли аудиоформат содержания мультимедиа посредством обоих устройств. Если и главное устройство, и дистанционное аудиоустройство поддерживают формат аудиосодержания аудио, в 560, аудиокадры передают в дистанционное устройство в собственном формате. В качестве альтернативы, если оба устройства не поддерживают собственный формат содержания мультимедиа, содержание транскодируют в формат, поддерживаемый обоими устройствами. На фиг.5, в 570, содержимое аудио транскодируют с использованием кодека SBC.
Несмотря на то, что настоящее раскрытие и его наилучшие способы описаны способом установления владения и предоставления возможности обычным специалистам в данной области техники реализовать и использовать раскрытие, будет понятно и оценено, что имеются эквиваленты для иллюстративных вариантов осуществления, раскрытых в настоящей заявке, и что в них могут быть сделаны модификации и изменения, не выходя за рамки объема и сущности изобретений, которые должны быть ограничены не иллюстративными вариантами осуществления, а прилагаемой формулой изобретения.

Claims (19)

1. Способ синхронизации раздельных аудио и видео контентов в карманном мультимедиа-устройстве, причем способ содержит этапы, на которых:
разделяют поток мультимедиа на аудиокадры и видеокадры,
представляют видеокадры в пользовательском интерфейсе мультимедиа-устройства,
передают аудиокадры в удаленное аудиоустройство, отличное от мультимедиа-устройства,
измеряют и отслеживают задержку передачи, связанную с передачей аудиокадров на удаленное аудиоустройство,
коррелируют задержку передачи, связанную с порядковым номером аудиокадров, с порядковым номером видеокадров,
управляют представлением видеокадров в пользовательском интерфейсе мультимедиа-устройства для регулирования аудиокадров, задержанных относительно видеокадров, посредством задержки передачи видеокадров, представленных в мультимедиа-устройстве таким образом, чтобы синхронизировать аудио- и видеокадры, когда задержка передачи аудиокадров превышает установленный порог.
2. Способ по п.1, в котором управляют представлением видеокадров в пользовательском интерфейсе мультимедиа-устройства посредством задержки представления видеокадров.
3. Способ по п.1, в котором определяют оцененную задержку между аудио- и видеокадрами до определения задержки, связанной с передачей аудиокадров на удаленное аудиоустройство, задерживают представление видеокадров в пользовательском интерфейсе мультимедиа-устройства на основе оцененной задержки.
4. Способ по п.3, в котором определяют оцененную задержку на основе информации об оцененной задержке, хранящейся в справочной таблице мультимедиа-устройства.
5. Способ по п.1, в котором определяют, поддерживается ли собственная схема кодирования аудиокадров в мультимедиа-устройстве удаленным аудиоустройством и мультимедиа-устройством, передают аудиокадры в собственной схеме кодирования, а не в обязательной схеме кодирования, только если собственная схема кодирования поддерживается как удаленным аудиоустройством, так и мультимедиа-устройством.
6. Способ по п.1, в котором: передают аудиокадры в удаленное аудиоустройство для представления в удаленном аудиоустройстве, определяют дистанционную задержку обработки, связанную с обработкой аудиокадров в удаленном аудиоустройстве, управляют представлением видеокадров в мультимедиа-устройстве на основе дистанционной задержки обработки.
7. Способ по п.6, в котором определяют локальную задержку обработки, связанную с обработкой аудиокадров в мультимедиа-устройстве, управляют представлением видеокадров в мультимедиа-устройстве на основе локальной задержки обработки.
8. Способ по п.1, в котором определение задержки включает в себя измерение времени передачи аудиокадров, имеющих порядковый номер, на удаленное аудиоустройство.
9. Способ по п.1, в котором определяют задержку на основе сравнения числа потребляемых видеокадров с числом аудиокадров, потребляемых в течение общего интервала времени.
10. Мультимедиа-устройство, содержащее:
средство разделения, сконфигурированное с возможностью разделения потока мультимедиа на аудиокадры и видеокадры,
средство упорядочивания, соединенное со средством разделения, причем средство упорядочивания сконфигурировано с возможностью добавления порядкового номера, по меньшей мере, к одному аудиокадру,
видеоплеер, соединенный со средством разделения, причем видеоплеер сконфигурирован с возможностью представления видеокадров, принимаемых из средства разделения,
приемопередатчик, соединенный со средством упорядочивания, причем приемопередатчик сконфигурирован с возможностью передачи аудиокадров на удаленное аудиоустройство, отличное от мультимедиа-устройства,
контроллер, соединенный с видеоплеером,
причем контроллер сконфигурирован с возможностью измерения и отслеживания задержки передачи, связанной с аудиокадрами, передаваемыми на удаленное аудиоустройство, и корреляции задержки передачи с порядковым номером аудиокадров, с порядковым номером видеокадров,
причем контроллер сконфигурирован с возможностью управления представлением видеокадров в видеоплеере для регулирования аудиокадров, задержанных относительно видеокадров, посредством задержки передачи видеокадров представленных в видеоплеере таким образом, чтобы синхронизировать аудио- и видеокадры, когда определенная задержка аудиокадров превышает установленный порог.
11. Устройство по п.10, в котором контроллер сконфигурирован с возможностью управления представлением видеокадров на видеоплеере посредством задержки представления.
12. Устройство по п.10, в котором контроллер, сконфигурированный с возможностью определения оцененной задержки между аудио и видеокадрами до определения задержки, связанной с передачей аудиокадров на удаленное аудиоустройство, задерживает представление видеокадров в видеоплеере на основе оцененной задержки до компенсации задержки.
13. Устройство по п.12, содержащее: справочную таблицу, доступную контроллеру, причем справочная таблица хранит информацию об оцененной задержке, контроллер, сконфигурированный с возможностью определения оцененной задержки для удаленного аудиоустройства с использованием информации о задержке удаленного аудиоустройства, хранящейся в справочной таблице.
14. Устройство по п.10 содержащее: контроллер, сконфигурированный с возможностью определения, поддерживается ли собственная схема кодирования аудиокадров в мультимедиа-устройстве удаленным аудиоустройством и мультимедиа-устройством, передатчик, сконфигурированный с возможностью передачи аудиокадров в собственной схеме кодирования, а не в обязательной схеме кодирования, только если собственная схема кодирования поддерживается как дистанционным аудиоустройством, так и мультимедиа-устройством.
15. Устройство по п.10, в котором: контроллер, сконфигурирован с возможностью определения дистанционной задержки обработки, связанной с обработкой аудиокадров в удаленном аудиоустройстве, контроллер, сконфигурирован с возможностью управления представлением видеокадров в видеоплеере на основе дистанционной задержки обработки.
16. Устройство по п.15, в котором: контроллер, сконфигурирован с возможностью определения локальной задержки обработки, связанной с обработкой аудиокадров в мультимедиа-устройстве, управляет представлением видеокадров в видеоплеере на основе локальной задержки обработки.
17. Устройство по п.10, в котором мультимедиа-устройство является карманным электронным устройством.
18. Устройство по п.10, в котором контроллер сконфигурирован с возможностью определения задержки посредством измерения времени передачи аудиокадров, имеющих порядковый номер, на удаленное аудиоустройство.
19. Устройство по п.10, в котором контроллер сконфигурирован с возможностью определения задержки на основе сравнения числа видео и аудиокадров, потребляемых в течение общего интервала времени.
RU2010118478/07A 2007-10-08 2008-09-30 Синхронизация дистанционного аудио с фиксированным видео RU2510587C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/868,643 US8743284B2 (en) 2007-10-08 2007-10-08 Synchronizing remote audio with fixed video
US11/868,643 2007-10-08
PCT/US2008/078299 WO2009048766A2 (en) 2007-10-08 2008-09-30 Synchronizing remote audio with fixed video

Publications (2)

Publication Number Publication Date
RU2010118478A RU2010118478A (ru) 2011-11-20
RU2510587C2 true RU2510587C2 (ru) 2014-03-27

Family

ID=40522918

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010118478/07A RU2510587C2 (ru) 2007-10-08 2008-09-30 Синхронизация дистанционного аудио с фиксированным видео

Country Status (6)

Country Link
US (1) US8743284B2 (ru)
EP (1) EP2188999A2 (ru)
KR (1) KR101184821B1 (ru)
CN (1) CN101933333B (ru)
RU (1) RU2510587C2 (ru)
WO (1) WO2009048766A2 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2648262C2 (ru) * 2015-10-29 2018-03-23 Сяоми Инк. Способ и устройство для выполнения синхронизации мультимедийных данных
RU2743732C2 (ru) * 2016-05-30 2021-02-25 Сони Корпорейшн Способ и устройство для обработки видео- и аудиосигналов и программа
RU2763785C2 (ru) * 2017-04-25 2022-01-11 Сони Корпорейшн Способ и устройство обработки сигнала
RU2787005C1 (ru) * 2018-10-24 2022-12-28 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство-источник, устройства-приемники, способы и компьютерные программы
US11962833B2 (en) 2018-10-24 2024-04-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Source devices, sink devices, methods and computer programs

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513029B2 (ja) * 2007-03-09 2010-07-28 株式会社東芝 情報処理装置
KR101416249B1 (ko) * 2007-08-01 2014-07-07 삼성전자 주식회사 신호처리장치 및 그 제어방법
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
US8532714B2 (en) * 2009-01-29 2013-09-10 Qualcomm Incorporated Dynamically provisioning a device with audio processing capability
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
KR101797202B1 (ko) * 2009-11-13 2017-11-14 삼성전자주식회사 디스플레이 장치, 그 오디오 원격 출력방법, 모바일 기기, 및 그 오디오 출력방법
US9438360B2 (en) * 2010-01-11 2016-09-06 Signet Media, Inc. System and method for providing an audio component of a multimedia content displayed on an electronic display device to one or more wireless computing devices
US9819840B2 (en) * 2010-01-11 2017-11-14 Bryan Nunes Audio device that extracts the audio of a multimedia stream and serves the audio on a network while the video is displayed
US9013632B2 (en) 2010-07-08 2015-04-21 Echostar Broadcasting Corporation Apparatus, systems and methods for user controlled synchronization of presented video and audio streams
US8904289B2 (en) * 2011-04-21 2014-12-02 Touchstream Technologies, Inc. Play control of content on a display device
US9767195B2 (en) 2011-04-21 2017-09-19 Touchstream Technologies, Inc. Virtualized hosting and displaying of content using a swappable media player
CN102932673B (zh) * 2011-08-11 2015-08-19 阿里巴巴集团控股有限公司 一种视频信号和音频信号的传输合成方法、系统及装置
JP5978574B2 (ja) * 2011-09-12 2016-08-24 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
US9191553B2 (en) * 2011-09-30 2015-11-17 Intel Corporation System, methods, and computer program products for multi-stream audio/visual synchronization
US9281013B2 (en) * 2011-11-22 2016-03-08 Cyberlink Corp. Systems and methods for transmission of media content
US9516262B2 (en) * 2012-05-07 2016-12-06 Comigo Ltd. System and methods for managing telephonic communications
CN104584567B (zh) * 2012-08-28 2018-11-20 皇家飞利浦有限公司 音频转发设备和对应的方法
US9357163B2 (en) * 2012-09-20 2016-05-31 Viavi Solutions Inc. Characterizing ingress noise
CN104782109B (zh) * 2012-10-30 2018-09-07 三菱电机株式会社 视频音频再现系统、视频显示装置以及音频输出装置
US9357215B2 (en) * 2013-02-12 2016-05-31 Michael Boden Audio output distribution
KR101571338B1 (ko) * 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
CN103281528A (zh) * 2013-04-10 2013-09-04 深圳康佳通信科技有限公司 一种流媒体解码方法、系统及移动终端
KR20150026069A (ko) * 2013-08-30 2015-03-11 삼성전자주식회사 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
KR102140612B1 (ko) * 2013-09-13 2020-08-11 삼성전자주식회사 오디오 신호의 출력을 지연시키는 ａ/ｖ 수신 장치 및 그 방법, 그리고, ａ/ｖ 신호 처리 시스템
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
CN103686326A (zh) * 2013-12-20 2014-03-26 乐视致新电子科技（天津）有限公司 视频文件同步播放的控制方法、智能电视、穿戴式设备
KR102201617B1 (ko) * 2014-01-07 2021-01-12 삼성전자 주식회사 Av기기 및 그 제어방법
CN103905876A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
US11166167B2 (en) * 2014-06-18 2021-11-02 Texas Instruments Incorporated Audio stream identification by a wireless network controller
CN105376628B (zh) * 2014-08-27 2018-09-21 深圳Tcl新技术有限公司 音视频信号同步方法和装置
EP3026262B1 (de) 2014-08-29 2018-07-04 Siemens Aktiengesellschaft Windkraftanlage mit einem Antriebsstrang
US9338391B1 (en) 2014-11-06 2016-05-10 Echostar Technologies L.L.C. Apparatus, systems and methods for synchronization of multiple headsets
US10034035B2 (en) 2014-12-10 2018-07-24 DISH Technologies L.L.C. Methods, devices and systems for audiovisual synchronization with multiple output devices
CN106331562B (zh) * 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
CN105451056B (zh) * 2015-11-20 2018-10-02 小米科技有限责任公司 音视频同步方法及装置
CN105898502B (zh) * 2016-04-11 2019-09-20 深圳Tcl新技术有限公司 音视频同步播放的方法及装置
WO2018022074A1 (en) * 2016-07-29 2018-02-01 Hewlett-Packard Development Company, L.P. Audio profile configurations
CN106454471A (zh) * 2016-08-17 2017-02-22 青岛海信电器股份有限公司 一种终端设备的音画同步方法及装置
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
US10104471B2 (en) 2016-11-30 2018-10-16 Google Llc Tactile bass response
CN110463213A (zh) * 2017-03-22 2019-11-15 株式会社阿尔法代码 虚拟现实视听系统、再生同步方法以及虚拟现实视听用程序
WO2019168931A1 (en) * 2018-03-01 2019-09-06 Sony Corporation Dynamic lip-sync compensation for truly wireless bluetooth devices
CN108540829B (zh) * 2018-04-12 2021-07-23 海信视像科技股份有限公司 一种多播放设备同步播放方法、系统及终端
US10616061B2 (en) 2018-05-09 2020-04-07 Dish Network L.L.C. Methods and systems for automated configurations of media presentation devices
US10887656B2 (en) * 2018-07-14 2021-01-05 International Business Machines Corporation Automatic content presentation adaptation based on audience
CN109144642B (zh) * 2018-08-14 2022-02-18 Oppo广东移动通信有限公司 显示控制方法、装置、电子设备及存储介质
CN109275008B (zh) * 2018-09-17 2021-04-13 海信视像科技股份有限公司 一种音视频同步的方法和装置
CN109257642A (zh) * 2018-10-12 2019-01-22 Oppo广东移动通信有限公司 视频资源播放方法、装置、电子设备以及存储介质
CN109587546B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
US11533534B2 (en) * 2019-02-20 2022-12-20 Huawei Technologies Co., Ltd. Techniques for enabling ultra-high definition alliance specified reference mode (UHDA-SRM)
CN110213789B (zh) * 2019-05-09 2022-06-07 Oppo广东移动通信有限公司 蓝牙连接方法、终端设备、蓝牙设备及计算机存储介质
US11363333B2 (en) * 2019-08-05 2022-06-14 Grass Valley Limited System and method of measuring delay between transmitted audio and video signals
US11057451B2 (en) 2019-08-19 2021-07-06 Bose Corporation Audio synchronization in wireless systems
CN110545454A (zh) * 2019-08-27 2019-12-06 北京奇艺世纪科技有限公司 一种数据同步播放方法及装置
KR20210028880A (ko) 2019-09-05 2021-03-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
DE112019007660T5 (de) * 2019-09-25 2022-06-15 Lg Electronics Inc. Bildanzeigevorrichtung, lippensynchronisationskorrekturverfahren hierfür, und bildanzeigesystem
US11323766B2 (en) * 2019-10-03 2022-05-03 Dolby International Ab Method and device for providing audio/video content to a rendering device
US11196899B1 (en) * 2020-06-18 2021-12-07 Sony Group Corporation Synchronization of wireless-audio to video
KR20230117572A (ko) * 2020-12-11 2023-08-08 퀄컴 인코포레이티드 멀티미디어 재생 동기화
CN114630148B (zh) * 2020-12-11 2023-11-14 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN114827696B (zh) * 2021-01-29 2023-06-27 华为技术有限公司 一种跨设备的音视频数据同步播放的方法和电子设备
WO2023041550A1 (en) * 2021-09-16 2023-03-23 Soclip! Audio-visual offset process
CN114040237A (zh) * 2021-09-30 2022-02-11 茂佳科技(广东)有限公司 音频视频同步播放方法、终端、多媒体播放系统及介质
CN114554270A (zh) * 2022-02-28 2022-05-27 维沃移动通信有限公司 音视频播放方法及其装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2154357C2 (ru) * 1995-08-18 2000-08-10 Моторола Инк. Мультимедийный приемник и система для него
EP1067773A2 (de) * 1999-07-03 2001-01-10 GRUNDIG Aktiengesellschaft Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
EP1071294A2 (en) * 1999-07-22 2001-01-24 Nec Corporation System, method and recording medium for audio-video synchronous playback
RU2217876C2 (ru) * 1998-05-20 2003-11-27 Квэлкомм Инкорпорейтед Способ распознавания задержанных кадров данных на транспортном уровне
US20050101319A1 (en) * 2003-10-24 2005-05-12 Ramaswamy Murali Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
US20060209210A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Automatic audio and video synchronization
RU2292657C2 (ru) * 2002-02-14 2007-01-27 Нокиа Корпорейшн Квантование времени на основе тактовых импульсов

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3063824B2 (ja) * 1996-10-29 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
KR100294663B1 (ko) * 1997-12-29 2001-09-17 구자홍 엠펙디코더및디코딩제어방법
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
US7542068B2 (en) * 2000-01-13 2009-06-02 Polycom, Inc. Method and system for controlling multimedia video communication
GB0000873D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Interconnection of audio/video devices
US6778493B1 (en) * 2000-02-07 2004-08-17 Sharp Laboratories Of America, Inc. Real-time media content synchronization and transmission in packet network apparatus and method
US7266613B1 (en) * 2000-08-09 2007-09-04 Microsoft Corporation Fast dynamic measurement of bandwidth in a TCP network environment
DE60211157T2 (de) * 2002-09-06 2007-02-08 Sony Deutschland Gmbh Synchrones Abspielen von Medien-Paketen
US20050130585A1 (en) * 2003-11-14 2005-06-16 Cingular Wireless Ii, Llc Subscriber identity module with video permissions
US7170545B2 (en) * 2004-04-27 2007-01-30 Polycom, Inc. Method and apparatus for inserting variable audio delay to minimize latency in video conferencing
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
US7496077B2 (en) * 2004-08-11 2009-02-24 Broadcom Corporation Method and system for dynamically changing audio stream bit rate based on condition of a Bluetooth connection
KR20070057925A (ko) * 2004-10-13 2007-06-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오/비디오 신호의 재생을 동기화 시키는 방법 및시스템
US7796651B2 (en) * 2005-03-02 2010-09-14 Nokia Corporation See what you see (SWYS)
US7423693B2 (en) * 2005-07-28 2008-09-09 Cole James R Video delay stabilization system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2154357C2 (ru) * 1995-08-18 2000-08-10 Моторола Инк. Мультимедийный приемник и система для него
RU2217876C2 (ru) * 1998-05-20 2003-11-27 Квэлкомм Инкорпорейтед Способ распознавания задержанных кадров данных на транспортном уровне
EP1067773A2 (de) * 1999-07-03 2001-01-10 GRUNDIG Aktiengesellschaft Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
EP1071294A2 (en) * 1999-07-22 2001-01-24 Nec Corporation System, method and recording medium for audio-video synchronous playback
RU2292657C2 (ru) * 2002-02-14 2007-01-27 Нокиа Корпорейшн Квантование времени на основе тактовых импульсов
US20050101319A1 (en) * 2003-10-24 2005-05-12 Ramaswamy Murali Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
US20060209210A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Automatic audio and video synchronization

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bluetooth Sig, Specification of the Bluetooth System, Architecture & Terminology Overview; Acronyms & Abbreviations; Core System Package [Host volume], Logical Link Control and Adaptation Protocol Specification; Service Discovery Protocol (SDP); Generic Access Profile, Specification of the Bluetooth, vol.1 part A-B, vol.3 part A-C, no.2.1 + EDR, 26 July 2007. *
Bluetooth Sig, Specification of the Bluetooth System, Architecture & Terminology Overview; Acronyms & Abbreviations; Core System Package [Host volume], Logical Link Control and Adaptation Protocol Specification; Service Discovery Protocol (SDP); Generic Access Profile, Specification of the Bluetooth, vol.1 part A-B, vol.3 part A-C, no.2.1 + EDR, 26 July 2007. EL HOMSI S. et al, An Original Solution for Bluetooth Wireless Synchronous Communication Dedicated to a Sensors and Actuators System, IEEE International Symposium on Industrial Electronics Proceedings, vol.1, 4 May 2004. *
EL HOMSI S. et al, An Original Solution for Bluetooth Wireless Synchronous Communication Dedicated to a Sensors and Actuators System, IEEE International Symposium on Industrial Electronics Proceedings, vol.1, 4 May 2004. *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2648262C2 (ru) * 2015-10-29 2018-03-23 Сяоми Инк. Способ и устройство для выполнения синхронизации мультимедийных данных
RU2743732C2 (ru) * 2016-05-30 2021-02-25 Сони Корпорейшн Способ и устройство для обработки видео- и аудиосигналов и программа
RU2763785C2 (ru) * 2017-04-25 2022-01-11 Сони Корпорейшн Способ и устройство обработки сигнала
RU2787005C1 (ru) * 2018-10-24 2022-12-28 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство-источник, устройства-приемники, способы и компьютерные программы
US11962833B2 (en) 2018-10-24 2024-04-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Source devices, sink devices, methods and computer programs

Also Published As

Publication number Publication date
CN101933333A (zh) 2010-12-29
WO2009048766A2 (en) 2009-04-16
US8743284B2 (en) 2014-06-03
RU2010118478A (ru) 2011-11-20
KR20100080838A (ko) 2010-07-12
EP2188999A2 (en) 2010-05-26
US20090091655A1 (en) 2009-04-09
KR101184821B1 (ko) 2012-09-20
WO2009048766A3 (en) 2010-11-11
CN101933333B (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
RU2510587C2 (ru) Синхронизация дистанционного аудио с фиксированным видео
CN109906613B (zh) 音频和视频的多模式同步渲染
US10014001B2 (en) Wireless audio synchronization
US8873928B2 (en) Audio and video synchronization apparatus and method in wireless communication network
US7620137B2 (en) System and method for clock drift correction for broadcast audio/video streaming
US20120087503A1 (en) Multi-channel audio over standard wireless protocol
KR101845186B1 (ko) 공통 타이밍 프레임워크를 이용한 다중 멀티미디어 디바이스들의 무선 동기화를 위한 장치들 및 방법들
US20200014969A1 (en) User interface for multimode synchronous rendering of headphone audio and video
US20230216910A1 (en) Audio synchronization in wireless systems
KR20080012920A (ko) 무선 통신 디바이스의 적응적 폴링을 위한 방법 및 장치
WO2013189435A2 (zh) 基于播放状态信息同步的处理方法、系统及相关装置
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム
JP2012054692A (ja) 情報送信装置、情報送信方法及び情報送信用プログラム

Legal Events

Date Code Title Description
PC43 Official registration of the transfer of the exclusive right without contract for inventions

Effective date: 20141226

PC41 Official registration of the transfer of exclusive right

Effective date: 20180209