RU2142210C1 - Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения - Google Patents

Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения Download PDF

Info

Publication number
RU2142210C1
RU2142210C1 RU94034121A RU94034121A RU2142210C1 RU 2142210 C1 RU2142210 C1 RU 2142210C1 RU 94034121 A RU94034121 A RU 94034121A RU 94034121 A RU94034121 A RU 94034121A RU 2142210 C1 RU2142210 C1 RU 2142210C1
Authority
RU
Russia
Prior art keywords
signal
sound
image
audio
clock
Prior art date
Application number
RU94034121A
Other languages
English (en)
Other versions
RU94034121A (ru
Inventor
Дуглас Эдвард Лэнкфорд
Майкл Скотт Дайсс
Original Assignee
Томсон Консьюмер Электроникс, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Консьюмер Электроникс, Инк. filed Critical Томсон Консьюмер Электроникс, Инк.
Publication of RU94034121A publication Critical patent/RU94034121A/ru
Application granted granted Critical
Publication of RU2142210C1 publication Critical patent/RU2142210C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Details Of Television Systems (AREA)
  • Television Systems (AREA)
  • Synchronizing For Television (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

Приемник для декодирования связанных сжатых составляющих информации изображения и звука, передаваемых во взаимоисключающих "кадрах" данных с соответствующими отметками времени воспроизведения, содержит контроллер, который реагирует на соответствующие принимаемые отметки времени и служит для обеспечения грубой синхронизации с помощью задержки или пропуска соответствующих кадров какой-либо из составляющих до приблизительного выравнивания по времени двух составляющих. Точная синхронизация достигается подстройкой, независимо от процессора изобретения, частоты обработки или тактовой частоты процессора звука. Управление подстройкой частоты связано с разностью между отметками времени звука и изображения. 6 з.п.ф-лы, 6 ил.

Description

Данное изобретение относится к способу и устройству для синхронизации сигналов звука и изображения в аппаратуре декомпрессии сжатых сигналов звука/изображения.
Передача и прием сигналов звука и изображения требуют, чтобы составляющие звука и изображения были должным образом синхронизированы. Стандарты RS-250-B Ассоциации электронной промышленности (EIA) ограничивают разницу во времени между связанными сигналами звука и изображения величиной 25 мс при опережении и 40 мс при запаздывании. Стандарты на фильмы ограничивают разницу во времени между связанными сигналами звука и изображения до ±1/2 длительности кадра, что соответствует 20.8 мс. Приемлемым диапазоном синхронизации сигналов звука и изображения у источника информации для зрителя является, таким образом, разница во времени ± 20 мс.
Цифровые системы связи обычно выполняют временное мультиплексирование (уплотнение) связанных составляющих сигнала для передачи их в одном канале. Такое мультиплексирование распространено среди систем передачи аудиовизуальной информации, предложенных и внедренных для кабельных, волоконно-оптических, наземных и спутниковых систем. Временное мультиплексирование составляющих сигнала может нарушить их естественные временные соотношения в промежутке между передачей и отображением информации. Поэтому критичные к времени компоненты передаваемых составных сигналов перед тем, как подвергнуться мультиплексированию, могут быть привязаны к опорному сигналу времени. Это называется "маркировкой" информации, а отсчеты времени называются отметками времени. Тогда приемник может выдавать соответствующие составляющие с привязкой по времени к соответствующим отметкам времени. Однако для осуществления этого преемник должен формировать очень точный местный опорный сигнал времени, который должен быть синхронным с опорным сигналом времени кодера.
Одной из причин, по которой приемник должен быть точно привязан к опорному времени передатчика, является необходимость обеспечить соответствие выходного сигнала данных в реальном времени сигналу на входе приемника. Если приемник подает данные (воспроизводит изображение) слишком быстро, буферы в приемнике могут опустеть, что в итоге приводит к прерываниям выходного сигнала. Если приемник выводит данные слишком медленно, буферы могут переполняться (так как буферы имеют конечную емкость), что приводит к потере данных.
В одной из предложенных систем приемник синхронизируется с передатчиком при помощи дополнительных отметок времени (системных опорных тактовых сигналов - SCR), связанных с заранее определенными пакетами передаваемой информации. Синхронизация с помощью отметок времени системных опорных тактовых сигналов SCR не имеет никакого отношения к отметкам времени воспроизведения (PTS), которые связаны с данными изображения, помимо того, что они выдаются одним и тем же счетчиком. Коды SCR генерируются с помощью отсчетов счетчика по модулю 2N (N ≥ 32), который подсчитывает импульсы кварцевого тактового генератора по существу с постоянной частотой в передатчике. Приемник содержит петлю фазовой автоподстройки, которая имеет частоту свободной генерации, по существу равную частоте тактового генератора в передатчике. Тактовые импульсы приемника (местные тактовые импульсы) также подсчитываются по модулю 2N и каждый раз, когда сигналы SCR приходят на приемник, у местного счетчика берется отсчет для формирования местного опорного тактового сигнала (LCR). Не предпринимается попыток для того, чтобы сделать LCR равным SCR. Вернее, местный тактовый генератор подстраивается на основе обработки изменений разности между отметками времени LCR и SCR. Сигнал ошибки образуется согласно соотношению
Figure 00000002

Сигнал ошибки используется для управления частотой местного тактового сигнала. Посредством этой обработки местный опорный тактовый сигнал LCR может быть сделан как угодно близким к тактовой частоте передатчика. Следует отметить, что поскольку и тактовые импульсы системы, и местные тактовые импульсы подсчитываются по модулю N, периодически происходит циклический переход. Во время этих переходов соответствующие члены SCRn-SCRn-1 и LCRn-LCRn-1 будут становиться отрицательными и ошибочными. Система контролирует полярность соответствующих разностей, и когда одна из разностей отрицательна, она игнорируется.
Кодированный по стандарту MPEG (стандарт по сжатию подвижных изображений) сигнал изображения содержит отметки PTSvid времени воспроизведения, которые синхронизированы со входными кадрами изображения. Соответствующие PTSvid указывают относительные моменты времени, в которые соответствующие кадры должны воспроизводиться в приемнике, номинально с частотой 30 Гц для источников данных по стандарту НТСЦ. Сопровождающий звуковой сигнал также кодируется с отметками PTSaud времени воспроизведения, опирающимися на ту же самую базу времени, что и системное время, и эти отметки времени располагаются на уровне пакетов системы MPEG, заключающем в себе кодированные данные звука. Уровень системных пакетов звука может содержать несколько "кадров" данных звука, а соответствующим кадрам в данном примере соответствуют 24 мс потока исходных данных звука. Кадры звука имеют длительность примерно в шесть раз больше, чем длительность (127 байт) транспортного пакета. (Информация, которая должна передаваться - звук, изображение, данные и т. п. - разбивается на соответствующие транспортные пакеты заданного размера с рядом командных слов, добавляемых для обеспечения дополнительного уровня исправления/обнаружения ошибок и синхронизации). Кроме того, согласно протоколу MPEG число кадров звука, приходящихся на уровень системы MPEG, является переменным. Следовательно, корреляция между отметками PTSvid и PTSaud времени воспроизведения соответственно изображения и звука может быть незначительной или отсутствовать для источника информации изображения и звукового сопровождения. Таким образом, синхронизация составляющих звука и изображения будет затруднена, если пытаться выполнить ее с помощью сравнения отметок PTSvid и PTSaud.
Наиболее близким аналогом изобретения является устройство для синхронизации звука и изображения, описанное в патенте США N 4851909.
Целью настоящего изобретения является упрощение процесса синхронизации связанных составляющих звука и изображения.
Согласно изобретению приемник для декодирования связанных составляющих информации изображения и звука, передаваемых во взаимоисключающих "кадрах" с соответствующими отметками PTSvid и PTSaud времени, содержит контроллер, который реагирует на соответствующие принимаемые отметки времени и использует их для обеспечения грубой синхронизации с помощью задержки или пропуска соответствующих кадров какой-либо из составляющих для приблизительного выравнивания по времени двух составляющих. Точная синхронизация обеспечивается подстройкой частоты обработки или тактовой частоты процессора сигнала звука, независимого от процессора сигнала изображения. Управление подстройкой частоты связано с разностью между отметками времени звука и изображения.
Фиг. 1 представляет собой блок-схему устройства сжатия сигналов звука и изображения.
На фиг. 2 показана блок-схема устройства декомпрессии сжатых сигналов звука и изображения согласно предложенному изобретению.
На фиг. 3 приведена блок-схема устройства для получения тактового сигнала системы в приемнике, имеющего по существу ту же частоту, что и тактовый сигнал системы в устройстве сжатия.
На фиг. 4 приведена блок-схема алгоритма работы устройства, показанного на фиг.2.
На фиг. 5 и 6 показаны блок-схемы альтернативной генерации тактового сигнала обработки сигнала звука, которая может быть применена для блока 215 на фиг.2.
На фиг. 1 приведен пример системы, в которой может быть практически использовано изобретение и которая является системой передачи сжатого цифрового сигнала изображения. В данной системе сигнал изображения от источника 10 подается на блок 11 сжатия сигнала изображения, который может содержать кодер с предсказанием и компенсацией движения, использующий дискретные косинусные преобразования. Сжатый сигнал изображения из блока 11 подается на форматтер 12. Форматтер размещает сжатый сигнал изображения и другие вспомогательные данные согласно некоторому протоколу сигнала, например, стандарту MPEG, разработанному Международной организацией по стандартизации. Приведенный в соответствие со стандартом сигнал подается на транспортный процессор 13, который разделяет сигнал на пакеты данных и добавляет к ним определенную служебную информацию для того, чтобы обеспечить некоторую помехозащищенность в целях передачи. Транспортные пакеты, которые обычно появляются с непостоянной скоростью, вводятся в буфер 14 скорости, обеспечивающий вывод данных со сравнительно постоянной скоростью, что способствует эффективному использованию относительно узкой полосы канала передачи. Буферизованные данные подаются на модем 15, который осуществляет передачу сигнала.
Тактовый генератор 22 системы генерирует тактовый сигнал для приведения в действие многих устройств, включающих по меньшей мере транспортный процессор. Этот тактовый генератор будет работать на фиксированной частоте, например, 27 МГц. Однако, как здесь показано, он используется для генерации синхронизирующей информации. Тактовый генератор подключен к тактовому входу счетчика 23, который может быть построен для счета, например, по модулю 230. Значения подсчета с выхода счетчика подаются на два регистра 24 и 25. Источник сигнала изображения так управляет режимом работы регистра 24, чтобы фиксировать в регистре значения подсчета при появлении соответствующих кадровых интервалов. Этими значениями подсчета указываются отметки PTS времени воспроизведения, они включаются в поток данных сжатого сигнала изображения форматтером 12 и используются приемником для обеспечения точной синхронизации связанной информации звука и изображения. Регистр 25 управляет транспортным процессором 13 (или контроллером 21 системы) так, чтобы фиксировать значения подсчета согласно заранее установленной программе. Этими значениями подсчета отмечаются системные опорные тактовые сигналы (SCR), они вставляются в качестве вспомогательных данных в соответствующие вспомогательные транспортные пакеты.
Сигнал звука, связанный с сигналом изображения, от источника 10 подается на блок 18 сжатия сигнала звука. Блок 18 сжатия формирует кадровые импульсы отсчета (независимые от кадров изображения) для управления регистром 19. Реагируя на импульсы отсчета, регистр 19 запоминает значения подсчета, выдаваемые счетчиком 23. Эти зафиксированные значения соответствуют отметкам PTSaud времени воспроизведения звука. Отметки PTSaud включаются в состав сжатого сигнала звука, формируемого блоком 18 сжатия. Сжатый сигнал звука подается на транспортный процессор 17, который делит сигнал на пакеты данных и добавляет определенную служебную информацию, чтобы обеспечить некоторую помехозащищенность в целях передачи сигнала. Формируемые процессором 17 транспортные пакеты звука подаются на мультиплексор 16, который уплотняет с разделением во времени транспортные пакеты звука и изображения. На фиг.1 в каналах обработки сигналов звука и изображения показаны отдельные транспортные процессоры. В системах с невысокой скоростью передачи данных функции двух транспортных процессоров и мультиплексора могут быть реализованы единым транспортным процессором.
Контроллер 21 системы представляет собой конечный автомат, программируемый для согласования работы различных устройств обработки. Следует заметить, что контроллер 21, блоки 11 и 18 сжатия, транспортные процессоры 13 и 17 и буфер 14 скорости могут работать или не работать синхронно посредством схемы общей тактовой синхронизации, пока обеспечивается надлежащее синхронное взаимодействие устройств обработки. Однако оба устройства сжатия получают значения отметок времени воспроизведения PTS от одного и того же опорного счетчика 23, что обеспечивает точные временные соотношения между двумя сжатыми сигналами в сжатом выходном сигнале.
Фиг. 2 иллюстрирует пример приемного устройства согласно изобретению, в котором имеется источник восстановленных сигналов звука и изображения, включающий модем 200, который выполняет функцию, обратную функции модема 15, а буферы скорости 204 и 206 выполняют, по существу, функцию, обратную функции буфера 14. На фиг. 2 показан единый обратный транспортный процессор 202, который разделяет соответствующие транспортные пакеты по назначению и распределяет соответствующие данные в надлежащий канал обработки. При этом полезные данные сигнала соответствующего транспортного пакета отделяются от вспомогательных данных, причем соответствующие полезные данные подаются в надлежащий канал обработки, а вспомогательные данные подаются на контроллер 210 системы. В альтернативной схеме в состав каждого канала обработки может быть включен отдельный транспортный процессор для распознавания и обработки только тех данных, которые связаны с соответствующими каналами.
Сжатые данные изображения от обратного транспортного процессора 202 подаются в буфер 204 скорости, который подает сжатый сигнал изображения, соответствующий протоколу системы, в блок 214 декомпрессии. Буфер 204 скорости принимает данные с пульсирующей или непостоянной скоростью и подает данные по запросу в блок 214 декомпрессии. Реагируя на сжатый сигнал изображения, блок декомпрессии формирует несжатый сигнал изображения для воспроизведения, запоминания и т.п. с помощью подходящих дисплеев или запоминающих устройств (на фиг. 2 не показаны).
Сжатые данные звука от обратного транспортного процессора 202 подаются в буфер 206 скорости, который подает сжатый сигнал звука, соответствующий протоколу системы, в блок 212 декомпрессии звука. Реагируя на сжатый сигнал звука, блок 212 декомпрессии образует несжатый сигнал звука для воспроизведения, записи и т.п. с помощью подходящих громкоговорителей или запоминающих устройств (на фиг. 2 не показаны).
Обратный процессор 202 также формирует системные опорные тактовые сигналы из вспомогательных транспортных данных и управляющие сигналы для средств формирования местного тактового сигнала, синхронного с системным тактовым сигналом в кодере. Данные средства являются источником местного тактового сигнала и выполнены в виде тактового генератора 208 системы. Реагируя на подаваемые сигналы, тактовый генератор генерирует тактовый сигнал системы, синхронный по меньшей мере с работой транспортного процессора. Этот тактовый сигнал системы подается на контроллер 210 приемной системы для управления синхронизацией соответствующих устройств обработки сигналов.
На фиг. 3 показаны элементы взятого в качестве примера регенератора 208 тактового сигнала. Данные от модема 200 приемника подаются на обратный транспортный процессор 202', содержащий детектор 31 вспомогательных пакетов. Обратный транспортный процессор 202' отделяет данные транспортного заголовка от полезных данных соответствующего транспортного пакета. Реагируя на данные транспортного заголовка, процессор 202' подает полезные данные сигнала звука и изображения, например, на соответствующие блоки декомпрессии (на фиг. 3 не показаны), а вспомогательные данные (обозначенные как "Вспом.") - на соответствующие блоки обработки вспомогательных данных (не показаны). Системные опорные тактовые сигналы SCR, находящиеся среди вспомогательных данных, направляются в блок 34 памяти и хранятся в нем.
Детектор 31 вспомогательных пакетов, который может быть выполнен как согласованный фильтр для распознавания кодовых слов, обозначающих вспомогательный транспортный пакет, содержащий системный опорный тактовый сигнал SCR, формирует управляющий импульс при появлении транспортных пакетов, содержащих такие данные. Управляющий импульс используется для запоминания и хранения в регистре 35 текущего значения подсчета, представляемого местным счетчиком 36 в момент, точно привязанный ко времени детектирования. Местный счетчик 36 подсчитывает импульсы, поступающие от генератора 37, управляемого напряжением. Счетчик 36 выполнен для счета по модулю M, которое может быть, хотя и не обязательно, тем же самым числом, что и у аналогичного счетчика в кодере (счетчика 23). Если M отличается от N, то различие может быть учтено в уравнении ошибки.
Генератор 37, управляемый напряжением, управляется отфильтрованным с помощью фильтра 38 нижних частот сигналом ошибки, который формируется контроллером 39 тактового сигнала. Сигнал ошибки формируется следующим образом. Обозначим системный опорный тактовый сигнал SCR, приходящий в момент "n", как SCRn, а значение местного подсчета, одновременно запоминаемое а регистре 35, обозначим как LCRn. Контроллер тактового сигнала считывает последовательные значения опорных сигналов SCR и LCR и формирует сигнал E ошибки, пропорциональный разностям
Figure 00000003

Сигнал E ошибки используется для управления перестройкой генератора 37 по частоте так, чтобы уравнять разности. Как было указано выше, отрицательные разности, получающиеся из-за циклического перехода счетчика по модулю, могут игнорироваться. Сигнал ошибки, образуемый контроллером 39 тактового сигнала, может иметь форму сигнала с широтно-импульсной модуляцией, который может быть преобразован в аналоговый сигнал ошибки с помощью фильтра 38 нижних частот, построенного из аналоговых элементов.
В такой системе необходимо, чтобы счетчики на двух концах системы подсчитывали импульсы одной частоты или частот, кратных ей. Это требует, чтобы номинальная частота генератора, управляемого напряжением, была весьма близкой к частоте тактового генератора системы в кодере.
Рассмотренный подход обеспечивает довольно быструю синхронизацию, но может вносить долговременную ошибку. Долговременная ошибка LTE пропорциональна разности
Figure 00000004

где SCR0 и LCR0 обозначают, например, первый появившийся системный опорный тактовый сигнал SCR и соответствующее зафиксированное значение подсчета счетчика приемника. Номинально сигналы E и LTE ошибок будут изменяться дискретными шагами. Таким образом, когда система "синхронизирована", сигнал ошибки будет колебаться относительно нулевой точки на единицу. Предпочтительный способ синхронизации заключается в том, что управление генератором, управляемым напряжением, начинают с использованием сигнала E ошибки и осуществляют его до появления в сигнале E ошибки колебаний на единицу, после чего переключаются на использование сигнала долговременной ошибки LTE для управления генератором, управляемым напряжением.
Тактовый сигнал системы, генерируемый кварцевым генератором 37, управляемым напряжением, может использоваться для работы по меньшей мере транспортного процессора и буферов скорости. Поскольку он синхронизируется по частоте по меньшей мере с тактовым сигналом системы в кодере, возможность переполнения или опустошения буфера скорости вследствие ошибок тактовой синхронизации по существу отсутствует.
Синхронизация сигналов звука и изображения объясняется с помощью фиг. 2. Как было отмечено выше, отметки PTSvid времени воспроизведения включаются в сжатый сигнал изображения, связанный с заранее определяемыми данными изображения. PTSvid является указателем относительного времени, когда должно быть воспроизведено соответствующее изображение. Аналогично, сжатый сигнал звука содержит отметки PTSand времени воспроизведения, связанные со звуком, который должен быть воспроизведен в моменты, привязанные к соответствующим PTSand. В приемнике PTSand и PTSvid не могут сравниваться непосредственно для обеспечения синхронизации звука/изображения, так как соответствующие отсчеты были определены в разные моменты времени. Соответствующие значения отметок времени воспроизведения сравниваются с непрерывным опорным хронирующим сигналом, в качестве которого выступает тактовый сигнал приемника, формируемый генератором 37. Это сравнение осуществляется с помощью отсчетов местных отметок времени из значений подсчета местных опорных тактовых импульсов.
Показанные на фиг. 2 блоки 217, 218, 220, 222 образуют средства определения времени T между появлениями соответствующих отметок воспроизведения звука и отметок времени воспроизведения изображения, выраженного в периодах местного тактового сигнала.
Когда появляются данные, связанные с соответствующими отметками времени воспроизведения, отсчитывается LCR. Например, устройство 212 восстановления выдает PTSaud, когда соответствующий кадр звукового сопровождения выводится для воспроизведения. В эти моменты управляющий сигнал заставляет регистр 220 сделать отсчет LCR, значения которого обозначим как LAS (местные отметки звука). Аналогично, когда блок декомпрессии изображения подает кадр изображения для воспроизведения, он выдает PTSvid, а также управляющий импульс для перевода регистра 222 в режим хранения текущего значения LCR. Эти значения LCR обозначим как LVS (местные отметки изображения).
Значения местных отметок LAS звука и соответствующей отметки PTSaud подаются на соответствующие входы вычитателя 218, который образует сигнал ΔA-PTS в соответствии с зависимостью
ΔA-PTS= PTSaud-LAS.
Значения LVS и соответствующей отметки PTSvid по отдельности подаются на входы вычитателя 217, который образует сигнал ΔV-PTS в соответствии с зависимостью
ΔV-PTS= PTSvid-LVS.
Сигналы ΔV-PTS и ΔA-PTS подаются на соответствующие входы средств вычисления разности между значениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения и сравнения этой разности с упомянутым временем T, выполненных в виде еще одного вычитателя 219, который вырабатывает сигнал ERRPTS ошибки синхронизации звука и изображения в соответствии с зависимостью
ERRPTS= ΔV-PTS-ΔA-PTS.
Синхронизация звука и изображения требует, чтобы ошибка синхронизации сигналов звука/изображения сводилась к нулю. Это означает, что когда разность значений соответствующих отметок времени воспроизведения равняется времени, выраженному в единицах (периодах) местного опорного сигнала, между появлением соответствующих отметок PTS, сигналы звука и изображения будут синхронными.
Для подстройки синхронизации сигналов звука/изображения могут быть использованы два механизма, основанные на сигнале ERRPTS ошибки: пропуски и повторения сегментов данных и отклонение частоты тактового сигнала преобразования. Пропуск фиксированных интервалов или "кадров" звука вызывает продвижение потока данных звука вперед на фиксированный интервал относительно сигнала изображения. Повторение (или режим молчания без использования данных) задерживает поток данных звука на фиксированные интервалы относительно сигнала изображения. Пропуск и повторение кадров звука во многих режимах может прослушиваться, и поэтому используется только для грубой подстройки синхронизации. Тем не менее, кратковременный пропуск или повторение может быть предпочтительным для значительных ошибок синхронизации сигналов звука/изображения. Если кадры звука имеют длительность менее 40 мс, то грубая подстройка с помощью пропуска/повторения может давать в результате ошибки синхронизации в пределах ± 20 мс, что соответствует промышленным стандартам синхронизации звука/изображения. Однако эта синхронизация будет ухудшаться, если опорный хронирующий сигнал преобразования звука не будет совпадать с опорным сигналом источника. Когда синхронизация грубо подстроена, с целью дополнительного повышения точности синхронизации сигналов звука и изображения используются изменения тактовой частоты преобразования сигнала звука.
Сигнал ERRPTS ошибки подается на блок 216 фильтра и обработки. Действие фильтра в нем сглаживает сигнал ERRPTS для того, чтобы минимизировать воздействие отклонений, которые в противном случае могут создаваться шумами в сигнале. После этого функция обработки в блоке 216 позволяет проверить сглаженный сигнал ошибки и определить, должны ли быть использованы пропуск/повторение данных звука для выполнения грубой синхронизации сигналов звука и изображения и/или следует ли использовать подстройку частоты обработки сигнала звука для осуществления точной синхронизации. Если определяется, что необходима грубая подстройка синхронизации, процессор 216 подает управляющий сигнал на блок 212 декомпрессии звука, заставляющий этот блок пропустить или повторить текущий кадр декомпрессированных данных звука. Вместо грубой подстройки или в дополнение к ней, если определена необходимость точной подстройки, процессор 216 подает управляющий сигнал на блок 215 опорного хронирующего сигнала канала звука, чтобы подстроить частоту тактового сигнала обработки сигнала звука. Таким образом, процессор 216 и блок 215 выполняют функции средств синхронизации несжатых (декомпрессированных) сигналов звука и изображения, которые реагируют на сигнал ошибки синхронизации звука/изображения.
Алгоритм обработки подробно поясняется структурной схемой на фиг. 4. После инициализации (400) системы, обозначенной как "ПУСК", система контролирует (401) появление PTSaud в блоке декомпрессии сигнала звука, и если PTSaud обнаруживается, она считывается (403), и местная отметка звука опорного сигнала местного тактового генератора запоминается и хранится. Если PTSaud не появилась, то система проверяет декомпрессор изображения на наличие PTSvid (402). Если PTSvid появилась, она считывается, и отметка времени изображения местного тактового генератора запоминается и хранится (404). Когда обе отметки PTSand и PTSvid считаны, сигнал ошибки вычисляется (405) согласно равенству:
ERRPTS= ΔV-PTS-ΔA-PTS.
Модуль сигнала ошибки проверяется (406), чтобы определить, не больше ли он половины длительности звукового кадра. Если он больше, чем половина длительности звукового кадра, то сигнал ошибки проверяется на полярность (407). Если полярность положительна, текущий кадр звука повторяется (409). Если она отрицательна, текущий кадр звука пропускается (408). После пропуска или повторения кадра система снова возвращается к начальному состоянию для ожидания следующего появления отметок времени воспроизведения.
Если на шаге 406 модуль сигнала ошибки меньше, чем половина длительности звукового кадра, ошибка проверяется, чтобы определить, больше ли она нуля (410). Если ошибка больше нуля, то она проверяется (412), чтобы определить, меньше ли она, чем предыдущий сигнал ошибки. Если она меньше, чем предыдущий сигнал ошибки, то это является показателем того, что система приближается к синхронизации, и параметры управления синхронизацией не изменяются. Система возвращается к начальному состоянию для ожидания следующих отметок времени воспроизведения. Напротив, если ошибка увеличилась относительно предыдущего сигнала ошибки, то тактовый сигнал обработки звука подстраивается так, чтобы уменьшить его частоту (414).
Если на шаге 410 ошибка меньше нуля (отрицательна), она проверяется (411), чтобы определить, больше ли она, чем предыдущий сигнал ошибки. Если она больше, чем предыдущий сигнал ошибки, это также является показателем того, что система приближается к состоянию синхронизации, и параметры управления синхронизацией не изменяются. Напротив, если текущий сигнал ошибки меньше, чем предыдущий сигнал ошибки, то система стремится к дальнейшему выходу из синхронизации, и тактовая частота обработки сигнала звука увеличивается (413). После шагов 412 и 413 обработки система возвращается к ожиданию следующего появления отметок времени воспроизведения. Следует заметить, что в этом примере система осуществляет только грубые подстройки посредством пропуска или повторения кадров звука до тех пор, пока ошибка синхронизации сигналов звука/изображения не станет менее половины длительности кадра звука.
В соответствии с другой формой осуществления изобретения отфильтрованный сигнал ошибки сравнивается с заданным порогом, связанным с размером соответствующих кадров звука. Если сигнал ошибки меньше, чем порог, то это означает, что ошибка синхронизации сигналов звука и изображения меньше длительности кадра звука, в этом случае сигнал ошибки подается на блок 215 опорного хронирующего сигнала канала звука, где он используется для подстройки частоты тактового сигнала обработки (декомпрессии) сигнала звука. Напротив, если сигнал ошибки больше, чем порог, то сигнал ошибки можно разделить на величину, соответствующую длительности кадра звука с тем, чтобы определить число кадров звука, на которое рассогласованы сигналы звука и изображения. Целая часть частного подается на блок декомпрессии сигнала звука, чтобы заставить блок декомпрессии пропустить или повторить такое число кадров звука. Полярность сигнала ошибки будет определять, должны ли кадры звука быть пропущены или повторены. Как правило, перед подачей на выход декомпрессированные данные помещаются в буферное запоминающее устройство, поэтому пропуск или повторение кадров звука достигается просто путем управления разрешением на выполнение команд считывания/записи в запоминающем устройстве.
Дробная часть частного подается в блок 215 опорного хронирующего сигнала канала звука, где она используется для подстройки тактовой частоты обработки сигнала звука с целью точной настройки синхронизации звука/изображения.
Скорость получения отметок времени воспроизведения звука пропорциональна скорости обработки в блоке декомпрессии звука. Эта скорость обработки прямо пропорциональна частоте тактового сигнала, используемого для работы блока декомпрессии звука. Если тактовая частота блока декомпрессии звука не зависит от тактового сигнала, используемого для работы блока декомпрессии изображения, и может точно подстраиваться, то тогда может подстраиваться относительная скорость появления отметок времени воспроизведения звука и изображения, а звук и изображение могут точно синхронизироваться.
На фиг. 5 показана первая форма реализации схемы для генерации подстраиваемого тактового сигнала обработки сигнала звука. На фиг.5 генератор 503, управляемый напряжением, включен в петлю фазовой автоподстройки, содержащую блоки 500 и 501. Выходной сигнал генератора подается на один из входов фазового детектора 500. Тактовый сигнал системы подается на второй вход фазового детектора через бинарный умножитель 505 скорости. Сигнал фазовой ошибки, образуемый фазовым детектором, фильтруется фильтром 501 нижних частот. Сглаженный сигнал фазовой ошибки подается на вход управления генератора, заставляя генератор генерировать колебания с той же частотой и фазой, что и на выходе бинарного умножителя скорости. В данном примере тактовая частота системы составляет около 27 МГц, а необходимая тактовая частота для обработки сигнала звука равняется приблизительно 1/380 от частоты сигнала 27 МГц. Управляющий сигнал от устройства 216 подается на вход управления бинарного умножителя скорости для управления частотой его выходного сигнала. Этот управляющий сигнал выбирается так, чтобы получить номинальный коэффициент деления 1/380, но изменяется около этого значения так, чтобы управляя режимом работы бинарного умножителя скорости, получить на выходе частоту, соответствующую требуемой в данный момент скорости обработки сигнала звука.
Фиг. 6 иллюстрирует второй пример генерации подстраиваемого тактового сигнала обработки сигнала звука. В этом примере сигнал с постоянной тактовой частотой от тактового генератора 208 системы или какого-либо другого стабильного генератора подается на один из входов бинарного умножителя 600 скорости. Этот умножитель управляется с помощью управляющего сигнала от блока 216 обработки так, чтобы генерировать номинальную необходимую тактовую частоту обработки сигнала звука. Реагируя на сигнал ошибки синхронизации звука/изображения, блок 216 обработки изменяет этот управляющий сигнал так, чтобы заставить умножитель уменьшать или увеличивать номинальную тактовую частоту обработки сигнала звука.
В соответствии с еще одной формой осуществления изобретения устройство, изменяющее скорость обработки сигнала звука (не показано), может содержать генератор для получения номинального максимума тактовой частоты обработки сигнала звука и схему селекции. Генератор подключен к схеме обработки сигнала звука через схему селекции. Схема селекции управляется блоком 216 обработки так, чтобы с помощью вырезания некоторых выходных импульсов генератора получить, в среднем, необходимую тактовую частоту обработки сигнала звука.
В соответствии с еще одной формой осуществления устройства синхронизации, показанной пунктирной стрелкой на фиг. 2, для осуществления синхронизации может выполняться пропуск или повторение кадров изображения. В других формах осуществления изобретения кадры изображения могут пропускаться, если звук опережает изображение или отстает от него, а кадры звука могут пропускаться, если кадры звука отстают от данных изображения или опережают их. Однако в предпочтительной форме осуществления изобретения кадры звука пропускаются/повторяются для звука, отстающего от изображения и опережающего его соответственно.

Claims (7)

1. Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения из восстановленного сжатого сигнала звука и изображения, причем сигналы звука и изображения содержат соответствующие отметки времени воспроизведения звука и отметки времени воспроизведения изображения, определенные с заранее заданными интервалами и привязанные к тактовому сигналу кодирующей системы, отличающееся тем, что оно содержит источник упомянутых восстановленных сжатых сигналов звука и изображения и источник местного тактового сигнала, блок декомпрессии, реагирующий на восстановленный сжатый сигнал изображения для формирования несжатого сигнала изображения и отметок времени воспроизведения изображения, блок декомпрессии, реагирующий на восстановленный сжатый сигнал звука для формирования несжатого сигнала звука и отметок времени воспроизведения звука, средства сравнения разности между значениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения с временем T между появлениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения, выраженным в периодах местного тактового сигнала, для формирования сигнала ошибки синхронизации звука/изображения и средства синхронизации несжатых сигналов звука и изображения, соединенные по меньшей мере с одним из блоков декомпрессии и реагирующие на упомянутый сигнал ошибки синхронизации звука/изображения.
2. Устройство по п.1, отличающееся тем, что упомянутые средства сравнения содержат включающие счетчик средства подсчета периодов местного тактового сигнала с получением величины, представляющей это время T и равной числу периодов этого тактового сигнала между появлениями соответствующих отметок времени воспроизведения звука и отметок времени воспроизведения изображения.
3. Устройство по п.2, отличающееся тем, что упомянутые включающие счетчик средства подсчета периодов местного тактового сигнала содержат счетчик, реагирующий на упомянутый местный тактовый сигнал для формирования последовательности значений подсчета по модулю N, где N - целое число, средства, реагирующие на появление упомянутых отметок времени воспроизведения звука для запоминания первого значения подсчета и реагирующие на появление соответствующих отметок времени воспроизведения изображения для запоминания второго значения подсчета, и вычитатель для определения разности между упомянутыми первым и вторым значениями подсчета.
4. Устройство по одному из пп.1 - 3, отличающееся тем, что упомянутый восстановленный сжатый сигнал звука и изображения содержит системные опорные тактовые сигналы, а устройство содержит реагирующие на системные опорные тактовые сигналы средства формирования упомянутого местного тактового сигнала, синхронного с упомянутым системным тактовым сигналом в кодере.
5. Устройство по одному из пп.1 - 4, отличающееся тем, что соответствующие блоки декомпрессии формируют несжатые сигналы изображения в заранее заданных интервалах и несжатый сигнал звука в других заранее заданных интервалах, а упомянутые средства синхронизации несжатых сигналов звука и изображения содержат блок, реагирующий на упомянутый сигнал ошибки синхронизации звука/изображения для пропуска или повторения некоторых из упомянутых заранее заданных интервалов несжатых сигналов звука.
6. Устройство по п.5, отличающееся тем, что упомянутый блок декомпрессии для формирования несжатого сигнала звука содержит источник тактового сигнала обработки для блока декомпрессии, а упомянутые средства синхронизации несжатых сигналов звука и изображения содержат дополнительно блок изменения частоты тактового сигнала обработки, реагирующий на упомянутый сигнал ошибки синхронизации звука/изображения.
7. Устройство по п.6, отличающееся тем, что упомянутый блок изменения частоты тактового сигнала обработки содержит бинарный умножитель скорости.
RU94034121A 1993-09-30 1994-09-23 Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения RU2142210C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/129.974 1993-09-30
US08/129,974 US5430485A (en) 1993-09-30 1993-09-30 Audio/video synchronization in a digital transmission system
US08/129,974 1993-09-30

Publications (2)

Publication Number Publication Date
RU94034121A RU94034121A (ru) 1996-07-27
RU2142210C1 true RU2142210C1 (ru) 1999-11-27

Family

ID=22442450

Family Applications (1)

Application Number Title Priority Date Filing Date
RU94034121A RU2142210C1 (ru) 1993-09-30 1994-09-23 Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения

Country Status (15)

Country Link
US (1) US5430485A (ru)
EP (1) EP0648056B1 (ru)
JP (4) JP3633972B2 (ru)
KR (1) KR100337212B1 (ru)
CN (1) CN1053308C (ru)
AU (1) AU684520B2 (ru)
CA (1) CA2132186C (ru)
DE (1) DE69417139T2 (ru)
ES (1) ES2131139T3 (ru)
FI (1) FI112144B (ru)
MY (1) MY111711A (ru)
PL (1) PL174674B1 (ru)
RU (1) RU2142210C1 (ru)
SG (1) SG70960A1 (ru)
TR (1) TR28210A (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005420B2 (en) 2003-10-24 2011-08-23 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between mutlimedia streams in a wireless communication system
US10271544B2 (en) 2012-07-20 2019-04-30 Sumitomo Chemical Company, Limited Method for reducing damage by harmful organisms in corn cultivation

Families Citing this family (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382929B2 (en) 1989-05-22 2008-06-03 Pixel Instruments Corporation Spatial scan replication circuit
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
US5612981A (en) * 1994-02-15 1997-03-18 Philips Electronics North America Corporation Apparatus and methods for improving timing recovery of a system clock
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
US5566174A (en) * 1994-04-08 1996-10-15 Philips Electronics North America Corporation MPEG information signal conversion system
US5521979A (en) * 1994-04-22 1996-05-28 Thomson Consumer Electronics, Inc. Packet video signal inverse transport system
US5642171A (en) * 1994-06-08 1997-06-24 Dell Usa, L.P. Method and apparatus for synchronizing audio and video data streams in a multimedia system
US5734432A (en) * 1994-07-15 1998-03-31 Lucent Technologies, Inc. Method of incorporating a variable rate auxiliary data stream with a variable rate primary data stream
US5984512A (en) 1994-07-29 1999-11-16 Discovision Associates Method for storing video information
US5603016A (en) * 1994-08-03 1997-02-11 Intel Corporation Method for synchronizing playback of an audio track to a video track
GB9512068D0 (en) * 1995-06-14 1995-08-09 Thomson Consumer Electronics Bus and interface system for consumer digital equipment
US6236694B1 (en) * 1994-08-19 2001-05-22 Thomson Licensing S.A. Bus and interface system for consumer digital equipment
US5598352A (en) * 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
US5594660A (en) * 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5920842A (en) * 1994-10-12 1999-07-06 Pixel Instruments Signal synchronization
US5771075A (en) * 1994-12-08 1998-06-23 Lg Electronics Inc. Audio/video synchronizer
US5905768A (en) * 1994-12-13 1999-05-18 Lsi Logic Corporation MPEG audio synchronization system using subframe skip and repeat
US5588029A (en) * 1995-01-20 1996-12-24 Lsi Logic Corporation MPEG audio synchronization system using subframe skip and repeat
IT1268195B1 (it) * 1994-12-23 1997-02-21 Sip Decodificatore per segnali audio appartenenti a sequenze audiovisive compresse e codificate.
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel
US5621772A (en) * 1995-01-20 1997-04-15 Lsi Logic Corporation Hysteretic synchronization system for MPEG audio frame decoder
US5751694A (en) * 1995-05-22 1998-05-12 Sony Corporation Methods and apparatus for synchronizing temporally related data streams
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
US5920572A (en) * 1995-06-30 1999-07-06 Divicom Inc. Transport stream decoder/demultiplexer for hierarchically organized audio-video streams
US6058141A (en) * 1995-09-28 2000-05-02 Digital Bitcasting Corporation Varied frame rate video
JPH09149411A (ja) * 1995-11-24 1997-06-06 Ekushingu:Kk 復号化装置
US6836295B1 (en) 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
US5784572A (en) * 1995-12-29 1998-07-21 Lsi Logic Corporation Method and apparatus for compressing video and voice signals according to different standards
US5835493A (en) * 1996-01-02 1998-11-10 Divicom, Inc. MPEG transport stream remultiplexer
US5828414A (en) * 1996-02-23 1998-10-27 Divicom, Inc. Reduction of timing jitter in audio-video transport streams
US5875354A (en) * 1996-03-01 1999-02-23 Apple Computer, Inc. System for synchronization by modifying the rate of conversion by difference of rate between first clock and audio clock during a second time period
US6233256B1 (en) * 1996-03-13 2001-05-15 Sarnoff Corporation Method and apparatus for analyzing and monitoring packet streams
JPH09266460A (ja) * 1996-03-28 1997-10-07 Sony Corp 送受信システム
US5878039A (en) * 1996-04-24 1999-03-02 Nec America, Inc. Bus rate adaptation and time slot assignment circuit for a sonet multiplex system
WO1997046027A1 (en) * 1996-05-29 1997-12-04 Sarnoff Corporation Preserving synchronization of audio and video presentation
JP3418065B2 (ja) * 1996-06-26 2003-06-16 三菱電機株式会社 光ディスク
USRE40664E1 (en) 1996-07-05 2009-03-17 Panasonic Corporation Method for display time stamping and synchronization of multiple video object planes
JP3063824B2 (ja) * 1996-10-29 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
CA2273891C (en) 1996-12-04 2001-06-12 Mitsuaki Oshima Optical disc for high resolution and three-dimensional video recording, optical disc reproducing apparatus and optical disk recording apparatus
JP3454653B2 (ja) * 1996-12-27 2003-10-06 矢崎総業株式会社 データ送信装置、データ受信装置、データ通信装置、及びデータ通信方法
DE69835039T2 (de) * 1997-02-14 2007-07-12 The Trustees Of Columbia University In The City Of New York Objektbasiertes audiovisuelles Endgerät und entsprechende Bitstromstruktur
TW395142B (en) 1997-05-15 2000-06-21 Matsushita Electric Ind Co Ltd Compressed code decoding device and audio decoding device
GB2326781B (en) * 1997-05-30 2001-10-10 British Broadcasting Corp Video and audio signal processing
US6310918B1 (en) 1997-07-31 2001-10-30 Lsi Logic Corporation System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements
US6236681B1 (en) 1997-07-31 2001-05-22 Lsi Logic Corporation Method for decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements
US6289053B1 (en) 1997-07-31 2001-09-11 Lsi Logic Corporation Architecture for decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements
US6101221A (en) * 1997-07-31 2000-08-08 Lsi Logic Corporation Video bitstream symbol extractor for use in decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements
US6266091B1 (en) 1997-07-31 2001-07-24 Lsi Logic Corporation System and method for low delay mode operation video decoding
US6122316A (en) * 1997-07-31 2000-09-19 Lsi Logic Corporation MPEG decoding system meeting 2-frame store and letterboxing requirements
KR100257070B1 (ko) * 1997-08-14 2000-05-15 김영환 박막트랜지스터 및 이의 제조방법
US6229859B1 (en) * 1997-09-04 2001-05-08 Silicon Image, Inc. System and method for high-speed, synchronized data communication
JP3063838B2 (ja) * 1997-10-02 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置および方法
US5899969A (en) * 1997-10-17 1999-05-04 Dolby Laboratories Licensing Corporation Frame-based audio coding with gain-control words
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
KR19990061872A (ko) * 1997-12-31 1999-07-26 서평원 에스티비에서 비디오데이터 전송제어시스템
US6195368B1 (en) 1998-01-14 2001-02-27 Skystream Corporation Re-timing of video program bearing streams transmitted by an asynchronous communication link
US6292490B1 (en) 1998-01-14 2001-09-18 Skystream Corporation Receipts and dispatch timing of transport packets in a video program bearing stream remultiplexer
US6351471B1 (en) * 1998-01-14 2002-02-26 Skystream Networks Inc. Brandwidth optimization of video program bearing transport streams
US6246701B1 (en) 1998-01-14 2001-06-12 Skystream Corporation Reference time clock locking in a remultiplexer for video program bearing transport streams
US6351474B1 (en) * 1998-01-14 2002-02-26 Skystream Networks Inc. Network distributed remultiplexer for video program bearing transport streams
US7199836B1 (en) * 1998-02-13 2007-04-03 The Trustees Of Columbia University In The City Of New York Object-based audio-visual terminal and bitstream structure
US6081299A (en) * 1998-02-20 2000-06-27 International Business Machines Corporation Methods and systems for encoding real time multimedia data
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
GB9807295D0 (en) * 1998-04-03 1998-06-03 Snell & Wilcox Ltd Improvements relating to audio-video delay
SE517547C2 (sv) * 1998-06-08 2002-06-18 Ericsson Telefon Ab L M Signalsynkronisering vid signalkvalitetsmätning
US6016166A (en) * 1998-08-31 2000-01-18 Lucent Technologies Inc. Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system
JP2000092348A (ja) 1998-09-10 2000-03-31 Mitsubishi Electric Corp フレームシンクロナイザ
WO2000064145A1 (en) * 1999-04-20 2000-10-26 Alexandr Vitalievich Kitaev Video camera
DE69927243T2 (de) * 1999-05-25 2006-06-29 Lucent Technologies Inc. Verfahren und Vorrichtung für Telekommunikationen mit Internet-Protokoll
US6583821B1 (en) * 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
CA2313979C (en) * 1999-07-21 2012-06-12 Thomson Licensing Sa Synchronizing apparatus for a compressed audio/video signal receiver
KR100644562B1 (ko) * 1999-08-20 2006-11-13 삼성전자주식회사 오디오/비디오 신호 동기 장치 및 그 방법
GB0000874D0 (en) 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Latency handling for interconnected devices
WO2002015591A1 (en) * 2000-08-16 2002-02-21 Koninklijke Philips Electronics N.V. Method of playing multimedia data
US20020089602A1 (en) 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
FR2815805B1 (fr) * 2000-10-23 2005-09-02 Telediffusion De France Tdf Procede de synchronisation de signaux numeriques
US7746798B2 (en) * 2000-11-22 2010-06-29 Silicon Image, Inc. Method and system for integrating packet type information with synchronization symbols
US20020077117A1 (en) * 2000-12-15 2002-06-20 Jocelyn Cloutier Synchronous transmission of data with network remote control
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
JP2002290932A (ja) 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
WO2003009590A1 (en) * 2001-07-19 2003-01-30 Thomson Licensing S.A. Fade resistant digital transmission and reception system
JP3591493B2 (ja) * 2001-07-25 2004-11-17 ソニー株式会社 ネットワークシステム、およびネットワークシステムの同期方法
US8880709B2 (en) * 2001-09-12 2014-11-04 Ericsson Television Inc. Method and system for scheduled streaming of best effort data
KR100831213B1 (ko) * 2001-09-17 2008-05-21 엘지전자 주식회사 음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법
US7269338B2 (en) * 2001-12-11 2007-09-11 Koninklijke Philips Electronics N.V. Apparatus and method for synchronizing presentation from bit streams based on their content
US7283566B2 (en) * 2002-06-14 2007-10-16 Silicon Image, Inc. Method and circuit for generating time stamp data from an embedded-clock audio data stream and a video clock
US6850284B2 (en) * 2002-08-27 2005-02-01 Motorola, Inc. Method and apparatus for decoding audio and video information
US7230651B2 (en) * 2002-10-22 2007-06-12 Broadcom Corporation A/V decoder having a clocking scheme that is independent of input data streams
WO2004045197A2 (en) * 2002-11-07 2004-05-27 Thomson Licensing S.A. A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation
EP1570681A1 (en) * 2002-12-04 2005-09-07 Koninklijke Philips Electronics N.V. Method of automatically testing audio/video synchronization
FR2849328A1 (fr) * 2002-12-20 2004-06-25 St Microelectronics Sa Procede et dispositif de synchronisation de la presentation de trames audio et/ou de trames video
US6833765B2 (en) * 2003-01-23 2004-12-21 Ess Technology, Inc. Frequency locked loop with improved stability using binary rate multiplier circuits
GB0306973D0 (en) 2003-03-26 2003-04-30 British Telecomm Transmitting video
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US7693222B2 (en) 2003-08-13 2010-04-06 Ericsson Television Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
JP4735932B2 (ja) * 2003-09-02 2011-07-27 ソニー株式会社 コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム
US7570304B1 (en) * 2003-11-21 2009-08-04 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
KR20050052717A (ko) * 2003-12-01 2005-06-07 엘지전자 주식회사 오디오 원본 보존 트랜스코딩 시스템 및 방법
US7405769B2 (en) * 2004-02-09 2008-07-29 Broadcom Corporation Method and system for 3D comb synchronization and alignment of standard and non-standard video signals
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
DE102004017215A1 (de) * 2004-04-05 2005-10-20 Sennheiser Electronic Audiovisuelles System
US7170545B2 (en) * 2004-04-27 2007-01-30 Polycom, Inc. Method and apparatus for inserting variable audio delay to minimize latency in video conferencing
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
JP4270084B2 (ja) 2004-09-14 2009-05-27 株式会社日立製作所 記録再生装置
CN100340115C (zh) * 2004-10-22 2007-09-26 威盛电子股份有限公司 影音资料流中时间轴切换处理装置及其方法
US20060104305A1 (en) * 2004-11-12 2006-05-18 William Yoshida Audio/video streaming system
JP4304615B2 (ja) 2004-11-17 2009-07-29 ソニー株式会社 データ処理装置、データ処理方法及びデータ処理プログラム
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
KR100652956B1 (ko) * 2005-01-14 2006-12-01 삼성전자주식회사 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치
JP4624121B2 (ja) * 2005-01-31 2011-02-02 日本電気株式会社 符号化装置、これで用いるｓｔｃ補正方法、符号化システム、送出系、及び音声送受信システム
US8233540B2 (en) * 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
KR100658866B1 (ko) * 2005-03-10 2006-12-15 엘지전자 주식회사 비디오 및 오디오 데이터 동기화 장치 및 방법
US20060209210A1 (en) * 2005-03-18 2006-09-21 Ati Technologies Inc. Automatic audio and video synchronization
US7669219B2 (en) * 2005-04-15 2010-02-23 Microsoft Corporation Synchronized media experience
KR100638138B1 (ko) * 2005-05-24 2006-10-24 주식회사 픽스트리 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법
US20070019931A1 (en) * 2005-07-19 2007-01-25 Texas Instruments Incorporated Systems and methods for re-synchronizing video and audio data
WO2007049451A1 (ja) * 2005-10-27 2007-05-03 National University Corporation Chiba University 映像と音声のずれ時間を、高精度かつ簡便に計測する方法および計測装置
CA2544459A1 (en) * 2006-04-21 2007-10-21 Evertz Microsystems Ltd. Systems and methods for synchronizing audio and video data signals
US8379735B2 (en) * 2006-05-15 2013-02-19 Microsoft Corporation Automatic video glitch detection and audio-video synchronization assessment
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
JP5186094B2 (ja) * 2006-09-29 2013-04-17 サクサ株式会社 通信端末、マルチメディア再生制御方法、およびプログラム
US8027560B2 (en) * 2007-02-05 2011-09-27 Thales Avionics, Inc. System and method for synchronizing playback of audio and video
US8842971B2 (en) * 2007-07-31 2014-09-23 The Directv Group, Inc. Methods and apparatus to present audio and video at non-native rates
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
JP5602138B2 (ja) * 2008-08-21 2014-10-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オ−ディオ及びビデオ署名生成及び検出のための特徴の最適化及び信頼性予測
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
JP2010211466A (ja) * 2009-03-10 2010-09-24 Canon Inc 画像処理装置および画像処理方法及びプログラム
ATE540529T1 (de) * 2009-11-03 2012-01-15 Tektronix Int Sales Gmbh Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms
KR101090356B1 (ko) 2009-12-28 2011-12-13 주식회사 더블유코퍼레이션 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
US9191147B1 (en) * 2010-09-16 2015-11-17 Benjamin J. Sheahan Apparatus and method for conversion between analog and digital domains with a time stamp for digital control system and ultra low error rate communications channel
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
CN103621102B (zh) 2011-05-12 2017-05-03 英特尔公司 用于音频与视频同步的方法、装置及系统
JP5778478B2 (ja) * 2011-05-23 2015-09-16 ルネサスエレクトロニクス株式会社 データ処理システム
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
TWI513320B (zh) * 2012-06-25 2015-12-11 Hon Hai Prec Ind Co Ltd 視訊會議裝置及其唇形同步的方法
RU2522742C2 (ru) * 2012-08-07 2014-07-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Новосибирский государственный технический университет" Измеритель линейных перемещений
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US10178281B2 (en) 2014-07-28 2019-01-08 Starkey Laboratories, Inc. System and method for synchronizing audio and video signals for a listening system
JP6586769B2 (ja) * 2015-04-28 2019-10-09 カシオ計算機株式会社 撮像システム、撮像装置、収音装置、撮像方法、収音方法及びプログラム
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
US10142043B2 (en) * 2016-10-11 2018-11-27 Viavi Solutions Inc. Time differential digital circuit
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN107888611B (zh) * 2017-11-29 2020-10-02 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） 通信方法和装置
CN111954064B (zh) * 2020-08-31 2022-11-04 三星电子（中国）研发中心 音视频同步方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4313135B1 (en) * 1980-07-28 1996-01-02 J Carl Cooper Method and apparatus for preserving or restoring audio to video
US4429332A (en) * 1981-05-18 1984-01-31 Eeco Incorporated Television compressed audio
US5202761A (en) * 1984-11-26 1993-04-13 Cooper J Carl Audio synchronization apparatus
US4703355A (en) * 1985-09-16 1987-10-27 Cooper J Carl Audio to video timing equalizer method and apparatus
DE3732111A1 (de) * 1987-09-24 1989-04-06 Bosch Gmbh Robert Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
JP2865782B2 (ja) * 1990-03-16 1999-03-08 富士通株式会社 非同期伝送用ｃｏｄｅｃ装置
US5287182A (en) * 1992-07-02 1994-02-15 At&T Bell Laboratories Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks
JP3255308B2 (ja) * 1992-12-18 2002-02-12 ソニー株式会社 データ再生装置
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005420B2 (en) 2003-10-24 2011-08-23 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between mutlimedia streams in a wireless communication system
US8879979B2 (en) 2003-10-24 2014-11-04 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
US10271544B2 (en) 2012-07-20 2019-04-30 Sumitomo Chemical Company, Limited Method for reducing damage by harmful organisms in corn cultivation

Also Published As

Publication number Publication date
MY111711A (en) 2000-11-30
CN1053308C (zh) 2000-06-07
EP0648056A3 (en) 1995-12-13
EP0648056B1 (en) 1999-03-17
CA2132186C (en) 2004-07-06
KR100337212B1 (ko) 2002-11-23
JP3633972B2 (ja) 2005-03-30
EP0648056A2 (en) 1995-04-12
JP2009124732A (ja) 2009-06-04
SG70960A1 (en) 2000-03-21
AU7027894A (en) 1995-04-13
KR950010508A (ko) 1995-04-28
JP2005117677A (ja) 2005-04-28
ES2131139T3 (es) 1999-07-16
FI944529A (fi) 1995-03-31
US5430485A (en) 1995-07-04
JP2006074821A (ja) 2006-03-16
JP4382736B2 (ja) 2009-12-16
PL174674B1 (pl) 1998-08-31
JPH07177479A (ja) 1995-07-14
JP3976759B2 (ja) 2007-09-19
RU94034121A (ru) 1996-07-27
FI112144B (fi) 2003-10-31
CN1110854A (zh) 1995-10-25
TR28210A (tr) 1996-03-01
PL305189A1 (en) 1995-04-03
CA2132186A1 (en) 1995-03-31
AU684520B2 (en) 1997-12-18
FI944529A0 (fi) 1994-09-29
DE69417139D1 (de) 1999-04-22
DE69417139T2 (de) 1999-10-28

Similar Documents

Publication Publication Date Title
RU2142210C1 (ru) Устройство для получения синхронизированных воспроизведенных сигналов звука и изображения
RU2150792C1 (ru) Устройство в приемнике для обработки сжатого сигнала звука/изображения
JP4492972B2 (ja) ビデオ・エンコーダおよびエンコーダからデコーダへのタイミングを同期させる方法
EP0716547B1 (en) Audio/video synchronizer
JP2001358685A (ja) 同期装置および同期方法
KR100209880B1 (ko) Mpeg-2 영상복호화장치의 시스템클럭 복구장치
RU2262211C2 (ru) Синхронизирующее устройство для приемника сжатого сигнала звука и изображения
JPH114433A (ja) 画像受信装置