RU2483470C2 - Способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования - Google Patents

Способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования Download PDF

Info

Publication number
RU2483470C2
RU2483470C2 RU2011106330/07A RU2011106330A RU2483470C2 RU 2483470 C2 RU2483470 C2 RU 2483470C2 RU 2011106330/07 A RU2011106330/07 A RU 2011106330/07A RU 2011106330 A RU2011106330 A RU 2011106330A RU 2483470 C2 RU2483470 C2 RU 2483470C2
Authority
RU
Russia
Prior art keywords
pts
playback mode
video
audio data
data
Prior art date
Application number
RU2011106330/07A
Other languages
English (en)
Other versions
RU2011106330A (ru
Inventor
Куй ЛИ
Хойбинь СЯ
Original Assignee
Хуавэй Дивайс Ко., Лтд
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Хуавэй Дивайс Ко., Лтд filed Critical Хуавэй Дивайс Ко., Лтд
Publication of RU2011106330A publication Critical patent/RU2011106330A/ru
Application granted granted Critical
Publication of RU2483470C2 publication Critical patent/RU2483470C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Abstract

Изобретение относится к области технологии MPEG-2, в частности к способу и устройству для обработки видео- и аудиоданных, принимаемых в системе декодирования, когда временная отметка программ (PCR) является недоступной. Техническим результатом является обеспечение синхронизации видеосигналов и аудиосигналов, когда PCR является недоступной в системе декодирования. Указанный технический результат достигается тем, что когда PCR является недоступной в системе, системный таймер (STC) восстанавливается с использованием временной метки представления (PTS) видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных. STC сравнивается с PTS в текущих захваченных видео- и аудиоданных, и определяется текущий режим обработки данных. Отслеживается разность между PTS видеоданных и PTS аудиоданных. Абсолютное значение разности сравнивается с заданным пороговым значением, и когда абсолютное значение превышает или равно пороговому значению, асинхронный режим воспроизведения принимается в качестве системного режима воспроизведения; иначе синхронный режим воспроизведения принимается в качестве системного режима воспроизведения. 2 н. и 8 з.п. ф-лы, 8 ил.

Description

Область техники изобретения
Настоящее изобретение относится к области технологии MPEG-2 (экспертной группы по киноизображению), а более конкретно к способу и устройству для обработки видео- и аудиоданных, принимаемых в системе декодирования, когда временная отметка программ (PCR) является недоступной.
Уровень техники
В MPEG-2 функции восстановления системного тактового генератора и синхронизации видео- и аудиоданных главным образом реализуются согласно временной отметке программ (PCR) и временным меткам представления (PTS) видео- и аудиоданных. PCR обычно задается в информации заголовка потока передачи и используется для того, чтобы восстанавливать системный таймер (STC) идентично стороне кодирования. PTS главным образом задается в информации заголовка пакетированного элементарного потока и используется для того, чтобы указывать время представления текущих данных.
В MPEG-2 указывается то, что PCR и PTS в потоке передачи являются дискретизированными значениями одного системного тактового генератора. На стороне декодирования локальный STC восстанавливается согласно захваченной PCR, чтобы выступать в качестве опорного сигнала для управления синхронизацией видео- и аудиоданных. Затем захваченная PTS определенного потока сравнивается с STC, и принимаемые данные обрабатываются согласно результату сравнения. Процесс конкретно включает в себя следующее.
(1) Если PTS > STC, определяется то, что данные не достигают времени представления, и данные должны быть буферизованы в буфере.
(2) Если PTS = STC, определяется то, что в настоящий момент данные должны представляться.
(3) Если PTS < STC, это указывает то, что данные истекают и должны быть отброшены.
Через предыдущий процесс видеоданные и аудиоданные синхронизируются с соответствующим STC, так что видеоданные и аудиоданные синхронно воспроизводятся.
В случае если PCR не может получаться в системе, приемное MPEG-2-устройство терминала обычно воспроизводит соответствующие данные посредством прямого принятия асинхронного режима воспроизведения.
Предшествующий уровень техники имеет следующую проблему: когда PCR не может получаться в системе, видео- и аудиосигналы воспроизводятся посредством прямого принятия асинхронного режима воспроизведения, т.е. видеоинформация и аудиоинформация не могут синхронно воспроизводиться, приводя к тому, что на эффект приема видеосигналов и аудиосигналов оказывается влияние.
Сущность изобретения
Варианты осуществления настоящего изобретения предоставляют способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования, которые допускают достижение синхронизации видеосигналов и аудиосигналов, когда PCR является недоступной в системе декодирования.
В варианте осуществления настоящее изобретение предоставляет способ для обработки видео- и аудиоданных, принимаемых в системе декодирования. Способ включает в себя следующие этапы:
Когда PCR является недоступной в системе, STC восстанавливается с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
STC сравнивается с PTS текущих захваченных видео- и аудиоданных, и определяется режим для обработки текущих захваченных видео- и аудиоданных.
В варианте осуществления настоящее изобретение дополнительно предоставляет устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования. Устройство включает в себя модуль STC-восстановления и модуль обработки данных.
Модуль STC-восстановления выполнен с возможностью восстанавливать STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных, когда PCR является недоступной в системе.
Модуль обработки данных выполнен с возможностью сравнивать STC, полученный посредством модуля STC-восстановления, с PTS текущих захваченных видео- и аудиоданных и определять режим для обработки текущих захваченных видео- и аудиоданных согласно результату сравнения.
Из технического решения настоящего изобретения можно видеть то, что посредством принятия технического решения настоящего изобретения, когда PCR является недоступной в системе, и PTS видео- и аудиосигналов являются нормальными, видео- и аудиосигналы синхронизируются нормально; даже если PTS видео- и аудиосигналов являются анормальными, синхронизация видео- и аудиосигналов значительно улучшается, так что синхронизация преимущественно поддерживается.
Краткое описание чертежей
Чтобы сделать техническое решение согласно настоящему изобретению более понятным, прилагаемые чертежи для иллюстрации вариантов осуществления настоящего изобретения или предшествующего уровня техники описываются ниже. Очевидно, что прилагаемые чертежи служат только для примерной цели, и специалисты в данной области техники могут извлекать другие чертежи из таких прилагаемых чертежей без творческих усилий.
Фиг.1 является блок-схемой последовательности операций способа обработки данных в способе согласно варианту осуществления настоящего изобретения;
Фиг.2 является блок-схемой последовательности операций способа переключения режимов в способе согласно варианту осуществления настоящего изобретения;
Фиг.3A является первым схематическим структурным видом устройства согласно варианту осуществления настоящего изобретения;
Фиг.3B является вторым схематическим структурным видом устройства согласно варианту осуществления настоящего изобретения;
Фиг.3C является третьим схематическим структурным видом устройства согласно варианту осуществления настоящего изобретения;
Фиг.4 является функциональной схемой способа согласно варианту осуществления настоящего изобретения, когда γ=0;
Фиг.5 является функциональной схемой способа согласно варианту осуществления настоящего изобретения, когда γ=1; и
Фиг.6 является функциональной схемой способа согласно варианту осуществления настоящего изобретения, когда γ=0-1.
Подробное описание вариантов осуществления
Следующее подробное описание направлено на техническое решение настоящего изобретения со ссылкой на прилагаемые чертежи. Тем не менее, варианты осуществления, которые должны быть описаны, являются только некоторыми вариантами осуществления настоящего изобретения. Специалисты в данной области техники могут извлекать другие варианты осуществления из вариантов осуществления, представленных в данном документе, без творческих усилий, и все такие варианты осуществления охватываются объемом защиты настоящего изобретения.
В варианте осуществления настоящее изобретение предоставляет способ для обработки видео- и аудиоданных, принимаемых в системе декодирования, который включает в себя следующие этапы. Когда PCR является недоступной в системе, STC восстанавливается с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных. STC сравнивается с PTS текущих захваченных видео- и аудиоданных, чтобы определять режим для обработки текущих захваченных видео- и аудиоданных.
Дополнительно, после того, как режим для обработки текущих захваченных видео- и аудиоданных определяется, отслеживается разность между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться. Абсолютное значение разности сравнивается с заданным пороговым значением, и асинхронный режим воспроизведения принимается в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению; синхронный режим воспроизведения принимается в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения.
Для простоты понимания вариантов осуществления настоящего изобретения соответствующие варианты осуществления заявки подробно описываются ниже со ссылкой на прилагаемые чертежи.
В способе для обработки видео- и аудиоданных, принимаемых в системе декодирования согласно варианту осуществления настоящего изобретения, процесс обработки данных показан на фиг.1.
Этап S101: Когда PCR является недоступной в системе, восстановление STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
Поскольку аудиоданные имеют более стабильную скорость передачи битов, чем данные, STC может восстанавливаться с использованием PTS аудио в варианте осуществления настоящего изобретения.
Способ для восстановления STC с использованием результата линейной комбинации PTS видеоданных и PTS аудиоданных включает в себя вычисление значения результата линейной комбинации согласно формуле и восстановление STC с использованием значения результата линейной комбинации. Формула для вычисления результата PTS' линейной комбинации PTS видеоданных и PTS аудиоданных следующая:
PTS'=γ*vPTS+(1-γ)*aPTS (1),
- где vPTS - это PTS видеоданных, aPTS - это PTS аудиоданных, и γ - это линейный коэффициент, и γ∈[0,1]. PTS' используется для того, чтобы восстанавливать STC.
Этап S102: Сравнение STC с PTS текущих захваченных видео- и аудиоданных и определение режима для обработки текущих захваченных видео- и аудиоданных.
Результат сравнения следующий:
После того, как STC сравнивается с PTS текущих захваченных видео- и аудиоданных, если PTS текущих захваченных видео- и аудиоданных превышает STC, это указывает то, что текущие захваченные данные не достигают времени воспроизведения, и этап S103 выполняется; если PTS текущих захваченных видео- и аудиоданных меньше STC, это указывает то, что текущие захваченные видео- и аудиоданные истекают, и этап S105 выполняется; а когда PTS текущих захваченных видео- и аудиоданных равны STC, этап S104 выполняется.
Этап S103: Буферизация текущих захваченных видео- и аудиоданных.
Этап S104: Определение данных, которые должны воспроизводиться.
Этап S105: Отбрасывание текущих захваченных данных.
Во время предыдущего процесса цель сравнения STC с PTS видеоданных и PTS аудиоданных состоит в том, чтобы управлять состоянием текущих данных и временем представления текущих данных.
В способе для обработки видео- и аудиоданных, принимаемых в системе декодирования согласно варианту осуществления настоящего изобретения, процесс переключения системного режима воспроизведения такой, как показано на фиг.2. Способ включает в себя следующие этапы:
Этап S201: Отслеживание разности между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться.
Этап S202: Сравнение абсолютного значения разности с заданным пороговым значением. Принятие асинхронного режима воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению, т.е. выполнение этапа S203. Принятие синхронного режима воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения, т.е. выполнение этапа S204.
Пороговое значение L задается согласно размерам буферов, выделяемых видеопотоку и аудиопотоку, и скоростям передачи битов видео- и аудиопотоков, и формула для вычисления следующая:
L=α*[(1-γ)*vC/vR+γ*aC/aR]*T (2),
- где α - это коэффициент допуска, имеющий диапазон значений [0,1], и предлагается, что значение α равно 0,5, γ соответствует γ формулы (1), vC - это размер буфера видеопотока, vR - это скорость передачи битов видеопотока, aC - это размер буфера аудиопотока, aR - это скорость передачи битов аудиопотока, и T - это константа, имеющая значение 90 и являющаяся тактом каждой миллисекунды PTS.
Этап S203: Принятие асинхронного режима воспроизведения в качестве системного режима воспроизведения.
Этап S204: Принятие синхронного режима воспроизведения в качестве системного режима воспроизведения.
После того, как синхронный режим воспроизведения принимается в качестве системного режима воспроизведения, STC корректируется с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
Этап S205: Отслеживание разности между PTS видеоданных и PTS аудиоданных после того, как система принимает асинхронный режим воспроизведения (этап S203). Переключение системы на синхронный режим воспроизведения, когда абсолютное значение разности меньше порогового значения, и заданное время достигнуто; выполнение этапа S206, когда абсолютное значение разности превышает или равно пороговому значению, и заданное время не достигнуто.
После того, как система переключается на асинхронный режим воспроизведения, STC более не сравнивается с PTS видеоданных и PTS аудиоданных, чтобы управлять состоянием обработки текущих данных и временем представления текущих данных.
Заданное время варьируется от 10 до 60 секунд.
Этап S206: Поддержание текущего режима воспроизведения, когда абсолютное значение разности меньше порогового значения, но заданное время не достигнуто.
Следует отметить, что этап S205 и этап S206 также могут заключаться в следующем: после того, как синхронный режим воспроизведения принимается в качестве системного режима воспроизведения, система переключается на асинхронный режим воспроизведения, когда отслеживается то, что абсолютное значение разности превышает пороговое значение, и заданное время достигнуто; система поддерживается в текущем синхронном режиме воспроизведения, когда отслеживается то, что абсолютное значение разности меньше или равно пороговому значению, и заданное время не достигнуто.
В варианте осуществления настоящее изобретение предоставляет устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования (ссылаясь на фиг.3A). Устройство включает в себя модуль S11 STC-восстановления и модуль S12 обработки данных.
Модуль S11 STC-восстановления выполнен с возможностью восстанавливать STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных, когда PCR является недоступной в системе.
Модуль S12 обработки данных выполнен с возможностью сравнивать STC с PTS текущих захваченных видео- и аудиоданных, определять режим для обработки текущих захваченных видео- и аудиоданных согласно результату сравнения.
Что касается фиг.3B, модуль S12 обработки данных включает в себя субмодуль S121 сравнения и субмодуль S122 выполнения обработки данных.
Субмодуль S121 сравнения выполнен с возможностью сравнивать STC, полученный посредством модуля STC-восстановления, с PTS видеоданных и PTS аудиоданных.
Субмодуль S122 выполнения обработки данных выполнен с возможностью, согласно результату сравнения субмодуля сравнения, отбрасывать текущие захваченные видео- и аудиоданные, когда STC превышает PTS текущих захваченных видео- или аудиоданных; буферизовать текущие захваченные данные, когда STC меньше PTS текущих захваченных видео- или аудиоданных; и определять данные, которые должны воспроизводиться, когда STC равен PTS текущих захваченных видео- или аудиоданных.
Дополнительно, ссылаясь на фиг.3B, устройство согласно настоящему изобретению дополнительно может включать в себя модуль S13 мониторинга и модуль S14 определения режима воспроизведения.
Модуль S13 мониторинга выполнен с возможностью отслеживать разность между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться, после того, как режим для обработки текущих захваченных видео- и аудиоданных определяется.
Модуль S14 определения режима воспроизведения выполнен с возможностью сравнивать абсолютное значение разности с заданным пороговым значением, принимать асинхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению, и принимать синхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения.
Что касается фиг.3B, устройство согласно настоящему изобретению дополнительно может включать в себя модуль S15 переключения режимов, выполненный с возможностью переключать системный режим воспроизведения на синхронный режим воспроизведения после того, как модуль определения режима воспроизведения определяет принять асинхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности меньше порогового значения, и заданное время достигнуто; поддерживать систему в текущем асинхронном режиме воспроизведения после того, как модуль определения режима воспроизведения определяет принять асинхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности превышает или равно пороговому значению, и заданное время не достигнуто.
Альтернативно, ссылаясь на фиг.3C, устройство согласно настоящему изобретению дополнительно включает в себя второй модуль S16 переключения режимов, выполненный с возможностью переключать систему на асинхронный режим воспроизведения после того, как модуль определения режима воспроизведения определяет принять синхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности превышает пороговое значение, и заданное время достигнуто; поддерживать систему в текущем синхронном режиме воспроизведения после того, как модуль определения режима воспроизведения определяет принять синхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности меньше или равно пороговому значению, и заданное время не достигнуто.
Для простоты понимания вариантов осуществления настоящего изобретения соответствующие варианты осуществления заявки подробно описываются ниже со ссылкой на прилагаемые чертежи.
В формуле (1) и формуле (2), γ - это линейный коэффициент, конкретное значение γ определяется оператором согласно опыту использования, и способ для выбора значения γ следующий.
Когда γ=1, это указывает то, что STC восстанавливается с использованием PTS видеопотока.
Когда γ=0, это указывает то, что STC восстанавливается с использованием PTS аудиопотока.
Когда γ∈(0,1), это указывает то, что STC восстанавливается с использованием результата PTS' линейной комбинации PTS видеопотока и PTS аудиопотока.
vPTS представляет PTS видеопотока, а aPTS представляет PTS аудиопотока.
Конкретные решения по реализации, соответствующие трем различным значениям γ, подробно описываются ниже в отношении системного процесса согласно вариантам осуществления настоящего изобретения.
1) Когда γ=0 (ссылаясь на фиг.4), STC восстанавливается с использованием PTS аудиопотока, и процедура реализации следующая.
После того, как поток передачи проходит через демультиплексор, видеопоток и аудиопоток разделяются, и когда программа не имеет PCR, PTS аудиопотока анализируется, и локальный STC восстанавливается с использованием PTS.
После того, как данные в видеопотоке поступают, их PTS анализируется, и затем PTS текущего захваченного видеопотока сравнивается с восстановленным STC, и текущий режим обработки данных согласно результату сравнения определяется. Можно видеть, что когда PTS аудио сравнивается с STC, это эквивалентно тому, чтобы сравнивать с собой, и если PTS видеопотока превышает STC, данные буферизуются; если PTS видеопотока меньше STC, данные отбрасываются; и если PTS видеопотока равна STC, данные, которые должны воспроизводиться, определяются.
В данных, которые должны воспроизводиться, абсолютное значение разности между PTS видеопотока и PTS аудиопотока отслеживается, и разность между PTS видеопотока и PTS аудиопотока сравнивается. Если абсолютное значение разности превышает или равно L, указывая, что видеопоток не может синхронизироваться с аудиопотоком, режим воспроизведения переключается на асинхронный режим воспроизведения. В это время PTS видеопотока и аудиопотока более не сравниваются с STC, чтобы управлять текущим режимом обработки данных. Тем не менее, поскольку предыдущий режим воспроизведения - это синхронный режим воспроизведения, синхронизация может преимущественно поддерживаться в рамках периода времени после того, как режим переключается на асинхронный режим. Если абсолютное значение разности меньше L, STC корректируется с использованием PTS аудио.
После того, как режим переключается на асинхронный режим, разность между PTS видеопотока и PTS аудиопотока продолжает отслеживаться, и если абсолютное значение разности остается меньшим L в течение заданного времени (например, 30 секунд), указывая, что видеопоток снова является синхронным с аудиопотоком, режим переключается на синхронный режим воспроизведения.
2) Когда γ=1 (ссылаясь на фиг.5), STC восстанавливается с использованием PTS видеопотока, и процедура реализации следующая.
После того, как поток передачи проходит через демультиплексор, видеопоток и аудиопоток разделяются, и когда программа не имеет PCR, PTS видеопотока анализируется, и локальный STC восстанавливается с использованием PTS.
После того, как данные в аудиопотоке поступают, PTS текущего захваченного аудиопотока сравнивается с восстановленным STC, и текущий режим обработки данных согласно результату сравнения определяется. Когда PTS видеопотока сравнивается с STC, это эквивалентно тому, чтобы сравнивать с собой, и если PTS аудиопотока превышает STC, данные буферизуются; если PTS аудиопотока меньше STC, данные отбрасываются; и если PTS аудиопотока равна STC, данные, которые должны воспроизводиться, определяются.
В данных, которые должны воспроизводиться, абсолютное значение разности между PTS видеопотока и PTS аудиопотока отслеживается, и разность между PTS видеопотока и PTS аудиопотока сравнивается. Если абсолютное значение разности превышает или равно L, указывая, что видеопоток не может синхронизироваться с аудиопотоком, режим воспроизведения переключается на асинхронный режим воспроизведения. В таком случае PTS видеопотока и аудиопотока более не сравниваются с STC, чтобы управлять текущим режимом обработки данных. Тем не менее, поскольку предыдущий режим воспроизведения - это синхронный режим воспроизведения, синхронизация может преимущественно поддерживаться в рамках периода времени после того, как режим переключается на асинхронный режим. Если абсолютное значение разности меньше L, STC корректируется с использованием PTS аудио.
После того, как режим переключается на асинхронный режим, разность между PTS видеопотока и PTS аудиопотока продолжает отслеживаться, и если абсолютное значение разности остается меньшим L в течение заданного времени (например, 30 секунд), указывая, что видеопоток снова является синхронным с аудиопотоком, режим переключается на синхронный режим воспроизведения.
3) Когда γ между 0 и 1 (ссылаясь на фиг.6), STC восстанавливается с использованием результата PTS' линейной комбинации PTS видеопотока и PTS аудиопотока.
После того, как поток передачи проходит через демультиплексор, видеопоток и аудиопоток разделяются, и когда программа не имеет PCR, во-первых, результат PTS' линейной комбинации PTS видеопотока и PTS аудиопотока вычисляется, чтобы восстанавливать STC. После того, как данные в аудиопотоке и видеопотоке поступают, PTS видеопотока и PTS аудиопотока сравниваются с восстановленным STC, чтобы управлять текущим режимом обработки данных. Когда PTS видеопотока и PTS аудиопотока равны STC, данные, которые должны воспроизводиться, определяются. Между тем, абсолютное значение разности между PTS видеопотока и PTS аудиопотока в данных, которые должны воспроизводиться, отслеживается, и разность между PTS видеопотока и PTS аудиопотока сравнивается. Если абсолютное значение разности превышает или равно L, система переключается на асинхронный режим воспроизведения. В это время PTS видеопотока и аудиопотока более не сравниваются с STC, чтобы управлять текущим режимом обработки данных. Если абсолютное значение разности меньше L, STC корректируется с использованием результата PTS' линейной комбинации, и текущий синхронный режим воспроизведения поддерживается.
После того, как система переключается на асинхронный режим, разность между PTS видеопотока и PTS аудиопотока продолжает отслеживаться, и если абсолютное значение разности меньше порогового значения L (но заданное время не достигнуто), система поддерживается в асинхронном режиме воспроизведения; и если абсолютное значение различного значения остается меньшим L в течение заданного времени (например, 30 секунд), указывая, что видеопоток снова является синхронным с аудиопотоком, система переключается на синхронный режим воспроизведения.
В синхронном режиме синхронизация реализуется в максимально возможной степени с использованием буферизованных данных видеобуфера и аудиобуфера, и недостаток заключается в том, что восстановление STC требует динамического вычисления PTS', что добавляет сложность.
Специалисты в данной области техники могут понимать, что все или часть этапов способа согласно вариантам осуществления настоящего изобретения могут быть реализованы посредством программы, выдающей инструкции релевантным аппаратным средствам. Программа может сохраняться на машиночитаемом носителе хранения данных. Когда программа выполняется, этапы способа согласно вариантам осуществления настоящего изобретения выполняются. Носителем хранения данных может быть магнитный диск, постоянное запоминающее устройство на компакт-дисках (CD-ROM), постоянное запоминающее устройство (ROM) или оперативное запоминающее устройство (RAM).
В заключение, выше приведены просто примерные варианты осуществления настоящего изобретения. Тем не менее, объем настоящего изобретения не ограничен этим. Изменения или замены, легко очевидные для специалистов в данной области техники в рамках технического объема настоящего изобретения, должны находиться в рамках объема настоящего изобретения. Следовательно, объем защиты настоящего изобретения ограничен прилагаемой формулой изобретения.

Claims (10)

1. Способ обработки видео- и аудиоданных, принимаемых в системе декодирования, содержащий этапы, на которых
восстанавливают системный таймер (STC) с использованием временной метки представления (PTS) видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных, когда временная отметка программ (PCR) является недоступной в системе;
сравнивают STC с PTS текущих захваченных видео- и аудиоданных;
определяют режим для обработки текущих захваченных видео- и аудиоданных согласно результату сравнения.
2. Способ по п.1, в котором после определения режима для обработки текущих захваченных видео- и аудиоданных способ содержит этапы, на которых отслеживают разность между PTS видеоданных и PTS аудиоданных; сравнивают абсолютное значение разности с заданным пороговым значением, и принимают асинхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению; принимают синхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения.
3. Способ по п.2, в котором восстановление STC с использованием результата линейной комбинации PTS видеоданных и PTS аудио содержит этап, на котором вычисляют значение результата линейной комбинации согласно формуле и восстанавливают STC с использованием значения результата линейной комбинации, при этом формула для вычисления результата PTS' линейной комбинации PTS видеоданных и PTS аудиоданных следующая:
PTS'=γ·vPTS+(1-γ)·aPTS;
vPTS - это PTS видеоданных, aPTS - это PTS аудиоданных, и γ - это линейный коэффициент, имеющий диапазон значений [0, 1].
4. Способ по п.2, в котором после принятия синхронного режима воспроизведения в качестве системного режима воспроизведения способ дополнительно содержит этап, на котором корректируют STC с использованием PTS видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных.
5. Способ по п.2, дополнительно содержащий этапы, на которых после принятия асинхронного режима воспроизведения в качестве системного режима воспроизведения переключают систему на синхронный режим воспроизведения, когда отслеживают, что абсолютное значение разности меньше порогового значения, и заданное время достигнуто; поддерживают систему в текущем асинхронном режиме воспроизведения, когда отслеживают, что абсолютное значение разности превышает или равно пороговому значению, и заданное время не достигнуто; или после принятия синхронного режима воспроизведения в качестве системного режима воспроизведения переключают систему на асинхронный режим воспроизведения, когда отслеживают, что абсолютное значение разности превышает пороговое значение, и заданное время достигнуто; поддерживают систему в текущем синхронном режиме воспроизведения, когда отслеживают, что абсолютное значение разности меньше или равно пороговому значению, и заданное время не достигнуто.
6. Способ по п.2, в котором формула для вычисления порогового значения следующая:
пороговое значение = α·[(1-γ)·vC/vR+γ·aC/aR]·T,
α - это коэффициент допуска, имеющий диапазон значений [0, 1], γ - линейный коэффициент, имеющий диапазон значений [0, 1], vC - размер буфера видеопотока, vR - скорость передачи битов видеопотока; аС - размер буфера аудиопотока; aR - скорость передачи битов аудиопотока; Т - постоянное значение, являющееся тактом каждой миллисекунды PTS.
7. Устройство обработки видео- и аудиоданных, принимаемых в системе декодирования, содержащее модуль восстановления системного таймера (STC) и модуль обработки данных, в котором
модуль STC-восстановления выполнен с возможностью восстанавливать STC с использованием временной метки представления (PTS) видео- или аудиоданных или результата линейной комбинации PTS видеоданных и PTS аудиоданных, когда временная отметка программ (PCR) является недоступной в системе;
модуль обработки данных выполнен с возможностью сравнивать STC, полученный модулем STC-восстановления, с PTS текущих захваченных видео- и аудиоданных, и определять режим для обработки текущих захваченных видео- и аудиоданных согласно результату сравнения.
8. Устройство по п.7, в котором модуль обработки данных содержит субмодуль сравнения, выполненный с возможностью сравнивать STC, полученный модулем STC-восстановления, с PTS текущих захваченных видео- и аудиоданных; и субмодуль выполнения обработки данных, выполненный с возможностью, согласно результату сравнения субмодуля сравнения, отбрасывать данные, когда STC превышает PTS текущих захваченных видео- или аудиоданных; буферизовать данные, когда STC меньше PTS текущих захваченных видео- или аудиоданных; и определять данные, которые должны воспроизводиться, когда STC равен PTS текущих захваченных видео- или аудиоданных.
9. Устройство по п.7 или 8, дополнительно содержащее модуль мониторинга и модуль определения режима воспроизведения, в котором модуль мониторинга выполнен с возможностью отслеживать разность между PTS видеоданных и PTS аудиоданных в данных, которые должны воспроизводиться, после того, как определяется режим для обработки текущих захваченных видео- и аудиоданных; и
модуль определения режима воспроизведения выполнен с возможностью сравнивать абсолютное значение разности, отслеживаемой модулем мониторинга, с заданным пороговым значением, и принимать асинхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение превышает или равно пороговому значению; принимать синхронный режим воспроизведения в качестве системного режима воспроизведения, когда абсолютное значение меньше порогового значения.
10. Устройство по п.9, дополнительно содержащее модуль переключения режимов, выполненный с возможностью переключать системный режим воспроизведения на синхронный режим воспроизведения после того, как модуль определения режима воспроизведения определяет принять асинхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности меньше порогового значения, и заданное время достигнуто; поддерживать систему в текущем режиме воспроизведения после того, как модуль определения режима воспроизведения определяет принять асинхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности превышает или равно пороговому значению, и заданное время не достигнуто; или второй модуль переключения режимов, выполненный с возможностью переключать систему на асинхронный режим воспроизведения после того, как модуль определения режима воспроизведения определяет принять синхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности превышает пороговое значение, и заданное время достигнуто; поддерживать систему в текущем режиме воспроизведения после того, как модуль определения режима воспроизведения определяет принять синхронный режим воспроизведения в качестве системного режима воспроизведения, и когда модуль мониторинга отслеживает, что абсолютное значение разности меньше или равно пороговому значению, и заданное время не достигнуто.
RU2011106330/07A 2008-08-11 2009-07-31 Способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования RU2483470C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200810118095.1 2008-07-11
CN2008101180951A CN101340591B (zh) 2008-08-11 2008-08-11 解码系统中接收视音频数据的处理方法及装置
PCT/CN2009/073017 WO2010017742A1 (zh) 2008-08-11 2009-07-31 解码系统中接收视音频数据的处理方法及装置

Publications (2)

Publication Number Publication Date
RU2011106330A RU2011106330A (ru) 2012-09-20
RU2483470C2 true RU2483470C2 (ru) 2013-05-27

Family

ID=40214522

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011106330/07A RU2483470C2 (ru) 2008-08-11 2009-07-31 Способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования

Country Status (6)

Country Link
US (1) US8582947B2 (ru)
EP (1) EP2306736B1 (ru)
CN (1) CN101340591B (ru)
BR (1) BRPI0917945B1 (ru)
RU (1) RU2483470C2 (ru)
WO (1) WO2010017742A1 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340591B (zh) * 2008-08-11 2011-04-06 华为终端有限公司 解码系统中接收视音频数据的处理方法及装置
US8767840B2 (en) * 2009-02-11 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Method for detecting errors and recovering video data
KR20110037590A (ko) * 2009-10-07 2011-04-13 삼성전자주식회사 Ｐ２ｐ 네트워크 시스템 및 그 데이터 송수신 방법
CN102761724B (zh) * 2011-12-16 2017-11-10 新奥特（北京）视频技术有限公司 一种视音频处理的方法
CN103747316B (zh) * 2013-12-23 2018-04-06 乐视致新电子科技（天津）有限公司 一种音视频同步方法和电子设备
CN104780422B (zh) * 2014-01-13 2018-02-16 北京兆维电子(集团)有限责任公司 流媒体播放方法及流媒体播放器
EP2945393A4 (en) * 2014-01-20 2016-06-22 Panasonic Ip Man Co Ltd DEVICE AND METHOD FOR REPRODUCING DATA
CN104954727B (zh) * 2014-03-25 2018-08-07 南宁富桂精密工业有限公司 音视频同步控制设备及方法
CN106658065B (zh) * 2015-10-30 2021-10-22 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106375824B (zh) * 2016-10-08 2018-05-18 广东欧珀移动通信有限公司 一种时钟调节方法、装置、终端及多媒体同步播放系统
CN112887772A (zh) * 2017-03-14 2021-06-01 上海兆芯集成电路有限公司 影音串流的音频同步方法
CN109729404B (zh) * 2019-01-15 2021-06-04 晶晨半导体(上海)股份有限公司 一种基于嵌入式的播放器的同步调制方法
CN110753202B (zh) * 2019-10-30 2021-11-30 广州河东科技有限公司 可视对讲系统的音视频同步方法、装置、设备及存储介质
US11627468B2 (en) * 2020-02-03 2023-04-11 Dell Products L.P. Connecting securely to a wireless display from BIOS
CN112153443B (zh) * 2020-09-01 2022-02-22 青岛海信传媒网络技术有限公司 Pts获取方法和显示设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1071290A2 (en) * 1999-07-21 2001-01-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
US6339675B1 (en) * 1997-03-19 2002-01-15 Sony Corporation Synchronization lag control apparatus and method
EP1289306A2 (en) * 2001-08-31 2003-03-05 STMicroelectronics, Inc. Apparatus and method for synchronizing video and audio mpeg streams in a video playback device
EP1615433A1 (en) * 2003-03-19 2006-01-11 Matsushita Electric Industrial Co., Ltd. Data processing device
CN101047842A (zh) * 2006-03-27 2007-10-03 中兴通讯股份有限公司 无线二进制运行环境手机播放流媒体音视频的方法
US20070280301A1 (en) * 2006-05-31 2007-12-06 Yuusuke Yamanaka Stream data processing apparatus and stream data processing method
US20080008100A1 (en) * 2004-05-28 2008-01-10 Matsushita Electric Industrial Co., Ltd. Transport Stream Processing Device and Transport Stream Processing Method
RU2006132346A (ru) * 2004-02-10 2008-03-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) Носитель записи, имеющий структуру данных для управления различными данными, и способ и устройство записи и воспроизведения
RU2006133641A (ru) * 2004-02-21 2008-03-27 Самсунг Электроникс Ко. Информационный запоминающий носитель, содержащий записанные на нем данные текстовых субтитров, синхронизированные с аудиовизуальными данными, и способ и устройство для его воспроизведения

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771075A (en) * 1994-12-08 1998-06-23 Lg Electronics Inc. Audio/video synchronizer
KR0152916B1 (ko) * 1995-04-11 1998-10-15 문정환 데이타 동기화장치 및 방법
JP4380930B2 (ja) * 2001-03-19 2009-12-09 株式会社東芝 オーディオ・ビデオ復号再生装置とその同期再生方法
CN1436001A (zh) 2002-01-28 2003-08-13 北京华诺信息技术有限公司 解码系统中实现视频与音频同步的方法
US6907316B2 (en) * 2002-06-20 2005-06-14 Graphic Management Associates, Inc. Insert machine
KR100619034B1 (ko) 2004-06-19 2006-08-31 삼성전자주식회사 디지털 멀티미디어 데이터 수신기에서 송수신 데이터 동기방법 및 장치
JP4380598B2 (ja) * 2005-06-16 2009-12-09 株式会社日立製作所 受信装置及び受信方法
US7643513B2 (en) * 2005-11-30 2010-01-05 Broadcom Corporation Method and system for audio and video transport
KR101246916B1 (ko) * 2006-04-21 2013-03-25 삼성전자주식회사 오디오/비디오 동기 보정 방법 및 장치
CN101340591B (zh) 2008-08-11 2011-04-06 华为终端有限公司 解码系统中接收视音频数据的处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339675B1 (en) * 1997-03-19 2002-01-15 Sony Corporation Synchronization lag control apparatus and method
EP1071290A2 (en) * 1999-07-21 2001-01-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
EP1289306A2 (en) * 2001-08-31 2003-03-05 STMicroelectronics, Inc. Apparatus and method for synchronizing video and audio mpeg streams in a video playback device
EP1615433A1 (en) * 2003-03-19 2006-01-11 Matsushita Electric Industrial Co., Ltd. Data processing device
RU2006132346A (ru) * 2004-02-10 2008-03-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) Носитель записи, имеющий структуру данных для управления различными данными, и способ и устройство записи и воспроизведения
RU2006133641A (ru) * 2004-02-21 2008-03-27 Самсунг Электроникс Ко. Информационный запоминающий носитель, содержащий записанные на нем данные текстовых субтитров, синхронизированные с аудиовизуальными данными, и способ и устройство для его воспроизведения
US20080008100A1 (en) * 2004-05-28 2008-01-10 Matsushita Electric Industrial Co., Ltd. Transport Stream Processing Device and Transport Stream Processing Method
CN101047842A (zh) * 2006-03-27 2007-10-03 中兴通讯股份有限公司 无线二进制运行环境手机播放流媒体音视频的方法
US20070280301A1 (en) * 2006-05-31 2007-12-06 Yuusuke Yamanaka Stream data processing apparatus and stream data processing method

Also Published As

Publication number Publication date
BRPI0917945A2 (pt) 2015-11-17
EP2306736A4 (en) 2011-09-28
RU2011106330A (ru) 2012-09-20
CN101340591B (zh) 2011-04-06
CN101340591A (zh) 2009-01-07
EP2306736B1 (en) 2015-05-27
US8582947B2 (en) 2013-11-12
WO2010017742A1 (zh) 2010-02-18
BRPI0917945B1 (pt) 2019-04-30
EP2306736A1 (en) 2011-04-06
US20110110651A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
RU2483470C2 (ru) Способ и устройство для обработки видео- и аудиоданных, принимаемых в системе декодирования
US7756233B2 (en) Data receiving device and data receiving method
US6078725A (en) Apparatus for a synchronized playback of audio-video signals
JP4793247B2 (ja) 記録装置、記録方法、再生装置及び再生方法
CA2219154C (en) An apparatus for a synchronized playback of audio-video signals
JP4983923B2 (ja) デコーダ装置、およびデコード方法
JP5059301B2 (ja) 同期再生装置および同期再生方法
JP2006186580A (ja) 再生装置およびデコード制御方法
JP2005505211A (ja) Ｍｐｅｇ−２トランスポートストリームの中のプログラムタイムベースを回復し、オーディオ／ビデオ同期を実現するロバストな方法
US20090046994A1 (en) Digital television broadcast recording and reproduction apparatus and reproduction method thereof
JP2014127762A (ja) 映像情報再生方法及びシステム
JP2001128171A (ja) 映像音声同期再生装置
JP2006254298A (ja) 動画再生装置及び動画再生方法
KR100864009B1 (ko) 오디오／비디오 동기화 방법
JP4866135B2 (ja) 画像処理装置及び画像処理方法
US6912352B2 (en) Digital data recording and reproducing system capable of detecting discontinuity of data
JP2002290384A (ja) デジタル放送番組送出システムの現用・予備切替装置
JPH1093841A (ja) 映像同期信号補正装置
JP5958008B2 (ja) ストリーム処理装置、ストリーム処理方法およびストリーム処理プログラム
JP4467826B2 (ja) デジタル放送番組送出システムの現用・予備切替装置
JP2005198203A (ja) 映像信号記録再生装置および方法
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP3671969B2 (ja) データ多重方法及び多重データ復号方法
JP2001016140A (ja) 線路切替装置
JP5139677B2 (ja) 再生装置およびタイミング制御方法

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20190219