RU2007148284A - Синхронизация звука и видео - Google Patents

Синхронизация звука и видео Download PDF

Info

Publication number
RU2007148284A
RU2007148284A RU2007148284/09A RU2007148284A RU2007148284A RU 2007148284 A RU2007148284 A RU 2007148284A RU 2007148284/09 A RU2007148284/09 A RU 2007148284/09A RU 2007148284 A RU2007148284 A RU 2007148284A RU 2007148284 A RU2007148284 A RU 2007148284A
Authority
RU
Russia
Prior art keywords
media components
media
stream
components
speech signal
Prior art date
Application number
RU2007148284/09A
Other languages
English (en)
Other versions
RU2408158C2 (ru
Inventor
Миска ХАННУКСЕЛА (FI)
Миска ХАННУКСЕЛА
Original Assignee
Нокиа Корпорейшн (Fi)
Нокиа Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Корпорейшн (Fi), Нокиа Корпорейшн filed Critical Нокиа Корпорейшн (Fi)
Publication of RU2007148284A publication Critical patent/RU2007148284A/ru
Application granted granted Critical
Publication of RU2408158C2 publication Critical patent/RU2408158C2/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

1. Способ обработки медиа-компонент, передаваемых в устройство, в котором по меньшей мере одну из медиа-компонент снабжают информацией о синхронизации, относящейся к другой из по меньшей мере двух медиа-компонент, посредством сокрытия данных. ! 2. Способ по п.1, в котором указанные медиа-компоненты являются медиа-компонентами в реальном времени. ! 3. Способ по п.1, в котором указанные по меньшей мере две медиа-компоненты должны передаваться при помощи более чем одного транспортного протокола для разных медиа-компонент. ! 4. Способ по п.1, в котором одна из медиа-компонент является потоком речевого сигнала. ! 5. Способ по п.1, в котором одна из медиа-компонент является видеопотоком. ! 6. Способ по п.3, в котором информацию о синхронизации скрывают в закодированном потоке речевого сигнала. ! 7. Способ по п.4, в котором по меньшей мере один из значимых битов одной из медиа-компонент, соответствующий отдельному кадру потока речевого сигнала, скрывают в наименее значимом бите указанного кадра. ! 8. Способ по п.5, в котором метку времени RTP другой медиа-компоненты используют как указанную информация о синхронизации. ! 9. Способ по п.1, в котором информацию о синхронизации извлекают из другой медиа-компоненты. ! 10. Способ по п.1, в котором указание скрытой информации о синхронизации передают от отправителя к получателю. ! 11. Способ проигрывания медиа-компонент в устройстве, принимающем указанные компоненты, в котором информацию о синхронизации, относящуюся к одной из медиа-компонент и скрытую по меньшей мере в одной из других медиа-компонент, восстанавливают из указанной по меньшей мере одной из других медиа-компонент и при помощи этой информа�

Claims (27)

1. Способ обработки медиа-компонент, передаваемых в устройство, в котором по меньшей мере одну из медиа-компонент снабжают информацией о синхронизации, относящейся к другой из по меньшей мере двух медиа-компонент, посредством сокрытия данных.
2. Способ по п.1, в котором указанные медиа-компоненты являются медиа-компонентами в реальном времени.
3. Способ по п.1, в котором указанные по меньшей мере две медиа-компоненты должны передаваться при помощи более чем одного транспортного протокола для разных медиа-компонент.
4. Способ по п.1, в котором одна из медиа-компонент является потоком речевого сигнала.
5. Способ по п.1, в котором одна из медиа-компонент является видеопотоком.
6. Способ по п.3, в котором информацию о синхронизации скрывают в закодированном потоке речевого сигнала.
7. Способ по п.4, в котором по меньшей мере один из значимых битов одной из медиа-компонент, соответствующий отдельному кадру потока речевого сигнала, скрывают в наименее значимом бите указанного кадра.
8. Способ по п.5, в котором метку времени RTP другой медиа-компоненты используют как указанную информация о синхронизации.
9. Способ по п.1, в котором информацию о синхронизации извлекают из другой медиа-компоненты.
10. Способ по п.1, в котором указание скрытой информации о синхронизации передают от отправителя к получателю.
11. Способ проигрывания медиа-компонент в устройстве, принимающем указанные компоненты, в котором информацию о синхронизации, относящуюся к одной из медиа-компонент и скрытую по меньшей мере в одной из других медиа-компонент, восстанавливают из указанной по меньшей мере одной из других медиа-компонент и при помощи этой информации о синхронизации по меньшей мере две медиа-компоненты синхронизируют для проигрывания.
12. Способ по п.11, в котором указанные медиа-компоненты являются медиа-компонентами в реальном времени.
13. Способ по п.11, в котором одна из медиа-компонент является потоком речевого сигнала.
14. Способ по п.11, в котором одна из медиа-компонент является видеопотоком.
15. Способ по п.13, в котором информацию о синхронизации восстанавливают из закодированного потока речевого сигнала.
16. Способ по п.13, дополненный следующими этапами:
буферизация потока речевого сигнала,
прием первого пакета другого медиа-потока,
формирование кандидатной метки времени из указанного потока речевого сигнала,
формирование последовательности меток времени, которая охватывает все буферизованные кадры потока речевого сигнала,
обнаружение одной или нескольких таких последовательностей меток времени, в которых значение метки времени монотонно убывает,
выбор такой последовательности меток времени, которая содержит кандидатную метку времени, наиболее близкую к метке времени RTP первого принятого пакета,
управление проигрыванием потока речевого сигнала и другой медиа-компоненты посредством анализа информации о синхронизации и меток времени RTP другой медиа-компоненты.
17. Способ по п.14, в котором информацию о синхронизации восстанавливают из видеопотока.
18. Способ по п.11, в котором информация о синхронизации является дополнительной улучшающей информацией (SEI).
19. Блок обработки для передающего устройства, включающий средства для снабжения по меньшей мере одной медиа-компоненты информацией о синхронизации, относящейся к другой медиа-компоненте, с использованием сокрытия данных.
20. Блок синхронизации медиа-компонент в приемном устройстве, включающий средства восстановления, из по меньшей мере одной медиа-компоненты, скрытой информации о синхронизации, относящейся к другой медиа-компоненте, при этом посредством указанной информации о синхронизации по меньшей мере две медиа-компоненты синхронизируются для проигрывания.
21. Блок по п.20, в котором одна из медиа-компонент является потоком речевого сигнала.
22. Блок по п.20, в котором одна из медиа-компонент является видеопотоком.
23. Блок по п.21, дополненный следующими возможностями:
буферизация потока речевого сигнала,
прием первого пакета другого медиа-потока,
формирование кандидатной метки времени из указанного потока речевого сигнала,
формирование последовательности меток времени, которая охватывает все буферизованные кадры потока речевого сигнала,
обнаружение одной или нескольких таких последовательностей меток времени, в которых значение метки времени монотонно убывает,
выбор такой последовательности меток времени, которая содержит кандидатную метку времени, наиболее близкую к метке времени RTP первого принятого пакета,
управление проигрыванием потока речевого сигнала и других медиа-компонент посредством анализа информации о синхронизации и меток времени RTP другой медиа-компоненты.
24. Передающее устройство, содержащее блок по п.19.
25. Приемное устройство, содержащее блок по п.20.
26. Компьютерный программный продукт для обработки медиа-компонент в устройстве, содержащий средства кода, записанные на читаемый носитель и исполняемые процессором для осуществления способа по п.1.
27. Компьютерный программный продукт для синхронизации медиа-компонент в устройстве, содержащий средства кода, записанные на читаемый носитель и исполняемые процессором для осуществления способа по п.11.
RU2007148284/09A 2005-06-30 2006-06-28 Синхронизация звука и видео RU2408158C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/174,292 2005-06-30
US11/174,292 US7843974B2 (en) 2005-06-30 2005-06-30 Audio and video synchronization

Publications (2)

Publication Number Publication Date
RU2007148284A true RU2007148284A (ru) 2009-08-10
RU2408158C2 RU2408158C2 (ru) 2010-12-27

Family

ID=37589463

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2007148284/09A RU2408158C2 (ru) 2005-06-30 2006-06-28 Синхронизация звука и видео

Country Status (4)

Country Link
US (1) US7843974B2 (ru)
EP (1) EP1897373A4 (ru)
RU (1) RU2408158C2 (ru)
WO (1) WO2007003701A1 (ru)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8994879B2 (en) * 2005-10-21 2015-03-31 Thomson Licensing Method and apparatus for audio and video synchronization timestamp rollover correction
US7822073B2 (en) * 2005-11-03 2010-10-26 George Mason Intellectual Properties, Inc. Packet flow side channel
US8465183B2 (en) * 2005-12-14 2013-06-18 Koninklijke Philips Electronics N.V. Lighting device and method for manufacturing same
US20070197227A1 (en) * 2006-02-23 2007-08-23 Aylus Networks, Inc. System and method for enabling combinational services in wireless networks by using a service delivery platform
US9026117B2 (en) 2006-05-16 2015-05-05 Aylus Networks, Inc. Systems and methods for real-time cellular-to-internet video transfer
US8432899B2 (en) 2007-02-22 2013-04-30 Aylus Networks, Inc. Systems and methods for enabling IP signaling in wireless networks
US8730945B2 (en) * 2006-05-16 2014-05-20 Aylus Networks, Inc. Systems and methods for using a recipient handset as a remote screen
US8174558B2 (en) * 2007-04-30 2012-05-08 Hewlett-Packard Development Company, L.P. Automatically calibrating a video conference system
JP5334335B2 (ja) * 2007-07-02 2013-11-06 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナおよびメタデータコンテナを有するファイルを記憶および読み出すための装置および方法
CN101188525B (zh) * 2007-11-27 2011-10-26 成都市华为赛门铁克科技有限公司 一种语音流的处理方法及装置
WO2009071115A1 (en) * 2007-12-03 2009-06-11 Nokia Corporation A packet generator
WO2009099366A1 (en) * 2008-02-05 2009-08-13 Telefonaktiebolaget L M Ericsson (Publ) A method of transmitting sychnronized speech and video
JP2010028450A (ja) * 2008-07-18 2010-02-04 Nikon Corp データ転送装置および電子カメラ
KR101841313B1 (ko) * 2010-09-22 2018-03-22 톰슨 라이센싱 멀티미디어 흐름 처리 방법 및 대응하는 장치
KR101547809B1 (ko) * 2011-07-01 2015-08-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템
CN109168059B (zh) * 2018-10-17 2021-06-18 上海赛连信息科技有限公司 一种在不同设备上分别播放音频与视频的唇音同步方法
US11457266B2 (en) 2019-07-18 2022-09-27 Realtek Semiconductor Corporation Method for synchronizing audio and video and related apparatus
TWI721766B (zh) * 2020-01-30 2021-03-11 端點科技股份有限公司 影音同步判斷方法、系統與電腦儲存媒體
US20240001912A1 (en) 2020-05-20 2024-01-04 State Farm Mutual Automobile Insurance Company Analyzing insurance claims in light of detected conditions pertaining to a road segment
US11470201B2 (en) * 2020-07-30 2022-10-11 Dell Products L.P. Systems and methods for providing real time assistance to voice over internet protocol (VOIP) users
WO2022020934A1 (en) * 2020-07-31 2022-02-03 Hitsby Entertainment Inc. System and method of automated media asset sequencing in a media program
RU2759666C1 (ru) * 2021-02-19 2021-11-16 Общество с ограниченной ответственностью «ЯЛОС СТРИМ» Система воспроизведения аудио-видеоданных

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420801A (en) 1992-11-13 1995-05-30 International Business Machines Corporation System and method for synchronization of multimedia streams
US5471576A (en) * 1992-11-16 1995-11-28 International Business Machines Corporation Audio/video synchronization for application programs
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
JP3228708B2 (ja) * 1998-04-03 2001-11-12 パイオニア株式会社 伝送システムにおける受信インターフェース装置
JP3542557B2 (ja) 1998-05-20 2004-07-14 マクロビジョン・コーポレーション 特定の倍率及び不定なずれに対する透かし検知方法及びその態様
US6930620B2 (en) * 2002-01-15 2005-08-16 Microsoft Corporation Methods and systems for synchronizing data streams
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US20040207723A1 (en) * 2003-04-15 2004-10-21 Davis Jeffrey Alan UI remoting with synchronized out-of-band media
US7720250B2 (en) * 2005-05-23 2010-05-18 George Mason University Method and apparatus for watermarking stream data

Also Published As

Publication number Publication date
US7843974B2 (en) 2010-11-30
RU2408158C2 (ru) 2010-12-27
US20070002902A1 (en) 2007-01-04
EP1897373A4 (en) 2011-03-09
WO2007003701A1 (en) 2007-01-11
EP1897373A1 (en) 2008-03-12

Similar Documents

Publication Publication Date Title
RU2007148284A (ru) Синхронизация звука и видео
EP3398286B1 (en) Synchronizing playback of digital media content
US8620134B2 (en) Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams
US8130844B2 (en) Apparatus and method for synchronized playback
KR100916505B1 (ko) 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
JP2005084578A (ja) 演奏システム及び楽音映像再生装置
RU2008149526A (ru) Улучшения производительности для видеоконференции
JP5380862B2 (ja) Ｉｐストリーム送受信システム、ｉｐストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法
CN101902649A (zh) 一种基于h.264标准的音视频同步控制方法
RU2010122070A (ru) Носитель записи, устройство воспроизведения, устройство записи, способ воспроизведения и способ записи
CN100390772C (zh) 使漂移数据流重新同步的系统和方法
JP2006190213A (ja) メディア再生装置
WO2009133403A3 (en) Television system
KR100864009B1 (ko) 오디오／비디오 동기화 방법
JP2011146783A (ja) 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法
JP2002369163A (ja) マルチストリーム出力時刻制御方法及びその制御装置
JP2008252843A5 (ru)
WO2007072252A3 (en) Creation of 'trick-play' streams for plaintext, partially, or fully encrypted video streams
CN115914708A (zh) 媒体的音视频同步方法及系统、电子设备
JP4690965B2 (ja) データ記録再生装置
CN111131868B (zh) 基于播放器的视频录制方法及装置
JP4765475B2 (ja) 情報信号の処理装置および処理方法
JP2001069467A (ja) データ再生装置
GB2425671B (en) Encoding apparatus and method, recording apparatus and method, and decoding apparatus and method
TW200629169A (en) Real-time caption scrolling detecting apparatus and method thereof

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20130629