RU2016116958A - Способ и устройство для выполнения синхронизации мультимедийных данных - Google Patents

Способ и устройство для выполнения синхронизации мультимедийных данных Download PDF

Info

Publication number
RU2016116958A
RU2016116958A RU2016116958A RU2016116958A RU2016116958A RU 2016116958 A RU2016116958 A RU 2016116958A RU 2016116958 A RU2016116958 A RU 2016116958A RU 2016116958 A RU2016116958 A RU 2016116958A RU 2016116958 A RU2016116958 A RU 2016116958A
Authority
RU
Russia
Prior art keywords
multimedia file
output side
key frame
wireless
delay
Prior art date
Application number
RU2016116958A
Other languages
English (en)
Other versions
RU2648262C2 (ru
Inventor
Канси ТАНЬ
Юнчжи ВАН
Чжунхуэй ХУАН
Original Assignee
Сяоми Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сяоми Инк. filed Critical Сяоми Инк.
Publication of RU2016116958A publication Critical patent/RU2016116958A/ru
Application granted granted Critical
Publication of RU2648262C2 publication Critical patent/RU2648262C2/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Claims (38)

1. Способ выполнения синхронизации мультимедийных данных, включающий
извлечение первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;
динамический контроль задержки беспроводной передачи первого мультимедийного файла; и
адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода на основе контролируемой задержки беспроводной передачи первого мультимедийного файла для обеспечения синхронного воспроизведения первого мультимедийного файла и второго мультимедийного файла.
2. Способ по п. 1, в котором динамический контроль задержки беспроводной передачи первого мультимедийного файла включает
выбор ключевого кадра из первого мультимедийного файла;
передачу выбранного ключевого кадра на сторону беспроводного вывода согласно последовательности кадров и запись момента времени передачи ключевого кадра; и
прием момента времени приема ключевого кадра, отчет о котором передан со стороны беспроводного вывода, и вычисление задержки беспроводной передачи ключевого кадра на основе упомянутых момента времени приема и момента времени передачи, для динамического контроля задержки передачи первого мультимедийного файла.
3. Способ по п. 2, в котором выбор ключевого кадра из первого мультимедийного файла включает
выбор ключевого кадра из первого мультимедийного файла на основе заранее заданного интервала кадров.
4. Способ по п. 2, в котором в выбранный ключевой кадр заранее добавляют заранее заданную метку, при этом заранее заданная метка сконфигурирована для обеспечения передачи отчета, со стороны беспроводного вывода, о моменте времени приема ключевого кадра.
5. Способ по п. 2, в котором адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на основе контролируемой задержки беспроводной передачи первого мультимедийного файла включает
передачу второго мультимедийного файла с задержкой на сторону локального вывода на основе вычисленной задержки беспроводной передачи первого мультимедийного файла для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода.
6. Способ по п. 2, также включающий
периодическое выполнение тактовой синхронизации со стороной беспроводного вывода.
7. Устройство для выполнения синхронизации мультимедийных данных, включающее
модуль извлечения, сконфигурированный для извлечения первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;
модуль контроля, сконфигурированный для динамического контроля задержки беспроводной передачи первого мультимедийного файла; и
модуль регулирования, сконфигурированный для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода на основе задержки беспроводной передачи первого мультимедийного файла, контролируемой при помощи модуля контроля, с обеспечением синхронного воспроизведения первого мультимедийного файла и второго мультимедийного файла.
8. Устройство по п. 7, в котором модуль контроля включает
подмодуль выбора, сконфигурированный для выбора ключевого кадра из первого мультимедийного файла;
подмодуль передачи, сконфигурированный для передачи выбранного ключевого кадра на сторону беспроводного вывода согласно последовательности кадров, и для записи момента времени передачи ключевого кадра;
подмодуль приема, сконфигурированный для приема момента времени приема ключевого кадра, отчет о котором был передан со стороны беспроводного вывода; и
вычислительный подмодуль, сконфигурированный для вычисления задержки беспроводной передачи ключевого кадра на основе момента времени приема, принятого подмодулем приема, и упомянутого момента времени передачи, для динамического контроля задержки передачи первого мультимедийного файла.
9. Устройство по п. 8, в котором подмодуль выбора включает
блок выбора, сконфигурированный для выбора ключевого кадра из первого мультимедийного файла на основе заранее заданного интервала кадров.
10. Устройство по п. 8, в котором в выбранный ключевой кадр заранее добавляют заранее заданную метку, при этом заранее заданная метка сконфигурирована для обеспечения передачи отчета, со стороны беспроводного вывода, о моменте времени приема ключевого кадра.
11. Устройство по п. 7, в котором модуль регулирования включает
подмодуль передачи, сконфигурированный для передачи второго мультимедийного файла с задержкой на сторону локального вывода на основе вычисленной задержки беспроводной передачи первого мультимедийного файла, вычисленной при помощи вычислительного подмодуля, для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода.
12. Устройство по п. 8, в котором модуль контроля дополнительно включает
подмодуль синхронизации, сконфигурированный для периодического выполнения тактовой синхронизации со стороной беспроводного вывода.
13. Устройство для использования при синхронизации мультимедийных данных, которое включает
процессор; и
память для хранения инструкций, исполняемых процессором;
при этом процессор сконфигурирован
для извлечения первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;
для динамического контроля задержки беспроводной передачи первого мультимедийного файла; и
для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, с обеспечением синхронного воспроизведения первого мультимедийного файла и второго мультимедийного файла.
RU2016116958A 2015-10-29 2015-12-29 Способ и устройство для выполнения синхронизации мультимедийных данных RU2648262C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510717967.6 2015-10-29
CN201510717967.6A CN105338393A (zh) 2015-10-29 2015-10-29 媒体同步方法和装置
PCT/CN2015/099396 WO2017071073A1 (zh) 2015-10-29 2015-12-29 媒体同步方法和装置

Publications (2)

Publication Number Publication Date
RU2016116958A true RU2016116958A (ru) 2017-11-02
RU2648262C2 RU2648262C2 (ru) 2018-03-23

Family

ID=55288618

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016116958A RU2648262C2 (ru) 2015-10-29 2015-12-29 Способ и устройство для выполнения синхронизации мультимедийных данных

Country Status (8)

Country Link
US (1) US20170126801A1 (ru)
EP (1) EP3163887A1 (ru)
JP (1) JP2018502533A (ru)
KR (1) KR20170061100A (ru)
CN (1) CN105338393A (ru)
MX (1) MX361829B (ru)
RU (1) RU2648262C2 (ru)
WO (1) WO2017071073A1 (ru)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847926A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 一种多媒体数据的同步播放方法及装置
US11282546B2 (en) 2018-03-01 2022-03-22 Sony Group Corporation Dynamic lip-sync compensation for truly wireless bluetooth devices
CN108538115B (zh) * 2018-03-30 2020-08-11 重庆智考信息技术有限公司 教学直播系统及方法
CN108616767B (zh) * 2018-04-28 2020-12-29 海信视像科技股份有限公司 一种音频数据传输方法及装置
US11101867B2 (en) * 2018-10-09 2021-08-24 Mediatek Singapore Pte. Ltd. Reducing beamforming feedback size in WLAN communication
CN111083309B (zh) * 2018-10-18 2022-04-01 北京魔门塔科技有限公司 一种多传感器数据的时间对齐方法及数据采集设备
US20200159570A1 (en) * 2018-11-21 2020-05-21 Zoox, Inc. Executable Component Interface and Controller
CN109379613B (zh) * 2018-12-21 2021-11-09 深圳Tcl新技术有限公司 音视频同步调整方法、电视、计算机可读存储介质及系统
CN110290453B (zh) * 2019-06-28 2022-03-18 Oppo广东移动通信有限公司 无线播放设备的延时测试方法及系统
CN110392291A (zh) * 2019-07-29 2019-10-29 昆腾微电子股份有限公司 一种蓝牙同步播放方法、装置、系统及存储介质
CN110493633A (zh) * 2019-08-19 2019-11-22 武汉蓝星科技股份有限公司 一种图像和音频分离传输系统、方法及移动终端
CN111343620A (zh) * 2020-02-28 2020-06-26 捷开通讯(深圳)有限公司 多设备音频播放校正方法，装置及其终端
CN112203100B (zh) * 2020-09-03 2022-07-29 中国移动通信集团广东有限公司 降低上下行带宽需求的传输方法及系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631410B1 (en) * 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
MY140810A (en) * 2003-03-28 2010-01-15 Samsung Electronics Co Ltd Reproducing apparatus and method, and recording medium
JP2004328513A (ja) * 2003-04-25 2004-11-18 Pioneer Electronic Corp 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
US8190680B2 (en) * 2004-07-01 2012-05-29 Netgear, Inc. Method and system for synchronization of digital media playback
JPWO2006064689A1 (ja) * 2004-12-16 2008-06-12 松下電器産業株式会社 無線通信システム
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
JP2008232421A (ja) * 2007-02-23 2008-10-02 Yamaha Motor Co Ltd クラッチ制御装置、クラッチの制御方法、及び鞍乗型車両
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
US9237179B2 (en) * 2007-12-05 2016-01-12 Koninklijke Kpn N.V. Method and system for synchronizing the output of terminals
JP2009272945A (ja) * 2008-05-08 2009-11-19 Victor Co Of Japan Ltd 同期再生装置
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ
US20120066711A1 (en) * 2009-08-24 2012-03-15 Novara Technology, LLC Virtualized home theater service
US9544640B2 (en) * 2010-03-02 2017-01-10 Harman International Industries, Incorporated Wireless theater system
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
JP2013172156A (ja) * 2012-02-17 2013-09-02 Mitsubishi Electric Corp メディアデータ送信装置及び同期再生システム
JP5957760B2 (ja) * 2012-03-08 2016-07-27 パナソニックＩｐマネジメント株式会社 映像音声処理装置
JP6074899B2 (ja) * 2012-03-26 2017-02-08 ヤマハ株式会社 音データ処理装置
KR101571338B1 (ko) * 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
CN103297824A (zh) * 2013-05-29 2013-09-11 华为技术有限公司 视频处理方法、电视棒、控制终端和系统
KR102179321B1 (ko) * 2014-01-31 2020-11-18 인터디지털 씨이 페이튼트 홀딩스 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치
CN103905877A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
CN103905881B (zh) * 2014-03-13 2018-07-31 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备

Also Published As

Publication number Publication date
RU2648262C2 (ru) 2018-03-23
EP3163887A1 (en) 2017-05-03
US20170126801A1 (en) 2017-05-04
MX361829B (es) 2018-12-18
MX2016005918A (es) 2017-07-20
JP2018502533A (ja) 2018-01-25
KR20170061100A (ko) 2017-06-02
WO2017071073A1 (zh) 2017-05-04
CN105338393A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
RU2016116958A (ru) Способ и устройство для выполнения синхронизации мультимедийных данных
US9319753B2 (en) Seamless trick-mode with decreased latency for live transcode streaming
RU2012122179A (ru) Устройство и способ синхронизации контента электронной книги с видеоконтентом, и система для этого
GB2490432A (en) Strobe offset in bidirectional memory strobe configurations
WO2009117671A3 (en) System and method for uplink timing synchronization in conjunction with discontinuous reception
WO2007019533A3 (en) System and methods for aligning capture and playback clocks in a wireless digital audio distribution system
JP2015523629A5 (ru)
JP2006345487A5 (ru)
SG10201806950YA (en) Signal generation method and signal generation device
EP2490445A4 (en) METHOD, DEVICE AND SERVER FOR FAST PLAYING
JP2016526325A5 (ru)
RU2007106857A (ru) Способ оптимизации частей кадра
TW200741529A (en) Removable memory device, phase synchronizing method, phase synchronizing program, medium recording the same, and host terminal
WO2013046025A3 (en) Method and apparatus for timing advance adjustment in multi-point cooperation transmission
MX2017011369A (es) Dispositivo de descodificación, dispositivo de recepción, dispositivo de transmisión, sistema de transmisión/recepción, método de descodificación y medio de almacenamiento que tiene programa de descodificación almacenado en el mismo.
EP1613090A3 (en) Data synchronization method and apparatus for digital multimedia data receiver
EP2502183A4 (en) METHOD AND DEVICE FOR IMAGING AT PIXEL LEVEL
MX2019012888A (es) Procedimiento para transmitir se?al, dispositivo de red y dispositivo terminal.
MX2020007335A (es) Metodo y dispositivo de configuracion de recursos, medio de almacenamiento de computadora.
EP3678364A3 (en) Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
TW200623742A (en) Methods and systems using signaling period signals
IN2013MU01870A (ru)
RU2017113755A (ru) Устройство связи и способ связи
RU2018117876A (ru) Способы и устройство для корректировки сигналов удаленного датчика
TW200733683A (en) Data synchronizer and data synchronizing method