WO2017071073A1 - 媒体同步方法和装置 - Google Patents

媒体同步方法和装置 Download PDF

Info

Publication number
WO2017071073A1
WO2017071073A1 PCT/CN2015/099396 CN2015099396W WO2017071073A1 WO 2017071073 A1 WO2017071073 A1 WO 2017071073A1 CN 2015099396 W CN2015099396 W CN 2015099396W WO 2017071073 A1 WO2017071073 A1 WO 2017071073A1
Authority
WO
WIPO (PCT)
Prior art keywords
media file
wireless
output end
transmission delay
key frame
Prior art date
Application number
PCT/CN2015/099396
Other languages
English (en)
French (fr)
Inventor
谭康喜
王永志
黄忠辉
Original Assignee
小米科技有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 小米科技有限责任公司 filed Critical 小米科技有限责任公司
Priority to MX2016005918A priority Critical patent/MX361829B/es
Priority to KR1020167005221A priority patent/KR20170061100A/ko
Priority to RU2016116958A priority patent/RU2648262C2/ru
Priority to JP2017547054A priority patent/JP2018502533A/ja
Publication of WO2017071073A1 publication Critical patent/WO2017071073A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/303Terminal profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W56/00Synchronisation arrangements
    • H04W56/001Synchronization between nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提出一种媒体同步方法,所述方法包括:从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;动态监测所述第一媒体文件的无线传输延时;基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。本公开可以避免分体式设备在播放媒体文件时,由于在无线输出端产生的无线传输时延,而导致的无线输出端与本地输出端媒体文件播放不同步的问题,有助于提升用户体验。

Description

媒体同步方法和装置
本申请基于申请号为201510717967.6、申请日为2015年10月29日的中国专利申请提出,并要求该中国专利申请的优先权,该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本公开涉及通信领域,尤其涉及媒体同步方法和装置。
背景技术
分体式电视,通常是指把电视的显示部分、信号处理部分以及声音系统分离开来,打破了传统电视三者集成一体的结构式样。例如,对于分体式电视,可以由电视显示终端、电视主机、电视音响三部分组成。然而,正是由于分体式电视的这种特殊结果,导致分体式电视在播放媒体文件时,由于无线传输通常不稳定,因此可能会存在媒体不同步的问题。
发明内容
为克服相关技术中存在的问题,本公开提供一种媒体同步方法和装置。
根据本公开实施例的第一方面,提供一种媒体同步方法,所述方法包括:
从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
动态监测所述第一媒体文件的无线传输延时;
基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
可选的,所述动态监测所述第一媒体文件的无线传输延时包括:
从所述第一媒体文件中选定关键帧;
将选定的所述关键帧按照帧顺序发送至所述无线输出端,并记录所述关键帧的发出时刻;
接收所述无线输出端上报的所述关键帧的接收时刻,并基于所述接收时刻和所述发出时刻计算所述关键帧的无线传输时延,以对所述第一媒体文件的传输时延进行动态监测。
可选的,所述从所述第一媒体文件中选定关键帧包括:
基于预设的帧间隔从所述第一媒体文件中选定关键帧。
可选的,所述选定的关键帧中预先被添加了预设标记;所述预设标记用于触发所述无线输出端上报所述关键帧的接收时刻。
可选的,所述基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件 的播放时间进行适应性调整包括:
基于计算出的所述第一媒体文件的无线传输延时,向所述本地输出设备延时发送所述第二媒体文件,以对所述第二媒体文件在本地输出端的播放时间进行适应性调整。
可选的,所述方法还包括:
周期性的与所述无线输出端进行时钟同步。
根据本公开实施例的第二方面,提供一种媒体同步装置,所述装置包括:
分离模块,被配置为从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
监测模块,被配置为动态监测所述第一媒体文件的无线传输延时;
调整模块,被配置为基于所述监测模块监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
可选的,所述监测模块包括:
选定子模块,被配置为从所述第一媒体文件中选定关键帧;
传输子模块,被配置为将选定的所述关键帧按照帧顺序发送至所述无线输出端,并记录所述关键帧的发出时刻;
接收子模块,被配置为接收所述无线输出端上报的所述关键帧的接收时刻;
计算子模块,被配置为基于所述接收子模块接收到的接收时刻和所述发出时刻计算所述关键帧的无线传输时延,以对所述第一媒体文件的传输时延进行动态监测。
可选的,所述选定子模块包括:
选定单元,被配置为基于预设的帧间隔从所述第一媒体文件中选定关键帧。
可选的,所述选定的关键帧中预先被添加了预设标记;所述预设标记用于触发所述无线输出端上报所述关键帧的接收时刻。
可选的,所述调整模块包括:
发送子模块,被配置为基于所述计算子模块计算出的所述第一媒体文件的无线传输延时,向所述本地输出设备延时发送所述第二媒体文件,以对所述第二媒体文件在本地输出端的播放时间进行适应性调整。
可选的,所述监测模块还包括:
同步子模块,被配置为周期性的与所述无线输出端进行时钟同步。
根据本公开实施例的第三方面,提供一种媒体同步装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
动态监测所述第一媒体文件的无线传输延时;
基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的以上实施例中,通过从待播放媒体文件中分离出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件,并动态监测第一媒体文件的无线传输延时,然后基于监测到的第一媒体文件的无线传输延时,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放,从而可以避免分体式设备在播放媒体文件时,由于在无线输出端产生的无线传输时延,而导致的无线输出端与本地输出端媒体文件播放不同步的问题,有助于提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种媒体同步方法的流程示意图;
图2是根据一示例性实施例示出的另一种媒体同步方法的流程示意图;
图3是根据一示例性实施例示出的一种媒体同步装置的示意框图;
图4是根据一示例性实施例示出的另一种媒体同步装置的示意框图;
图5是根据一示例性实施例示出的另一种媒体同步装置的示意框图;
图6是根据一示例性实施例示出的另一种媒体同步装置的示意框图;
图7是根据一示例性实施例示出的另一种媒体同步装置的示意框图;
图8是根据一示例性实施例示出的一种用于所述媒体同步装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些 信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
分体式电视在播放媒体文件时,如果该媒体文件为混合媒体文件,分体电视通常会将该混合媒体文件中的媒体文件分离出来,在无线输出端和本地输出端进行分别播放,从而可以达到一个很好的播放效果。
然而,由于无线输出端播放的媒体文件通常是基于无线通讯进行传输的,而无线通讯很容易受到环境的干扰,因此分体式电视在播放媒体文件的过程中,可能会由于发往无线输出端的媒体文件产生延迟,而造成无线输出端与本地输出端播放的媒体文件不同步的问题。
例如,以分体电视播放混合音频文件为例,此时与分体电视建立了无线连接的低音炮为无线输出端,分体电视主机上的扬声器为本地输出端。分体电视在播放该混合音频文件时,可以通过内置的音频编解码模块(Audio Codec)从该混合音频文件分离出低音数据和普通音频数据。
当从该混合音频文件中分离出低音数据和普通音频数据后,分体电视可以将分离出的普通音频数据直接发送给本地的扬声器,由扬声器来播放普通音频数据,然后将分离出的低音数据通过内置的无线模块(例如WIFI模块)发送到低音炮,由低音炮来播放低音数据。
然而,由于无线通讯很容易受到环境干扰,因此分体电视通过无线的方式向低音炮发送数据的过程中,可能会产生一定的传输延时,而且该传输延时还可能随着环境干扰的程度动态变化,因此无线低音炮播放的低音数据,和本地的扬声器播放的普通音频数据可能会不同步,给用户带来很不好的用户体验。
可见,在传统的实现中,分体式电视在播放媒体文件时,无线输出端产生的无线传输延时,会造成无线输出端与本地输出端播放的媒体文件不同步的问题。
为解决上述问题,本实施例提出一种媒体同步的方案,通过从待播放媒体文件中分离出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件,并动态监测第一媒体文件的无线传输延时,然后基于监测到的第一媒体文件的无线传输延时,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放,从而可以避免分体式设备在播放媒体文件时,由于在无线输出端产生无线传输时延,而导致的无线输出端与本地输出端媒体文件播放不同步的问题,有助于提升用户体验。
如图1所示,图1是根据一示例性实施例示出的一种媒体同步方法,该媒体同步方法用于分体式终端中,包括以下步骤:
在步骤101中,从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
在步骤102中,动态监测所述第一媒体文件的无线传输延时;
在步骤103中,基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
在本实施例中,分体式终端可以包括分体式电视、分体式会议终端、分体式摄像机或者其它类型的可用于播放媒体文件的分体式设备。例如,在实现时,除了分体式电视、分体式会议终端、分体式摄像机以外,上述分体式终端也可以是安装了无线输出端(例如无线低音炮)和本地输出端(例如扬声器或者显示屏)的PC终端或者移动终端。上述媒体文件,可以是混合媒体文件。例如,该混合媒体文件可以是由低音数据和普通音频数据组成的音频文件,也可以是由音频数据和视频数据组成的视频文件。
以下以上述分体式终端为分体式电视为例进行详细描述。
在本实施例中,分体电视在播放媒体文件时,如果该媒体文件为混合媒体文件,则可以通过内置的编解码模块从该媒体文件中分立出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件。
例如,当该媒体文件是音频文件是,该第一媒体文件可以是从该音频文件中分离出的低音数据;该第二媒体文件可以是从该音频文件中分离的普通音频数据。当该媒体文件为视频文件是,该第一媒体文件可以是从该视频文件中分离出的音频数据;该第二媒体文件可以是从该视频文件中分离的视频数据。
其中,通过编解码模块对媒体文件进行分离的详细过程,在本实施例中不进行详述,本领域技术人员在将本公开的技术方案付诸实现时可以参考相关技术中的介绍。
当从该媒体文件中分离出第一媒体文件和第二媒体文件时,分体电视可以通过与无线输出端建立的无线连接,将该第一媒体文件无线传输到无线输出端,并动态的监测无线输出端的无线传输延时。
其中,分体电视动态的监测无线输出的无线传输延时时,可以通过在第一媒体文件中选定关键帧,并通过动态的监测选定的关键帧的发出时刻,和无线输出端上报的该关键帧的接收时刻来实现。
在示出的一种实施方式中,当分体电视通过编解码模块从媒体文件中分立出第一媒体文件和第二媒体文件后,可以从第一媒体文件中选定若干关键帧,其中,在选定关键帧时,分体电视可以基于预设的帧间隔来进行选择;例如,可以按照固定的帧间隔来进行选择,比如可以按照10帧的帧间隔将第一媒体文件中的1、11、21…帧的数据选定为关键帧。也可以按照固定的时间间隔,例如可以按照帧的播放顺序每2秒选定一帧关键帧。通过这种方式,可以不必将第一媒体文件中所有的数据帧都选定为关键帧,可以节省分体电视的计算资源。
当选定了关键帧后,分体电视还可以在选定的关键帧中添加预设的标记,其中,该预设的标记可以是用于触发无线输出端向分体电视上报接收到该关键帧的接收时刻的标记。 当为选定的关键帧添加了预设的标记后,分体电视可以通过内置的无线模块将选定的关键帧,按照帧的数据依次发送至无线输出端,并记录发出时刻。当无线输出端接收到分体电视发出的第一媒体文件的数据帧后,首先可以检查接收到的数据帧中是否携带上述预设的标记,如果携带该预设的标记,则该数据帧为关键帧,无线输出端可以立即将接收到该关键帧的接收时刻上报给分体电视。
分体电视接收到无线输出端上报的接收到关键帧的接收时刻后,可以计算关键帧的接收时刻和发出时刻之间的差值,来得到每一个关键帧的无线传输延时。可见,通过这种方式,分体电视可以不断的向无线输出端发送关键帧,并通过监测无线输出端上报的关键帧的接收时刻,来动态监测无线输出断的无线传输延时。
其中,值得说明的是,分体电视还可以与无线输出端周期性的进行时钟同步,从而尽可能的保证关键帧的接收时刻和发出时刻是基于同一个时钟记录出来的,以减少计算出的无线传输延时的误差。例如,在实现时,分体电视与无线输出端可以同一采用CPU的时钟,即将CPU的时钟作为基准进行校准。
在本实施例中,当分体电视接收到无线输出端上报的某一关键帧的接收时刻,并根据该接收时刻和在本地记录的发出时刻计算出无线传输时延后,可以立即根据该无线传输时延,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放。
其中,分体电视对第二媒体文件在本地输出端的播放时间进行适应性调整,可以通过根据计算出的无线传输时延,向本地输出设备延时发送第二媒体文件来实现。
例如,假设分体电视接收到无线输出端上报的某一关键的接收时刻为T2,而本地记录的该关键帧的接收时刻为T1,那么此时无线传输时延可以用T1和T2之间的差值来表征。此时无线传输时延Δt=t2-t1。当分体电视计算出Δt时,可以将向本地输出设备发送第二媒体文件的时刻延时Δt,从而可以保证第一媒体文件和第二媒体文件同步播放。
当然,分体电视按照以上方式对第二媒体文件在本地输出端的播放时间进行适应性调整后,如果再次接收到无线输出端上报的下一个关键帧的接收时刻后,分体电视可以根据记录的该关键帧的发出时刻重新记录无线传输延时,然后再次对第二媒体文件在本地输出端的播放时间进行适应性调整。
可见,通过这种方式,无线输出端可以持续向分体电视上报关键帧的无线传输时延,分体电视可以根据无线输出端持续上报的无线传输时延,不断的对第二媒体文件在本地输出端的播放时间进行适应性调整,从而可以最大程度的消除无线输出端产生的无线传输时延,对在本地输出端播放的第二媒体文件的影响,保证第一媒体文件和第二媒体文件同步播放。
以下以上述媒体文件为音频文件和视频文件为例,分别进行描述。
在本例中,分体电视的基本架构中可以包括Audio Codec模块(音频编解码器)、video Codec模块(视频编解码器)、CPU、扬声器、显示器、无线模块、无线低音炮和无线音 箱。其中,Audio Codec模块与CPU和扬声器分别有线连接,Audio Codec模块与CPU和显示器有线连接。CPU和无线模块有线连接。无线模块和无线低音炮和无线音箱无线连接。
一方面,如果上述媒体文件为音频文件,此时第一媒体文件可以是从该音频文件中分离出的低音数据。第二媒体文件可以是从该音频文件中分离出的普通音频数据。低音炮为无线输出端。扬声器为本地输出端。
在初始状态下,分体电视在播放该音频文件时,Audio Codec模块可以从待播放的音轨中按照帧顺序,连续读取音频数据帧,然后从读取到的音频数据帧中分离出低音数据和普通音频数据。其中,分离后的低音数据和普通音频数据仍然保持原始音频文件的帧顺序。当该音频文件包括多个待播放的音轨时,可以同时从该多个音轨中读取音频数据。
当分离完成后,此时Audio Codec模块还可以基于预设的帧间隔来选定关键帧,并为选定的关键帧添加用于触发低音炮向Audio Codec模块上报接收到该关键帧的接收时刻T2的预设标记。其中,该预设标记也可以由CPU添加。
当选定的关键帧被添加了该预设标记后,此时Audio Codec模块可以开始向低音炮发送低音数据帧,并记录关键帧的发送时刻T1。当低音炮接收到低音数据帧后,可以检查该数据帧中是否携该预设标记,如果携带该预设标记则表明该数据帧为关键帧,低音炮可以将接收到该关键帧的接收时刻T2,上报给Audio Codec模块,然后再继续接收下一帧低音数据,并重复以上过程。
Audio Codec模块接收到低音炮上报的关键帧的接收时刻T2后,可以计算T2与记录的关键帧的接收时刻T1之间的差值Δt,此时该差值Δt即为低音数据的无线传输延迟,Audio Codec模块可以将向扬声器发送普通音频数据的时刻延时Δt,从而保证低音数据和普通音频数据同步播放。其中,Audio Codec模块和无线低音炮,可以将CPU的时钟作为基准周期性的进行时钟同步,以保证记录的发出时刻或者接收时刻的准确性,减少计算出的无线传输时延的误差。
当然,在实现时,低音炮也可以将关键帧的接收时刻T2上报给CPU,由CPU计算无线传输延迟Δt,然后控制Audio Codec模块将向扬声器发送普通音频数据的时刻延时Δt。
另一方面,如果上述媒体文件为视频文件,此时第一媒体文件可以是从该视频文件中分离出的音频数据。第二媒体文件可以是从该视频文件中分离出的视频数据。无线音箱为无线输出端,显示器为本地输出端。
在初始状态下,分体电视在播放该视频文件时,Video Codec模块可以从待播放的视频文件中按照帧顺序,连续读取视频数据帧,然后从读取到的视频数据帧中分离出音频数据和视频数据。其中,分离后的音频数据和视频数据仍然保持原始视频文件的帧顺序。
当分离完成后,此时Video Codec模块还可以基于预设的帧间隔来选定关键帧,并为选定的关键帧添加用于触发无线音箱向Video Codec模块上报接收到该关键帧的接收时刻T2的预设标记。其中,该预设标记也可以由CPU添加。
当选定的关键帧被添加了该预设标记后,此时Video Codec模块可以开始向无线音箱 发送音频数据帧,并记录关键帧的发送时刻T1。当无线音箱接收到音频数据帧后,可以检查该数据帧中是否携该预设标记,如果携带该预设标记则表明该数据帧为关键帧,无线音箱可以将接收到该关键帧的接收时刻T2,上报给Video Codec模块,然后再继续接收下一帧音频数据,并重复以上过程。
Video Codec模块接收到无线音箱上报的关键帧的接收时刻T2后,可以计算T2与记录的关键帧的接收时刻T1之间的差值Δt,此时该差值Δt即为音频数据的无线传输延迟,Video Codec模块可以将向显示器发送视频数据的时刻延时Δt,从而保证音频数据和视频数据同步播放。
其中,Video Codec模块和无线音箱,可以将CPU的时钟作为基准周期性的进行时钟同步,以保证记录的发出时刻或者接收时刻的准确性,减少计算出的无线传输时延的误差。
同样的,在实现时,无线音箱也可以将关键帧的接收时刻T2上报给CPU,由CPU计算无线传输延迟Δt,然后控制Video Codec模块将向显示器发送视频数据的时刻延时Δt。
通过以上例子可见,通过这种方式,无线输出端可以持续向分体电视上报关键帧的无线传输时延,分体电视可以根据无线输出端持续上报的无线传输时延,不断的对第二媒体文件在本地输出端的播放时间进行适应性调整,从而可以最大程度的消除无线输出端产生的无线传输时延,对在本地输出端播放的第二媒体文件的影响,保证第一媒体文件和第二媒体文件同步播放。
在以上实施例中,通过从待播放媒体文件中分离出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件,并动态监测第一媒体文件的无线传输延时,然后基于监测到的第一媒体文件的无线传输延时,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放,从而可以避免分体式设备在播放媒体文件时,由于在无线输出端产生的无线传输时延,而导致的无线输出端与本地输出端媒体文件播放不同步的问题,有助于提升用户体验。
如图2所示,图2是根据一示例性实施例示出的一种媒体同步方法,该媒体同步方法用于分体式终端中,包括以下步骤:
在步骤201中,从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
在步骤202中,从所述第一媒体文件中选定关键帧;其中,所述选定的关键帧中预先被添加了预设标记;所述预设标记用于触发所述无线输出端上报所述关键帧的接收时刻;
在步骤203中,接收所述无线输出端上报的所述关键帧的接收时刻,并基于所述接收时刻和所述发出时刻计算所述关键帧的无线传输时延;
在步骤204中,基于计算出的所述第一媒体文件的无线传输延时,向所述本地输出设备延时发送所述第二媒体文件,以使所述第一媒体文件和所述第二媒体文件同步播放。
在本实施例中,分体式终端可以包括分体式电视、分体式会议终端、分体式摄像机或 者其它类型的可用于播放媒体文件的分体式设备。例如,在实现时,除了分体式电视、分体式会议终端、分体式摄像机以外,上述分体式终端也可以是安装了无线输出端(例如无线低音炮)和本地输出端(例如扬声器或者显示屏)的PC终端或者移动终端。上述媒体文件,可以是混合媒体文件。例如,该混合媒体文件可以是由低音数据和普通音频数据组成的音频文件,也可以是由音频数据和视频数据组成的视频文件。
以下以上述分体式终端为分体式电视为例进行详细描述。
在本实施例中,分体电视在播放媒体文件时,如果该媒体文件为混合媒体文件,则可以通过内置的编解码模块从该媒体文件中分立出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件。
例如,当该媒体文件是音频文件是,该第一媒体文件可以是从该音频文件中分离出的低音数据;该第二媒体文件可以是从该音频文件中分离的普通音频数据。当该媒体文件为视频文件是,该第一媒体文件可以是从该视频文件中分离出的音频数据;该第二媒体文件可以是从该视频文件中分离的视频数据。
其中,通过编解码模块对媒体文件进行分离的详细过程,在本实施例中不进行详述,本领域技术人员在将本公开的技术方案付诸实现时可以参考相关技术中的介绍。
当从该媒体文件中分离出第一媒体文件和第二媒体文件时,分体电视可以通过与无线输出端建立的无线连接,将该第一媒体文件无线传输到无线输出端,并动态的监测无线输出端的无线传输延时。
其中,分体电视动态的监测无线输出的无线传输延时时,可以通过在第一媒体文件中选定关键帧,并通过动态的监测选定的关键帧的发出时刻,和无线输出端上报的该关键帧的接收时刻来实现。
在示出的一种实施方式中,当分体电视通过编解码模块从媒体文件中分立出第一媒体文件和第二媒体文件后,可以从第一媒体文件中选定若干关键帧,其中,在选定关键帧时,分体电视可以基于预设的帧间隔来进行选择;例如,可以按照固定的帧间隔来进行选择,比如可以按照10帧的帧间隔将第一媒体文件中的1、11、21…帧的数据选定为关键帧。也可以按照固定的时间间隔,例如可以按照帧的播放顺序每2秒选定一帧关键帧。通过这种方式,可以不必将第一媒体文件中所有的数据帧都选定为关键帧,可以节省分体电视的计算资源。
当选定了关键帧后,分体电视还可以在选定的关键帧中添加预设的标记,其中,该预设的标记可以是用于触发无线输出端向分体电视上报接收到该关键帧的接收时刻的标记。当为选定的关键帧添加了预设的标记后,分体电视可以通过内置的无线模块将选定的关键帧,按照帧的数据依次发送至无线输出端,并记录发出时刻。当无线输出端接收到分体电视发出的第一媒体文件的数据帧后,首先可以检查接收到的数据帧中是否携带上述预设的标记,如果携带该预设的标记,则该数据帧为关键帧,无线输出端可以立即将接收到该关键帧的接收时刻上报给分体电视。
分体电视接收到无线输出端上报的接收到关键帧的接收时刻后,可以计算关键帧的接收时刻和发出时刻之间的差值,来得到每一个关键帧的无线传输延时。可见,通过这种方式,分体电视可以不断的向无线输出端发送关键帧,并通过监测无线输出端上报的关键帧的接收时刻,来动态监测无线输出断的无线传输延时。
其中,值得说明的是,分体电视还可以与无线输出端周期性的进行时钟同步,从而尽可能的保证关键帧的接收时刻和发出时刻是基于同一个时钟记录出来的,以减少计算出的无线传输延时的误差。例如,在实现时,分体电视与无线输出端可以同一采用CPU的时钟,即将CPU的时钟作为基准进行校准。
在本实施例中,当分体电视接收到无线输出端上报的某一关键帧的接收时刻,并根据该接收时刻和在本地记录的发出时刻计算出无线传输时延后,可以立即根据该无线传输时延,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放。
其中,分体电视对第二媒体文件在本地输出端的播放时间进行适应性调整,可以通过根据计算出的无线传输时延,向本地输出设备延时发送第二媒体文件来实现。
例如,假设分体电视接收到无线输出端上报的某一关键的接收时刻为T2,而本地记录的该关键帧的接收时刻为T1,那么此时无线传输时延可以用T1和T2之间的差值来表征。此时无线传输时延Δt=t2-t1。当分体电视计算出Δt时,可以将向本地输出设备发送第二媒体文件的时刻延时Δt,从而可以保证第一媒体文件和第二媒体文件同步播放。
当然,分体电视按照以上方式对第二媒体文件在本地输出端的播放时间进行适应性调整后,如果再次接收到无线输出端上报的下一个关键帧的接收时刻后,分体电视可以根据记录的该关键帧的发出时刻重新记录无线传输延时,然后再次对第二媒体文件在本地输出端的播放时间进行适应性调整。
可见,通过这种方式,无线输出端可以持续向分体电视上报关键帧的无线传输时延,分体电视可以根据无线输出端持续上报的无线传输时延,不断的对第二媒体文件在本地输出端的播放时间进行适应性调整,从而可以最大程度的消除无线输出端产生的无线传输时延,对在本地输出端播放的第二媒体文件的影响,保证第一媒体文件和第二媒体文件同步播放。
以下以上述媒体文件为音频文件和视频文件为例,分别进行描述。
在本例中,分体电视的基本架构中可以包括Audio Codec模块(音频编解码器)、video Codec模块(视频编解码器)、CPU、扬声器、显示器、无线模块、无线低音炮和无线音箱。其中,Audio Codec模块与CPU和扬声器分别有线连接,Audio Codec模块与CPU和显示器有线连接。CPU和无线模块有线连接。无线模块和无线低音炮和无线音箱无线连接。
一方面,如果上述媒体文件为音频文件,此时第一媒体文件可以是从该音频文件中分离出的低音数据。第二媒体文件可以是从该音频文件中分离出的普通音频数据。低音炮为无线输出端。扬声器为本地输出端。
在初始状态下,分体电视在播放该音频文件时,Audio Codec模块可以从待播放的音轨中按照帧顺序,连续读取音频数据帧,然后从读取到的音频数据帧中分离出低音数据和普通音频数据。其中,分离后的低音数据和普通音频数据仍然保持原始音频文件的帧顺序。当该音频文件包括多个待播放的音轨时,可以同时从该多个音轨中读取音频数据。
当分离完成后,此时Audio Codec模块还可以基于预设的帧间隔来选定关键帧,并为选定的关键帧添加用于触发低音炮向Audio Codec模块上报接收到该关键帧的接收时刻T2的预设标记。其中,该预设标记也可以由CPU添加。
当选定的关键帧被添加了该预设标记后,此时Audio Codec模块可以开始向低音炮发送低音数据帧,并记录关键帧的发送时刻T1。当低音炮接收到低音数据帧后,可以检查该数据帧中是否携该预设标记,如果携带该预设标记则表明该数据帧为关键帧,低音炮可以将接收到该关键帧的接收时刻T2,上报给Audio Codec模块,然后再继续接收下一帧低音数据,并重复以上过程。
Audio Codec模块接收到低音炮上报的关键帧的接收时刻T2后,可以计算T2与记录的关键帧的接收时刻T1之间的差值Δt,此时该差值Δt即为低音数据的无线传输延迟,Audio Codec模块可以将向扬声器发送普通音频数据的时刻延时Δt,从而保证低音数据和普通音频数据同步播放。其中,Audio Codec模块和无线低音炮,可以将CPU的时钟作为基准周期性的进行时钟同步,以保证记录的发出时刻或者接收时刻的准确性,减少计算出的无线传输时延的误差。
当然,在实现时,低音炮也可以将关键帧的接收时刻T2上报给CPU,由CPU计算无线传输延迟Δt,然后控制Audio Codec模块将向扬声器发送普通音频数据的时刻延时Δt。
另一方面,如果上述媒体文件为视频文件,此时第一媒体文件可以是从该视频文件中分离出的音频数据。第二媒体文件可以是从该视频文件中分离出的视频数据。无线音箱为无线输出端,显示器为本地输出端。
在初始状态下,分体电视在播放该视频文件时,Video Codec模块可以从待播放的视频文件中按照帧顺序,连续读取视频数据帧,然后从读取到的视频数据帧中分离出音频数据和视频数据。其中,分离后的音频数据和视频数据仍然保持原始视频文件的帧顺序。
当分离完成后,此时Video Codec模块还可以基于预设的帧间隔来选定关键帧,并为选定的关键帧添加用于触发无线音箱向Video Codec模块上报接收到该关键帧的接收时刻T2的预设标记。其中,该预设标记也可以由CPU添加。
当选定的关键帧被添加了该预设标记后,此时Video Codec模块可以开始向无线音箱发送音频数据帧,并记录关键帧的发送时刻T1。当无线音箱接收到音频数据帧后,可以检查该数据帧中是否携该预设标记,如果携带该预设标记则表明该数据帧为关键帧,无线音箱可以将接收到该关键帧的接收时刻T2,上报给Video Codec模块,然后再继续接收下一帧音频数据,并重复以上过程。
Video Codec模块接收到无线音箱上报的关键帧的接收时刻T2后,可以计算T2与记 录的关键帧的接收时刻T1之间的差值Δt,此时该差值Δt即为音频数据的无线传输延迟,Video Codec模块可以将向显示器发送视频数据的时刻延时Δt,从而保证音频数据和视频数据同步播放。
其中,Video Codec模块和无线音箱,可以将CPU的时钟作为基准周期性的进行时钟同步,以保证记录的发出时刻或者接收时刻的准确性,减少计算出的无线传输时延的误差。
同样的,在实现时,无线音箱也可以将关键帧的接收时刻T2上报给CPU,由CPU计算无线传输延迟Δt,然后控制Video Codec模块将向显示器发送视频数据的时刻延时Δt。
通过以上例子可见,通过这种方式,无线输出端可以持续向分体电视上报关键帧的无线传输时延,分体电视可以根据无线输出端持续上报的无线传输时延,不断的对第二媒体文件在本地输出端的播放时间进行适应性调整,从而可以最大程度的消除无线输出端产生的无线传输时延,对在本地输出端播放的第二媒体文件的影响,保证第一媒体文件和第二媒体文件同步播放。
在以上实施例中,通过从待播放媒体文件中分离出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件,并动态监测第一媒体文件的无线传输延时,然后基于监测到的第一媒体文件的无线传输延时,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放,从而可以避免分体式设备在播放媒体文件时,由于在无线输出端产生的无线传输时延,而导致的无线输出端与本地输出端媒体文件播放不同步的问题,有助于提升用户体验。
与前述媒体同步方法实施例相对应,本公开还提供了一种媒体同步装置的实施例。
图3是根据一示例性实施例示出的一种媒体同步装置的示意框图。
如图3所示,根据一示例性实施例示出的一种媒体同步装置300,包括:分离模块301、监测模块302和调整模块303;其中:
所述分离模块301被配置为,为从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
所述监测模块302被配置为,动态监测所述第一媒体文件的无线传输延时;
所述调整模块303被配置为,基于所述监测模块302监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
在以上实施例中,通过从待播放媒体文件中分离出在无线输出端播放的第一媒体文件和在本地输出端播放的第二媒体文件,并动态监测第一媒体文件的无线传输延时,然后基于监测到的第一媒体文件的无线传输延时,对第二媒体文件在本地输出端的播放时间进行适应性调整,以使第一媒体文件和第二媒体文件同步播放,从而可以避免分体式设备在播放媒体文件时,由于在无线输出端产生的无线传输时延,而导致的无线输出端与本地输出端媒体文件播放不同步的问题,有助于提升用户体验。
请参见图4,图4是本公开根据一示例性实施例示出的另一种装置的框图,该实施例在前述图3所示实施例的基础上,所述监测模块302可以包括选定子模块302A、传输子模块302B、接收子模块302C和计算子模块302D;其中:
所述选定子模块302A被配置为,从所述第一媒体文件中选定关键帧;
所述传输子模块302B被配置为,将选定的所述关键帧按照帧顺序发送至所述无线输出端,并记录所述关键帧的发出时刻;
所述接收子模块302C被配置为,接收所述无线输出端上报的所述关键帧的接收时刻;
所述计算子模块302D被配置为,基于所述接收子模块302C接收到的接收时刻和所述发出时刻计算所述关键帧的无线传输时延,以对所述第一媒体文件的传输时延进行动态监测。
其中,在以上实施例中,所述选定的关键帧中预先被添加了预设标记;所述预设标记用于触发所述无线输出端上报所述关键帧的接收时刻。
请参见图5,图5是本公开根据一示例性实施例示出的另一种装置的框图,该实施例在前述图4所示实施例的基础上,所述选定子模块302A可以包括选定单元302A1;其中:
所述选定单元302A1被配置为,基于预设的帧间隔从所述第一媒体文件中选定关键帧。
需要说明的是,上述图5所示的装置实施例中示出的选定单元302A1的结构也可以包含在前述图3的装置实施例中,对此本公开不进行限制。
请参见图6,图6是本公开根据一示例性实施例示出的另一种装置的框图,该实施例在前述图3所示实施例的基础上,所述调整模块303可以包括发送子模块303A;其中:
所述发送子模块303A被配置为,基于所述计算子模块302D计算出的所述第一媒体文件的无线传输延时,向所述本地输出设备延时发送所述第二媒体文件,以对所述第二媒体文件在本地输出端的播放时间进行适应性调整。
需要说明的是,上述图6所示的装置实施例中示出的发送子模块303A的结构也可以包含在前述图4-5的装置实施例中,对此本公开不进行限制。
请参见图7,图7是本公开根据一示例性实施例示出的另一种装置的框图,该实施例在前述图4所示实施例的基础上,所述监测模块302还可以包括同步子模块302E;其中:
所述同步子模块302E被配置为,周期性的与所述无线输出端进行时钟同步。
需要说明的是,上述图7所示的装置实施例中示出的同步模块302E的结构也可以包含在前述图3或5-6的装置实施例中,对此本公开不进行限制。
上述装置中各个模块或者单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块或者单元可以是或者也可以不是物理上分开的,作为模块或者单元显示的部件可以 是或者也可以不是物理模块或单元,即可以位于一个地方,或者也可以分布到多个网络模块或单元上。可以根据实际的需要选择其中的部分或者全部模块或单元来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本公开还提供一种媒体同步装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
动态监测所述第一媒体文件的无线传输延时;
基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
相应的,本公开还提供一种分体式终端,所述终端包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
动态监测所述第一媒体文件的无线传输延时;
基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
图8是根据一示例性实施例示出的一种媒体同步装置的结构示意图。
如图8所示,根据一示例性实施例示出的一种媒体同步装置800,该装置800可以是移动电话,智能设备、计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置800可以包括以下一个或多个组件:处理组件801,存储器802,电源组件803,多媒体组件804,音频组件805,输入/输出(I/O)的接口806,传感器组件807,以及通信组件808。
处理组件801通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件801可以包括一个或多个处理器809来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件801可以包括一个或多个模块,便于处理组件801和其他组件之间的交互。例如,处理部件801可以包括多媒体模块,以方便多媒体组件804和处理组件801之间的交互。
存储器802被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器802可以由任何类型的易失性或非易失性存储设备或者它们的 组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件803为装置800的各种组件提供电力。电源组件803可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件804包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件804包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件805被配置为输出和/或输入音频信号。例如,音频组件805包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或经由通信组件808发送。在一些实施例中,音频组件805还包括一个扬声器,用于输出音频信号。
I/O接口802为处理组件801和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件807包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件807可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件807还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件807可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件807还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件807还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件808被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件808经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件808还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器802,上述指令可由装置800的处理器809执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
其中,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种媒体同步方法,包括:
从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
动态监测所述第一媒体文件的无线传输延时;
基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

  1. 一种媒体同步方法,其特征在于,所述方法包括:
    从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
    动态监测所述第一媒体文件的无线传输延时;
    基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
  2. 如权利要求1所述的方法,其特征在于,所述动态监测所述第一媒体文件的无线传输延时包括:
    从所述第一媒体文件中选定关键帧;
    将选定的所述关键帧按照帧顺序发送至所述无线输出端,并记录所述关键帧的发出时刻;
    接收所述无线输出端上报的所述关键帧的接收时刻,并基于所述接收时刻和所述发出时刻计算所述关键帧的无线传输时延,以对所述第一媒体文件的传输时延进行动态监测。
  3. 如权利要求2所述的方法,其特征在于,所述从所述第一媒体文件中选定关键帧包括:
    基于预设的帧间隔从所述第一媒体文件中选定关键帧。
  4. 如权利要求2所述的方法,其特征在于,所述选定的关键帧中预先被添加了预设标记;所述预设标记用于触发所述无线输出端上报所述关键帧的接收时刻。
  5. 如权利要求2所述的方法,其特征在于,所述基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件的播放时间进行适应性调整包括:
    基于计算出的所述第一媒体文件的无线传输延时,向所述本地输出设备延时发送所述第二媒体文件,以对所述第二媒体文件在本地输出端的播放时间进行适应性调整。
  6. 如权利要求2所述的方法,其特征在于,所述方法还包括:
    周期性的与所述无线输出端进行时钟同步。
  7. 一种媒体同步装置,其特征在于,所述装置包括:
    分离模块,被配置为从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
    监测模块,被配置为动态监测所述第一媒体文件的无线传输延时;
    调整模块,被配置为基于所述监测模块监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
  8. 如权利要求7所述的装置,其特征在于,所述监测模块包括:
    选定子模块,被配置为从所述第一媒体文件中选定关键帧;
    传输子模块,被配置为将选定的所述关键帧按照帧顺序发送至所述无线输出端,并记 录所述关键帧的发出时刻;
    接收子模块,被配置为接收所述无线输出端上报的所述关键帧的接收时刻;
    计算子模块,被配置为基于所述接收子模块接收到的接收时刻和所述发出时刻计算所述关键帧的无线传输时延,以对所述第一媒体文件的传输时延进行动态监测。
  9. 如权利要求8所述的装置,其特征在于,所述选定子模块包括:
    选定单元,被配置为基于预设的帧间隔从所述第一媒体文件中选定关键帧。
  10. 如权利要求8所述的装置,其特征在于,所述选定的关键帧中预先被添加了预设标记;所述预设标记用于触发所述无线输出端上报所述关键帧的接收时刻。
  11. 如权利要求7所述的装置,其特征在于,所述调整模块包括:
    发送子模块,被配置为基于所述计算子模块计算出的所述第一媒体文件的无线传输延时,向所述本地输出设备延时发送所述第二媒体文件,以对所述第二媒体文件在本地输出端的播放时间进行适应性调整。
  12. 如权利要求8所述的装置,其特征在于,所述监测模块还包括:
    同步子模块,被配置为周期性的与所述无线输出端进行时钟同步。
  13. 一种媒体同步装置,其特征在于,包括:
    处理器;
    用于存储处理器可执行指令的存储器;
    其中,所述处理器被配置为:
    从待播放媒体文件中分离出第一媒体文件和第二媒体文件;其中,所述第一媒体文件在无线输出端播放,所述第二媒体文件在本地输出端播放;
    动态监测所述第一媒体文件的无线传输延时;
    基于监测到的所述第一媒体文件的无线传输延时,对所述第二媒体文件在本地输出端的播放时间进行适应性调整,以使所述第一媒体文件和所述第二媒体文件同步播放。
PCT/CN2015/099396 2015-10-29 2015-12-29 媒体同步方法和装置 WO2017071073A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
MX2016005918A MX361829B (es) 2015-10-29 2015-12-29 Metodo y aparato para ejecutar sincronizacion de medios.
KR1020167005221A KR20170061100A (ko) 2015-10-29 2015-12-29 매체 동기화 방법, 장치, 프로그램 및 컴퓨터 판독가능한 기록매체
RU2016116958A RU2648262C2 (ru) 2015-10-29 2015-12-29 Способ и устройство для выполнения синхронизации мультимедийных данных
JP2017547054A JP2018502533A (ja) 2015-10-29 2015-12-29 メディア同期方法、装置、プログラム及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510717967.6A CN105338393A (zh) 2015-10-29 2015-10-29 媒体同步方法和装置
CN201510717967.6 2015-10-29

Publications (1)

Publication Number Publication Date
WO2017071073A1 true WO2017071073A1 (zh) 2017-05-04

Family

ID=55288618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/099396 WO2017071073A1 (zh) 2015-10-29 2015-12-29 媒体同步方法和装置

Country Status (8)

Country Link
US (1) US20170126801A1 (zh)
EP (1) EP3163887A1 (zh)
JP (1) JP2018502533A (zh)
KR (1) KR20170061100A (zh)
CN (1) CN105338393A (zh)
MX (1) MX361829B (zh)
RU (1) RU2648262C2 (zh)
WO (1) WO2017071073A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379613A (zh) * 2018-12-21 2019-02-22 深圳Tcl新技术有限公司 音视频同步调整方法、电视、计算机可读存储介质及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847926A (zh) * 2016-03-31 2016-08-10 乐视控股(北京)有限公司 一种多媒体数据的同步播放方法及装置
US11282546B2 (en) 2018-03-01 2022-03-22 Sony Group Corporation Dynamic lip-sync compensation for truly wireless bluetooth devices
CN108538115B (zh) * 2018-03-30 2020-08-11 重庆智考信息技术有限公司 教学直播系统及方法
CN108616767B (zh) * 2018-04-28 2020-12-29 海信视像科技股份有限公司 一种音频数据传输方法及装置
US11101867B2 (en) * 2018-10-09 2021-08-24 Mediatek Singapore Pte. Ltd. Reducing beamforming feedback size in WLAN communication
CN111083309B (zh) * 2018-10-18 2022-04-01 北京魔门塔科技有限公司 一种多传感器数据的时间对齐方法及数据采集设备
US20200159570A1 (en) * 2018-11-21 2020-05-21 Zoox, Inc. Executable Component Interface and Controller
CN110290453B (zh) * 2019-06-28 2022-03-18 Oppo广东移动通信有限公司 无线播放设备的延时测试方法及系统
CN110392291A (zh) * 2019-07-29 2019-10-29 昆腾微电子股份有限公司 一种蓝牙同步播放方法、装置、系统及存储介质
CN110493633A (zh) * 2019-08-19 2019-11-22 武汉蓝星科技股份有限公司 一种图像和音频分离传输系统、方法及移动终端
CN111343620A (zh) * 2020-02-28 2020-06-26 捷开通讯(深圳)有限公司 多设备音频播放校正方法,装置及其终端
CN112203100B (zh) * 2020-09-03 2022-07-29 中国移动通信集团广东有限公司 降低上下行带宽需求的传输方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101889422A (zh) * 2007-12-05 2010-11-17 皇家Kpn公司 用于使终端的输出同步的方法及系统
CN101933333A (zh) * 2007-10-08 2010-12-29 摩托罗拉公司 将远程音频与固定视频同步
WO2013132562A1 (ja) * 2012-03-08 2013-09-12 パナソニック株式会社 映像音声処理装置および映像音声処理方法
CN103905881A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN103905877A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
US8782720B2 (en) * 2011-06-30 2014-07-15 Electronics And Telecommunications Research Institute Method and system for synchronizing content between terminals

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631410B1 (en) * 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
MY145470A (en) * 2003-03-28 2012-02-15 Samsung Electronics Co Ltd Reproducing apparatus and method, and recording medium
JP2004328513A (ja) * 2003-04-25 2004-11-18 Pioneer Electronic Corp 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
US8190680B2 (en) * 2004-07-01 2012-05-29 Netgear, Inc. Method and system for synchronization of digital media playback
WO2006064689A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 無線通信システム
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
JP2008232425A (ja) * 2007-02-23 2008-10-02 Yamaha Motor Co Ltd 変速制御装置、鞍乗型車両、及び変速機の制御方法
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
JP2009272945A (ja) * 2008-05-08 2009-11-19 Victor Co Of Japan Ltd 同期再生装置
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
JP2011023992A (ja) * 2009-07-16 2011-02-03 Hitachi Consumer Electronics Co Ltd コンテンツ配信システム、再生装置、及び配信サーバ
US20120066711A1 (en) * 2009-08-24 2012-03-15 Novara Technology, LLC Virtualized home theater service
US9544640B2 (en) * 2010-03-02 2017-01-10 Harman International Industries, Incorporated Wireless theater system
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
JP2013172156A (ja) * 2012-02-17 2013-09-02 Mitsubishi Electric Corp メディアデータ送信装置及び同期再生システム
JP6074899B2 (ja) * 2012-03-26 2017-02-08 ヤマハ株式会社 音データ処理装置
KR101571338B1 (ko) * 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
CN103297824A (zh) * 2013-05-29 2013-09-11 华为技术有限公司 视频处理方法、电视棒、控制终端和系统
CN105940679B (zh) * 2014-01-31 2019-08-06 交互数字Ce专利控股公司 用于同步两个电子设备处的回放的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933333A (zh) * 2007-10-08 2010-12-29 摩托罗拉公司 将远程音频与固定视频同步
CN101889422A (zh) * 2007-12-05 2010-11-17 皇家Kpn公司 用于使终端的输出同步的方法及系统
US8782720B2 (en) * 2011-06-30 2014-07-15 Electronics And Telecommunications Research Institute Method and system for synchronizing content between terminals
WO2013132562A1 (ja) * 2012-03-08 2013-09-12 パナソニック株式会社 映像音声処理装置および映像音声処理方法
CN103905881A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 一种视频数据和音频数据同步播放的方法、装置和设备
CN103905877A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379613A (zh) * 2018-12-21 2019-02-22 深圳Tcl新技术有限公司 音视频同步调整方法、电视、计算机可读存储介质及系统
CN109379613B (zh) * 2018-12-21 2021-11-09 深圳Tcl新技术有限公司 音视频同步调整方法、电视、计算机可读存储介质及系统

Also Published As

Publication number Publication date
US20170126801A1 (en) 2017-05-04
KR20170061100A (ko) 2017-06-02
MX2016005918A (es) 2017-07-20
RU2648262C2 (ru) 2018-03-23
EP3163887A1 (en) 2017-05-03
JP2018502533A (ja) 2018-01-25
MX361829B (es) 2018-12-18
CN105338393A (zh) 2016-02-17
RU2016116958A (ru) 2017-11-02

Similar Documents

Publication Publication Date Title
WO2017071073A1 (zh) 媒体同步方法和装置
JP6626440B2 (ja) マルチメディアファイルを再生するための方法及び装置
WO2017092247A1 (zh) 一种播放多媒体数据的方法、装置及系统
WO2017156954A1 (zh) 视频直播的方法及装置
JP6121621B2 (ja) 音声通話方法、装置、プログラム、及び記録媒体
US20220116492A1 (en) Audio playing method, audio playing apparatus, and storage medium
JP2017535798A (ja) オーディオの再生のための制御方法及び装置
CN104639977B (zh) 节目播放的方法及装置
JP2016525765A (ja) マルチメディア再生方法、装置、プログラム、及び記録媒体
WO2017000554A1 (zh) 音视频文件生成方法、装置及系统
CN112969096A (zh) 媒体播放方法及装置、电子设备
WO2021143882A1 (zh) 视频播放方法及装置
CN104159139A (zh) 多媒体同步方法及装置
JP2023519291A (ja) 装置間でマルチメディアコンテンツの再生を再開するための方法
WO2016078394A1 (zh) 一种提醒语音通话的方法及装置
WO2016045323A1 (zh) 控制视频画面呈现的方法及装置
CN105451056A (zh) 音视频同步方法及装置
TW201837751A (zh) 搜索結果顯示方法及裝置
WO2017101397A1 (zh) 一种信息显示方法及装置
CN106792024B (zh) 多媒体信息的分享方法及装置
KR101834269B1 (ko) 오디오 재생 방법, 장치, 프로그램 및 기록매체
CN105430469B (zh) 音视频数据的播放方法、装置、终端及服务器
WO2020142997A1 (zh) 随机接入方法及装置
WO2017080204A1 (zh) 故障反馈方法及装置、移动设备
CN112910592B (zh) 时钟同步方法及装置、终端及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20167005221

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017547054

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016116958

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/005918

Country of ref document: MX

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907134

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15907134

Country of ref document: EP

Kind code of ref document: A1