WO2018032680A1 - 音视频播放方法及系统 - Google Patents
音视频播放方法及系统 Download PDFInfo
- Publication number
- WO2018032680A1 WO2018032680A1 PCT/CN2016/112238 CN2016112238W WO2018032680A1 WO 2018032680 A1 WO2018032680 A1 WO 2018032680A1 CN 2016112238 W CN2016112238 W CN 2016112238W WO 2018032680 A1 WO2018032680 A1 WO 2018032680A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- audio
- video
- time point
- file
- currently
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
公开了一种音视频播放方法,所述音视频播放方法包括:在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码;从获取的所述时间点播放解码后的音视频。还公开了一种音视频播放系统。本申请保持了音视频播放的音像同步。
Description
技术领域
本发明涉及音视频播放领域,尤其涉及一种音视频播放方法及系统。
背景技术
目前,音视频播放已经是电视等设备必备的功能,用户在播放音视频时,有时会发现图像与声音出现异常,即图像与声音不同步,如人物已经开始讲话了,但声音还没有出来,或者声音出来了,人物还没有开始讲话,这样用户看起来特别的别扭。
产生音像异常的原因,主要是由于音视频制作的工具各种各样,所编辑成的音视频文件也各不相同,甚至是不符合标准的。如此一来,电视在音视频解码时容易产生了错误,如图像或声音在解码时跳过某些数据帧,从而使得图像与声音播放时的时间轴没有对齐,导致了音像不同步的问题。
发明内容
本发明的主要目的在于提出一种音视频播放方法及系统,旨在解决传统的音视频播放方式,容易出现音像不同步的技术问题。
为实现上述目的,本发明提供的一种音视频播放方法,所述音视频播放方法包括:
在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点,其中,所述检测到当前正在播放的音视频异常的步骤包括:分离出当前正在播放的音视频对应的音频和视频,确定分离出的音频和视频在同一时刻的时间点,若音频和视频在同一时刻的时间点不同,可确定当前正在播放的音视频异常;
在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码;
从获取的所述时间点播放解码后的音视频。
优选地,所述检测到当前正在播放的音视频异常的步骤还包括:
判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;
若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
优选地,所述跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,执行以下步骤:
根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
优选地,所述音视频播放方法还包括:
在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;
在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
优选地,所述从获取的所述时间点播放解码后的音视频的步骤之后,所述音视频播放方法还包括:
清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
为实现上述目的,本发明提供的一种音视频播放方法,所述音视频播放方法包括:
在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;
在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码;
从获取的所述时间点播放解码后的音视频。
优选地,所述检测到当前正在播放的音视频异常的步骤包括:
判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;
若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
优选地,所述跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,执行以下步骤:
根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
优选地,所述音视频播放方法还包括:
在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;
在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
优选地,所述从获取的所述时间点播放解码后的音视频的步骤之后,所述音视频播放方法还包括:
清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
此外,为实现上述目的,本发明还提出一种音视频播放系统,所述音视频播放系统包括:
获取模块,用于在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;
跳转模块,用于在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置;
解码模块,用于对音频文件和视频文件进行解码;
播放模块,用于从获取的所述时间点播放解码后的音视频。
优选地,所述音视频播放系统包括:
判断模块,用于判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;
确定模块,用于若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
优选地,所述音视频播放系统还包括:
调整模块,用于在所述跳转模块跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
优选地,所述音视频播放系统还包括:
检测模块,用于在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;
处理模块,用于在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
优选地,所述音视频播放系统还包括:
清除模块,用于清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
本发明提出的音视频播放方法及系统,在检测到当前正在播放的音视频异常时,获取当前解码的视频对应的时间点,然后在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码,并从获取的所述时间点播放解码后的音视频,实现了解码后的音视频中,音频片段和视频片段的时间点保持一致,使得最终输出的音视频也保持音像同步。
附图说明
图1为本发明音视频播放方法第一实施例的流程示意图;
图2为本发明音视频播放方法第二实施例的流程示意图;
图3为本发明音视频播放方法第三实施例的流程示意图;
图4为本发明音视频播放系统第一实施例的功能模块示意图;
图5为本发明音视频播放系统第二实施例的功能模块示意图;
图6为本发明音视频播放系统第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种音视频播放方法。
参照图1,图1为本发明音视频播放方法第一实施例的流程示意图。
在本实施例中,所述音视频播放方法包括:
步骤S10,在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;
在本实施例中,所述音视频文件边解码边播放,具体是终端先解码一部分音视频,然后播放解码后的音视频,并在播放解码后的音视频时,继续解码音视频文件的剩余部分。在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频有异常,则获取当前刚解码的音视频对应的时间点。值得注意的是,所述检测到当前正在播放的音视频异常的方式包括:
a、方式一、分离出当前正在播放的音视频对应的音频和视频,确定分离出的音频和视频在同一时刻的时间点,若音频和视频在同一时刻的时间点不同,可确定当前正在播放的音视频异常。
其中,同一时刻表示具体的时间,如10点;时间点表示音频或视频播放的具体时间,如播放12分整,或者是12分25秒。
值得注意的是,音视频文件从音频数据流编码成音频文件,从视频数据流编码成视频文件时,都记录了对应的时间点,并且,同一个音视频文件的同一帧画面中,图像和音频也是相互符合的,如某一帧图像对应的时间点是12分12秒,与这一帧图像匹配的音频也是12分12秒,这样后续在播放该音视频时,才能音像同步。虽然现有的音视频播放过程,会出现音像不同步的问题,但也是由于一个画面的图像与另一个画面的音频同时出现,导致音像不同步。因此,现有的音像不同步,实际上是音频和视频的时间轴没有对齐,时间轴出现了偏差导致音像不同步,但是,音频和视频实际的时间点并没有改变。因此,若音频和视频在同一播放时刻的时间点不同,即可确定当前正在播放的音视频异常。
b、方式二、判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;
若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
在本实施方式中,终端在音视频文件边解码边播放的过程中,可实时或定时检测刚解码的音视频中的音频和视频,当音频和视频在同一时刻的时间点不一致时,认为所述音视频异常,并将异常数据标志位设为预设值,所述预设值根据具体情况进行设置,此处不做限定,例如,设置为1。
若终端是实时检测刚解码的音视频中的音频和视频,那么在检测到音视频中的音频和视频在同一时刻的时间点不一致时,即可将异常数据标志位设为预设值,并将所述异常数据标志位与该音视频关联存储,后续在播放到该音视频时,若检测到异常数据标志位为预设值,可直接确定当前正在播放的所述音视频异常。当然,这种情况下,一有音频和视频在同一时刻的时间点不一致,后续连着的音频和视频的时间点可能都会不一致,因此,也可直接将所述异常数据标志位与后续的音视频关联存储。直到获取当前解码的视频对应的时间点,并跳转到至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码,才将上述异常数据标志位的预设值清除。
若终端是定时检测刚解码的音视频中的音频和视频,那么即可将所述异常数据标志位与定时检测的音视频关联存储,每次检测到音视频的音频和视频在同一时刻的时间点不一致,就将所述异常数据标志位与检测到的音视频关联存储。后续,在播放到音视频时,若检测到异常数据标志位为预设值,可直接确定播放的音视频异常。
在本实施例中,由于异常数据标志位的数值是在音视频解码时就标记了,后续在音视频播放时,根据异常数据标志位的值即可确定音视频是否异常,而不用去提出音视频的音频和视频,再去分析时间点是否相同,缩短了音视频异常确定的时间,有效的提高了音视频异常确定的效率,并且也提高了音视频播放的智能性,因此,本实施例中,优选采用方式二确定当前正在播放的音视频是否异常。
在本实施例中,在音视频文件边解码边播放的过程中,优选对当前正在播放的音视频进行检测,所述检测的方式可以是实时检测,也可以是定时检测,以检测当前正在播放的音视频是否异常,若检测到正在播放的音视频异常,此时,获取当前解码的视频对应的时间点,也就是获取刚解码的视频对应的时间点,后续可根据该视频的时间点,调整音频的时间点,以使得视频的时间点与音频在同一时刻的时间点同步,如在10:00时,若视频对应的时间点是25:00,音频对应的时间点也应该是25:00,这样才能保持音视频的同步播放,其中,所述25:00表示音视频正常播放到该位置时,需要25分钟。
步骤S20,在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码;
在本实施例中,在获取所述时间点后,将所述时间点与预设的跳转时间点进行比对,以确定所述时间点与预设的跳转时间点是否相同,若获取的所述时间点与预设的跳转时间点相同,则直接跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码。
当然,可以理解的是,若获取的所述时间点不是预设的跳转时间点,则所述终端会继续解码视频,直到解码的视频的时间点与预设的跳转时间点一致。
在本实施例中,所述执行“跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码”的同时,执行以下步骤:
根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
也就是说,在获取解码的视频对应的时间点为预设的跳转时间点时,此时,根据获取的所述时间点,对音频文件的时间点进行调整,以使所述音频文件与所述视频文件的时间轴对齐,也就是说,同一时刻,视频对应25:00,音频也要对应25:00;视频对应29:00,音频也要对应29:00。
步骤S30,从获取的所述时间点播放解码后的音视频。
在本实施例中,对音频文件和视频文件进行解码,其实就是从同一个时间点开始,对音频文件和视频文件进行解码,那么解码后的音视频中,音频和视频的时间轴就一致了,后续所述终端可以从获取的所述时间点播放解码后的音视频,使得最终播放的音视频音像同步。
本实施例中,播放解码后的音视频,可在终端的显示屏进行播放显示,也可以由终端输出其它显示设备中进行播放显示。
本实施例中,可以是在整个音视频文件的解码播放过程中,执行上述操作,也可以是在音视频文件中,提取出部分的音视频文件进行解码播放过程,在提取的音视频数据解码成功,并播放了预设比值的音视频片段之后,才继续在音视频文件中继续进行上述的解码播放操作。
本实施例提出的音视频播放方法,在检测到当前正在播放的音视频异常时,获取当前解码的视频对应的时间点,然后在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码,并从获取的所述时间点播放解码后的音视频,实现了解码后的音视频中,音频片段和视频片段的时间点保持一致,使得最终输出的音视频也保持音像同步。
进一步地,为了提高音视频播放的智能性,基于第一实施例提出本发明音视频播放方法的第二实施例,在本实施例中,参照图2,所述音视频播放方法还包括:
步骤S40,在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;
步骤S50,在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
在本实施例中,在音视频文件边解码边播放的过程中,所述终端实时检测解码后的音频片段和视频片段的时间轴是否对齐,也就是说,检测解码后的音频片段和视频片段在每一个时刻对应的两个时间点是否一致,若音频片段和视频片段的时间轴没有对齐,即解码后的音频片段和视频片段在某一个时刻对应的两个时间点没有一致。此时,可认为该音视频有异常了,出现了音像不同步的问题,所述终端可先对异常的音频片段和视频片段进行处理,所述处理方式包括:将音频片段和视频片段归类起来,然后将异常数据标志位设为所述预设值。第一实施例中已经提到,所述预设值根据具体情况进行设置,具体数值不做限定,在设置好了异常数据标志位之后,将所述异常数据标志位与归类后的音频片段和视频片段关联起来,便于后续终端在播放音视频时,根据所述异常数据标志位即可快速确定音视频有异常,并执行相应的时间轴调节操作。而不用再去提取出音视频中的音频和视频,再去分析时间点等等操作,才能确定音视频有异常,从而提高了音视频异常确定的效率和智能性。
进一步地,所述终端将当前播放时间点增加预设时间间隔,以得到所述跳转时间点,并存储记录的所述跳转时间点,同样便于后续跳转到所述跳转时间点中,重新进行音视频的解码和播放,增加预设时间间隔,相当于是丢弃了中间一小段不同步的音视频。当然,所述预设时间间隔应当是一个比较小的数值,如0.5秒,这些才能避免音视频片段丢弃过多。
在本实施例中,所述音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐,在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点,便于后续终端在播放音视频时,快速执行音视频的播放调整,使得音视频音像同步的效率提高,并且音视频播放的智能性也提高。
进一步地,为了提高音视频播放的灵活性,基于第一或第二实施例提出本发明音视频播放方法的第三实施例,在本实施例中,参照图3,所述步骤S30之后,所述音视频播放方法还包括:
步骤S60,清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
在本实施例中,当终端可以正常播放音视频时,即可将所述异常数据标志位对应的所述预设值进行清除,防止了正常播放音视频时,由于异常数据标志位的所述预设值,对音视频播放造成的误导。同时,清除所述跳转时间点,有效的释放了存储空间的占用,提高了音视频播放的灵活性。
本发明进一步提供一种音视频播放系统。
参照图4,图4为本发明音视频播放系统较佳实施例的功能模块示意图。
需要强调的是,对本领域的技术人员来说,图4所示功能模块图仅仅是一个较佳实施例的示例图,本领域的技术人员围绕图4所示的音视频播放系统的功能模块,可轻易进行新的功能模块的补充;各功能模块的名称是自定义名称,仅用于辅助理解该音视频播放系统的各个程序功能块,不用于限定本发明的技术方案,本发明技术方案的核心是,各自定义名称的功能模块所要达成的功能。
在本实施例中,所述音视频播放系统包括:
获取模块10,用于在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;
在本实施例中,所述音视频文件边解码边播放,具体是终端先解码一部分音视频,然后播放解码后的音视频,并在播放解码后的音视频时,继续解码音视频文件的剩余部分。在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频有异常,则获取模块10获取当前刚解码的音视频对应的时间点。值得注意的是,所述检测当前正在播放的音视频异常的方式包括:
a、方式一、所述音视频播放系统包括:
分离模块,用于分离出当前正在播放的音视频对应的音频和视频;
确定模块,用于确定分离出的音频和视频在同一时刻的时间点;
所述确定模块,还用于若音频和视频在同一时刻的时间点不同,可确定当前正在播放的音视频异常。
其中,同一时刻表示具体的时间,如10点;时间点表示音频或视频播放的具体时间,如播放12分整,或者是12分25秒。
值得注意的是,音视频文件从音频数据流编码成音频文件,从视频数据流编码成视频文件时,都记录了对应的时间点,并且,同一个音视频文件的同一帧画面中,图像和音频也是相互符合的,如某一帧图像对应的时间点是12分12秒,与这一帧图像匹配的音频也是12分12秒,这样后续在播放该音视频时,才能音像同步。虽然现有的音视频播放过程,会出现音像不同步的问题,但也是由于一个画面的图像与另一个画面的音频同时出现,导致音像不同步。因此,现有的音像不同步,实际上是音频和视频的时间轴没有对齐,时间轴出现了偏差导致音像不同步,但是,音频和视频实际的时间点并没有改变。因此,若音频和视频在同一播放时刻的时间点不同,即可确定当前正在播放的音视频异常。
b、方式二、所述音视频播放系统包括:
判断模块,用于判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;
确定模块,用于若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
在本实施方式中,终端在音视频文件边解码边播放的过程中,可实时或定时检测刚解码的音视频中的音频和视频,当音频和视频在同一时刻的时间点不一致时,认为所述音视频异常,并将异常数据标志位设为预设值,所述预设值根据具体情况进行设置,此处不做限定,例如,设置为1。
若终端是实时检测刚解码的音视频中的音频和视频,那么在检测到音视频中的音频和视频在同一时刻的时间点不一致时,即可将异常数据标志位设为预设值,并将所述异常数据标志位与该音视频关联存储,后续在播放到该音视频时,若检测到异常数据标志位为预设值,可直接确定当前正在播放的所述音视频异常。当然,这种情况下,一有音频和视频在同一时刻的时间点不一致,后续连着的音频和视频的时间点可能都会不一致,因此,也可直接将所述异常数据标志位与后续的音视频关联存储。直到获取当前解码的视频对应的时间点,并跳转到至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码,才将上述异常数据标志位的预设值清除。
若终端是定时检测刚解码的音视频中的音频和视频,那么即可将所述异常数据标志位与定时检测的音视频关联存储,每次检测到音视频的音频和视频在同一时刻的时间点不一致,就将所述异常数据标志位与检测到的音视频关联存储。后续,在播放到音视频时,若检测到异常数据标志位为预设值,可直接确定播放的音视频异常。
在本实施例中,由于异常数据标志位的数值是在音视频解码时就标记了,后续在音视频播放时,根据异常数据标志位的值即可确定音视频是否异常,而不用去提出音视频的音频和视频,再去分析时间点是否相同,缩短了音视频异常确定的时间,有效的提高了音视频异常确定的效率,并且也提高了音视频播放的智能性,因此,本实施例中,优选采用方式二确定当前正在播放的音视频是否异常。
在本实施例中,在音视频文件边解码边播放的过程中,优选对当前正在播放的音视频进行检测,所述检测的方式可以是实时检测,也可以是定时检测,以检测当前正在播放的音视频是否异常,若检测到正在播放的音视频异常,此时,获取模块10获取当前解码的视频对应的时间点,也就是获取刚解码的视频对应的时间点,后续可根据该视频的时间点,调整音频的时间点,以使得视频的时间点与音频在同一时刻的时间点同步,如在10:00时,若视频对应的时间点是25:00,音频对应的时间点也应该是25:00,这样才能保持音视频的同步播放,其中,所述25:00表示音视频正常播放到该位置时,需要25分钟。
跳转模块20,用于在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置;
解码模块30,用于对音频文件和视频文件进行解码;
在本实施例中,在获取模块10获取所述时间点后,将所述时间点与预设的跳转时间点进行比对,以确定所述时间点与预设的跳转时间点是否相同,若获取的所述时间点与预设的跳转时间点相同,则跳转模块20直接跳转至获取的所述时间点所在音视频文件位置,解码模块30对音频文件和视频文件进行解码。
当然,可以理解的是,若获取模块10获取的所述时间点不是预设的跳转时间点,则解码模块30会继续解码视频,直到解码的视频的时间点与预设的跳转时间点一致。
在本实施例中,所述音视频播放系统还包括:
调整模块,用于在所述跳转模块20跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
也就是说,在获取解码的视频对应的时间点为预设的跳转时间点时,此时,调整模块根据获取的所述时间点,对音频文件的时间点进行调整,以使所述音频文件与所述视频文件的时间轴对齐,也就是说,同一时刻,视频对应25:00,音频也要对应25:00;视频对应29:00时,音频也要对应29:00。
播放模块40,用于从获取的所述时间点播放解码后的音视频。
在本实施例中,解码模块30对音频文件和视频文件进行解码,其实就是从同一个时间点开始,对音频文件和视频文件进行解码,那么解码后的音视频中,音频和视频的时间轴就一致了,后续播放模块40可以从获取的所述时间点播放解码后的音视频,使得最终播放的音视频音像同步。
本实施例中,播放模块40播放解码后的音视频,可在终端的显示屏进行播放显示,也可以输出至其它显示设备中进行播放显示。
本实施例中,可以是在整个音视频文件的解码播放过程中,执行上述操作,也可以是在音视频文件中,提取出部分的音视频文件进行解码播放过程,在提取的音视频数据解码成功,并播放了预设比值的音视频片段之后,才继续在音视频文件中继续进行上述的解码播放操作。
本实施例提出的音视频播放系统,在检测到当前正在播放的音视频异常时,获取当前解码的视频对应的时间点,然后在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码,并从获取的所述时间点播放解码后的音视频,实现了解码后的音视频中,音频片段和视频片段的时间点保持一致,使得最终输出的音视频也保持音像同步。
进一步地,为了提高音视频播放的智能性,基于第一实施例提出本发明音视频播放系统的第二实施例,在本实施例中,参照图5,所述音视频播放系统还包括:
检测模块50,用于在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;
处理模块60,用于在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
在本实施例中,在音视频文件边解码边播放的过程中,检测模块50实时检测解码后的音频片段和视频片段的时间轴是否对齐,也就是说,检测模块50检测解码后的音频片段和视频片段在每一个时刻对应的两个时间点是否一致,若音频片段和视频片段的时间轴没有对齐,即解码后的音频片段和视频片段在某一个时刻对应的两个时间点没有一致。此时,可认为该音视频有异常了,出现了音像不同步的问题,处理模块60可先对异常的音频片段和视频片段进行处理,所述处理方式包括:将音频片段和视频片段归类起来,然后将异常数据标志位设为所述预设值。第一实施例中已经提到,所述预设值根据具体情况进行设置,具体数值不做限定,在设置好了异常数据标志位之后,处理模块60将所述异常数据标志位与归类后的音频片段和视频片段关联起来,便于后续终端在播放音视频时,根据所述异常数据标志位即可快速确定音视频有异常,并执行相应的时间轴调节操作。而不用再去提取出音视频中的音频和视频,再去分析时间点等等操作,才能确定音视频有异常,从而提高了音视频异常确定的效率和智能性。
进一步地,处理模块60将当前播放时间点增加预设时间间隔,以得到所述跳转时间点,并存储记录的所述跳转时间点,同样便于后续跳转到所述跳转时间点中,重新进行音视频的解码和播放,增加预设时间间隔,相当于是丢弃了中间一小段不同步的音视频。当然,所述预设时间间隔应当是一个比较小的数值,如0.5秒,这些才能避免音视频片段丢弃过多。
在本实施例中,所述音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐,在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点,便于后续终端在播放音视频时,快速执行音视频的播放调整,使得音视频音像同步的效率提高,并且音视频播放的智能性也提高。
进一步地,为了提高音视频播放的灵活性,基于第一或第二实施例提出本发明音视频播放系统的第三实施例,在本实施例中,参照图6,所述音视频播放系统还包括:
清除模块70,用于清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
在本实施例中,当终端可以正常播放音视频时,清除模块70即可将所述异常数据标志位对应的所述预设值进行清除,防止了正常播放音视频时,由于异常数据标志位的所述预设值,对音视频播放造成的误导。同时,清除模块70清除所述跳转时间点,有效的释放了存储空间的占用,提高了音视频播放的灵活性。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (15)
- 一种音视频播放方法,其特征在于,所述音视频播放方法包括:在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点,其中,所述检测到当前正在播放的音视频异常的步骤包括:分离出当前正在播放的音视频对应的音频和视频,确定分离出的音频和视频在同一时刻的时间点,若音频和视频在同一时刻的时间点不同,可确定当前正在播放的音视频异常;在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码;从获取的所述时间点播放解码后的音视频。
- 如权利要求1所述的音视频播放方法,其特征在于,所述检测到当前正在播放的音视频异常的步骤还包括:判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
- 如权利要求2所述的音视频播放方法,其特征在于,所述跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,执行以下步骤:根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
- 如权利要求2所述的音视频播放方法,其特征在于,所述音视频播放方法还包括:在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
- 如权利要求1所述的音视频播放方法,其特征在于,所述从获取的所述时间点播放解码后的音视频的步骤之后,所述音视频播放方法还包括:清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
- 一种音视频播放方法,其特征在于,所述音视频播放方法包括:在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码;从获取的所述时间点播放解码后的音视频。
- 如权利要求6所述的音视频播放方法,其特征在于,所述检测到当前正在播放的音视频异常的步骤包括:判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
- 如权利要求7所述的音视频播放方法,其特征在于,所述跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,执行以下步骤:根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
- 如权利要求7所述的音视频播放方法,其特征在于,所述音视频播放方法还包括:在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
- 如权利要求6所述的音视频播放方法,其特征在于,所述从获取的所述时间点播放解码后的音视频的步骤之后,所述音视频播放方法还包括:清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
- 一种音视频播放系统,其特征在于,所述音视频播放系统包括:获取模块,用于在音视频文件边解码边播放的过程中,若检测到当前正在播放的音视频异常,则获取当前解码的视频对应的时间点;跳转模块,用于在获取的所述时间点为预设的跳转时间点时,跳转至获取的所述时间点所在音视频文件位置;解码模块,用于对音频文件和视频文件进行解码;播放模块,用于从获取的所述时间点播放解码后的音视频。
- 如权利要求11所述的音视频播放系统,其特征在于,所述音视频播放系统包括:判断模块,用于判断当前正在播放的所述音视频对应的异常数据标志位是否为预设值时;确定模块,用于若当前正在播放的所述音视频对应的异常数据标志位为预设值,则确定当前正在播放的所述音视频异常。
- 如权利要求12所述的音视频播放系统,其特征在于,所述音视频播放系统还包括:调整模块,用于在所述跳转模块跳转至获取的所述时间点所在音视频文件位置,对音频文件和视频文件进行解码的同时,根据获取的所述时间点调整音频文件的时间点,以使所述音频文件与所述视频文件的时间轴对齐。
- 如权利要求12所述的音视频播放系统,其特征在于,所述音视频播放系统还包括:检测模块,用于在音视频文件边解码边播放的过程中,实时检测解码后的音频片段和视频片段的时间轴是否对齐;处理模块,用于在音频片段和视频片段的时间轴没有对齐时,将异常数据标志位设为所述预设值,并将当前播放时间点增加预设时间间隔,以得到所述跳转时间点。
- 如权利要求11所述的音视频播放系统,其特征在于,所述音视频播放系统还包括:清除模块,用于清除所述异常数据标志位的所述预设值,并清除所述跳转时间点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610671231.4 | 2016-08-15 | ||
CN201610671231.4A CN106210846A (zh) | 2016-08-15 | 2016-08-15 | 音视频播放方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018032680A1 true WO2018032680A1 (zh) | 2018-02-22 |
Family
ID=57522376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2016/112238 WO2018032680A1 (zh) | 2016-08-15 | 2016-12-27 | 音视频播放方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106210846A (zh) |
WO (1) | WO2018032680A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116233472A (zh) * | 2023-05-08 | 2023-06-06 | 湖南马栏山视频先进技术研究院有限公司 | 一种音频视频同步的方法和云端处理系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210846A (zh) * | 2016-08-15 | 2016-12-07 | 深圳Tcl新技术有限公司 | 音视频播放方法及系统 |
CN108632681B (zh) * | 2017-03-21 | 2020-04-03 | 华为技术有限公司 | 播放媒体流的方法、服务器及终端 |
CN107454471A (zh) * | 2017-07-07 | 2017-12-08 | 深圳Tcl数字技术有限公司 | 电视机开机方法、电视机和计算机可读存储介质 |
CN111526374B (zh) * | 2019-02-01 | 2022-05-10 | 广州虎牙信息科技有限公司 | 基于直播的弹幕处理方法、拉流的方法及装置 |
CN110505476A (zh) * | 2019-09-02 | 2019-11-26 | 图普科技(广州)有限公司 | 摄像头管控方法、装置及电子设备 |
CN111488244A (zh) * | 2020-04-07 | 2020-08-04 | 广州虎牙科技有限公司 | 一种编辑异常恢复方法、装置、电子设备及存储介质 |
CN112911365B (zh) * | 2021-02-02 | 2024-03-29 | 卡莱特云科技股份有限公司 | 一种音频同步播放方法及装置 |
CN113242437A (zh) * | 2021-04-01 | 2021-08-10 | 联通(广东)产业互联网有限公司 | 一种rtsp协议视频无插件播放方法、系统、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394469A (zh) * | 2008-10-29 | 2009-03-25 | 北京创毅视讯科技有限公司 | 一种音视频同步方法、装置及一种数字电视芯片 |
CN102110458A (zh) * | 2009-12-24 | 2011-06-29 | Tcl集团股份有限公司 | 一种播放终端及其音视频文件的播放方法和装置 |
US20130251343A1 (en) * | 2012-03-25 | 2013-09-26 | Chun-Ming Lai | Method for performing fluent playback control in response to decoding status, and associated apparatus |
CN106210846A (zh) * | 2016-08-15 | 2016-12-07 | 深圳Tcl新技术有限公司 | 音视频播放方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6803964B1 (en) * | 1997-03-21 | 2004-10-12 | International Business Machines Corporation | Method and apparatus for processing digital data |
CN103338386B (zh) * | 2013-07-10 | 2016-01-13 | 航天恒星科技有限公司 | 基于简化时间戳的音视频同步方法 |
US20150062353A1 (en) * | 2013-08-30 | 2015-03-05 | Microsoft Corporation | Audio video playback synchronization for encoded media |
-
2016
- 2016-08-15 CN CN201610671231.4A patent/CN106210846A/zh active Pending
- 2016-12-27 WO PCT/CN2016/112238 patent/WO2018032680A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394469A (zh) * | 2008-10-29 | 2009-03-25 | 北京创毅视讯科技有限公司 | 一种音视频同步方法、装置及一种数字电视芯片 |
CN102110458A (zh) * | 2009-12-24 | 2011-06-29 | Tcl集团股份有限公司 | 一种播放终端及其音视频文件的播放方法和装置 |
US20130251343A1 (en) * | 2012-03-25 | 2013-09-26 | Chun-Ming Lai | Method for performing fluent playback control in response to decoding status, and associated apparatus |
CN106210846A (zh) * | 2016-08-15 | 2016-12-07 | 深圳Tcl新技术有限公司 | 音视频播放方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116233472A (zh) * | 2023-05-08 | 2023-06-06 | 湖南马栏山视频先进技术研究院有限公司 | 一种音频视频同步的方法和云端处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106210846A (zh) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018032680A1 (zh) | 音视频播放方法及系统 | |
WO2015142016A1 (ko) | 컨텐츠의 재생 제어 방법 및 이를 수행하기 위한 컨텐츠 재생 장치 | |
WO2017143692A1 (zh) | 智能电视及其语音控制方法 | |
WO2017054488A1 (zh) | 电视播放控制方法、服务器及电视播放控制系统 | |
WO2019114269A1 (zh) | 一种节目续播方法、电视设备及计算机可读存储介质 | |
WO2014107101A1 (en) | Display apparatus and method for controlling the same | |
WO2017045441A1 (zh) | 基于智能电视的音频播放方法及装置 | |
WO2017107388A1 (zh) | Hdmi版本切换方法及显示设备 | |
WO2017084302A1 (zh) | 显示终端开机播放视频的方法及显示终端 | |
WO2017177524A1 (zh) | 音视频同步播放的方法及装置 | |
WO2016032021A1 (ko) | 음성 명령 인식을 위한 장치 및 방법 | |
WO2017005066A1 (zh) | 录制音视频同步时间戳的方法和装置 | |
WO2018166224A1 (zh) | 全景视频的目标追踪显示方法、装置及存储介质 | |
WO2018233221A1 (zh) | 多窗口声音输出方法、电视机以及计算机可读存储介质 | |
WO2016091011A1 (zh) | 字幕切换方法及装置 | |
WO2017088427A1 (zh) | 音频输出控制方法及装置 | |
WO2017020649A1 (zh) | 音视频播放控制方法及装置 | |
WO2018223607A1 (zh) | 电视终端及hdr图像转为sdr的方法和计算机可读存储介质 | |
WO2017113614A1 (zh) | 视频播放过程中插播广告的方法及装置 | |
WO2018045682A1 (zh) | 音画同步测试方法及装置 | |
WO2016101702A1 (zh) | 节目录制方法和装置 | |
WO2018032679A1 (zh) | 电视定时开关机的设置方法和装置 | |
WO2017121066A1 (zh) | 应用程序显示方法和系统 | |
WO2019114127A1 (zh) | 空气调节器的语音播报方法及装置 | |
WO2018090461A1 (zh) | 多声道无线音箱之间数据同步的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16913432 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16913432 Country of ref document: EP Kind code of ref document: A1 |