WO2018072098A1

WO2018072098A1 - 一种音视频同步方法和装置

Info

Publication number: WO2018072098A1
Application number: PCT/CN2016/102442
Authority: WO
Inventors: 洪伟焕
Original assignee: 深圳市福斯康姆智能科技有限公司
Priority date: 2016-10-18
Filing date: 2016-10-18
Publication date: 2018-04-26

Abstract

一种音视频同步方法，解决现有技术中播放媒体文件时音视频不能良好同步的问题，包括：矫正当前视频帧的展示时间戳；根据所述当前视频帧矫正后的展示时间戳，矫正当前音频帧的展示时间戳；根据所述当前音频帧矫正后的展示时间戳，矫正所述当前音频帧的帧索引；根据所述当前视频帧矫正后的展示时间戳和当前音频帧矫正后的展示时间戳，控制视频的播放速度，使得音频和视频的播放同步。提供了一种音视频同步方法，使得播放媒体文件时音视频能够精确同步。

Description

发明名称：一种音视频同步方法和装置

技术领域

[0001] 本发明涉及媒体播放领域，尤其涉及一种音视频同步方法和装置。

背景技术

[0002] 通常，数字媒体文件或媒体流中的音频数据和视频数据是分离存放和处理的，因此，当进行音视频播放吋，播放器必须对音频和视频进行同步，否则，观赏者看到的图像和听到的声音就不同步。为达到同步的目的，媒体源会有一个吋钟，每一帧音频数据或视频数据都会打上一个所谓的展示吋间戳（Presentation Time Stamp, PTS) ， PTS指示了播放器播放每帧音频或视频的相对吋间，此吋间是相对于媒体源吋钟的吋间基点。

[0003] 在播放吋，播放器必须确保在指定的吋间播放相应的音频帧或视频帧。为此，播放器会有一个本地吋钟，音频或视频的呈现装置（renderer) 会比较 PTS和本地吋钟，如果吻合，即 PTS落入一定的本地吋钟接收区间范围，则播放相应的音频帧或视频帧；在 PTS早于该接收区间，则丢弃该数据帧；当 PTS晚于该接收区间，则保留并延迟到相应的吋间再呈现该数据帧。

[0004] 现有播放器的播放控制逻辑为读取音视频数据，根据音视频数据的 PTS进行音频视频的各自播放，不对音视频数据的吋间戳进行分析及矫正。然而，音视频数据是通过网络获取的播放软件，网络状况的好坏对音视频同步效果的影响非常大。因此，现有的音视频同步方法的得到的效果不精确。

技术问题

[0005] 本发明的目的在于提供一种音视频同步方法和装置，以使得播放媒体文件吋音视频能够精确同步。

问题的解决方案

技术解决方案

[0006] 本发明的第一方面，提供一种音视频同步方法，包括：

[0007] 矫正当前视频帧的展示吋间戳； [0008] 根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳； [0009] 根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索引； [0010] 根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。

[0011] 本发明的第二方面，提供一种音视频同步装置，包括：

[0012] 视频帧展示吋间戳矫正模块，用于矫正当前视频帧的展示吋间戳；

[0013] 音频帧展示吋间戳矫正模块，用于根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳；

[0014] 音频帧索引矫正模块，用于根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索引；

[0015] 播放控制模块，用于根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。

发明的有益效果

有益效果

[0016] 从上述本发明提供的技术方案可知，一方面，在音视频媒体文件播放前，对音视频的展示吋间戳和音频帧索引等参数进行了矫正，能够获得精准的音视频帧展示吋间戳，这为音视频的同步打下了良好的基础；另一方面，根据已经获得的当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳即精准的展示吋间戳，能够精确地控制视频的播放速度，从而最终使得音视频的播放能够精确同步。

对附图的简要说明

附图说明

[0017] 图 1是本发明实施例一提供的音视频同步方法的实现流程示意图；

[0018] 图 2是本发明实施例二提供的矫正当前视频帧的展示吋间戳的实现流程示意图

[0019] 图 3是本发明实施例三提供的矫正当前音频帧的展示吋间戳和索引帧的实现流程示意图；

[0020] 图 4是本发明实施例四提供的音视频同步装置的结构示意图； [0021] 图 5是本发明实施例五提供的音视频同步装置的结构示意图；

[0022] 图 6是本发明实施例六提供的音视频同步装置的结构示意图；

[0023] 图 7是本发明实施例七提供的音视频同步装置的结构示意图；

[0024] 图 8-a是本发明实施例八提供的音视频同步装置的结构示意图；

[0025] 图 8-b是本发明实施例九提供的音视频同步装置的结构示意图；

[0026] 图 8-c是本发明实施例十提供的音视频同步装置的结构示意图；

[0027] 图 8-d是本发明实施例十一提供的音视频同步装置的结构示意图；

[0028] 图 9是本发明实施例十二提供的音视频同步装置的结构示意图。

本发明的实施方式

[0029] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0030] 本发明提供一种音视频同步方法，所述方法包括：矫正当前视频帧的展示吋间戳；根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳；根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索引；根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。本发明还提供相应的音视频同步装置。以下分别进行详细说明。

[0031] 请参阅附图 1，是本发明实施例一提供的音视频同步方法的实现流程示意图，主要包括以下步骤 S101至步骤 S104，详细说明如下：

[0032] S101 , 矫正当前视频帧的展示吋间戳。

[0033] 作为本发明一个实施例，矫正当前视频帧的展示吋间戳可通过如下步骤 S1011 至 S1013实现：

[0034] S1011 , 读取当前视频帧的上一视频帧的展示吋间戳 lastVpts 网络层实际接收当前视频帧的吋间 orgVtime和网络层实际接收当前视频帧的上一视频帧的吋间 las tVtime=

[0035] 需要说明的是，当前视频帧的上一视频帧的展示吋间戳 lastVpts是在对当前视频帧的上一视频帧做展示吋间戳矫正吋，矫正完之后保存下来的，而网络层实际接收当前视频帧的吋间 orgVtime和网络层实际接收当前视频帧的上一视频帧的吋间 lastVtime均可以在接收到视频帧吋，解析视频帧即可获得。

[0036] S1012, 获取录像吋间跳跃累积值 sumIntervalTime。

[0037] 需要说明的是，录像吋间跳跃累积值 sumlntervalTime是网络层实际接收当前视频帧的吋间 orgVtime与网络层实际接收当前视频帧的上一视频帧的吋间之差的累积值，可表示为 sumIntervalTime=∑(orgVtime_lastMediaTime)，其中， lastMediaT ime表示网络层实际接收当前视频帧的任意上一视频帧的吋间，求和符号"∑"表示吋间间隔的累积。

[0038] S1013 , 按照公式 adjVpts = lastVpts + (orgVtime - lastVtime) - sumlntervalTime 计算矫正后的视频帧的展示吋间戳，其中， adjVpts为当前视频帧矫正后的展示吋间戳。

[0039] 矫正当前视频帧的展示吋间戳，其更为详细的流程如附图 2所示，主要包括步骤 S201至 S208 , 说明如下：

[0040] S201 , 保存原始的参数值。

[0041] 具体包括：在网络层接收到一帧视频帧吋，将接收该视频帧的实际吋间保存为原始接收吋间 orgVtime, 将该视频帧的展示吋间戳保存为原始的视频帧展示吋间戳 orgVpts，将该视频帧的帧索弓 I保存为原始的视频帧索弓 1_0rgVInd_ex。

[0042] S202, 判断当前视频帧是否为第一帧视频帧。

[0043] 若当前视频帧是第一帧视频帧，则流程执行步骤 S203 , 否则，执行步骤 S204。

[0044] S203 , 设置当前视频帧的上一帧视频帧的实际接收吋间、帧索引、展示吋间戳以及录像吋间跳跃累积值等参数。

[0045] 具体地，包括：将 orgVtime设置为上一帧媒体帧吋间 lastMediaTime, 设置当前视频帧和上一帧视频帧之间的帧索引间隔 intervalVI为 1，设置录像吋间跳跃累积值为 0，设置网络层实际接收当前视频帧和上一帧视频帧的吋间间隔 intervalVtim e为 0，将当前视频帧的展示吋间戳 orgVpts设置为第一帧视频帧的上一视频帧的展示吋间戳 lastVpts , 将网络层实际接收当前视频帧的吋间 orgVtime设置为网络层实际接收当前视频帧的上一视频帧的吋间 lastVtime, 将当前视频帧的帧索引 or gVIndex设置为当前视频帧的上一视频帧的帧索弓 I lastVIndex，以及将当前视频帧的展示吋间戳 orgVpts保存为当前视频帧的上一帧视频帧的原始展示吋间戳 lastorg Vpts , 等等。

[0046] S204, 设置当前视频帧的上一帧视频帧的实际接收吋间、帧索引、展示吋间戳以及计算网络层实际接收当前视频帧和上一帧视频帧的吋间间隔，计算录像吋间跳跃累积值等参数。

[0047] 具体地，包括：将 orgVtime设置为上一帧媒体帧吋间 lastMediaTime; 读取当前视频帧的帧索弓 I orgVIndex和当前视频帧的上一视频帧的帧索弓 I lastVIndex并按照公式 intervalVI = orgVIndex - lastVIndex计算当前视频帧和当前视频帧的上一视频帧之间的帧索引差值，其中， intervalVI为当前视频帧和当前视频帧的上一视频帧之间的帧索引差值；读取网络层实际接收当前视频帧的吋间 orgVtime和网络层实际接收当前视频帧的上一视频帧的吋间 lastVtime并按照公式 intervalVtime = orgVtime - lastVtime计算为网络层实际接收当前视频帧和上一帧视频帧的吋间间隔，其中， intervalVtime为网络层实际接收当前视频帧和上一帧视频帧的吋间间隔；保存网络层实际接收当前视频帧的吋间 orgVtime作为网络层实际接收当前视频帧的上一帧视频帧的吋间 lastVtime；保存当前视频帧的帧索弓 I orgVIndex作为当前视频帧的上一视频帧的帧索弓 I lastVIndex；保存当前视频帧的展示吋间戳 org Vpts作为当前视频帧的上一帧视频帧的原始展示吋间戳 lastorgVpts , 等等。

[0048] S205，判断当前视频帧和当前视频帧的上一视频帧之间的帧索弓 I差值是否等于 1?

[0049] 若 intervalVI等于 1，则流程执行步骤 S208 , 否则，流程执行步骤 S206。

[0050] S206 , 判断网络层实际接收当前视频帧和上一帧视频帧的吋间间隔是否大于预设阈值。

[0051] 若网络层实际接收当前视频帧和上一帧视频帧的吋间间隔 intervalVtime大于预设阈值，例如 3秒，则流执行步骤 S207，否则，流程执行步骤 S208。

[0052] S207，计算录像吋间间隔累积值 sumIntervalTime。

[0053] 在本发明实施例中，按照公式 sumlntervalTime =∑(orgVtime - lastMediaTime)，其中， lastMediaTime表示网络层实际接收当前视频帧的任意上一视频帧的吋间，求和符号"∑"表示吋间间隔的累积。

[0054] S208 , 保存当前视频帧的上一视频帧的展示吋间戳 lastVpts和上一帧媒体帧吋间 lastMediaTime , 并计算当前视频帧矫正后的展示吋间戳 adjVpts。

[0055] 具体地，将当前视频帧的展示吋间戳 orgVpts加上 intervalVtime后保存，作为当前视频帧的上一视频帧的展示吋间戳 lastVpts , 将网络层实际接收当前视频帧的吋间 orgVtime保存，作为上一帧媒体帧吋间 lastMediaTime，按照公式 adj Vpts = lastVpts + (orgVtime - lastVtime) _ sumlntervalTimei†算矫正后的视频帧的展示吋间戳，其中， adjVpts为当前视频帧矫正后的展示吋间戳，等等。

[0056] S102, 根据当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳。

[0057] 作为本发明一个实施例，根据当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳可通过如下步骤 S1021和 S1022实现：

[0058] S1021 , 读取当前视频帧的上一视频帧的展示吋间戳 lastVpts. 网络层实际接收视频帧的原始展示吋间戳 orgVpts和网络层实际接收音频帧的原始展示吋间戳 org Apts°

[0059] S1022, 按照公式 adj Apts = lastVpts + (orgApts - orgVpts) 计算矫正后的音频帧的展示吋间戳，其中， adjApts为当前音频帧矫正后的展示吋间戳。

[0060] S103 , 根据当前音频帧矫正后的展示吋间戳，矫正当前音频帧的帧索引。

[0061] 作为本发明一个实施例，根据当前音频帧矫正后的展示吋间戳，矫正当前音频帧的帧索弓 I可通过如下步骤 S 1031和 S 1032实现：

[0062] S1031 , 读取当前音频帧的上一音频帧的帧索引 lastAIndex和当前音频帧的上一音频帧矫正后的展示吋间戳 la_StadjApt_S。

[0063] S1032, 按照公式 adjlndex = lastAIndex + (adjApts - lastadjApts) /60计算矫正后的音频帧的展示吋间戳，其中， adjlndex为当前音频帧矫正后的帧索引。

[0064] 根据当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳，以及根据当前音频帧矫正后的展示吋间戳，矫正当前音频帧的帧索引，其更为详细的流程如附图 3所示，主要包括步骤 S301至 S311，说明如下：

[0065] S301 , 保存原始的参数值。

[0066] 具体包括：在网络层接收到一帧音频帧吋，将接收该音频帧的实际吋间保存为原始接收吋间 orgAtime, 将该音频帧的展示吋间戳保存为原始的音频帧展示吋间戳 orgApts，将该音频帧的帧索弓 I保存为原始的音频帧索弓 1_0rgAInd_ex。

[0067] S302, 判断当前音频帧是否为第一帧音频帧。

[0068] 若当前音频帧是第一帧音频帧，则流程执行步骤 S303，否则，执行步骤 S304。

[0069] S303 , 设置当前音频帧的上一帧音频帧的实际接收吋间、帧索引、展示吋间戳等参数。

[0070] 具体地，包括：将 orgAtime设置为上一帧媒体帧吋间 lastMediaTime, 设置当前音频帧和上一帧音频帧之间的帧索引间隔 intervalVI为 1，设置网络层实际接收当前音频帧和上一帧音频帧的吋间间隔 intervalVtime为 0，按照公式 lastApts=orgApt S-lastorgVpts+lastVpts计算第一帧音频帧的上一音频帧的展示吋间戳 lastApts , 将网络层实际接收当前音频帧的吋间 orgAtime设置为网络层实际接收当前音频帧的上一音频帧的吋间 lastAtime，将当前音频帧的帧索弓 I orgAIndex设置为当前音频帧的上一音频帧的帧索弓 I lastAIndex，以及将当前音频帧的展示吋间戳 orgApts保存为当前音频帧的上一帧音频帧矫正后的展示吋间戳 lastadjApts , 等等。

[0071] S304, 设置当前音频帧的上一帧音频帧的实际接收吋间、计算网络层实际接收当前音频帧和上一帧音频帧的吋间间隔以及计算当前音频帧和上一帧音频帧的帧索引差值等参数。

[0072] 具体地，包括：将 orgAtime设置为上一帧媒体帧吋间 lastMediaTime; 读取当前音频帧的帧索弓 I orgAIndex和当前音频帧的上一音频帧的帧索弓 I lastAIndex并按照公式 intervalAI = orgAIndex - lastAIndex计算当前音频帧和当前音频帧的上一音频帧之间的帧索引差值，其中， intervalAI为当前音频帧和当前视频帧的上一音频帧之间的帧索引差值；读取网络层实际接收当前音频帧的吋间 orgAtime和网络层实际接收当前音频帧的上一视频帧的吋间 lastAtime并按照公式 int_ervalAtim_e = orgAtime - lastAtime计算为网络层实际接收当前音频帧和上一帧音频帧的吋间间隔，其中， intervalAtime为网络层实际接收当前音频帧和上一帧音频帧的吋间间隔，等等。

[0073] S305，判断当前音频帧和当前音频帧的上一音频帧之间的帧索弓 I差值是否等于 1? [0074] 若 intervalAI等于 1，则流程执行步骤 S308，否则，流程执行步骤 S306。

[0075] S306 , 判断网络层实际接收当前音频帧和上一帧音频帧的吋间间隔是否大于预设阈值。

[0076] 若网络层实际接收当前音频帧和上一帧音频帧的吋间间隔 intervalAtime大于预设阈值，例如 3秒，则流执行步骤 S307，否则，流程执行步骤 S308。

[0077] S307，计算录像吋间间隔累积值 sumIntervalTime。

[0078] 在本发明实施例中，按照公式 sumlntervalTime =∑(orgAtime - lastMediaTime)，其中， lastMediaTime表示网络层实际接收当前音频帧的任意上一音频帧的吋间，求和符号"∑"表示吋间间隔的累积。

[0079] S308 , 计算当前音频帧的上一视音帧的展示吋间戳 lastApts和当前音频帧矫正后的展示吋间戳 adjApts。

[0080] 具体地，按照公式 lastApts=orgApts-lastorgVpts+lastVpts计算当前音频帧的上一视音帧的展示吋间戳 lastApts , 按照公式 adjApts = orgApts-lastorgVpts+lastVpts -sumlntervalTime计算矫正后的音频帧的展示吋间戳 adjApts，等等。

[0081] S309 , 判断当前音频帧是否为第一帧音频帧。

[0082] 若当前音频帧是第一帧音频帧，则流程执行步骤 S310，否则，执行步骤 S311。

[0083] S310, 将矫正后的音频帧的展示吋间戳 adjApts设置为上一帧音频帧矫正后的展示吋间戳 l_astadjApts。

[0084] S311，计算矫正后的音频帧的帧索引 adjAIndex并保存为当前音频帧的上一音频帧的帧索引 lastAIndex, 保存网络层实际接收当前音频帧的上一帧音频帧的吋间 lastAtime°

[0085] 具体地，按照公式 adjAIndex = lastAIndex + (adjApts - lastadjApts) /60计算矫正后的音频帧的展示吋间戳 adjAIndex，并将矫正后的音频帧的帧索弓 I adjAIndex 保存为当前音频帧的上一音频帧的帧索引 lastAIndex, 同吋，将网络层实际接收当前音频帧的吋间 orgAtime保存为网络层实际接收当前音频帧的上一帧音频帧的吋间 lastAtime, 等等。

[0086] S104, 根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳

，控制视频的播放速度，使得音频和视频的播放同步。 [0087] 作为本发明一个实施例，根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步可以是：若根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度快于音频播放速度，则增大视频播放的停顿吋间，直至音频和视频播放速度相同；若根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度慢于音频播放速度，则减小视频播放的停顿吋间，直至音频和视频播放速度相同，。

[0088] 从上述附图 1示例的音视频同步方法可知，一方面，在音视频媒体文件播放前，对音视频的展示吋间戳和音频帧索引等参数进行了矫正，能够获得精准的音视频帧展示吋间戳，这为音视频的同步打下了良好的基础；另一方面，根据已经获得的当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳即精准的展示吋间戳，能够精确地控制视频的播放速度，从而最终使得音视频的播放能够精确同步。

[0089] 请参阅附图 4，是本发明实施例四提供的音视频同步装置的结构示意图。为了便于说明，附图 4仅示出了与本发明实施例相关的部分。附图 4示例的音视频同步装置可以是附图 1示例的音视频同步方法的执行主体。附图 4示例的音视频同步装置主要包括视频帧展示吋间戳矫正模块 401、音频帧展示吋间戳矫正模块 40 2、音频帧索引矫正模块 403和播放控制模块 404，其中：

[0090] 视频帧展示吋间戳矫正模块 401，用于矫正当前视频帧的展示吋间戳；

[0091] 音频帧展示吋间戳矫正模块 402，用于根据当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳；

[0092] 音频帧索引矫正模块 403，用于根据当前音频帧矫正后的展示吋间戳，矫正当前音频帧的帧索引；

[0093] 播放控制模块 404，用于根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。

[0094] 需要说明的是，以上附图 4示例的音视频同步装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将所述音视频同步装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成，例如，前述的视频帧展示吋间戳矫正模块，可以是具有执行前述矫正当前视频帧的展示吋间戳的硬件，例如视频帧展示吋间戳矫正器，也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备；再如前述的音频帧展示吋间戳矫正模块，可以是执行根据当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳的硬件，例如音频帧展示吋间戳矫正器，也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备（本说明书提供的各个实施例都可应用上述描述原则）。

[0095] 附图 4示例的视频帧展示吋间戳矫正模块 401可以包括第一读取单元 501、获取单元 502和第一计算单元 503，如附图 5所示本发明实施例五提供的音视频同步装置，其中：

[0096] 第一读取单元 501，用于读取当前视频帧的上一视频帧的展示吋间戳 lastVpts 网络层实际接收当前视频帧的吋间 orgVtime和网络层实际接收当前视频帧的上一视频帧的吋间 lastVtime;

[0097] 获取单元 502，用于获取录像吋间跳跃累积值 sumlntervalTime;

[0098] 第一计算单元 503，用于按照公式 adjVpts = lastVpts + (orgVtime - lastVtime) - sumlntervalTime计算矫正后的视频帧的展示吋间戳，其中， adjVpts为当前视频帧矫正后的展示吋间戳。

[0099] 附图 5示例的音频帧展示吋间戳矫正模块 402可以包括第二读取单元 601和第二计算单元 602，如附图 6所示本发明实施例六提供的音视频同步装置，其中： [0100] 第二读取单元 601，用于读取当前视频帧的上一视频帧的展示吋间戳 lastVpts. 网络层实际接收视频帧的原始展示吋间戳 orgVpts和网络层实际接收音频帧的原始展示吋间戳 orgApts;

[0101] 第二计算单元 602，用于按照公式 adjApts = lastVpts + (orgApts - orgVpts) 计算矫正后的音频帧的展示吋间戳，其中， adjApts为当前音频帧矫正后的展示吋间戳。 [0102] 附图 6示例的音频帧索引矫正模块 403可以包括第三读取单元 701和第三计算单元 702，如附图 7所示本发明实施例七提供的音视频同步装置，其中：

[0103] 第三读取单元 701，用于读取当前音频帧的上一音频帧的帧索引 lastAIndex和当前音频帧的上一音频帧矫正后的展示吋间戳 lastadjApts;

[0104] 第三计算单元 702，用于按照公式 adj Alndex = lastAIndex + (adjApts - lastadjApts) /60计算矫正后的音频帧的展示吋间戳，其中， adj Alndex为当前音频帧矫正后的帧索引。

[0105] 附图 4至 7任一示例的播放控制模块 404可以包括减速单元 801和增速单元 802，如附图 8-a至 8-d所示本发明实施例八至十一提供的音视频同步装置，其中：

[0106] 减速单元 801，用于若根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度快于音频播放速度，则增大视频播放的停顿吋间，直至音频和视频播放速度相同；

[0107] 增速单元 802，用于若根据当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度慢于音频播放速度，则减小视频播放的停顿吋间，直至音频和视频播放速度相同。

[0108] 请参考图 9，本发明提供了一种音视频同步装置的示意图。音视频同步装置可能是计算机设备或者计算机设备中的一个功能单元，本发明具体实施例并不对音视频同步装置的具体实现做限定。音视频同步装置包括：

[0109] 处理器（processor) 901、通信接口（Communications Interface) 902、存储器

(memory) 903和总线 904。

[0110] 处理器 901、通信接口 902和存储器 903通过总线 904完成相互间的通信。

[0111] 通信接口 902，用于与外界设备，例如，个人电脑、服务器等通信。

[0112] 处理器 901，用于执行程序 905。

[0113] 具体地，程序 905可以包括程序代码，所述程序代码包括计算机操作指令。

[0114] 处理器 901可能是一个中央处理器 CPU, 或者是特定集成电路 ASIC (Applicatio n Specific Integrated Circuit) ，或者是被配置成实施本发明实施例的一个或多个集成电路。

[0115] 存储器 903，用于存放程序 905。存储器 903可能包含高速 RAM存储器，也可能还包括非易失性存储器（non-volatile memory) ，例如至少一个磁盘存储器。程序 905具体可以包括：

[0116] 矫正当前视频帧的展示吋间戳；

[0117] 根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳； [0118] 根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索引； [0119] 根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。

[0120] 程序 905中各模块的具体实现参见图 4所示实施例中的相应模块，在此不赘述。

[0121] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0122] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现吋可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0123] 所述作为分离部件说明的单元可以是或者也可以不是物理上分幵的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0124] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0125] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用吋，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括： u盘

、移动硬盘、只读存储器（ROM, Read-Only

Memory) 、随机存取存储器（RAM, Random Access Memory) 、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

[权利要求 1] 一种音视频同步方法，其特征在于，所述方法包括：

矫正当前视频帧的展示吋间戳；

根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳；

根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索引；

根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。

[权利要求 2] 根据权利要求 1所述的方法，其特征在于，所述矫正当前视频帧的展示吋间戳包括：

读取当前视频帧的上一视频帧的展示吋间戳 lastVpts、网络层实际接收当前视频帧的吋间 orgVtime和网络层实际接收当前视频帧的上一视频帧的吋间 lastVtime;

获取录像吋间跳跃累积值 sumlntervalTime；

按^ 公式 adjVpts = lastVpts + (orgVtime - lastVtime) - sumlntervalTime计算矫正后的视频帧的展示吋间戳，所述 adjVpts为所述当前视频帧矫正后的展示吋间戳。

[权利要求 3] 根据权利要求 2所述的方法，其特征在于，所述根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳包括：读取当前视频帧的上一视频帧的展示吋间戳 lastVpts、网络层实际接收视频帧的原始展示吋间戳 orgVpts和网络层实际接收音频帧的原始展示吋间戳 orgApts;

按照公式 adjApts = lastVpts + (orgApts - orgVpts) 计算矫正后的音频帧的展示吋间戳，所述 adjApts为所述当前音频帧矫正后的展示吋间

[权利要求 4] 根据权利要求 3所述的方法，其特征在于，所述根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索弓 I包括：读取当前音频帧的上一音频帧的帧索引 lastAIndex和当前音频帧的上一音频帧矫正后的展示吋间戳 lastadjApts ;

按照、公式 adjAIndex = lastAIndex + (adjApts - lastadjApts) /60计算矫正后的音频帧的展示吋间戳，所述 adjAIndex为所述当前音频帧矫正后的帧索引。

[权利要求 5] 根据权利要求 1至 4任意一项所述的方法，其特征在于，所述根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步包括：。

若根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度快于音频播放速度，则增大视频播放的停顿吋间，直至所述音频和视频播放速度相同；

若根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度慢于音频播放速度，则减小视频播放的停顿吋间，直至所述音频和视频播放速度相同。

[权利要求 6] —种音视频同步装置，其特征在于，所述装置包括：

视频帧展示吋间戳矫正模块，用于矫正当前视频帧的展示吋间戳；音频帧展示吋间戳矫正模块，用于根据所述当前视频帧矫正后的展示吋间戳，矫正当前音频帧的展示吋间戳；

音频帧索引矫正模块，用于根据所述当前音频帧矫正后的展示吋间戳，矫正所述当前音频帧的帧索引；

播放控制模块，用于根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳，控制视频的播放速度，使得音频和视频的播放同步。

[权利要求 7] 根据权利要求 6所述的装置，其特征在于，所述视频帧展示吋间戳矫正模块包括：

第一读取单元，用于读取当前视频帧的上一视频帧的展示吋间戳 last Vpts、网络层实际接收当前视频帧的吋间 orgVtime和网络层实际接收当前视频帧的上一视频帧的吋间 lastVtime；获取单元，用于获取录像吋间跳跃累积值 sumlntervalTime;

第一计算单元，用于按照公式 adjVpts = lastVpts + (orgVtime - lastVtime) - sumlntervalTime计算矫正后的视频帧的展示吋间戳，所述 adjVpts为所述当前视频帧矫正后的展示吋间戳。

[权利要求 8] 根据权利要求 7所述的装置，其特征在于，所述音频帧展示吋间戳矫正模块包括：

第二读取单元，用于读取当前视频帧的上一视频帧的展示吋间戳 last Vpts、网络层实际接收视频帧的原始展示吋间戳 orgVpts和网络层实际接收音频帧的原始展示吋间戳 orgApts;

第二计算单元，用于按照公式 adjApts = lastVpts + (orgApts - orgVpts

) 计算矫正后的音频帧的展示吋间戳，所述 adjApts为所述当前音频帧矫正后的展示吋间戳。

[权利要求 9] 根据权利要求 8所述的装置，其特征在于，所述音频帧索引矫正模块包括：

第三读取单元，用于读取当前音频帧的上一音频帧的帧索引 lastAInde X和当前音频帧的上一音频帧矫正后的展示吋间戳 lastadjApts ;

第三计算单元，用于按照公式 adjAIndex = lastAIndex + (adjApts - lastadjApts) /60计算矫正后的音频帧的展示吋间戳，所述 adjAIndex为所述当前音频帧矫正后的帧索引。

[权利要求 10] 根据权利要求 6至 9任意一项所述的装置，其特征在于，所述播放控制模块包括：

减速单元，用于若根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度快于音频播放速度，则增大视频播放的停顿吋间，直至所述音频和视频播放速度相同；增速单元，用于若根据所述当前视频帧矫正后的展示吋间戳和当前音频帧矫正后的展示吋间戳获知视频播放速度慢于音频播放速度，则减小视频播放的停顿吋间，直至所述音频和视频播放速度相同。

[权利要求 11] 一种音视频同步装置，其特征在于，所述装置包括：处理器，通信接口，存储器和总线；其中，所述处理器、所述通信接口和所述存储器通过所述总线完成相互间的通信；

所述通信接口，用于与外界设备通信；

所述处理器，用于执行程序；

所述存储器，用于存放所述程序；

所述程序包括：

矫正当前视频帧的展示吋间戳；