WO2014107946A1 - 一种无线网络下视频实时传输的码率平滑方法 - Google Patents

Abstract

本发明提出一种无线网络下视频实时传输的码率平滑方法，该方法包括：周期性的统计视频帧的传输时延，当传输时延变小时，通过快进调小播放缓存，当传输时延变大时，通过慢放调大播放缓存，所述快进和所述慢放的速度由传输时延变化、播放缓存深度以及时间戳信息共同决定。应用本发明所述方法，能够实现视频流在实时性和流畅性之间的平衡。

Description

一种无线网络下视频实时传输的码率平滑方法 本申请要求于 2013 年 1 月 8 日提交中国专利局、 申请号为 201310006416.X 、 发明名称为 "一种无线网络下视频实时传输的码率 平滑方法" 的中国专利申请的优先权， 其全部内容通过引用结合在本申 请中。 技术领域

本发明涉及无线通信领域， 尤其涉及一种无线网络下视频实时 传输的码率平滑方法。 发明背景

目前对于视频会议等实时性要求较高的应用， 通常会采用接收到视 频帧后直接播放的方法。 该方法着重于实时性， 然而在无线网络中进行 视频传输时， 由于一些视频帧 （例如 I帧）较大， 瞬时码率可能会变成 平均码率的 2倍甚至更多， 突发数据大容易导致网络拥塞， 传输这些帧 所需的时间就相对很长， 导致视频帧传输时出现明显抖动， 在这种情况 下， 如果在接收端仍使用接收到视频帧就显示的方法， 就会出现视频定 时卡顿的现象， 严重影响了视频的流畅性， 影响主观视频感受。

为了克服无线信道变化等原因造成的不稳定性， 传统流媒体系统会 采用緩存帧的方法， 用一定的播放时延来换取视频的流畅性。 该方法使 用一个播放緩沖区来緩存接收到的媒体数据， 在播放流媒体时， 先将接 收到的媒体数据放到緩沖区中， 当緩沖区中的数据量到达一定阈值后开 始按照时间戳信息播放流媒体。 如果信道条件变差， 緩沖区发生了下溢 出， 那么就暂停播放， 等待緩沖区中的数据量到达指定的阈值后继续播 放。 显然， 如果緩存的数据较多， 这种方法可以有效减少客户端因为包 丟失、 包时延、 抖动等产生的播放中断。

但该方法无法统计网络传输时延状况， 不能对緩存大小进行动态调 节， 由于存入读出数据速率的不一致， 容易导致緩沖区变动较大， 会出 现緩存区存满或者播空的现象， 造成视频播放的不流畅。 即在传输时延 小网络状况好的时候， 无法调小緩沖区中的数据量， 导致引入不必要的 緩存时间， 从而在播放时产生相对较大的时延， 4艮难保证视频传输的实 时性； 在网络状况差的时候， 不能动态调大緩存区中的数据量， 容易导 致緩沖区播空，播放停顿， 影响用户体验， 4艮难保证视频传输的流畅性。 发明内容

有鉴于此， 本发明提供了一种无线网络下视频实时传输的码率平滑 方法， 能够实现视频流在实时性和流畅性之间的平衡。

为达到上述目的， 本发明的技术方案是这样实现的：

一种无线网络下视频实时传输的码率平滑方法， 该方法包括： 周期性的统计视频帧的传输时延， 当传输时延变小时， 通过快进调 小播放緩存， 当传输时延变大时， 通过慢放调大播放緩存， 所述快进和 所述慢放的速度由传输时延变化、 播放緩存深度以及时间戳信息共同决 定。

可见， 采用本发明所述方法， 可周期性的统计视频帧的传输时延， 并根据统计结果来感知无线网络状态的变化， 从而动态调节播放緩存的 大小， 找到最佳的播放时延来达到平滑效果， 进而实现了视频流在实时 性和流畅性之间的平衡。 附图简要说明

下面将通过参照附图详细描述本发明的示例性实施例， 使本领域的 普通技术人员更清楚本发明的上述及其它特征和优点， 附图中： 图 1是本发明无线网络下视频实时传输的码率平滑方法的流程图； 图 2是本发明实施例的接收端设备 B进行解码存储的流程图。 实施本发明的方式

针对现有技术中存在的问题， 本发明提出了一种无线网络下视频实 时传输的码率平滑方法， 在播放緩存机制的基础上， 通过周期性统计视 频帧的传输时延来动态感知无线网络状态的变化， 从而动态调节播放緩 存的大小， 找到最佳的播放时延来达到平滑效果， 进而实现了视频流在 实时性和流畅性之间的平衡。 即在保证流畅性的前提下， 在网络状态较 好的情况下， 使用相对较小的播放时延， 而在网络状态较差的情况下， 使用相对较大的播放时延。

图 1是本发明无线网络下视频实时传输的码率平滑方法的流程图。 如图 1所示， 周期性的统计视频帧的传输时延， 当传输时延变小时， 说 明网络状况较好， 则通过快进调小播放緩存， 以减少播放时延； 当传输 时延变大时， 说明网络状况较差， 则通过慢放调大播放緩存， 以防止緩 存区播空造成视频停顿。 由于播放緩存的大小由写入和读出緩存区数据 量之差决定， 读出速度可控， 可以进行快进或慢放， 因此本发明通过快 进和慢放来调整播放緩存的大小， 快进和慢放的速度由传输时延变化、 播放緩存深度以及时间戳信息共同决定。 这样的调整不仅考虑到了传输 时延变化的因素， 同时还考虑到了播放緩存深度的因素：播放緩存越大， 说明当前緩存的数据量越接近最大緩存值， 越需要进行快进， 以保证緩 存区能够有足够的空间来容纳后续的数据； 反之， 播放緩存越小， 说明 当前緩存的数据量越少， 越需要进行慢放， 以保证緩沖区非空。

依据前述介绍可知， 本发明所述方法中， 需要周期性的统计视频帧 的传输时延。 优选的， 每次周期性统计时可以采用以下方法： 将最近 T 时间内每个视频帧的传输时延加权平均得到传输时延的统计值为 ja_iD_i

D = ^——， Α·为最近时间 T 内到来的每个视频帧的传输时延， Ν

ί^' = 1，²，·· ·，Λ 为权重因子， _Ν 为最近时间 τ 内到来的视频帧的个数， Τ 为预先设置的统计时间窗口的大小。 当然， 在实际应用中， 也可以采用 其它方法来统计视频帧的传输时延， 只要能够反映出无线网络状态的变 化即可。

在每个周期统计出传输时延之后， 可以利用最近周期统计的传输时 延 与上一个周期统计的传输时延 A。_si来估计下一个周期到来前的无 线网络状态。 比较最近周期统计的传输时延 和上一个周期统计的传 输时延 ^S 若前者较大， 说明传输时延变大， 网络有变坏的趋势， 故 需要动态调大播放緩存； 若后者较大， 说明传输时延变小， 网络有变好 的趋势， 故动态调小播放緩存。 当然， 也可以采用其它方法来判断传输 时延的变化情况， 例如， 采用前 K个周期统计的传输时延进行比较判断 等。

为了更好的满足主观视频感受， 可以通过小颗粒度的慢放和快进来 分别增大和减小播放緩存。 根据经验值， 人眼的视觉特性在 25%播放时 间间隔范围内变化时， 不会感觉出速度的变化， 所以， 优选的， 快进和 慢放的速度保持在按时间戳播放速度的 25%的范围内变化， 即慢放的速 度 r_s 范围为（0.75 ),快进的速度 范围为（ r _l , \ .25 r_nonnal ) , 为按时间戳播放的速度。 当然， 也可以根据实际情况在更大或更小 的百分比范围内变化。

在上述 25%的调整范围 内 ， 进一步的， 慢放的速度为 (I - 0.25 pq_slow )r_ni 快进的速度为 (l + 0.25pq_fast )r_{nonnai a} 其中， p 为反映传输时延变化的因子， p ； q为反映

播放緩存深度的因子， 考虑到播放緩存大小对快进慢放的影响， 反映慢 放时播放緩存深度的因子为 q_slow = 1 - ^buff^er―腿 ,反映快进时播放緩存深 buffer _max 度的因子为 q _fast = ^buff^er - ^num； _buff_er—薦 _m为当前播放緩存的大小， buffer _ max bi _er _ ma_X为预定的最大播放緩存的大小； buffer— max的设置需要综合考 虑帧率、 緩存时间、 存储空间等因素， bi _er _ ma_X过大会导致播放时延 过大， 影响视频播放的实时性， 过小会导致緩存的效果不明显， 因而需 要合理设置 bi _er _ ma_X的大小。

优选的， 上述快进和慢放可以细化到调整相邻两帧的播放间隔。 例 如， 按照时间戳播放时相邻两帧的播放间隔为 ΔΓ_β , 则进行快进和慢放 调整时， 对于 25%的调整范围， 每帧调整的幅度为 0.25/^ΔΓ_β。 本发明所述方法适应于所有的视频帧， 尤其适用于 I帧， 可解决由 于 I帧的传输时延造成的视频卡顿等问题，提高了视频播放的流畅性等。

下面结合附图， 通过具体实施例对本发明所述方法做进一步详细说 明。

本实施例以无线网络下视频实时传输的 I帧平滑为例， 该实施例中 通信设备 Α向通信设备 B进行实时视频传输， 在接收端设备 B处进行 处理， 具体过程为：

( 1 )通信设备 A对采集编码后的码流进行打包并发送， 每个包带 有每帧的时间戳信息。

( 2 )图 2是本发明实施例的接收端设备 B进行解码存储的流程图； , 如图 2所示， 通信设备 Β开始进行接收， 初始化播放緩存， 统计每个 I帧的传输时延 Α, 对接收到的包重排序， 再进行解码。

(3)可以用环形緩存来存储解码完的视频帧， 刚解码完需緩存的 帧从尾部进入， 指针为 tail, 待播放的帧从环形緩存的头部输出， 指针 为 head; 如图 2所示，一帧解码完后， 先判断緩存是否已满， 若满则 tail 指针不变， 该帧无法存入， 否则将该帧放入緩存， 设置指向该帧的指针 为 tail。

(4)设置大小为时间 T的统计时间窗口， 用于对最近 T时间内每

N

ja_iD_i 个 I 帧传输时延加权平均得到最近 T 时间内的传输时延 ) = ^——，

N

« '=1，2，...， ）为权重因子。

(5)设置启动播放阈值， 当緩存的帧数首次到达该阈值时， 显示 开始， 同时记录第一帧显示时的本地时间 T_{local base}及第一帧的发送时间戳

T_{ts base}, 以此为基准， 进行后面帧的显示时间的控制。

(6)快进慢放的调整周期可以设置， 最小为一个视频帧间隔。 本 实施例将快进慢放的调整周期设置为 T1, 则每隔 T1时间统计一次传输 时延 D, 用最近周期统计的传输时延 £) 与上一个周期统计的传输时延 D_last来估计下一个周期到来前的无线网络的状态。 比较最近周期统计的 传输时延 ) 和上一个周期统计的传输时延 _si, 若前者较大， 说明 I 帧时延变大， 网络有变坏的趋势， 故需要动态调大播放緩存， 以应对网 络中大的波动； 若后者较大， 说明网络有变好的趋势， 故可以动态调小 播放緩存， 以尽量降低播放时延。 其中， TI的取值可以等于 T, 也可以 大于 T, 还可以小于 T, 具体取值均可根据实际需要而定。

( 7 )每隔 T1时间进行一次快进慢放调整， 通过小颗粒度的慢放或 快进来增大或减小播放緩存， 慢放或快进的速度由 I帧传输时延变化、 播放緩存深度及时间戳信息共同决定。 本实施例中， 对于每个周期， 可 通过调整第一帧显示时的本地时间 T_{local b} 来调整每一帧的播放间隔。

( 8 )进行显示的判断。 在显示线程中设置一定时器， 定时查询显 示的时刻。

在每个定时周期计算： 当前时间与快进慢放调整后的第一帧显示时 的本地时间 T_{local base} 的差值 At,以及当前要显示 /播放的帧的发送时间戳 与第一帧的发送时间戳 Γ_β ^的差值 Ats, 当 At >Ats时， 对要显示的帧进 行显示， 同时将緩存的要显示的帧的后一帧的指针设为 head。

例如： 对于当前要显示的帧， 当其位于' f曼放调整周期时， 其对应的 为 · + 0.25/?¾ · ΔΤ^， 当其位于快进调整周期 时， 其对应的 _tese— 为： T_local T― _e, - 25 pq _fast · T_ts 当该帧为 整个视频流的第二帧时， 即为步骤（5 ) 中所述的 7；。_∞, ， 否则， τ 为前 ■巾贞的 Γ 。

需要说明的是： 1 , 定时器的定时间隔 （T2 )设置需小于相邻两帧 的时间戳的间隔， 定时间隔设置越小， 显示时间精度越高， 但同时会在 更短时间内唤醒定时器进行查询以显示， 消耗更多的 CPU资源； 2, 显 示基准帧 （即步骤（5 ) 中所述的第一帧）是可变的， 在画面切换等情 况下， 当緩存为空后， 可以重新进行显示基准帧的设定， 以降低定时的 累积误差。

总之， 采用本发明所述方法， 可周期性的统计视频帧的传输时延， 并根据统计结果来感知无线网络状态的变化， 从而动态调节播放緩存的 大小， 找到最佳的播放时延来达到平滑效果， 进而实现了视频流在实时 性和流畅性之间的平衡； 另外， 可采用小颗粒度的慢放或快进机制， 其 速度由传输时延变化、 播放緩存深度及时间戳信息等动态控制， 能快速 调整播放緩存而不影响视频显示效果； 再有， 对于嵌入式系统， 按照现 有方法， 由于不能动态调整播放緩存的大小， 可能会造成设备存储空间 的浪费， 而本发明中， 通过适时调小播放緩存， 能够较好的节省设备的 存储空间。

以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡 在本发明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均 应包含在本发明的保护范围之内。

Claims

权利要求书

1、 一种无线网络下视频实时传输的码率平滑方法， 其特征在于， 该方法包括：

周期性的统计视频帧的传输时延， 当传输时延变小时， 通过快进调 小播放緩存， 当传输时延变大时， 通过慢放调大播放緩存， 所述快进和 所述慢放的速度由传输时延变化、 播放緩存深度以及时间戳信息共同决 定。

2、 根据权利要求 1 所述的方法， 其特征在于， 所述周期性的统计 视频帧的传输时延包括：

N

ja_iD_i

周期性的统计视频帧的传输时延 D: D = ^——；

N

其中， N为最近时间 T内到来的视频帧的个数， A为最近时间 T内 到来的每个视频帧的传输时延， ^ ' ^{= 1}，²， ，^ 为权重因子， τ为预先设置 的统计时间窗口的大小。

3、 根据权利要求 1 所述的方法， 其特征在于， 所述当传输时延变 小时， 通过快进调小播放緩存， 当传输时延变大时， 通过慢放调大播放 緩存包括：

比较最近周期统计的传输时延和上一个周期统计的传输时延， 若上 一个周期统计的传输时延较大， 则确定传输时延变小， 通过快进调小播 放緩存； 否则， 确定传输时延变大， 通过慢放调大播放緩存。

4、 根据权利要求 1所述的方法， 其特征在于：

所述快进和所述慢放的速度在按时间戳播放速度的 25%的范围内变 化。

5、 根据权利要求 4所述的方法， 其特征在于： 所述慢放的速度为 r_s = (l -0.25_Ws )r„

所述快进的速度为 r_fast = (ί + 0.25 pq_fast )r_nm 其 中 ， 为 反 映 传 输 时 延 变 化 的 因 子

q_slow为反映慢放时播放緩存深度的因子， q_slow = C buffer _ max q_fast为反映快进时播放緩存深度的因子， q_fast =

buffer _ max

D_curr为最近周期统计的传输时延， D_last为上一个周期统计的传输时 延 ·> buffer nam为当前播放緩存的大小， buffer _― ma 为预定的最大播放緩 存的大小， r_mmal为按时间戳播放的速度。

6、 根据权利要求 1 所述的方法， 其特征在于： 所述快进和所述慢 放通过调整相邻两帧的播放间隔实现。

7、 根据权利要求 1 ~ 6中任一项所述的方法， 其特征在于： 所述视 频帧为 I帧。