WO2016004721A1 - 一种码率控制方法、装置及计算机存储介质 - Google Patents

一种码率控制方法、装置及计算机存储介质 Download PDF

Info

Publication number
WO2016004721A1
WO2016004721A1 PCT/CN2014/092059 CN2014092059W WO2016004721A1 WO 2016004721 A1 WO2016004721 A1 WO 2016004721A1 CN 2014092059 W CN2014092059 W CN 2014092059W WO 2016004721 A1 WO2016004721 A1 WO 2016004721A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
cwf
determined
rate control
inter
Prior art date
Application number
PCT/CN2014/092059
Other languages
English (en)
French (fr)
Inventor
朱存望
徐贤锋
冯斌
孙博
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2016004721A1 publication Critical patent/WO2016004721A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种码率控制方法，包括：确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到码字加权因子；根据所述码字加权因子为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。本发明同时还公开了一种码率控制装置及计算机存储介质。

Description

一种码率控制方法、装置及计算机存储介质 技术领域
本发明涉及视频编解码领域，尤其涉及一种码率控制方法、装置及计算机存储介质。
背景技术
码率控制是实时视频编码的关键技术，离开码率控制，任何视频编码标准的应用都会受到限制。若没有码率控制，在有限带宽约束下的传输过程中，客户端缓冲区很容易发生上溢或者下溢，从而导致数据丢失；若没有码率控制，在图像空间和时间上复杂度不一样的情况下，很难合理地分配帧目标比特，可能会出现低复杂度的图像获得较多的比特分配，高复杂度的图像获得较少的比特分配的情况，从而导致图像质量主客观都不理想。
通常由于不同的原因跳帧技术会在编码装置和解码装置上进行实施。当使用跳帧技术时，已有的研究主要考虑如何利用跳帧技术来平滑码率输出，在某种程度上会使视频序列的质量降级。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种码率控制方法及装置。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种码率控制方法，包括：
确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到码字加权因子(CWF)；
根据所述码字加权因子为目标帧分配比特，并基于为所述目标帧分配 的比特，对所述目标帧进行码率控制。
上述方案中，所述确定需要执行跳帧，包括：
确定帧间相似性量度及重建图像质量；
根据确定的帧间相似性量度、帧间相似性量度阈值、确定的重建图像质量及图像质量阈值，确定需要执行跳帧。
上述方案中，所述确定帧间相似性量度，包括：
根据运动向量或者像素的运动复杂度，确定帧间相似性量度。
上述方案中，所述确定重建图像质量，包括：
根据重建图像的峰值信噪比或量化参数，确定重建图像质量。
上述方案中，所述根据帧间相似性及重建图像的质量，得到CWF，包括：
将确定的帧间相似性量度与设置的帧间相似性量度阈值进行比较，并将确定的重建图像质量与设置的重建图像质量阈值进行比较，根据比较结果，得到CWF。
上述方案中，当确定为均匀提升关键帧的比特分配时，所述CWF为：CWF＝W*(1/(SkipFrmNum+1))；
其中，W表示加权系数，SkipFrmNum表示跳帧个数；或者，
当确定为非均匀提升关键帧的比特分配时，所述CWF为：CWF＝W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
其中，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
上述方案中，所述方法还包括：
基于对所述目标帧控制的码率，对所述目标帧进行视频编码处理。
本发明实施例还提供了一种码率控制装置，包括：计算单元及码率控制单元；其中，
所述计算单元，配置为确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到码字加权因子；
所述码率控制单元，配置为根据所述码字加权因子为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。
上述方案中，当确定为均匀提升关键帧的比特分配时，所述CWF为：CWF＝W*(1/(SkipFrmNum+1))；
其中，W表示加权系数，SkipFrmNum表示跳帧个数；或者，
当确定为非均匀提升关键帧的比特分配时，所述CWF为：CWF＝W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
其中，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
上述方案中，所述装置还包括：视频编码单元，配置为基于对所述目标帧控制的码率，对所述目标帧进行视频编码处理。
本发明实施例又提供了一种计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行上述的码率控制方法。
本发明实施例提供的码率控制方法、装置及计算机存储介质，确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制；当编码所述目标帧数据时，根据CWF给所述目标帧分配目标比特数，即对所述目标帧的比特数进行了修正，如此，能保证充分利用带宽和视频的高质量播放。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部 件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为相关技术视频编码码率控制系统结构示意图；
图2为本发明实施例一码率控制的方法流程示意图；
图3为本发明实施例二码率控制的方法流程示意图；
图4为本发明实施例三码率控制装置结构示意图；
图5为本发明实施例视频编码码率控制系统结构示意图。
具体实施方式
下面结合附图及实施例对本发明再作进一步详细地描述。
图1是相关技术的视频编码码率控制系统的结构示意图。如图1所示，视频编码码率控制系统包括编码端和解码端，所述编码端包括视频编码装置和码率控制装置，所述解码端包括图像恢复装置和视频解码装置。视频编码装置配置为对输入的视频数据进行编码，已编码视频序列通过视频传输信道传输到解码端，视频解码装置配置为将编码视频数据进行解码以便进行播放。为了避免码率的波动而导致图像质量的丢失，在编码端安置了码率控制装置。
通常由于不同的原因跳帧会在编码装置和解码装置上进行实施。当使用跳帧时，已有的研究主要考虑如何利用跳帧来平滑码率输出，在某种程度上会使视频序列的质量降级。
当视频序列的帧间相似性较高时，若能在保证平滑的图像质量和平滑的码率输出的情况下，能充分利用跳帧带来码字节省，在某种程度上会使视频序列的质量升级。
基于此，在本发明的各种实施例中：确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。
实施例一
本实施例码率控制的方法，如图2所示，包括以下步骤：
步骤201：确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；
这里，所述确定需要执行跳帧，具体包括：
确定帧间相似性量度及重建图像质量；
根据确定的帧间相似性量度、帧间相似性量度阈值、确定的重建图像质量及重建图像质量阈值，确定需要执行跳帧。
其中，在确定帧间相似性量度时，可以选择运动向量或者基于像素的运动复杂度，来确定帧间相似性量度；帧间相似性量度阈值可以根据需要来设置，帧间相似性量度阈值用来设置帧间相似性的等级；
在确定重建图像质量时，主要考虑重建图像的峰值信噪比(PSNR)或量化参数(QP)；重建图像质量阈值可以依据需要来设置，重建图像质量阈值用来设置重建图像质量的好坏等级。
所述根据帧间相似性及重建图像的质量，得到CWF，具体包括：
将确定的帧间相似性量度与设置的帧间相似性量度阈值进行比较，并将确定的重建图像质量与设置的重建图像质量阈值进行比较，根据比较结果，得到CWF。
具体地，设置四个帧间相似性量度阈值，分别为：SThr1、SThr2、SThr3、SThr4，并设置四个重建图像质量阈值，分别为：QPThr1、QPThr2、QPThr3、QPThr4；其中，SThr1>SThr2>SThr3>SThr4，帧间相似性量度阈值越大表示图像越相似；QPThr1<QPThr2<QPThr3<QPThr4，重建图像质量阈值越小表示图像质量越好；
当确定的帧间相似性量度大于等于SThr1，且确定的重建图像质量小于等于QPThr1时，说明图像序列时域复杂度低、图像质量好，此时可以采用 均匀比特分配，得到均匀分配比特时的CWF；
当确定的帧间相似性量度大于等于SThr1，且确定的重建图像质量大于等于QPThr4时，说明图像序列时域复杂度低、图像质量差，此时可以采用均匀比特分配，得到均匀分配比特时的CWF；
当确定的帧间相似性量度大于等于SThr1，并确定的重建图像质量大于等于QPThr3，且小于QPThr4时，说明图像序列时域复杂度低、图像质量较差，此时可以采用非均匀比特分配，得到非均匀分配比特时的CWF；
当确定的帧间相似性量度大于等于SThr1，并确定的重建图像质量大于等于QPThr2，且小于QPThr3时，说明图像序列时域复杂度低、图像质量一般，此时可以采用非均匀比特分配，得到非均匀分配比特时的CWF；
当确定的帧间相似性量度大于SThr4，小于SThr1，并在SThr2、SThr3之间波动，且确定的图像质量大于QPThr2，且小于QPThr3时，说明图像序列时域复杂度较低或中等、图像质量一般，此时可以采用非均匀比特分配，得到非均匀分配比特时的CWF；
当确定的帧间相似性量度小于等于SThr4，且确定的图像质量计算值大于等于QPThr4时，说明图像序列时域复杂度高、图像质量差，此时可以采用非均匀比特分配，得到非均匀分配比特时的CWF。
当确定是均匀提升关键帧的比特分配时，所述CWF可以为：CWF＝W*(1/(SkipFrmNum+1))；
其中，W表示加权系数，SkipFrmNum表示跳帧个数。这里，可以通过对序列帧进行适当地模糊化处理得到W；得到W的具体处理过程为本领域技术人员惯用技术手段。
当确定是非均匀提升关键帧的比特分配时，所述CWF可以为：CWF＝W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
其中，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含 编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
这里，所述均匀提升关键帧的比特分配，是指：在某一具有帧间相似性较高且满足重建图像质量要求的视频帧段，CWF的取值为一个恒定值；所述非均匀提升关键帧的比特分配，是指：在某一具有帧间相似性较低且满足重建图像质量要求的视频帧段，CWF的取值为一个动态变化的值。
步骤202：根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。
这里，当CWF表明是均匀提升关键帧的比特分配时，根据CWF为所述目标帧均匀分配比特；
当CWF表明是非均匀提升关键帧的比特分配时，根据CWF为所述目标帧非均匀分配比特。
具体地，当均匀提升关键帧的比特分配时，根据公式：R/(CWF*F)，为所述目标帧分配比特，当非均匀提升关键的比特分配时，根据公式：CWF*(R/F)，为所述目标帧分配比特；其中，R表示带宽，F表示帧率。
该方法还可以包括：
基于对所述目标帧控制的码率，对所述目标帧进行视频编码处理。
从上面的描述中可以看出，本实施例提供的码率控制方法是一种基于跳帧的自适应码率控制方法，是在H264的码率控制方法中加入了根据跳帧对目标帧的比特数进行修改的步骤，即：当编码某帧数据时，根据得到的CWF为该帧分配比特数。
本实施例提供的码率控制方法，确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制，当编码所述目标帧数据时，根据CWF给所述目标帧分配目标比特数，即对所述目标帧的比特数进行了修正，如此，能保证充分利用带宽和视频的高质量播放。
另外，确定需要执行跳帧时，才去计算CWF；并根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制，如此，提升了关键帧的比特分配。
除此以外，在得到CWF时，是基于设置的帧间相似性量度阈值及设置的重建图像质量阈值来得到的，所以，本发明实施例的方案可以认为是在CWF满足阈值的条件下能保证充分利用带宽和视频的高质量播放。
实施例二
本实施例从收到一帧视频数据开始描述处理流程。本实施例码率控制的方法，如图3所示，包括以下步骤：
步骤301：确定帧间相似性量度及重建图像质量；
这里，收到一帧视频数据后，首先要确定帧间相似性量度及重建图像质量。
其中，在确定帧间相似性量度时，可以选择运动向量或者基于像素的运动复杂度，来确定帧间相似性量度；帧间相似性量度阈值可以根据需要来设置，帧间相似性量度阈值用来设置帧间相似性的等级；
在确定重建图像质量时，主要考虑重建图像的PSNR或QP；图像质量阈值可以依据需要来设置，图像质量阈值用来设置图像质量的好坏等级。
步骤302：根据确定的帧间相似性量度、帧间相似性量度阈值、确定的重建图像质量及图像质量阈值，判断是否需要执行跳帧，如果是，则执行步骤303，否则，执行步骤304；
这里，不需要执行跳帧表明可以利用之前得到的CWF分配该帧的比特。
步骤303：根据帧间相似性及重建图像的质量，得到CWF，并结束当前处理流程；
这里，当确定是均匀提升关键帧的比特分配时，所述CWF可以为： CWF＝W*(1/(SkipFrmNum+1))；
其中，W表示加权系数，SkipFrmNum表示跳帧个数。这里，可以通过对序列帧进行适当地模糊化处理得到W；得到W的具体处理过程为本领域技术人员惯用技术手段。
当确定是非均匀提升关键帧的比特分配时，所述CWF可以为：CWF＝W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
其中，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
这里，所述均匀提升关键帧的比特分配，是指：在某一具有帧间相似性较高且满足重建图像质量要求的视频帧段，CWF的取值为一个恒定值；所述非均匀提升关键帧的比特分配，是指：在某一具有帧间相似性较低且满足重建图像质量要求的视频帧段，CWF的取值为一个动态变化的值。
步骤304：根据得到的CWF为该帧分配比特，之后执行步骤305；
这里，当CWF表明是均匀提升关键帧的比特分配时，根据CWF为所述目标帧均匀分配比特；当CWF表明是非均匀提升关键帧的比特分配时，根据CWF为所述目标帧非均匀分配比特。
具体地，当均匀提升关键帧的比特分配时，根据公式：R/(CWF*F)，为所述目标帧分配比特，当非均匀提升关键的比特分配时，根据公式：CWF*(R/F)，为所述目标帧分配比特；其中，R表示带宽，F表示帧率。
步骤305：根据分配的比特，对该帧进行码率控制，之后执行步骤306；
步骤306：根据对该帧控制的码率，对该帧进行视频编码处理，并结束当前处理流程。
实施例三
为实现实施例一的方法，本实施例提供一种码率控制装置，如图4所示，该装置包括：计算单元41及码率控制单元42；其中，
计算单元41，配置为确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；
码率控制单元42，配置为根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。
这里，所述确定需要执行跳帧，具体包括：
计算单元41确定帧间相似性量度及重建图像质量；
计算单元41根据确定的帧间相似性量度、帧间相似性量度阈值、确定的重建图像质量及重建图像质量阈值，确定需要执行跳帧。
其中，在确定帧间相似性量度时，所述计算单元41可以选择运动向量或者基于像素的运动复杂度，来确定帧间相似性量度；帧间相似性量度阈值可以根据需要来设置，帧间相似性量度阈值用来设置帧间相似性的等级；
在确定重建图像质量时，所述计算单元41主要考虑重建图像的PSNR或QP；重建图像质量阈值可以依据需要来设置，重建图像质量阈值用来设置重建图像质量的好坏等级。
所述根据帧间相似性及重建图像的质量，得到CWF，具体包括：所述计算单元41将确定的帧间相似性量度与设置的帧间相似性量度阈值进行比较，并将确定的重建图像质量与设置的重建图像质量阈值进行比较，根据比较结果，得到CWF。
具体地，设置四个帧间相似性量度阈值，分别为：SThr1、SThr2、SThr3、SThr4，并设置四个重建图像质量阈值，分别为：QPThr1、QPThr2、QPThr3、QPThr4；其中，SThr1>SThr2>SThr3>SThr4，帧间相似性量度阈值越大表示图像越相似；QPThr1<QPThr2<QPThr3<QPThr4，重建图像质量阈值越小表示图像质量越好；
当确定的帧间相似性量度大于等于SThr1，且确定的重建图像质量小于等于QPThr1时，说明图像序列时域复杂度低、图像质量好，此时所述计算 单元41可以采用均匀比特分配，得到均匀分配比特时的CWF；
当确定的帧间相似性量度大于等于SThr1，且确定的重建图像质量大于等于QPThr4时，说明图像序列时域复杂度低、图像质量差，此时所述计算单元41可以采用均匀比特分配，得到均匀分配比特时的CWF；
当确定的帧间相似性量度大于等于SThr1，并确定的重建图像质量大于等于QPThr3，且小于QPThr4时，说明图像序列时域复杂度低、图像质量较差，此时所述计算单元41可以采用非均匀比特分配，得到非均匀分配比特时的CWF；
当确定的帧间相似性量度大于等于SThr1，并确定的重建图像质量大于等于QPThr2，且小于QPThr3时，说明图像序列时域复杂度低、图像质量一般，此时所述计算单元41可以采用非均匀比特分配，得到非均匀分配比特时的CWF；
当确定的帧间相似性量度大于SThr4，小于SThr1，并在SThr2、SThr3之间波动，且确定的图像质量大于QPThr2，且小于QPThr3时，说明图像序列时域复杂度较低或中等、图像质量一般，此时所述计算单元41可以采用非均匀比特分配，得到非均匀分配比特时的CWF；
当确定的帧间相似性量度小于等于SThr4，且确定的图像质量计算值大于等于QPThr4时，说明图像序列时域复杂度高、图像质量差，此时所述计算单元41可以采用非均匀比特分配，得到非均匀分配比特时的CWF。
当确定是均匀提升关键帧的比特分配时，所述CWF可以为：CWF＝W*(1/(SkipFrmNum+1))；
其中，W表示加权系数，SkipFrmNum表示跳帧个数。这里，可以通过对序列帧进行适当地模糊化处理得到W；得到W的具体处理过程为本领域技术人员惯用技术手段。
当确定是非均匀提升关键帧的比特分配时，所述CWF可以为：CWF＝ W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
其中，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
这里，所述均匀提升关键帧的比特分配，是指：在某一具有帧间相似性较高且满足重建图像质量要求的视频帧段，CWF的取值为一个恒定值；所述非均匀提升关键帧的比特分配，是指：在某一具有帧间相似性较低且满足重建图像质量要求的视频帧段，CWF的取值为一个动态变化的值。
当CWF表明是均匀提升关键帧的比特时，所述码率控制单元42根据CWF为所述目标帧均匀分配比特；
当CWF表明是非均匀提升关键帧的比特分配时，所述码率控制单元42根据CWF为所述目标帧非均匀分配比特。
具体地，当均匀提升关键帧的比特分配时，所述码率控制单元42根据公式：R/(CWF*F)，为所述目标帧分配比特，当非均匀提升关键的比特分配时，所述码率控制单元42根据公式：CWF*(R/F)，为所述目标帧分配比特；其中，R表示带宽，F表示帧率。
该装置还可以包括：视频编码单元43，配置为基于对所述目标帧控制的码率，对所述目标帧进行视频编码处理。
从上面的描述中可以看出，本实施例提供的码率控制方案是一种基于跳帧的自适应码率控制方案，是在H264的码率控制方案中加入了根据跳帧对目标帧的比特数进行修改的步骤，即：当编码某帧数据时，根据得到的CWF为该帧分配比特数。
本实施例提供的码率控制装置，所述计算单元41确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；所述码率控制单元42根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制，当编码所述目标帧数据时，根据CWF给所述目标帧 分配目标比特数，即对所述目标帧的比特数进行了修正，如此，能保证充分利用带宽和视频的高质量播放。
另外，所述计算单元41确定需要执行跳帧时，才去计算CWF；所述码率控制单元42根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制，如此，提升了关键帧的比特分配。
除此以外，在得到CWF时，是基于设置的帧间相似性量度阈值及设置的重建图像质量阈值来得到的，所以，本发明实施例的方案可以认为是在CWF满足阈值的条件下能保证充分利用带宽和视频的高质量播放。
实际应用时，所述计算单元41、所述码率控制单元42及所述视频编码单元可由码率控制装置中的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)或可编程逻辑阵列(FPGA，Field－Programmable Gate Array)实现。
由于本发明实施例提供的方案是在H264的码率控制方案中加入了根据跳帧对目标帧的比特数进行修改的步骤，因此，实际应用时，如图5所示，本发明实施例对应的视频编码码率控制系统可以包括：编码端和解码端；编码端包括：图像码字适配器装置501、码率控制装置502及视频编码装置503；解码端包括：图像恢复装置504和视频解码装置505。
其中，图像码字适配器装置501配置为自适应地调节目标图像的比特(图像码字适配器装置501的功能相当于图4中的计算单元41的功能及码率控制单元42的分配比特的功能之和)，码率控制装置502根据图像码字适配器装置501的目标比特，控制视频编码装置503的码率，视频编码装置503配置为对输入的视频数据进行编码，已编码视频序列通过视频传输信道传输到解码端，(码率控制装置502的功能相当于图4中的码率控制单元42的码率控制功能，视频编码装置503的功能相当图4中的视频编码单 元43的功能)。视频解码装置505配置为将编码视频数据进行解码以便进行播放，图像恢复装置504依据编码端中的图像码字适配器装置501、码率控制装置502及视频编码装置503的信息状态来选择不同的图像恢复方法，以便将视频解码装置505解码后的视频数据进行恢复，以便进行正常播放。
图像码字适配器501使用帧间相似性量度与重建图像质量的跳帧来促进自适应码率控制的比特分配，以及在码字加权因子在满足阈值的条件下，提升关键帧的比特分配。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
基于此，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行上述的码率控制方法。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
工业实用性
本发明实施例提供的码率控制方法、装置及计算机存储介质，确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到CWF；根据所述CWF为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制；当编码所述目标帧数据时，根据CWF给所述目标帧分配目标比特数，即对所述目标帧的比特数进行了修正，如此，能保证充分利用带宽和视频的高质量播放。

Claims (11)

  1. 一种码率控制方法，所述方法包括：
    确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到码字加权因子；
    根据所述码字加权因子为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。
  2. 根据权利要求1所述的方法，其中，所述确定需要执行跳帧，包括：
    确定帧间相似性量度及重建图像质量；
    根据确定的帧间相似性量度、帧间相似性量度阈值、确定的重建图像质量及图像质量阈值，确定需要执行跳帧。
  3. 根据权利要求2所述的方法，其中，所述确定帧间相似性量度，包括：
    根据运动向量或者像素的运动复杂度，确定帧间相似性量度。
  4. 根据权利要求2所述的方法，其中，所述确定重建图像质量，包括：
    根据重建图像的峰值信噪比或量化参数，确定重建图像质量。
  5. 根据权利要求1所述的方法，其中，所述根据帧间相似性及重建图像的质量，得到码字加权因子，包括：
    将确定的帧间相似性量度与设置的帧间相似性量度阈值进行比较，并将确定的重建图像质量与设置的重建图像质量阈值进行比较，根据比较结果，得到码字加权因子。
  6. 根据权利要求1所述的方法，其中，当确定为均匀提升关键帧的比特分配时，所述码字加权因子为：CWF＝W*(1/(SkipFrmNum+1))；
    其中，CWF表示码字加权因子，W表示加权系数，SkipFrmNum表示跳帧个数；或者，
    当确定为非均匀提升关键帧的比特分配时，所述码字加权因子为：CWF ＝W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
    其中，CWF表示码字加权因子，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
  7. 根据权利要求1所述的方法，其中，所述方法还包括：
    基于对所述目标帧控制的码率，对所述目标帧进行视频编码处理。
  8. 一种码率控制装置，所述装置包括：计算单元及码率控制单元；其中，
    所述计算单元，配置为确定需要执行跳帧时，根据帧间相似性及重建图像的质量，得到码字加权因子；
    所述码率控制单元，配置为根据所述码字加权因子为目标帧分配比特，并基于为所述目标帧分配的比特，对所述目标帧进行码率控制。
  9. 根据权利要求8所述的装置，其中，当确定为均匀提升关键帧的比特分配时，所述码字加权因子为：CWF＝W*(1/(SkipFrmNum+1))；
    其中，CWF表示码字加权因子，W表示加权系数，SkipFrmNum表示跳帧个数；或者，
    当确定为非均匀提升关键帧的比特分配时，所述码字加权因子为：CWF＝W*(SkipWindowLength/(SkipWindowLength-SkipFrmNum))；
    其中，CWF表示码字加权因子，W表示加权系数，SkipWindowLength表示跳帧窗口长度，包含编码帧个数和跳帧个数，SkipFrmNum表示跳帧个数。
  10. 根据权利要求8所述的方法，其中，所述装置还包括：视频编码单元，配置为基于对所述目标帧控制的码率，对所述目标帧进行视频编码处理。
  11. 一种计算机存储介质，所述计算机存储介质包括一组指令，当执 行所述指令时，引起至少一个处理器执行如权利要求1至7任一项所述的码率控制方法。
PCT/CN2014/092059 2014-07-11 2014-11-24 一种码率控制方法、装置及计算机存储介质 WO2016004721A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410330468.7A CN105323592A (zh) 2014-07-11 2014-07-11 一种码率控制方法及装置
CN201410330468.7 2014-07-11

Publications (1)

Publication Number Publication Date
WO2016004721A1 true WO2016004721A1 (zh) 2016-01-14

Family

ID=55063545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/092059 WO2016004721A1 (zh) 2014-07-11 2014-11-24 一种码率控制方法、装置及计算机存储介质

Country Status (2)

Country Link
CN (1) CN105323592A (zh)
WO (1) WO2016004721A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422792A (zh) * 2021-12-28 2022-04-29 北京华夏电通科技股份有限公司 视频图像压缩方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110875906A (zh) * 2018-08-31 2020-03-10 中兴通讯股份有限公司 一种图像恢复方法及编码端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102502A (zh) * 2007-08-21 2008-01-09 中国科学院计算技术研究所 一种基于图像特征的码率控制方法及装置
CN101459850A (zh) * 2009-01-08 2009-06-17 中国科学院计算技术研究所 一种图像压缩质量预测方法和系统
US20100171882A1 (en) * 2009-01-06 2010-07-08 Electronics And Telecommunications Research Institute Method for tuning coding rate and applying unequal error protection for adaptive video transmission, and video transmission/reception apparatus using the method
CN103618906A (zh) * 2013-12-09 2014-03-05 南京信息工程大学 一种基于主观视频质量的h.264码率控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
CN100425077C (zh) * 2006-08-07 2008-10-08 浙江大学 采用帧目标比特数不平均分配的视频压缩码率控制方法
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
CN100588255C (zh) * 2008-09-27 2010-02-03 镇江唐桥微电子有限公司 一种自适应运动矢量合成方法
US9264720B2 (en) * 2010-10-08 2016-02-16 Samsung Electronics Co., Ltd Apparatus and method for multimedia service
CN102724513B (zh) * 2012-07-12 2015-08-19 杭州海康威视数字技术股份有限公司 有实时码率控制的媒体流编码方法及其系统
CN103096084B (zh) * 2013-01-29 2015-09-23 海能达通信股份有限公司 一种无线传输中码率自适应调节的方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102502A (zh) * 2007-08-21 2008-01-09 中国科学院计算技术研究所 一种基于图像特征的码率控制方法及装置
US20100171882A1 (en) * 2009-01-06 2010-07-08 Electronics And Telecommunications Research Institute Method for tuning coding rate and applying unequal error protection for adaptive video transmission, and video transmission/reception apparatus using the method
CN101459850A (zh) * 2009-01-08 2009-06-17 中国科学院计算技术研究所 一种图像压缩质量预测方法和系统
CN103618906A (zh) * 2013-12-09 2014-03-05 南京信息工程大学 一种基于主观视频质量的h.264码率控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422792A (zh) * 2021-12-28 2022-04-29 北京华夏电通科技股份有限公司 视频图像压缩方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN105323592A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
US9781449B2 (en) Rate distortion optimization in image and video encoding
EP3033872B1 (en) Quality driven video re-encoding
JP2011151838A5 (zh)
JP5770476B2 (ja) ビデオ符号化に於いてレート制御を正確にする方法及び装置
JP2011055504A (ja) ビデオ符号化のためのピクチャレベルのレート制御
US10085030B2 (en) Method and apparatus for SSIM-based bit allocation
WO2016082529A1 (zh) 视频编码方法及装置
KR102572323B1 (ko) 이미지에 키 정보를 임베딩하기 위한 방법 및 장치
US11955994B2 (en) Data processing apparatuses, methods, computer programs and computer-readable media
JP6373033B2 (ja) 符号化装置及び符号化方法
JP2016517194A (ja) 画像ダイナミックレンジ変換演算子を選択するための方法およびデバイス
WO2016004721A1 (zh) 一种码率控制方法、装置及计算机存储介质
US11303916B2 (en) Motion compensation techniques for video
KR102249819B1 (ko) 시스템 온 칩과 이를 포함하는 데이터 처리 시스템
CN112715029A (zh) Ai编码设备及其操作方法和ai解码设备及其操作方法
TWI543587B (zh) 速率控制方法及系統
US20200084449A1 (en) Adaptively encoding video frames based on complexity
TW201801529A (zh) 視訊編解碼器之複雜度控制
RU2587412C2 (ru) Управление скоростью передачи видео на основе гистограммы коэффициентов преобразования
US11979587B2 (en) Hybrid inter-frame coding using an autoregressive model
KR100677128B1 (ko) 동영상 부호화기의 비트율 제어장치 및 방법
CN110945870A (zh) 视频处理设备和方法
US8948528B2 (en) Method and apparatus for restoring image by copying memory
TW202416711A (zh) 利用自我迴歸模型的混合幀間編碼
JP5244479B2 (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14897210

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14897210

Country of ref document: EP

Kind code of ref document: A1