WO2013143286A1 - 基于多描述视频编码、解码方法、装置及系统 - Google Patents

基于多描述视频编码、解码方法、装置及系统 Download PDF

Info

Publication number
WO2013143286A1
WO2013143286A1 PCT/CN2012/084204 CN2012084204W WO2013143286A1 WO 2013143286 A1 WO2013143286 A1 WO 2013143286A1 CN 2012084204 W CN2012084204 W CN 2012084204W WO 2013143286 A1 WO2013143286 A1 WO 2013143286A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
description
mode
correlation
video
Prior art date
Application number
PCT/CN2012/084204
Other languages
English (en)
French (fr)
Inventor
赵耀
白慧慧
Original Assignee
北京交通大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京交通大学 filed Critical 北京交通大学
Priority to US14/385,801 priority Critical patent/US9538185B2/en
Publication of WO2013143286A1 publication Critical patent/WO2013143286A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance

Definitions

  • the present invention relates to the field of video codec technology, and in particular, to a multi-description video coding, decoding method, apparatus and system. Background technique
  • Multi-description coding As a technique for improving the robustness of transmission on error-prone channels, multi-description coding has attracted more and more scholars' research. It can be assumed that there are many channels between the source and the sink, and it is impossible for all channels to be erroneous in one video frame at the same time. Multi-description coding is proposed on the basis of this assumption.
  • a plurality of bit streams (referred to as descriptions) are generated at the source of the encoding end, and each bit stream has the same priority and is transmitted on a plurality of channels.
  • each description can be independently decoded to reconstruct a video sequence that the user can receive quality; as the number of descriptions received increases, the quality of the reconstructed video sequence increases.
  • This patent is primarily for the case of two channels. In the case of the usual two channels, the distortion generated by receiving all the two-way description is called center distortion, and the distortion generated by receiving a certain description is called single-channel distortion.
  • a multi-description video encoding method comprising the steps of:
  • the edge information of different modes is generated and encoded using the correlation of macroblock levels between different descriptions; channel transmission.
  • the odd frame even frames are separated to generate an initial description and encoding, specifically parity frame separation, and the parity frames are respectively encoded using a standard encoding algorithm by describing intra-correlation.
  • the standard coding algorithm is H.264 coding.
  • the correlation within the description /? into the correlation coefficient of the motion compensation in the same description is the correlation coefficient between the current block and its previous motion compensation block
  • Cov( H ) , 1 is the motion compensation block in frame k ⁇ , if
  • the macroblocks in frame k, and the covariance are Cov(A, ), and their variances are, in turn, D(Bl);
  • the three redundant allocation methods are as follows :
  • the mode is defined as Mode l ;
  • Mode 2 In This uses bidirectional motion estimation to find motion vectors in odd frames;
  • the even frame estimation odd frame corresponds to the odd frame estimation even frame described above.
  • a multi-description video encoding apparatus including: The odd-numbered frames are separated to generate an initial description and encoding module for separating the video sequences into parity frames, and the parity frames are respectively described for intra-correlation calculation and then subjected to standard encoding;
  • a multi-description video decoding method is provided. If two channels are working normally, two bit streams can be decoded into two video subsequences, and then the two video subsequences can The central video sequence is reconstructed; if only one channel works normally, the single decoder will estimate the missing information according to different modes. In Mode l, the lost frame can be directly reconstructed by the MCI method.
  • the MCI method uses bidirectional motion estimation, using / to represent the estimated frame between frame ⁇ and frame +1 , and 5) to represent the motion vector of the pixel moving position. In order to avoid the void in the reconstructed image, one can be calculated. Preliminary reconstruction of the frame as a background,
  • forward motion compensation and backward motion compensation respectively correspond to frames
  • a multi-description video decoding apparatus comprising: a standard decoder: for decoding;
  • a multi-description video codec system comprising a multi-description video encoding device and a multi-description video decoding device.
  • the odd frames of the odd-numbered frames are separated at the encoding end to produce an initial description, which guarantees compatibility with current codecs, such as the H.26x or MPEG series.
  • the edge information of the different modes is generated by the correlation of the macroblock levels between the different descriptions. At the decoding end, these side information helps to better estimate the missing information for better decoding reconstruction quality.
  • the flexible Skip mode is realized by describing the intra macroblock level correlation.
  • FIG. 1 is a flow chart of an encoding method in accordance with one embodiment of the present invention.
  • FIG. 2 is a block diagram of an encoding device in accordance with one embodiment of the present invention.
  • Figure 3 is a block diagram of a system in accordance with one embodiment of the present invention
  • Figure 4a and Figure 4b are diagrams of the "Mobile.qcif"sequence
  • Figure 5a and Figure 5b show the effect of single-channel reconstruction for each frame
  • Figure 6 is a sequence diagram of the "Paris.cif" sequence.
  • a multi-description video coding method includes the following steps:
  • the odd frame even frames are separated to generate an initial description and encoded
  • a multi-description video encoding apparatus includes:
  • the odd frame even frames are separated to generate an initial description and encoding module 1 for separating the video sequences into odd and even frames, and the parity frames are respectively described to describe the correlation and then perform standard encoding;
  • the edge information of different modes is generated by using the correlation of macroblock levels between different descriptions and encoding module 2 for generating side information coding of different modes by calculating correlation between parity descriptions;
  • the parity frame is separated first, and the original video sequence is divided into an odd frame and an even frame subsequence, so that each subsequence has broad compatibility.
  • two video subsequences i.e., odd and even frames, can be treated as the original description.
  • the original video sequence can be subjected to multiple time domain samples to produce multiple descriptions. This patent is primarily directed to the two described cases.
  • the second step the generation of side information
  • the macroblock-level correlation between the descriptions 21 is used to generate the side information.
  • an odd frame is taken as an example.
  • the task is to use the even frames at the decoder to generate some useful side information.
  • MCI motion-compensated interpolation
  • the macroblock in the even frame & is the macroblock in the estimated frame &.
  • the three redundant allocation methods are as follows: If inte C3 ⁇ 4, it indicates that the correlation coefficient can well estimate the block in the lost even frame in single-reconstruction; Next, without additional insertion redundancy, this mode is defined as Mode l;
  • the true motion vector of the macroblock in the even frame is considered to be important side information, which is defined as Mode 2, where the motion vector is found in the odd frame using bidirectional motion estimation.
  • the introduced redundancy may affect the compression efficiency. Therefore, the redundancy inside each description should be effectively removed.
  • a flexible Skip mode is proposed in this patent, which makes good use of the correlation 12, 14 describing the intra macroblock level.
  • the correlation within the description (labeled / / intra ) depends on the correlation coefficient of motion compensation within the same description. Therefore, ⁇ is the correlation coefficient between the current block and its previous motion compensation block,
  • the block ⁇ ⁇ can be encoded using the Skip mode. Therefore, the flexible Skip mode can be adapted to the correlation coefficients in the description. Compared with the fixed frequency Skip mode, the adaptive Skip mode can better maintain the temporal correlation between frames. If the information in the description is lost, the decoder can obtain a better error concealment method.
  • Step 4 Standard coding
  • Each of the video sequences of the current standard codec 13, 15 can be encoded into a bit stream.
  • the H.264 encoder is chosen, and it is obvious that the proposed scheme has wide compatibility.
  • the residuals that appear in Mode 3 can also be compressed with H.264 intra coding.
  • the transmission channels 31, 32 are transmitted.
  • Step 5 Video reconstruction on the decoder side
  • the standard decoders 41, 42 are first decoded, and the side information reconstructions 43, 44, and the frame interlaces 51 are used to recover the video signal. If both channels are working properly, the two bitstreams can be decoded into two video subsequences, and then the two video subsequences can reconstruct the central video sequence.
  • the adaptive Skip mode can offset the effects of a portion of the redundant side information due to the presence of intra-matrix level correlation. Therefore, the compression efficiency does not decrease rapidly as the redundancy increases. If only one channel is working properly, the single decoder will estimate the missing information according to different modes. In Mode 1, the missing frames can be reconstructed directly using the MCI method.
  • the MCI method used here uses bidirectional motion estimation.
  • the estimated frame between frame ⁇ and frame / +1 is represented by /, and the motion vector of the pixel moving position is represented by 5).
  • a preliminary reconstructed frame can be computed as the background.
  • forward motion compensation and backward motion compensation correspond to frame +1 +1 and frame ⁇ , respectively.
  • the average of the overlapping pixels is used as motion compensation. Then, this preliminary background will be replaced by the pixels obtained in (4).
  • Figure 4a and Figure 4b show the comparison of the single-channel and central reconstruction quality of the proposed "Mobile.qcif" sequence with the total bit rate from 100kbps to 800kbps.
  • the traditional scheme here refers to the unprocessed The scheme of directly performing parity frame separation. Since the direct parity frame separation is used, the conventional scheme has poor single-channel reconstruction quality, as shown in Fig. 4a.
  • the reference scheme refers to the document ' ⁇ . Bai, Y. Zhao, C. Zhu, A. Wang, “Multiple description video coding using joint frame duplication/interpolation," Computing and Informatics, vol. 29, pp. 1267-1282.
  • FIG. 2010 proposed frame-level redundancy allocation scheme
  • Figure 4b shows that the reference scheme has poor center reconstruction quality due to the use of frame-level redundancy allocation. It can be seen from Fig. 4a and Fig. 4b that the proposed scheme achieves better quality regardless of single-channel reconstruction or central reconstruction. This is just a PSNR value that takes into account the average of all videos. In fact, the proposed scheme has made more improvements in some frames.
  • Figures 5a and 5b show the PSNR values for each frame from 200 to 300 frames for the proposed and reference schemes at a total bit rate of 400 kbps. It can be seen that the proposed scheme achieves a 10 10 dB gain compared to the reference scheme at 290 frames.
  • Figure 6 shows the rate-distortion performance of the "Paris.cif" sequence in the range of 400kbps to 1800kbps. From the experimental results, the proposed scheme has a 0.5-1.7 dB quality compared to the single-channel reconstruction of the reference scheme. The improvement in center reconstruction has a 0.5-1 dB improvement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于多描述视频编解码方法、装置和系统编码方法，包括如下步骤：奇数帧偶数帧被分开来产生初始的描述并编码；利用不同描述间的宏块级的相关性产生不同模式的边信息并编码；信道传输。本发明可用于实时视频传输的场合。

Description

基于多描述视频编码、 解码方法、 装置及系统 技术领域
本发明涉及视频编解码技术领域， 尤其涉及一种基于多描述视频编码、 解 码方法、 装置及系统。 背景技术
近年来， 随着因特网的爆炸式发展， 视频传输的应用越来越广泛。 然而， 网络的拥塞、 随机比特错误和数据包的丢失可能将导致视频压缩数据质量的严 重下降， 这就给视频传输带来了极大的挑战。 特别是在需要实时视频传输的场 合， 反馈重传等技术由于延迟往往不能满足实时性需求。 因此， 急需开发一种 视频编解码系统， 它不仅要有高的压缩效率还要保证传输的鲁棒性。
多描述编码作为一种能在易错信道上提高传输的鲁棒性的技术， 吸引了越 来越多学者的研究。 可以假设在信源和信宿之间存在着很多的信道， 不可能所 有的信道同时在一个视频帧出错， 多描述编码是在这个假设的基础上提出来的。 在编码端信源产生多个比特流 (称之为描述)， 每个比特流具有同样的优先级， 在 多个信道上进行传输。 在解码端， 每一个描述都能被独立的解码， 重建用户可 接收质量的视频序列； 随着接收到描述数量的增加， 重建视频序列的质量也随 之提高。 本专利主要针对两信道的情况。 在通常的两信道的情形下， 接收到全 部两路描述而产生的失真称为中心失真， 接收到某一个描述而产生的失真称为 单路失真。
多描述视频编码的基本思想是如何利用描述的冗余信息来提高传输的鲁棒 性。 因此， 在多描述视频编码中需要一些必要的冗余， 尽管这样会降低压缩效 率。 在过去的几年里， 设计一个多描述编解码的方案的主要目标是在传输比特 率和重建质量之间折中。 经典的多描述编码方案是利用变换和量化。 根据多描 述标量量化的原贝1 J， 在" V. A. Vaishampayan and S. John, "Balanced interframe multiple description video compression," in Proceedings of the IEEE International Conference on Image Processing (ICIP '99), vol. 3, pp. 812—816, Kobe, Japan, October 1999"中设计了多描述视频编码方案。 多描述相关性变换在 "A. R. Reibman, H. Jafarkhani, Y. Wang, M. T. Orchard, and R. Puri, "Multiple description coding for video using motion compensated prediction," in Proceedings of the IEEE International Conference on Image Processing (ICIP '99), vol. 3, pp. 837—841, Kobe. Japan, October 1999"中被用来设计运动补偿多描述视频编码。尽管上述方法取得 了较好的实验结果， 但是这些方案不能兼容与广泛应用的标准编解码器， 如 H.26x禾卩 MPEG系列。 为了解决这个问题， 在" N. Conci and F. G. B. De Natale, "Multiple description video coding using coefficients ordering and interpolation," Signal Processing: Image Communication, vol. 22， no. 3， pp. 252—265, 2007，，中多描 述视频编码通过应用 H.264/AVC标准中的先进的视频编码工具来引入描述间的 冗余信息。 此外， 很多方案都是针对于某一种确定的标准编解码器而提出的， 如 H.264/AVC。 尤其是 "L. Peraldo, E. Baccaglini, E. Magli, G. Olmo, R. Ansari, Y. Yao, "Slice-level rate-distortion optimized multiple description coding for H.264/AVC," IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP ，10), pp. 2330 - 2333, 2010."和" C. Lin, T.Tillo, Y. Zhao, B . Jeon, "Multiple description coding for H.264/AVC With redundancy allocation at macro block level," IEEE Trans, on Circuits and Systems for Video Technology, vol. 21 , No. 5, pp. 589-600, 2011"， 为了提高性能， 针对 H.264/AVC采用了片级和宏 块级的的多描述视频编码方案。 发明内容
本发明的目的是提供一种基于多描述视频编码、 解码方法、 装置及系统， 其可解决多描述视频编码的兼容性问题。
为此， 根据本发明的第一方面， 提供了一种基于多描述视频编码方法， 包 括如下步骤：
奇数帧偶数帧被分开来产生初始的描述并编码；
利用不同描述间的宏块级的相关性产生不同模式的边信息并编码； 信道传输。
优选地， 所述奇数帧偶数帧被分开来产生初始的描述并编码， 具体为奇偶 帧分离， 奇偶帧分别利用描述内相关性， 采用标准编码算法编码。
优选地， 所述标准编码算法为 H.264编码。
优选地， 描述内的相关性 /?into 赖于同一描述内的运动补偿的相关系数， 是 当 前 块 和 它 的 前 一 运 动 补 偿 块 的 相 关 系 数 ，
Cov(H ) ， 1是 在帧 k丄 中的运动补偿块， 如果
Antra (¾ ' ¾-ΐ ) > Γ3， 则块 应用 Skip模式进行编码。
优选地， 所述利用不同描述间的宏块级的相关性产生不同模式的边信息并 编码， 如果是使用奇数帧估计偶数帧， 先计算出每一对宏块的相关系数， ¾， *) = ， 公式中， ¾是偶数帧 k中的宏块， 是估计出来
Figure imgf000003_0001
的帧 k中的宏块， 和 的协方差是 Cov(A, )， 它们的方差依次是 ， D(Bl )； 接下来， 根据描述间宏块级相关系数， 三种冗余的分配方法如下：
如果 inte ( , O ， 说明相关系数在单路重建中能很好的估计出丢失的偶 数帧中的块； 这种情况下， 不用额外的插入冗余， 该模式定义为 Mode l ;
如果7 < ^^0¾, ）≤7， 则 MCI很难估计准确的运动矢量， 因此， 偶数帧 中宏块的真实的运动矢量就被当做是重要的边信息， 该模式定义为 Mode 2， 在 此运用双向运动估计在奇数帧中找到运动矢量；
如果 pinier (Bk，B:)≤T2， 说明有一些很不规则的运动出现， 更好的估计需要更 多的边信息， 在这种情况下， 不仅需要 Mode 2中的运动矢量， 相应的残差也被 当做边信息， 该模式定义为 Mode 3 ;
偶数帧估计奇数帧和上述奇数帧估计偶数帧对应。
根据本发明的第二方面， 提供了一种基于多描述视频编码装置， 包括： 奇数帧偶数帧被分开来产生初始的描述并编码模块， 用于将视频序列进行 奇偶帧分离， 奇偶帧分别进行描述内相关性计算然后再进行标准编码；
利用不同描述间的宏块级的相关性产生不同模式的边信息并编码模块， 用 于通过计算奇偶描述间相关性产生不同模式的边信息编码；
信道模块， 用于编码后信号传输。
根据本发明的第三方面， 提供了一种基于多描述视频解码方法， 如果两个 信道都正常工作， 两路比特流就能解码成两路视频子序列， 然后这两路视频子 序列就能重构出中心视频序列； 如果只有一个信道正常工作， 单路解码器就会 根据不同的模式来估计丢失的信息， 在 Mode l中， 用 MCI的方法能直接重建 出丢失的帧， 这里所运用的 MCI方法采用双向运动估计的， 用 /来表示帧 Λ和 帧 +1之间的估计帧， 用 5)来表示像素移动位置的运动矢量， 为了避免重构 图像中的空洞， 可以计算出一个初步的重构帧来作为背景，
f(p) = ^ (fk (p) + fk p)) ' 而且， 前向运动补偿和后向运动补偿分别对应帧
Λ+1和帧 Λ，
为了解决 MCI中重叠的问题， 重叠像素的平均值被用来作为运动补偿， 然 后， 这个初步的背景将会被 /( ）=^(Λ( - ^MV( )) + +1( + ^MV( ))）得到的像 素来代替， 在 Mode 2和 Mode 3中， 边信息如运动矢量和残差将被用于进一步 提高重建的质量。
根据本发明的第四方面， 提供了一种基于多描述视频解码装置， 包括， 标准解码器： 用于解码；
利用边信息重构， 用于重构出奇偶帧；
帧交织， 用于奇偶帧交织。
根据本发明的第五方面， 提供了一种基于多描述视频编解码系统， 包括基 于多描述视频编码装置和基于多描述视频解码装置。
通过描述内和描述间的冗余的有效分配来获得更好的比特率和传输鲁棒 性。 为了简单起见， 在编码端奇数帧偶数帧被分开来产生初始的描述， 这能保 证和当前的编解码器的兼容性， 如 H.26x或者 MPEG系列。 然后， 利用不同描 述间的宏块级的相关性产生不同模式的边信息。 在解码端， 这些边信息有助于 更好地估计丢失信息从而获得较好的解码重建质量。 另外， 为了保证较高的压 缩效率， 利用描述内宏块级相关性实现灵活的 Skip模式。 附图说明
当结合附图考虑时， 通过参照下面的详细描述， 能够更完整更好地理解本 发明以及容易得知其中许多伴随的优点， 但此处所说明的附图用来提供对本发 明的进一步理解， 构成本发明的一部分， 本发明的示意性实施例及其说明用于 解释本发明， 并不构成对本发明的不当限定， 其中：
图 1为根据本发明一个实施例的编码方法流程图；
图 2为根据本发明一个实施例的编码装置框图；
图 3为根据本发明一个实施例的系统框图； 图 4a禾卩图 4b为" Mobile.qcif'序列效果图；
图 5a和图 5b为每帧的单路重建效果图；
图 6为" Paris.cif'序列效果图。 具体实施方式
以下参照图 1-6对本发明的实施例进行说明。
为使上述目的、 特征和优点能够更加明显易懂， 下面结合附图和具体实施 方式对本发明作进一步详细的说明。 实施例 1
如图 1所示， 一种基于多描述视频编码方法， 包括如下步骤：
51、 奇数帧偶数帧被分开来产生初始的描述并编码；
52、 利用不同描述间的宏块级的相关性产生不同模式的边信息并编码；
53、 信道传输。 实施例 2
如图 2所示， 一种基于多描述视频编码装置， 包括：
奇数帧偶数帧被分开来产生初始的描述并编码模块 1，用于将视频序列进行 奇偶帧分离， 奇偶帧分别进行描述内相关性计算然后再进行标准编码；
利用不同描述间的宏块级的相关性产生不同模式的边信息并编码模块 2，用 于通过计算奇偶描述间相关性产生不同模式的边信息编码；
信道模块 3， 用于编码后信号传输。 实施例 3
如图 3所示， 一种基于多描述视频编解码系统：
第一步， 奇偶帧分离
为简单起见， 先奇偶帧分离 11， 将原始的视频序列分成奇数帧和偶数帧子 序列， 使得每个子序列具有广泛的兼容性。 在这里， 两个视频子序列， 也就是 奇数帧和偶数帧可以被当做原始的描述。 而且， 原始视频序列能经过多次时域 抽样来产生多描述。 本专利主要针对两描述的情况。
第二步， 边信息的产生
如果只收到奇数帧或者偶数帧， 由于错误的估计和块的不规则运动， 单路 重建失真很严重。 因此， 为了更好的估计质量， 描述间的宏块级相关性 21就会 用来产生边信息。 在此， 以奇数帧为例。 任务是在解码端用偶数帧来产生一些 有用的边信息。 一
首先， 根据运动 卜偿插值、法 (motion-compensated interpolation, 简称 MCI), 在编码端可以使用奇数帧估计偶数帧。 处理过程和单路解码的过程类似。 这个 MCI 方法具体将在第五步中说明。 估计得到的重建帧的每一个宏块将要和真实 的偶数帧对应位置上的宏块作比较。 因此， 能计算出每一对宏块的相关系数， 用公式 (1)即可。
Figure imgf000006_0001
公式中， 是偶数帧 &中的宏块， 是估计出来的帧 &中的宏块。 和 的协方差是 O , )， 它们的方差依次是 )( )， D(Bl ) o
接下来， 根据描述间宏块级相关系数， 三种冗余的分配方法如下： 如果 inteC¾, 说明相关系数在单路重建中能很好的估计出丢失的偶 数帧中的块； 这种情况下， 不用额外的插入冗余， 该模式定义为 Mode l ;
如果7 < ^^0¾, ）≤7， 则 MCI很难估计准确的运动矢量。 因此， 偶数帧 中宏块的真实的运动矢量就被当做是重要的边信息， 该模式定义为 Mode 2， 在 此运用双向运动估计在奇数帧中找到运动矢量。
如果 pinier (Bk，B:)≤T2， 说明有一些很不规则的运动出现， 更好的估计需要更 多的边信息。 在这种情况下， 不仅需要 Mode 2中的运动矢量， 相应的残差也被 当做边信息， 该模式定义为 Mode 3.
边信息也会通过相应的信道被传输。
第三步， 灵活的 Skip模式
在第二步中， 引入的冗余可能影响压缩效率。 因此， 每个描述内部的冗余 应该被有效的去除掉。 本专利中提出了一种灵活的 Skip模式， 这样能很好的利 用描述内宏块级的相关性 12、 14。 描述内的相关性 (标记为/ ?intra )依赖于同一描 述内的运动补偿的相关系数。因此， ^ 是当前块 和它的前一运动补偿块 的相关系数，
Antra \Bk , Bk-1 ) - / = (2) ^是^在帧^?中的运动补偿块。
Figure imgf000006_0002
> Γ3，则块 βλ能应用 Skip模式进行编码。因此，灵活的 Skip 模式能够与描述内的相关系数相适应。 相对于固定频率的 Skip模式， 自适应的 Skip 模式能较好地保持帧间的时间相关性， 如果描述中信息丢失， 解码端能获 得更好的错误掩盖方法。
第四步： 标准编码
用当前标准的编解码器 13、 15每一个视频序列都能够编码成比特流。这里， 选择 H.264编码器， 很明显提出的方案具有广泛的兼容性。 此外， 在 Mode 3中 出现的残差也能够用 H.264帧内编码进行压缩。
送入信道 31、 32传输。
第五步： 解码端的视频重建
这里， 要考虑解码的两种情况， 即中心解码和单路解码。
先进行标准解码器 41、 42解码， 再利用边信息重构 43、 44， 及帧交织 51 恢复视频信号。 如果两个信道都正常工作， 两路比特流就能解码成两路视频子 序列， 然后这两路视频子序列就能重构出中心视频序列。 由于描述内宏块级相 关性的存在， 自适应的 Skip模式就能抵消一部分冗余边信息的影响。 因此， 压 缩效率不会随着冗余的增加而迅速下降。 如果只有一个信道正常工作， 单路解码器就会根据不同的模式来估计丢失 的信息。 在 Mode 1中， 用 MCI的方法能直接重建出丢失的帧。 这里所运用的 MCI 方法采用双向运动估计的。 在重建帧内有可能会导致像素的重叠和空洞。 用 /来表示帧 Λ和帧 / +1之间的估计帧， 用 5)来表示像素移动位置的运动矢 量。 为了避免重构图像中的空洞， 可以计算出一个初步的重构帧来作为背景。
f(p) = (fk (P) + f (P)) (3)
而且，前向运动补偿和后向运动补偿分别对应帧 Λ+1和帧 Λ。为了解决 MCi 中重叠的问题， 重叠像素的平均值被用来作为运动补偿。 然后， 这个初步的背 景将会被 (4)得到的像素来代替。
Figure imgf000007_0001
在 Mode 2和 Mode 3中， 边信息如运动矢量和残差将被用于进一步提高重 建的质量。 实施例 4
两个标准视频序列" Mobile.qcif '和" Paris.cif '被用来测试所提出的系统。为了 公平比较， 对于所有比较的方案采用同样的实验设置， 即在 H.264 JM软件中使 用同样的编解码参数设置。 并且对于丢失帧采用了同样的 MCI方法。 这里的比 特率为两路描述总的比特率， 单路失真为两个单路解码器的平均 PSNR值。
图 4a禾卩图 4b给出了 "Mobile.qcif，序列在总比特率为 100kbps到 800kbps范 围内所提出方案与其他方案的单路及中心重建质量比较。 这里传统方案指的是 未经过预处理直接进行奇偶帧分离的方案。 由于使用了直接的奇偶帧分离， 所 以传统方案具有较差的单路重建质量， 如图 4a所示。 另外， 参考方案指的是文 献' Ή. Bai, Y. Zhao, C. Zhu, A. Wang, "Multiple description video coding using joint frame duplication/interpolation," Computing and Informatics, vol. 29, pp. 1267-1282. 2010"中提出的帧级冗余分配方案， 从图 4b可以看到由于采用了帧级冗余分配， 参考方案具有较差的中心重建质量。 从图 4a和图 4b可以看到所提出方案无论 单路重建或是中心重建都取得了较好的质量。 这仅仅是考虑了全部视频平均的 PSNR值。 实际上， 所提出方案在某些帧取得了更多的改进。 图 5a和图 5b给出 了所提出方案与参考方案在总比特率为 400kbps情况下从 200到 300帧每一帧 的 PSNR值。 可以看到所提出方案在 290帧所提出方案相比参考方案取得了 10 10dB的增益。
图 6给出了 "Paris.cif '序列在总比特率为 400kbps到 1800kbps范围内的率失 真性能. 从实验结果可以看出， 所提出的方案相比参考方案单路重建质量有 0.5- 1.7 dB的提高， 中心重建质量有 0.5- 1 dB的提高。
虽然以上描述了本发明的具体实施方式， 但是， 本领域的技术人员应当理 解， 这些具体实施方式仅是举例说明， 本领域的技术人员在不脱离本发明的原 理和实质的情况下， 可以对上述方法和系统的细节进行各种省略、 替换和改变。 例如， 合并上述方法步骤， 从而按照实质相同的方法执行实质相同的功能以实 现实质相同的结果则属于本发明的范围。 因此， 本发明的范围仅由所附权利要 求书限定。

Claims

权利要求书
1. 一种基于多描述视频编码方法， 其特征在于， 包括如下步骤： 奇数帧偶 数帧被分开来产生初始的描述并编码； 利用不同描述间的宏块级的相关性产生 不同模式的边信息并编码； 信道传输。
2. 如权利要求 1所述的基于多描述视频编码方法， 其特征在于： 所述奇数 帧偶数帧被分开来产生初始的描述并编码， 具体为奇偶帧分离， 奇偶帧分别利 用描述内相关性， 采用标准编码算法编码。
3. 如权利要求 2所述的基于多描述视频编码方法， 其特征在于：所述标准 编码算法为 H.264编码。
4. 权利要求 2所述的基于多描述视频编码方法， 其特征在于： 描述内的相 关性 ?intra依赖于同一描述内的运动补偿的 是当前块 和它的前一运 动补偿块 的相关系数， ， ^是 在帧 k- i
Figure imgf000008_0001
中的运动补偿块， 如果 ?intra C¾, 则块 βλ应用 Skip模式进行编码。
5. 如权利要求 1所述的基于多描述视频编码方法， 其特征在于： 所述利用 不同描述间的宏块级的相关性产生不同模式的边信息并编码， 如果是使用奇数 帧估计偶数帧， 先计算出每一对宏块的相关系数， PiDtei (Bk , B; ) = ，
Figure imgf000008_0002
公式中， 是偶数帧 k中的宏块， 是估计出来的帧 k中的宏块， 和 的协 方差是 Cov(Bk , B: ) ， 它们的方差依次是 ) ( )， D (Bl )； 接下来， 根据描述间宏 块级相关系数， 三种冗余的分配方法如下： 如果 interC¾, 说明相关系数 在单路重建中能很好的估计出丢失的偶数帧中的块； 这种情况下， 不用额外的 插入冗余， 该模式定义为 Mode 1； 如果 r2 < ?intCT ( , ；)≤7， 则 MCI很难估计 准确的运动矢量， 因此， 偶数帧中宏块的真实的运动矢量就被当做是重要的边 信息， 该模式定义为 Mode 2， 在此， 运用双向运动估计在奇数帧中找到运动矢 量； 如果 Ante 0¾,O≤7 ， 说明有一些很不规则的运动出现， 更好的估计需要更 多的边信息， 在这种情况下， 不仅需要 Mode 2中的运动矢量， 相应的残差也被 当做边信息， 该模式定义为 Mode 3 ; 偶数帧估计奇数帧和上述奇数帧估计偶数 帧对应。
6. 一种基于多描述视频编码装置， 其特征在于， 包括： 奇数帧偶数帧被分 开来产生初始的描述并编码模块， 用于将视频序列进行奇偶帧分离， 奇偶帧分 别进行描述内相关性计算然后再进行标准编码； 利用不同描述间的宏块级的相 关性产生不同模式的边信息并编码模块， 用于通过计算奇偶描述间相关性产生 不同模式的边信息编码； 信道模块， 用于编码后信号传输。
7. 一种基于多描述视频解码方法，其特征在于：如果两个信道都正常工作， 两路比特流就能解码成两路视频子序列， 然后， 这两路视频子序列就能重构出 中心视频序列； 如果只有一个信道正常工作， 单路解码器就会根据不同的模式 来估计丢失的信息， 在 Mode 1中， 用 MCI的方法能直接重建出丢失的帧， 这 里， 所运用的 MCi方法采用双向运动估计的， 用 /来表示帧 Λ和帧 Λ+1之间的 估计帧， 用 来表示像素移动位置的运动矢量， 为了避免重构图像中的空 洞， 可以计算出一个初步的重构帧来作为背景，
f(p)=^(fk(p) + fk p)) ' 而且， 前向运动补偿和后向运动补偿分别对应帧
Λ+1和帧 Λ，
为了解决 MCI中重叠的问题， 重叠像素的平均值被用来作为运动补偿， 然 后， 这个初步的背景将会被 /( ）=^(Λ( - ^MV( )) + +1( + ^MV( ))）得到的像 素来代替， 在 Mode 2和 Mode 3中， 边信息如运动矢量和残差将被用于进一步 提高重建的质量。
8. 一种基于多描述视频解码装置， 其特征在于， 包括： 标准解码器： 用于 解码； 利用边信息重构， 用于重构出奇偶帧； 帧交织， 用于奇偶帧交织。
9. 一种基于多描述视频编解码系统，其特征在于， 包括权利要求 6所述的 基于多描述视频编码装置和权利要求 8所述的基于多描述视频解码装置。
PCT/CN2012/084204 2012-03-30 2012-11-07 基于多描述视频编码、解码方法、装置及系统 WO2013143286A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/385,801 US9538185B2 (en) 2012-03-30 2012-11-07 Multi-description-based video encoding and decoding method, device and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210091619.9A CN102630012B (zh) 2012-03-30 2012-03-30 基于多描述视频编码、解码方法、装置及系统
CN201210091619.9 2012-03-30

Publications (1)

Publication Number Publication Date
WO2013143286A1 true WO2013143286A1 (zh) 2013-10-03

Family

ID=46588157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/084204 WO2013143286A1 (zh) 2012-03-30 2012-11-07 基于多描述视频编码、解码方法、装置及系统

Country Status (3)

Country Link
US (1) US9538185B2 (zh)
CN (1) CN102630012B (zh)
WO (1) WO2013143286A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630012B (zh) * 2012-03-30 2014-09-03 北京交通大学 基于多描述视频编码、解码方法、装置及系统
CN103501441B (zh) * 2013-09-11 2016-08-17 北京交通大学长三角研究院 一种基于人类视觉系统的多描述视频编码方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
CN105024795B (zh) * 2015-08-12 2018-03-06 西安电子科技大学 长期演进lte上行链路边信息间接传输方法
CN105657541A (zh) * 2015-12-29 2016-06-08 华为技术有限公司 一种帧处理方法及装置
US10628165B2 (en) * 2017-08-17 2020-04-21 Agora Lab, Inc. Gain control for multiple description coding
CN107995493B (zh) * 2017-10-30 2021-03-19 河海大学 一种全景视频的多描述视频编码方法
KR20220090493A (ko) * 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
CN113038126B (zh) * 2021-03-10 2022-11-01 华侨大学 基于帧预测神经网络的多描述视频编码方法和解码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060110054A1 (en) * 2004-11-09 2006-05-25 Stmicroelectronics S.R.L. Method and system for the treatment of multiple-description signals, and corresponding computer-program product
CN101340261A (zh) * 2007-07-05 2009-01-07 华为技术有限公司 多描述编码和多描述解码的方法、装置及系统
CN101621690A (zh) * 2009-07-24 2010-01-06 北京交通大学 基于Wyner-Ziv理论的两描述视频编码方法
CN101626512A (zh) * 2009-08-11 2010-01-13 北京交通大学 一种基于相关性优化准则的多描述视频编码方法及装置
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102630012A (zh) * 2012-03-30 2012-08-08 北京交通大学 基于多描述视频编码、解码方法、装置及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
US7106907B2 (en) * 2002-10-18 2006-09-12 Mitsubishi Electric Research Laboratories, Inc Adaptive error-resilient video encoding using multiple description motion compensation
JP2006510307A (ja) * 2002-12-17 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 低コスト複数記述ビデオ・ストリームをゲートウェイで符号化する方法
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
CN102006479B (zh) * 2010-11-30 2012-07-04 北方工业大学 面向场景切换的多描述视频编码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060110054A1 (en) * 2004-11-09 2006-05-25 Stmicroelectronics S.R.L. Method and system for the treatment of multiple-description signals, and corresponding computer-program product
CN101340261A (zh) * 2007-07-05 2009-01-07 华为技术有限公司 多描述编码和多描述解码的方法、装置及系统
CN101621690A (zh) * 2009-07-24 2010-01-06 北京交通大学 基于Wyner-Ziv理论的两描述视频编码方法
CN101626512A (zh) * 2009-08-11 2010-01-13 北京交通大学 一种基于相关性优化准则的多描述视频编码方法及装置
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102630012A (zh) * 2012-03-30 2012-08-08 北京交通大学 基于多描述视频编码、解码方法、装置及系统

Also Published As

Publication number Publication date
CN102630012A (zh) 2012-08-08
US20150078434A1 (en) 2015-03-19
CN102630012B (zh) 2014-09-03
US9538185B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
WO2013143286A1 (zh) 基于多描述视频编码、解码方法、装置及系统
KR101644208B1 (ko) 이전에 계산된 모션 정보를 이용하는 비디오 인코딩
US8340192B2 (en) Wyner-Ziv coding with multiple side information
CN109983770B (zh) 多级复合预测
US8111755B2 (en) Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding
JP4685849B2 (ja) スケーラブルビデオコーディング及びデコーディング方法、並びにその装置
JP2007520149A (ja) エンコーダ部からスケーラビリティを提供するスケーラブルビデオコーディング装置および方法
TW201103336A (en) Non-zero rounding and prediction mode selection techniques in video encoding
US8781004B1 (en) System and method for encoding video using variable loop filter
TW201933870A (zh) 利用略過機制對一連串視訊圖框中之一圖框的處理區塊編碼的方法及裝置
Ye et al. Improved side information generation with iterative decoding and frame interpolation for distributed video coding
TWI479897B (zh) 具備三維去雜訊化功能之視訊編碼/解碼裝置及其控制方法
Tagliasacchi et al. Hash-based motion modeling in Wyner-Ziv video coding
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
JPWO2003092302A1 (ja) 動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラム
WO2013097548A1 (zh) 一种基于旋转的多描述视频编解码方法、装置及系统
Bai et al. Multiple description video coding using inter-and intra-description correlation at macro block level
Van Luong et al. Multiple LDPC decoding using bitplane correlation for Transform Domain Wyner-Ziv video coding
KR101072626B1 (ko) 비트율 제어 방법과 장치 및 이를 이용한 분산 비디오 코딩 방법과 장치
US20060072670A1 (en) Method for encoding and decoding video signals
AU2012100851A4 (en) Multiple description video codec based on adaptive temporal sub-sampling
Ye et al. Error resiliency of distributed video coding in wireless video communication
KR101082542B1 (ko) 분산 비디오 코딩을 위한 비트스트림의 재구성 방법 및 장치
Norkin et al. Low-complexity multiple description coding of video based on 3D block transforms
Wen et al. A novel multiple description video coding based on H. 264/AVC video coding standard

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12873446

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14385801

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30/01/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 12873446

Country of ref document: EP

Kind code of ref document: A1