WO2013091391A1 - 一种视频编码方法及设备 - Google Patents

一种视频编码方法及设备 Download PDF

Info

Publication number
WO2013091391A1
WO2013091391A1 PCT/CN2012/080438 CN2012080438W WO2013091391A1 WO 2013091391 A1 WO2013091391 A1 WO 2013091391A1 CN 2012080438 W CN2012080438 W CN 2012080438W WO 2013091391 A1 WO2013091391 A1 WO 2013091391A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
long
image
term reference
current frame
Prior art date
Application number
PCT/CN2012/080438
Other languages
English (en)
French (fr)
Inventor
王浦林
李军华
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP12859908.1A priority Critical patent/EP2775712A4/en
Publication of WO2013091391A1 publication Critical patent/WO2013091391A1/zh
Priority to US14/308,791 priority patent/US20140321545A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Definitions

  • the present invention relates to the field of video coding technologies, and in particular, to a video coding method and device. Background technique
  • the content between adjacent frames of a moving image does not actually change much (except for scene switching, etc.), that is, the image sequence has a strong temporal correlation. Therefore, it is possible to use the temporal correlation of the image sequence to predict the data of the next frame image using the previous frame image data as the reference frame, thereby transmitting only the difference between the two, thereby reducing the amount of data to be transmitted.
  • the reference frame is divided into a short-term reference frame and a long-term reference frame.
  • the short-term reference frame uses a first-in-first-out mechanism.
  • the long-term reference frame is different from the short-term reference frame, and the long-term reference frame will exist in the reference picture list for a long time, always as a reference for the following picture, until the long-term reference frame is not used as the reference frame by using a specific syntax element.
  • the n+1th frame is the current image to be encoded
  • the nth frame is the short-term reference image of the current image
  • the image background of the n+1th frame will be predicted with reference to the image content of the nth frame, which will generate a 4 ⁇ residual.
  • the encoder will select the "int ra" mode to encode the n+1th frame. If the background frame is selected as the long-term reference frame, the long-term reference frame is encoded, and the content in the long-term reference frame is completely the same as the background of the region where the n+1th frame and the n-th frame change. The encoder will select the "skip” mode to encode the macroblocks in this area. In contrast, the "skip” mode will save a lot more code rate than the "intra” mode. It can be seen that the compression efficiency of encoding with reference to the long-term reference frame is higher than that of the reference short-term reference frame.
  • encoding with reference to a long-term reference frame usually has the following problems.
  • an IDR (Ins tantaneous Decoding Refresh) frame must be sent to clear the reference picture buffer, which will simultaneously clear the long-term reference frame as the background frame, resulting in a long-term background frame.
  • the reference frame is not available.
  • the output of the current frame by the decoding end will cause the displayed image to flicker.
  • Embodiments of the present invention provide a video encoding method and apparatus, to solve the problem that a long-term reference frame of a background frame is unavailable when the unrecoverable error occurs at the encoding or decoding end, and when the current frame and the adjacent frame image content are inconsistent
  • the decoding end displays a problem of outputting the image after the display causes the image to flicker.
  • An aspect of an embodiment of the present invention provides a video encoding method, including:
  • each frame of the video image is encoded, and the encoded data packet is transmitted to the decoding end.
  • the decoding end After receiving the refresh frame request sent by the decoding end, if it is determined that the long-term reference frame still serves as the encoded reference frame, sending a non-IDR frame image to the decoding end, where the macro block of the non-IDR frame image includes Referring to the long-term reference frame-encoded macroblock, and/or, refer to intra-frame macroblock-encoded macroblocks.
  • Another aspect of the embodiments of the present invention provides a video encoding method, including: Enter the video image to be encoded.
  • each frame of the video image is encoded, and the encoded data packet is transmitted to the decoding end.
  • the encoding indicates that the current frame does not display an output; so that the decoding end does not display the current frame after receiving the video image.
  • An input unit for inputting a video image to be encoded.
  • a coding unit configured to encode a current frame acquired according to the video image, and specify the current frame as a long-term reference frame; refer to the long-term reference frame, encode each frame of the video image, and encode the frame The resulting packet is sent to the decoder.
  • the receiving unit is configured to receive a refresh frame request sent by the decoding end.
  • a refresh frame sending unit configured to send a non-IDR frame image to the decoding end, if the long-term reference frame is still used as the encoded reference frame after receiving the refresh frame request sent by the decoding end, the non-
  • the macroblock of the IDR frame image includes macroblocks that are referenced with reference to the long term reference frame, and/or reference macroblocks that are intrablock macroblock encoded.
  • An input unit for inputting a video image to be encoded.
  • a coding unit configured to encode a current frame acquired according to the video image, and specify the current frame as a long-term reference frame; refer to the long-term reference frame, encode each frame of the video image, and encode the frame The resulting packet is sent to the decoder.
  • the indicating unit is configured to: if it is determined that the current frame does not need to display output on the decoding end, the encoding indicates that the current frame does not display output; so that the decoding end does not display the current frame after receiving the video image.
  • the video encoding method and device provided by the embodiment of the present invention encodes with reference to a long-term reference frame.
  • the process after receiving the refresh frame request sent by the decoding end, if it is determined that the long-term reference frame is still used as the reference frame, send an image that references the long-term reference frame encoding to the decoding end, and/or send a reference to the decoding end.
  • Intra macroblock encoded non-IDR frame image Intra macroblock encoded non-IDR frame image.
  • the refresh frame is not an IDR frame, all reference picture buffers are not cleared, and a long-term reference frame as a background frame is still available. Therefore, the problem that the long-term reference frame as the background frame is unavailable is avoided when an unrecoverable error occurs at the encoding or decoding end.
  • the encoding indicates that the current frame does not display an output. In this way, when the current frame and the adjacent frame image content are not consecutive, the decoding end displays the problem that the displayed image is flickered after outputting the current frame.
  • FIG. 1 is a schematic flowchart of a video encoding method according to an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of another video encoding method according to an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart diagram of still another video encoding method according to an embodiment of the present disclosure
  • FIG. 4 is a schematic flowchart of still another video encoding method according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a video encoding apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of another video encoding apparatus according to an embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram of another video encoding apparatus according to an embodiment of the present invention.
  • the video coding method provided by the embodiment of the present invention, as shown in FIG. 1 includes: 5101.
  • the video encoding device inputs a video image to be encoded.
  • the video encoding device encodes a current frame acquired according to the video image, and specifies that the current frame is a long-term reference frame.
  • the video encoding device refers to the long-term reference frame, and encodes each frame of the video image, and sends the encoded data packet to the decoding end.
  • the video encoding device After receiving the refresh frame request sent by the decoding end, the video encoding device sends a non-IDR frame image to the decoding end if the long-term reference frame is still used as the encoded reference frame, and the macroblock of the non-IDR frame image includes a reference.
  • the long-term reference frame-encoded macroblock, and/or, the reference intra-frame macroblock-encoded macroblock are examples of the long-term reference frame-encoded macroblock, and/or, the reference intra-frame macroblock-encoded macroblock.
  • the video encoding method provided by the embodiment of the present invention in the process of encoding the reference long-term reference frame, after receiving the refresh frame request sent by the decoding end, if it is determined that the long-term reference frame is still used as the reference frame, sending a reference to the decoding end
  • the long-term reference frame encoded image, and/or a reference intra-frame macroblock-encoded non-IDR frame image is transmitted to the decoder.
  • the refresh frame is not an IDR frame, all reference picture buffers are not cleared, and a long-term reference frame as a background frame is still available. Therefore, the problem that the long-term reference frame as the background frame is not available is avoided when an unrecoverable error occurs at the encoding or decoding end.
  • a video encoding method provided by another embodiment of the present invention, as shown in FIG. 2, includes:
  • the video encoding device inputs a video image to be encoded.
  • the video encoding device encodes the current frame acquired according to the video image, and specifies that the current frame is a long-term reference frame.
  • the video encoding device refers to the long-term reference frame, and encodes each frame of the video image, and sends the encoded data packet to the decoding end.
  • the video encoding device determines that the current frame does not need to display output on the decoding end, the encoding indicates that the current frame does not display output; so that the decoding terminal does not display the current frame after receiving the video image.
  • the decoding end displays the problem of outputting the image after the display causes the image to flicker.
  • a video encoding method includes:
  • the video encoding device inputs a video image to be encoded.
  • the video encoding device encodes the current frame acquired according to the video image, and specifies that the current frame is a long-term reference frame.
  • the video encoding device may obtain one frame image from the video image as a long-term reference frame, or synthesize at least two frames from the video image as a long-term reference frame, and the video encoding device may also capture a frame in the video image.
  • the background image of the image is used as a long-term reference frame, or a background image of at least two frames of images in the video image is captured, and a background image of the at least two frames of images is synthesized as a long-term reference frame.
  • the video encoding device may also set a transmission priority of the long-term reference frame.
  • the long-term reference image as the background needs to be used as a reference for a long time, so it is necessary to set the frame image as a high transmission priority, and the transmission of the frame code stream is preferentially ensured in the process of transmission. Sex.
  • the video encoding device refers to the long-term reference frame, and encodes each frame of the video image, and sends the encoded data packet to the decoding end.
  • the video encoding device After receiving the refresh frame request sent by the decoding end, the video encoding device sends a non-IDR frame image to the decoding end if the long-term reference frame is still used as the encoded reference frame, and the macroblock of the non-IDR frame image includes a reference.
  • the long-term reference frame-encoded macroblock, and/or, the reference intra-frame macroblock-encoded macroblock are examples of the long-term reference frame-encoded macroblock, and/or, the reference intra-frame macroblock-encoded macroblock.
  • the short-term reference frame is no longer used as a reference, and the decoding end sends the video encoding device to the video encoding device. Refresh the frame request.
  • the video encoding device After receiving the refresh frame request sent by the decoding end, the video encoding device first determines whether all reference image buffers must be cleared, and if it is determined that the short-term reference frame and the long-term reference frame are no longer used as reference frames, Then, an IDR frame image is sent to the decoding end, and all reference image buffers including the short-term reference frame and the long-term reference frame are cleared.
  • the image after the non-IDR frame image can be encoded with reference to the non-IDR frame image without referring to the short-term reference frame in which the error occurs. In this way, the problem that the long-term reference frame as the background frame is emptied and is not available is avoided while not referring to the short-term reference frame in which the error occurs.
  • the video encoding device determines that the current frame does not need to display output on the decoding end, the encoding indicates that the current frame does not display output; so that the decoding frame does not display the current frame after receiving the video image.
  • the current frame is one frame of the input video image to be encoded
  • the current frame and the adjacent frame image are continuous and consecutive, and the current frame image should be output after decoding, so as to ensure the coherent and smooth decoding image.
  • the current frame is a virtual image synthesized according to a multi-frame video image to be encoded, since the current frame image and the adjacent image content have a large difference, if the output is selected, the output image may have obvious flickering problems. Therefore, the current frame should not be output after decoding.
  • the video encoding device may not display the output flag position bit in the predetermined current frame in the data packet sent to the decoding end.
  • the video encoding device may appoint a flag indicating that the code stream is not used for display output in the SEI (Supplemental Enhancement Information) packet content, and the receiving end determines according to the flag.
  • SEI Supplemental Enhancement Information
  • the video encoding device can also indicate that the current frame does not display output by setting a syntax element in the protocol syntax.
  • the video encoding apparatus can also indicate that the current frame does not display the output by setting a field in the signaling transport layer.
  • the CSRC Content Source
  • RTP Real-time Transport Protocol
  • the video encoding method in the process of encoding the reference long-term reference frame, after receiving the refresh frame request sent by the decoding end, if it is determined that the long-term reference frame is still used as the reference frame, Then, an image that is encoded with reference to the long-term reference frame is sent to the decoding end, and/or a non-IDR frame image of the reference intra-frame macroblock encoding is sent to the decoding end. In this way, since the refresh frame is not an IDR frame, all reference picture buffers are not cleared, and a long-term reference frame as a background frame is still available.
  • the problem that the long-term reference frame as the background frame is unavailable is avoided when an unrecoverable error occurs at the encoding or decoding end.
  • the encoding indicates that the long-term reference current frame does not display the output. In this way, when the current frame and the adjacent frame image content are not consecutive, the decoding end displays the problem that the displayed image is flickered after outputting the current frame.
  • a video coding method according to another embodiment of the present invention, for the H.264 protocol, as shown in FIG. 4, includes:
  • the video encoding device inputs a video image to be encoded.
  • the video encoding device encodes a current frame acquired according to the video image.
  • the video encoding device After receiving the refresh frame request sent by the decoding end, the video encoding device determines whether it is necessary to clear the long-term reference frame. If necessary, step S404 is performed; if not, step S405 is performed.
  • the video encoding device instructs the current frame to encode an IDR frame image, and clears all reference image buffers.
  • the video encoding device may encode all the macroblocks in one frame of image by using the intra-frame compression mode, and set the Nal_unit_type to 5 to obtain the IDR frame, thereby clearing all the reference image buffers with the IDR frame as the refresh frame.
  • the video encoding apparatus indicates that the current frame encodes a non-IDR frame image, and the macroblock of the non-IDR frame image includes a macroblock that is referenced by the long-term reference frame, and/or a reference macroblock-coded macroblock.
  • the video encoding apparatus may implement a refresh frame by encoding all the macroblocks in the image by using an intra-frame compression mode or an inter-frame prediction mode of the reference long-term reference frame to ensure correctness of decoding at the receiving end.
  • the non-IDR frame is encoded by setting nal_unit_type to a value other than 5, so that the long-term reference frame in the reference picture buffer can continue to be used as a reference.
  • the video encoding device determines whether the current image is a long-term reference frame. If yes, perform the steps S409; If not, step S410 is performed.
  • the encoded image specifies one frame every 200 frames or inserts one frame image as a long-term reference frame, and the video encoding device may determine whether the current frame is a long-term reference frame according to the counted number of frames.
  • the video encoding device marks the current image as a long-term reference frame.
  • the video encoding device can set the adaptive_ref_pic_marking_mode_flag flag to 1 and the memory_management_cintrol_operation flag to 6 to set the current long_term_frame_idx value to mark the current image as a long-term reference frame.
  • the video encoding device marks the short-term reference frame as a long-term reference frame.
  • the video encoding device may set the memory_ref_pic_marking_mode_flag flag to 1 and the memory_management_cintrol_operation flag to 3, and set a long_term_frame_idx value of a short-term reference 1 1 1 ⁇ , and mark the current image as a long-term reference frame to mark a short-term reference frame. For long-term reference frames.
  • the video encoding device sets a transmission priority of the long-term reference frame.
  • the video encoding device determines whether the current frame needs to display output. When it is determined that the current frame does not need to display the output, step S411 is performed; when the current frame needs to be used for displaying the output, step S412 is performed.
  • the video encoding device is set without displaying the output flag.
  • a full_frame_freeze_repetition_period are set to 1 in a start frame in which the long-term reference frame does not need to display output.
  • the frame requires the solution solidified, and sends an SPS (Sequence parameter set, sequence bad 1 J Parameter Set) or PPS (Picture parameter set, picture parameter set), and encoding a novel IDR frame to begin a new sequence, thereby automatically Decondensed.
  • SPS Sequence parameter set, sequence bad 1 J Parameter Set
  • PPS Picture parameter set
  • the video encoding device sets the display output flag bit.
  • the video encoding device outputs the encoded video image code stream.
  • the video encoding method provided by the embodiment of the present invention in the process of encoding the reference long-term reference frame, after receiving the refresh frame request sent by the decoding end, if it is determined that the long-term reference frame is still used as the reference frame, sending a reference to the decoding end
  • the image of the long-term reference frame, and/or a reference intra-frame macroblock-encoded non-IDR frame image is sent to the decoder.
  • the refresh frame is not an IDR frame
  • the existing long-term reference frame is not emptied, and the long-term reference frame as the background frame is not available when the unrecoverable error occurs at the encoding or decoding end.
  • the encoding indicates that the current frame does not display an output. In this way, when the current frame and the adjacent frame image content are inconsistent, the decoding end displays the problem that the displayed image is flickered after outputting the current frame.
  • the detailed steps of the video encoding device 50 have been described in the above method embodiments, and will not be described in detail herein. As shown in Figure 5, it includes:
  • the input unit 501 is configured to input a video image to be encoded.
  • the encoding unit 502 is configured to encode the current frame acquired according to the video image, and specify the current frame as a long-term reference frame. Referring to the long-term reference frame, encoding each frame of the video image, The data packet obtained after the code is sent to the decoding end.
  • the receiving unit 503 is configured to receive a refresh frame request sent by the decoding end.
  • the refresh frame sending unit 504 is configured to: after receiving the refresh frame request sent by the decoding end, if it is determined that the long-term reference frame is still used as the encoded reference frame, send a non-IDR frame image to the decoding end, and the macro of the non-IDR frame image
  • the block includes a macroblock that is encoded with reference to the long-term reference frame, and/or a reference macroblock encoded macroblock.
  • the video encoding device provided by the embodiment of the present invention sends a reference to the decoding end after receiving the refresh frame request sent by the decoding end, and determining that the long-term reference frame is still used as the reference frame after receiving the request for the refresh frame sent by the decoding end.
  • the long-term reference frame encoded image, and/or a reference intra-frame macroblock-encoded non-IDR frame image is transmitted to the decoder. In this way, since the refresh frame is not an IDR frame, all reference picture buffers are not cleared, and a long-term reference frame as a background frame is still available. Therefore, the problem that the long-term reference frame as the background frame is not available is avoided when an unrecoverable error occurs at the encoding or decoding end.
  • the video encoding apparatus 50 may further include:
  • the indicating unit 505 is configured to: if it is determined that the current frame does not need to display output on the decoding end, the encoding indicates that the current frame does not display output; so that the decoding end does not display the current frame after receiving the video image.
  • the refresh frame transmitting unit 504 can also be used to:
  • an IDR frame image is sent to the decoding end.
  • the detailed steps of the video encoding device 70 have been described in the above method embodiments, and will not be described in detail herein. As shown in Figure 7, it includes:
  • the input unit 701 is configured to input a video image to be encoded.
  • the encoding unit 702 is configured to encode the current frame acquired according to the video image, and specify the current frame as a long-term reference frame. Referring to the long-term reference frame, encoding each frame of the video image, and encoding the encoded data packet to The decoder sends it.
  • the indicating unit 703 is configured to: if it is determined that the current frame does not need to display output on the decoding end, the encoding indicates that the current frame does not display output; so that the decoding end does not display the current frame after receiving the video image.
  • the decoding end displays the problem that the displayed image is flickered after outputting the current frame.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种视频编码方法及设备，涉及视频编码技术领域，以解决编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题以及当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。方法包括：输入待编码的视频图像；对当前帧进行编码，指定该当前帧为长期参考帧；参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到的数据包向解码端发送；接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为编码的参考帧，则向解码端发送一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。本发明实施例用于视频编码。

Description

一种视频编码方法及 i殳备 本申请要求于 2011 年 12 月 19 日提交中国专利局、 申请号为 201110427151.1 , 发明名称为"一种视频编码方法及设备"的中国专利申请的优 先权， 在先申请文件的内容通过引用结合在本申请中。
技术领域
本发明涉及视频编码技术领域， 尤其涉及一种视频编码方法及设备。 背景技术
一般情况下， 运动图像相邻帧间的内容实际上没有太大的变化（场景切 换等除外）， 即图像序列具有很强的时间相关性。 因此， 可以利用图像序列的 时间相关性， 使用之前的某一帧图像数据作为参考帧来预测下一帧图像的数 据， 从而只传输两者的差值， 以此来减少要传输的数据量。
参考帧分为短期参考帧和长期参考帧。 对于短期参考帧而言， 在参考帧 列表中， 短期参考帧采用先进先出的机制， 当解码出新的图像以后， 就会将 前面的短期参考帧从参考图像列表中移除。 长期参考帧与短期参考帧不同， 长期参考帧会长期存在于参考图像列表中， 一直作为后面的图像的参考， 直 到使用特定的语法元素标定该长期参考帧不作为参考帧为止。
在视频编码过程中， 当图像背景未变化而相邻帧间的图像内容发生运动 时， 例如， 第 n+1帧为要编码的当前图像， 第 n帧为当前图像的短期参考图 像， 对于第 n+1帧和第 n帧图像中的某一相同位置区域而言， 如果第 n帧图 像中的该区域是图像内容， 该图像内容正在运动， 第 n+1 帧图像中的相同位 置区域变为了图像背景。 若以第 n帧为短期参考帧预测编码第 n+1帧图像， 在上述区域内， 将参考第 n帧的图像内容预测第 n+1帧的图像背景， 这将产 生 4艮大的残差， 因此编码器会选择 " int ra (帧内）" 模式编码第 n+1 帧。 而 如果选择背景帧为长期参考帧， 参考该长期参考帧进行编码， 由于该长期参 考帧中的内容与第 n+1帧与第 n帧存在变化的区域的背景完全相同， 因此编 码器会选择 " skip (跳过）" 模式编码该区域内的宏块。 相比而言， " skip" 模式会比 " intra" 模式大大的节省码率。 可见， 参考长期参考帧进行编码的 压缩效率要高于参考短期参考帧。
现有技术中， 参考长期参考帧进行编码通常存在以下问题。 当编码或解 码端出现不可恢复的错误时， 必须发送一个 IDR ( Ins tantaneous Decoding Refresh, 即时解码刷新）帧清空参考图像緩存， 这将同时清空作为背景帧的 长期参考帧， 导致作为背景帧的长期参考帧不可用。 此外， 若当前帧与相邻 帧图像内容不连贯时， 解码端显示输出该当前帧将导致显示后的图像发生闪 烁。
发明内容
本发明的实施例提供一种视频编码方法及设备， 以解决编码或解码端出 现不可恢复的错误时， 作为背景帧的长期参考帧不可用的问题以及当前帧与 相邻帧图像内容不连贯时， 解码端显示输出该当前帧导致的显示后图像闪烁 的问题。
为达到上述目的， 本发明的实施例采用如下技术方案：
本发明实施例的一方面， 提供一种视频编码方法， 包括：
输入待编码的视频图像。
对根据所述视频图像获取到的当前帧进行编码， 指定所述当前帧为长期 参考帧。
参考所述长期参考帧， 对所述视频图像的各帧进行编码， 将编码后得到 的数据包向解码端发送。
接收到所述解码端发送的刷新帧申请后， 若确定所述长期参考帧仍作为 编码的参考帧， 则向所述解码端发送一个非 IDR帧图像， 所述非 IDR帧图像 的宏块包括参考所述长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码的宏 块。
本发明实施例的另一方面， 提供一种视频编码方法， 包括： 输入待编码的视频图像。
对根据所述视频图像获取到的当前帧进行编码， 指定所述当前帧为长期 参考帧。
参考所述长期参考帧， 对所述视频图像的各帧进行编码， 将编码后得到 的数据包向解码端发送。
若确定所述当前帧在解码端不需要显示输出时， 则编码指示所述当前帧 不显示输出； 以便所述解码端接收到所述视频图像后不显示所述当前帧。
本发明实施例的另一方面， 提供一种视频编码设备， 包括：
输入单元， 用于输入待编码的视频图像。
编码单元， 用于对根据所述视频图像获取到的当前帧进行编码， 指定所 述当前帧为长期参考帧； 参考所述长期参考帧， 对所述视频图像的各帧进行 编码， 将编码后得到的数据包向解码端发送。
接收单元， 用于接收所述解码端发送的刷新帧申请。
刷新帧发送单元， 用于接收到所述解码端发送的刷新帧申请后， 若确定 所述长期参考帧仍作为编码的参考帧， 则向所述解码端发送一个非 IDR 帧图 像， 所述非 IDR帧图像的宏块包括参考所述长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码的宏块。
本发明实施例的另一方面， 提供一种视频编码设备， 包括：
输入单元， 用于输入待编码的视频图像。
编码单元， 用于对根据所述视频图像获取到的当前帧进行编码， 指定所 述当前帧为长期参考帧； 参考所述长期参考帧， 对所述视频图像的各帧进行 编码， 将编码后得到的数据包向解码端发送。
指示单元， 用于若确定所述当前帧在解码端不需要显示输出时， 则编码 指示所述当前帧不显示输出； 以便所述解码端接收到所述视频图像后不显示 所述当前帧。
本发明实施例提供的视频编码方法及设备， 在参考长期参考帧进行编码 的过程中， 当接收到解码端发送的刷新帧申请后， 若确定长期参考帧仍作为 参考帧， 则向解码端发送一个参考该长期参考帧编码的图像， 和 /或向解码端 发送一个参考帧内宏块编码的非 IDR帧图像。 这样一来， 由于刷新帧不是 IDR 帧， 因此并不会清空所有的参考图像緩存， 作为背景帧的长期参考帧仍然可 用。 从而避免了编码或解码端出现不可恢复的错误时， 作为背景帧的长期参 考帧不可用的问题。 此外， 当确定当前帧不需要显示输出时， 编码指示该当 前帧不显示输出。 这样一来， 避免了在当前帧与相邻帧图像内容不连贯时， 解码端显示输出该当前帧导致的显示后图像闪烁的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作筒单地介绍， 显而易见地， 下面 描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1为本发明实施例提供的一种视频编码方法的流程示意图；
图 2为本发明实施例提供的另一视频编码方法的流程示意图；
图 3为本发明实施例提供的又一视频编码方法的流程示意图；
图 4为本发明实施例提供的又一视频编码方法的流程示意图；
图 5为本发明实施例提供的一种视频编码设备的结构示意图；
图 6为本发明实施例提供的另一视频编码设备的结构示意图；
图 7为本发明实施例提供的另一视频编码设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行 清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而 不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
本发明实施例提供的视频编码方法， 如图 1所示， 包括： 5101、 视频编码设备输入待编码的视频图像。
5102、 视频编码设备对根据视频图像获取到的当前帧进行编码， 指定该 当前帧为长期参考帧。
5103、 视频编码设备参考该长期参考帧， 对视频图像的各帧进行编码， 将编码后得到的数据包向解码端发送。
5104、 视频编码设备接收到解码端发送的刷新帧申请后， 若确定该长期 参考帧仍作为编码的参考帧， 则向解码端发送一个非 IDR帧图像， 该非 IDR 帧图像的宏块包括参考该长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码 的宏块。
本发明实施例提供的视频编码方法， 在参考长期参考帧进行编码的过程 中， 当接收到解码端发送的刷新帧申请后， 若确定长期参考帧仍作为参考帧， 则向解码端发送一个参考该长期参考帧编码的图像， 和 /或向解码端发送一个 参考帧内宏块编码的非 IDR帧图像。 这样一来， 由于刷新帧不是 IDR帧， 因 此并不会清空所有的参考图像緩存， 作为背景帧的长期参考帧仍然可用。 从 而避免了编码或解码端出现不可恢复的错误时， 作为背景帧的长期参考帧不 可用的问题。
本发明另一实施例提供的视频编码方法， 如图 2所示， 包括：
5201、 视频编码设备输入待编码的视频图像。
5202、 视频编码设备对根据视频图像获取到的当前帧进行编码， 指定该 当前帧为长期参考帧。
5203、 视频编码设备参考该长期参考帧， 对视频图像的各帧进行编码， 将编码后得到的数据包向解码端发送。
5204、 若视频编码设备确定当前帧在解码端不需要显示输出时， 则编码 指示该当前帧不显示输出； 以便解码端接收到视频图像后不显示该当前帧。
本发明实施例提供的视频编码方法， 当确定当前帧不需要显示输出时， 编码指示该当前帧不显示输出。 这样一来， 避免了在当前帧与相邻帧图像内 容不连贯时， 解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本发明又一实施例提供的视频编码方法， 如图 3所示， 包括：
5301、 视频编码设备输入待编码的视频图像。
5302、 视频编码设备对根据视频图像获取到的当前帧进行编码， 指定该 当前帧为长期参考帧。
具体的， 视频编码设备可以从所述视频图像中获取一帧图像作为长期参 考帧， 或者， 从视频图像中， 合成至少两帧图像作为长期参考帧， 视频编码 设备还可以拍摄视频图像中一帧图像的背景图像作为长期参考帧， 或者， 拍 摄视频图像中至少两帧图像的背景图像， 合成该至少两帧图像的背景图像作 为长期参考帧。
此外， 在指定该当前帧为长期参考帧之后， 视频编码设备还可以设置该 长期参考帧的传输优先级。
例如， 在背景基本不变的场景中， 作为背景的长期参考图像需要长期作 为参考， 因此有必要设定该帧图像为高传输优先级， 在传输的过程中优先保 证该帧码流传输的正确性。
5303、 视频编码设备参考该长期参考帧， 对视频图像的各帧进行编码， 将编码后得到数据包向解码端发送。
5304、 视频编码设备接收到解码端发送的刷新帧申请后， 若确定该长期 参考帧仍作为编码的参考帧， 则向解码端发送一个非 IDR帧图像， 该非 IDR 帧图像的宏块包括参考该长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码 的宏块。
具体的， 当编码或解码端出现不可恢复的错误时， 由于该错误是参考此 时的短期参考帧编码而出现的， 因此该短期参考帧将不再作为参考， 解码端 会向视频编码设备发送刷新帧申请。
视频编码设备接收到解码端发送的刷新帧申请后， 首先判断是否必须清 空所有的参考图像緩存， 若确定短期参考帧和长期参考帧均不再作为参考帧， 则向解码端发送一个 IDR帧图像， 清空包括短期参考帧和长期参考帧在内的 所有的参考图像緩存。 若确定长期参考帧仍作为参考帧， 而只需要清空短期 参考帧， 则向解码端发送一个非 IDR帧图像， 该非 IDR帧图像的宏块包括参 考该长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码的宏块， 该非 IDR帧 图像之后的图像就可以参考该非 IDR帧图像进行编码而不参考出现错误的短 期参考帧。 这样一来， 在不参考出现错误的短期参考帧进行编码的同时避免 了作为背景帧的长期参考帧被清空导致不可用的问题。
S305、 若视频编码设备确定当前帧在解码端不需要显示输出时， 则编码 指示该当前帧不显示输出； 以便解码端接收到视频图像后不显示该当前帧。
例如， 若当前帧为输入的待编码的视频图像中的一帧， 该当前帧和相邻 帧图像连续、 连贯， 此时该当前帧图像解码以后应该输出， 才能保证解码图 像的连贯流畅。 若当前帧为根据多帧待编码的视频图像合成的虚拟图像， 由 于该当前帧图像和相邻的图像内容相差较大， 如果选择输出， 则会导致输出 后的图像有明显的闪烁等问题， 因此该当前帧解码以后应该不输出。
具体的， 当当前帧不需要用于显示输出时， 视频编码设备可以在向解码 端发送的数据包中， 将预定的当前帧不显示输出标志位置位。 在现有的 H.264 协议语法中， 视频编码设备可以通过在 SEI ( Supplemental Enhancement Information, 补充增强信息）包内容中约定一个表示码流解码后不用于显示输 出的标志， 接收端根据此标志确定图像解码后当前帧不显示输出。
视频编码设备还可以通过在协议语法中设置语法元素指示当前帧不显示 输出。
视频编码设备还可以通过在信令传输层设置字段指示当前帧不显示输 出。 例如可以通过 RTP ( Real-time Transport Protocol , 实时传送协议） 包中的 CSRC ( Contributing source, 信源标识）字段指示码流是否用于显示输出。
本发明实施例提供的视频编码方法， 在参考长期参考帧进行编码的过程 中， 当接收到解码端发送的刷新帧申请后， 若确定长期参考帧仍作为参考帧， 则向解码端发送一个参考该长期参考帧编码的图像， 和 /或向解码端发送一个 参考帧内宏块编码的非 IDR帧图像。 这样一来， 由于刷新帧不是 IDR帧， 因 此并不会清空所有的参考图像緩存， 作为背景帧的长期参考帧仍然可用。 从 而避免了编码或解码端出现不可恢复的错误时， 作为背景帧的长期参考帧不 可用的问题。 此外， 当确定长期参考当前帧不需要显示输出时， 编码指示该 长期参考当前帧不显示输出。 这样一来， 避免了在当前帧与相邻帧图像内容 不连贯时， 解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本发明又一实施例提供的视频编码方法， 针对 H.264协议， 如图 4所示， 包括：
5401、 视频编码设备输入待编码的视频图像。
5402、 视频编码设备对根据视频图像获取到的当前帧进行编码。
5403、 当视频编码设备接收到解码端发送的刷新帧申请后， 判断是否需 要清空长期参考帧。 若需要， 执行步骤 S404; 若不需要， 执行步骤 S405。
5404、 视频编码设备指示当前帧编码一个 IDR帧图像， 清空所有的参考 图像緩存。
例如， 视频编码设备可以通过将一帧图像中的所有宏块均采用帧内压缩 模式进行编码， 并置 Nal_unit_type为 5以编码得到 IDR帧， 从而以 IDR帧为 刷新帧清空所有的参考图像緩存。
5405、 视频编码设备指示当前帧编码一个非 IDR帧图像， 该非 IDR帧图 像的宏块包括参考该长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码的宏 块。
例如， 视频编码设备可以通过将图像中所有的宏块采用帧内压缩模式或 参考长期参考帧的帧间预测模式进行编码实现刷新帧， 以保证接收端解码的 正确性。 同时通过将 nal_unit_type置为 5以外的值以编码非 IDR帧， 从而使 得参考图像緩存中的长期参考帧可以继续作为参考。
5406、 视频编码设备判断当前图像是否为长期参考帧。 若是， 执行步骤 S409; 若不是， 执行步骤 S410。
例如， 在编码过程中， 可以规定编码图像每隔 200帧指定一帧或者插入 一帧图像作为长期参考帧， 视频编码设备可以根据统计到的帧数来判断当前 帧是否为长期参考帧。
5407、 视频编码设备标记当前图像为长期参考帧。
具 体 的 ， 视 频 编 码 设 备 可 以 通 过 分 别 置 adaptive_ref_pic_marking_mode_flag 标 志 为 1 , 置 memory_management_cintrol_operation 标 志 为 6 , 置 当 前 †贞 的 long_term_frame_idx值， 以标记当前图像为长期参考帧。
5408、 视频编码设备标记短期参考帧为长期参考帧。
具 体 的 ， 视 频 编 码 设 备 可 以 通 过 分 别 置 adaptive_ref_pic_marking_mode_flag 标 志 为 1 , 置 memory_management_cintrol_operation 标志为 3 , 置某一短期参考111贞的 long_term_frame_idx值， 不标记当前图像为长期参考帧， 以标记某一短期参 考帧为长期参考帧。
5409、 视频编码设备设置该长期参考帧的传输优先级。
5410、 视频编码设备判断当前帧是否需要显示输出。 当确定当前帧不需 要显示输出时，执行步骤 S411 ; 当前帧需要用于显示输出时，执行步骤 S412。
5411、 视频编码设备置位不显示输出标志位。
具体的, 在 H.264协议中, 通过 Full-frame freeze SEI和 Full-frame freeze release SEI来指定是否全帧凝固和全帧凝固释放。 其中， 当全帧凝固时， 当前 图像解码完毕， 不用当前图像对显示的视频帧内容进行更新， 从而保持显示 的视频帧内容不变。 从而达到一帧或多帧图像解码后不输出显示的目的。
例如， 当只需要长期参考帧在当前的一帧不显示输出时， 可以通过发送 Full-frame freeze SEI(SEI payloadtype = 13) 并 将 full_frame_freeze_repetition_period置为 0实现。 又例如， 当需要有多帧图像不显示输出时， 在长期参考帧不需要显示输 出的起始帧中发送 Full-frame freeze SEI(SEI payloadtype = 13)并将 full_frame_freeze_repetition_period 置为 1。 在需要解凝固的帧中， 发送一个 Full-frame freeze release SEI(SEI payloadtype = 14)。 从而实现多帧图像不显示 输出。
再例如， 当需要有多帧图像不显示输出时， 在长期参考帧不需要显示输 出的起始帧中发送 Full-frame freeze SEI(SEI payloadtype = 13)并将 full_frame_freeze_repetition_period置为 1。在需要解凝固的帧中，发送一个 SPS ( Sequence parameter set, 序歹1 J参数集 )或 PPS ( Picture parameter set, 图像参 数集）， 并编码新的 IDR帧以开始一个新的序列， 从而自动解凝固。
5412、 视频编码设备置位显示输出标志位。
5413、 视频编码设备输出已编码的视频图像码流。
本发明实施例提供的视频编码方法， 在参考长期参考帧进行编码的过程 中， 当接收到解码端发送的刷新帧申请后， 若确定长期参考帧仍作为参考帧， 则向解码端发送一个参考该长期参考帧的图像， 和 /或向解码端发送一个参考 帧内宏块编码的非 IDR帧图像。 这样一来， 由于刷新帧不是 IDR帧， 因此并 不会清空已有的长期参考帧， 避免了编码或解码端出现不可恢复的错误时， 作为背景帧的长期参考帧不可用的问题。 此外， 当确定当前帧不需要显示输 出时， 编码指示该当前帧不显示输出。 这样一来， 避免了在当前帧与相邻帧 图像内容不连贯时， 解码端显示输出该当前帧导致的显示后图像闪烁的问题。 述方法实施例中的所有步骤， 该视频编码设备 50的详细步骤在上述方法实施 例中已经说明， 在此不再详细描述。 如图 5所示， 包括：
输入单元 501 , 用于输入待编码的视频图像。
编码单元 502, 用于对根据视频图像获取到的当前帧进行编码， 指定该当 前帧为长期参考帧； 参考该长期参考帧， 对视频图像的各帧进行编码， 将编 码后得到的数据包向解码端发送。
接收单元 503, 用于接收解码端发送的刷新帧申请。
刷新帧发送单元 504, 用于接收到解码端发送的刷新帧申请后， 若确定该 长期参考帧仍作为编码的参考帧， 则向解码端发送一个非 IDR帧图像， 该非 IDR帧图像的宏块包括参考该长期参考帧编码的宏块， 和 /或， 参考帧内宏块 编码的宏块。
本发明实施例提供的视频编码设备， 在参考长期参考帧进行编码的过程 中， 当接收到解码端发送的刷新帧申请后， 若确定长期参考帧仍作为参考帧， 则向解码端发送一个参考该长期参考帧编码的图像， 和 /或向解码端发送一个 参考帧内宏块编码的非 IDR帧图像。 这样一来， 由于刷新帧不是 IDR帧， 因 此并不会清空所有的参考图像緩存， 作为背景帧的长期参考帧仍然可用。 从 而避免了编码或解码端出现不可恢复的错误时， 作为背景帧的长期参考帧不 可用的问题。
进一步地， 如图 6所示， 视频编码设备 50还可以包括：
指示单元 505, 用于若确定当前帧在解码端不需要显示输出时， 则编码指 示该当前帧不显示输出； 以便解码端接收到视频图像后不显示该当前帧。
刷新帧发送单元 504还可以用于：
接收到解码端发送的刷新帧申请后， 若确定长期参考帧不作为编码的参 考帧， 则向解码端发送一个 IDR帧图像。 述方法实施例中的所有步骤， 该视频编码设备 70的详细步骤在上述方法实施 例中已经说明， 在此不再详细描述。 如图 7所示， 包括：
输入单元 701 , 用于输入待编码的视频图像。
编码单元 702, 用于对根据视频图像获取到的当前帧进行编码， 指定该当 前帧为长期参考帧； 参考该长期参考帧， 对视频图像的各帧进行编码， 将编 码后得到的数据包向解码端发送。 指示单元 703, 用于若确定当前帧在解码端不需要显示输出时， 则编码指 示该当前帧不显示输出； 以便解码端接收到视频图像后不显示该当前帧。
本发明实施例提供的视频编码设备， 当确定当前帧不需要显示输出时， 编码指示该当前帧不显示输出。 这样一来， 避免了在当前帧与相邻帧图像内 容不连贯时， 解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本领域普通技术人员可以理解： 实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成， 前述的程序可以存储于一计算机可读 取存储介质中， 该程序在执行时， 执行包括上述方法实施例的步骤； 而前述 的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代码的介 质。
以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限 于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易 想到变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护 范围应以所述权利要求的保护范围为准。

Claims

1、 一种视频编码方法， 其特征在于， 包括： 输入待编码的视频图像； 对根据所述视频图像获取到的当前帧进行编码， 指定所述当前帧为长期参 考帧； 参考所述长期参考帧， 对所述视频图像的各帧进行编码， 将编码后得到的 数据包向解码端发送； 接收到所述解码端发送的刷新帧申请后， 若确定所述长期参考帧仍作为编 码的参考帧， 则向所述解码端发送一个非 IDR帧图像， 所述非 IDR帧图像的宏 块包括参考所述长期参考帧编码的宏块， 和 /或， 参考帧内宏块编码的宏块。
2、 根据权利要求 1所述的方法， 其特征在于， 所述方法还包括： 接收到解码端发送的刷新帧申请后， 若确定所述长期参考帧不作为编码的 参考帧， 则向所述解码端发送一个 IDR帧图像。
3、 根据权利要求 1所述的方法， 其特征在于， 根据所述视频图像获取到的 当前帧包括： 从所述视频图像中获取一帧图像作为长期参考帧； 或者， 从所述视频图像中， 合成至少两帧图像作为长期参考帧； 或者， 拍摄所述视频图像中一帧图像的背景图像作为长期参考帧； 或者， 拍摄所述视频图像中至少两帧图像的背景图像， 合成所述至少两帧 图像的背景图像作为长期参考帧。
4、 根据权利要求 1所述的方法， 其特征在于， 所述方法还包括： 若确定所述当前帧在解码端不需要显示输出时， 则编码指示所述当前帧不 显示输出； 以便所述解码端接收到所述视频图像后不显示所述当前帧。
5、 根据权利要求 4所述的方法， 其特征在于， 编码指示所述当前帧不显示 输出包括：
在对所述当前帧进行编码得到的数据包中， 将预定的指示所述当前帧不显 示输出的标志位置位；
或者， 在协议语法中设置语法元素指示所述当前帧不显示输出； 或者， 在信令传输层设置字段指示所述当前帧不显示输出。
6、 一种视频编码方法， 其特征在于， 包括： 输入待编码的视频图像； 对根据所述视频图像获取到的当前帧进行编码， 指定所述当前帧为长期参 考帧；
参考所述长期参考帧， 对所述视频图像的各帧进行编码， 将编码后得到的 数据包向解码端发送； 若确定所述当前帧在解码端不需要显示输出时， 则编码指示所述当前帧不 显示输出； 以便所述解码端接收到所述视频图像后不显示所述当前帧。
7、 根据权利要求 6所述的方法， 其特征在于， 编码指示所述当前帧不显示 输出包括： 在对所述当前帧进行编码得到的数据包中， 将预定的指示所述当前帧不显 示输出的标志位置位； 或者， 在协议语法中设置语法元素指示所述当前帧不显示输出； 或者， 在信令传输层设置字段指示所述当前帧不显示输出。
8、 一种视频编码设备， 其特征在于， 包括： 输入单元， 用于输入待编码的视频图像； 编码单元， 用于对根据所述视频图像获取到的当前帧进行编码， 指定所述 当前帧为长期参考帧； 参考所述长期参考帧， 对所述视频图像的各帧进行编码， 将编码后得到的数据包向解码端发送； 接收单元， 用于接收所述解码端发送的刷新帧申请； 刷新帧发送单元， 用于接收到所述解码端发送的刷新帧申请后， 若确定所 述长期参考帧仍作为编码的参考帧， 则向所述解码端发送一个非 IDR 帧图像， 所述非 IDR帧图像的宏块包括参考所述长期参考帧编码的宏块， 和 /或， 参考帧 内宏块编码的宏块。
9、根据权利要求 8所述的设备， 其特征在于， 所述刷新帧发送单元还用于： 接收到解码端发送的刷新帧申请后， 若确定所述长期参考帧不作为编码的 参考帧， 则向所述解码端发送一个 IDR帧图像。
10、 根据权利要求 8所述的设备， 其特征在于， 所述设备还包括： 指示单元， 用于若确定所述当前帧在解码端不需要显示输出时， 则编码指 示所述当前帧不显示输出； 以便所述解码端接收到所述视频图像后不显示所述 当前帧。
11、 一种视频编码设备， 其特征在于， 包括： 输入单元， 用于输入待编码的视频图像； 编码单元， 用于对根据所述视频图像获取到的当前帧进行编码， 指定所述 当前帧为长期参考帧； 参考所述长期参考帧， 对所述视频图像的各帧进行编码， 将编码后得到的数据包向解码端发送； 指示单元， 用于若确定所述当前帧在解码端不需要显示输出时， 则编码指 示所述当前帧不显示输出； 以便所述解码端接收到所述视频图像后不显示所述 当前帧。
PCT/CN2012/080438 2011-12-19 2012-08-22 一种视频编码方法及设备 WO2013091391A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12859908.1A EP2775712A4 (en) 2011-12-19 2012-08-22 VIDEO PROCESSING AND DEVICE
US14/308,791 US20140321545A1 (en) 2011-12-19 2014-06-19 Video Encoding Method and Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110427151.1 2011-12-19
CN201110427151.1A CN103167283B (zh) 2011-12-19 2011-12-19 一种视频编码方法及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/308,791 Continuation US20140321545A1 (en) 2011-12-19 2014-06-19 Video Encoding Method and Device

Publications (1)

Publication Number Publication Date
WO2013091391A1 true WO2013091391A1 (zh) 2013-06-27

Family

ID=48589992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/080438 WO2013091391A1 (zh) 2011-12-19 2012-08-22 一种视频编码方法及设备

Country Status (4)

Country Link
US (1) US20140321545A1 (zh)
EP (1) EP2775712A4 (zh)
CN (1) CN103167283B (zh)
WO (1) WO2013091391A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980763B (zh) * 2014-04-05 2020-01-17 浙江大学 一种视频码流、视频编解码方法及装置
CN104519364A (zh) * 2014-12-10 2015-04-15 北京中星微电子有限公司 一种视频编码方法及装置
CN106162194A (zh) * 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统
EP3319317B1 (en) * 2015-07-30 2021-04-28 Huawei Technologies Co., Ltd. Video encoding and decoding method and device
US10063861B2 (en) * 2015-10-07 2018-08-28 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
US20170105004A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture
CN106937168B (zh) * 2015-12-30 2020-05-12 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN105872556B (zh) * 2016-04-11 2020-01-03 华为技术有限公司 视频编码方法和装置
US10200698B2 (en) * 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
CN110149491B (zh) * 2018-02-11 2021-09-28 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN110832861A (zh) * 2018-07-03 2020-02-21 深圳市大疆创新科技有限公司 视频处理方法和设备
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
CN110636334B (zh) * 2019-08-23 2022-12-09 西安万像电子科技有限公司 数据传输方法及系统
CN112532908B (zh) * 2019-09-19 2022-07-19 华为技术有限公司 视频图像的传输方法、发送设备、视频通话方法和设备
CN110868599B (zh) * 2019-12-06 2021-11-19 杭州顺网科技股份有限公司 一种远程桌面的视频压缩方法
CN111447451A (zh) * 2020-03-23 2020-07-24 西安万像电子科技有限公司 图像编码、解码方法及装置
CN111866585B (zh) * 2020-06-22 2023-03-24 北京美摄网络科技有限公司 一种视频处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1589770A2 (en) * 2004-04-20 2005-10-26 Kabushiki Kaisha Toshiba Apparatus and method for decoding a moving picture sequence
CN101547369A (zh) * 2008-03-26 2009-09-30 盛大计算机（上海）有限公司 去除网络视频播放马赛克现象的容错方法
CN101690202A (zh) * 2007-04-09 2010-03-31 思科技术公司 用于压缩视频通信的带差错反馈的长期参考帧管理

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155594A (en) * 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences
FR2880745A1 (fr) * 2005-01-07 2006-07-14 France Telecom Procede et dispositif de codage video
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US8629893B2 (en) * 2008-04-02 2014-01-14 Cisco Technology, Inc. Video switching without instantaneous decoder refresh-frames
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1589770A2 (en) * 2004-04-20 2005-10-26 Kabushiki Kaisha Toshiba Apparatus and method for decoding a moving picture sequence
CN101690202A (zh) * 2007-04-09 2010-03-31 思科技术公司 用于压缩视频通信的带差错反馈的长期参考帧管理
CN101547369A (zh) * 2008-03-26 2009-09-30 盛大计算机（上海）有限公司 去除网络视频播放马赛克现象的容错方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2775712A4 *

Also Published As

Publication number Publication date
CN103167283B (zh) 2016-03-02
EP2775712A1 (en) 2014-09-10
US20140321545A1 (en) 2014-10-30
EP2775712A4 (en) 2015-09-30
CN103167283A (zh) 2013-06-19

Similar Documents

Publication Publication Date Title
WO2013091391A1 (zh) 一种视频编码方法及设备
TWI719542B (zh) 一種視訊編碼/解碼方法及裝置
JP6087940B2 (ja) 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング
US8615038B2 (en) Video coding, decoding and hypothetical reference decoder
TWI571113B (zh) 視訊位元流中之隨機存取
KR101859155B1 (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
KR101895176B1 (ko) 독립 랜덤 액세스 포인트 화상
US9402082B2 (en) Electronic devices for sending a message and buffering a bitstream
JP2015501098A5 (zh)
JP2007215178A (ja) 多視点動映像符号化装置及び方法
WO2017197828A1 (zh) 一种视频编解码方法及设备
US9473790B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
WO2006098605A1 (en) Method for decoding video signal encoded using inter-layer prediction
JP2012109720A (ja) 画像変換装置、画像再生装置及び画像変換方法
WO2015188585A1 (zh) 图像编码方法和装置以及图像解码方法和装置
US9426460B2 (en) Electronic devices for signaling multiple initial buffering parameters
US20150103895A1 (en) Electronic devices for signaling multiple initial buffering parameters
WO2010115376A1 (zh) 一种媒体流切换方法、装置和系统
JP2011055023A (ja) 画像符号化装置及び画像復号化装置
US9491483B2 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP4952636B2 (ja) 映像通信装置および映像通信方法
JP2008042769A (ja) 動画像復号装置及び動画像復号方法
JPWO2020256048A5 (zh)
CA2847028C (en) Resilient signal encoding
TW202416716A (zh) 使用編碼圖片緩存器的視頻編碼

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12859908

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012859908

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012859908

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE