WO2009127164A1 - 一种多视点视频图像编码和解码的方法及装置 - Google Patents

一种多视点视频图像编码和解码的方法及装置 Download PDF

Info

Publication number
WO2009127164A1
WO2009127164A1 PCT/CN2009/071343 CN2009071343W WO2009127164A1 WO 2009127164 A1 WO2009127164 A1 WO 2009127164A1 CN 2009071343 W CN2009071343 W CN 2009071343W WO 2009127164 A1 WO2009127164 A1 WO 2009127164A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inter
reference image
motion information
view
Prior art date
Application number
PCT/CN2009/071343
Other languages
English (en)
French (fr)
Inventor
高山
林四新
傅佳莉
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP09731573A priority Critical patent/EP2271112A4/en
Publication of WO2009127164A1 publication Critical patent/WO2009127164A1/zh
Priority to US12/906,701 priority patent/US20110032980A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to the field of image coding and decoding technologies, and in particular, to a method and apparatus for multi-view video image coding and decoding. Background technique
  • the multi-view video signal generated by the multi-view video requirement refers to a set of video signals that simultaneously acquire the same scene at different angles by using multiple cameras at different spatial positions, and compression encoding the multi-view video signal is called multi-view video.
  • coding How to make full use of the correlation between different viewpoint views to further remove redundant information in different viewpoint videos, thereby improving the coding efficiency of multi-view video becomes a hot topic of discussion of multi-view video coding at this stage.
  • each view view and each view video internal view have a dependency relationship, that is, one or more coded images can be used as reference images of other one or more coded images, where the image is encoded with the current view point.
  • the video reference image of the same viewpoint is referred to as an intra-view reference image
  • the video reference image that is encoded to the different viewpoints from the current viewpoint encoded image is referred to as an inter-view reference image.
  • the image at some moments of each viewpoint is called an anchor image, and the rest of the image is a non-anchor image.
  • the macroblock motion information skip mode utilizes the principle that the same object has the same motion characteristics in different viewpoints, as shown in Fig. 1. As shown, when the encoding end encodes the current macroblock of the current view image, the motion information of the corresponding macroblock in the adjacent view reference image is used as the motion information of the currently coded macroblock.
  • the reference image of each view video image is completely decoded, that is, the reference image needs to be reconstructed, and the reference image is stored in the DPB. (decoded picture buffer, decoded image buffer).
  • the image index of the reconstructed reference image is placed in the reference queue, the image index in the reference image queue is called, and the reconstructed reference image indicated by the index is found in the DPB as the reference image of the current encoded image.
  • the encoded code stream is sent to the decoding end, and the decoding end decodes the current image according to the reconstructed reference image indicated by the index in the DPB according to the image index in the reference queue.
  • the inventors have found that at least the following problems exist in the prior art:
  • the existence of the reference image between the viewpoints depends on the dependency between the views, and when the current viewpoint image has no inter-view reference image, the reference image queue does not exist.
  • the callable reference image cannot encode the multi-view video image of the current block of the video image in the macroblock motion information skip mode.
  • the reference image needs to be completely decoded to reconstruct the reference image. Store it in the DPB and place its image index in the reference queue.
  • An embodiment of the present invention provides a method for encoding a multi-view video image, the method comprising: acquiring a dependency relationship of an inter-view reference image of a view image;
  • An embodiment of the present invention further provides a method for encoding a multi-view video image, the method comprising: Setting a motion information dependency relationship of the inter-view reference image of the non-anchor image of the inter-view reference image;
  • An embodiment of the present invention further provides a method for decoding a multi-view video image, the method comprising: obtaining a dependency relationship of an inter-view reference image of an anchor image;
  • the viewpoint image is decoded in the macroblock motion information skip mode according to the dependency relationship of the inter-view reference image of the anchor image and the reference image dependency information of the non-anchor image transmitted by the encoding end.
  • An embodiment of the present invention further provides an encoding apparatus for a multi-viewpoint video image, the apparatus comprising: a first reference image acquiring module, acquiring a dependency relationship of an inter-viewpoint reference image of a viewpoint image; a multi-view video image encoding module, according to The dependence of the inter-viewpoint reference image of the acquired inter-viewpoint image and the motion information dependency relationship of the inter-viewpoint reference image of the non-anchored image of the preset inter-viewpoint reference image are encoded in the macroblock motion information skip mode. Viewpoint image.
  • An embodiment of the present invention further provides an encoding apparatus for a multi-view video image, the apparatus comprising: a preset unit, and a motion information dependency relationship of an inter-view reference image of a non-anchor image that sets a non-inter-view reference image;
  • An identifier unit where the motion information dependency relationship is indicated by a transmission indication identifier; a code stream unit, and the transmission indication identifier is written into the code stream;
  • An embodiment of the present invention further provides a decoding apparatus for a multi-view video image.
  • the apparatus includes: a second reference image acquiring module, obtaining a dependency relationship of an inter-view reference image of an anchor image; a multi-view video image decoding module, according to The dependency relationship of the inter-view reference image of the anchor image and the reference image dependency information of the non-anchor image transmitted by the encoding end decode the view image in the macro block motion information skip mode.
  • 1 is a schematic diagram of macroblock motion information skip mode prediction coding
  • FIG. 2 is a schematic diagram of a space-time hierarchical B-frame prediction model
  • FIG. 3 is a schematic diagram of an encoding method according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of another coding method according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of a decoding method according to an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of another encoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of a decoding apparatus according to an embodiment of the present invention. detailed description
  • An embodiment of the method of the present invention provides a method for encoding a multi-view video image.
  • the method includes: S301: acquiring a dependency relationship of inter-view reference images of a view image; S302: acquiring according to the The dependency relationship between the inter-viewpoint reference images of the inter-viewpoint image and the motion information dependency relationship of the inter-viewpoint reference image of the non-anchored image of the preset inter-viewless reference image encode the viewpoint image in the macroblock motion information skip mode.
  • An embodiment of the present invention further provides a method for encoding a multi-view video image.
  • the method includes: S401: setting motion information dependence of an inter-view reference image of a non-anchored image of an inter-view reference image S402: The motion information dependency relationship is indicated by a transmission indication identifier; S403: writing the transmission indication identifier to the code stream; S404: transmitting the code stream including the transmission indication identifier.
  • An embodiment of the present invention further provides a method for decoding a multi-view video image. As shown in FIG.
  • the method includes: S501: obtaining a dependency relationship of an inter-view reference image of an anchor image; S502: according to the anchor The dependency relationship of the inter-view reference image of the fixed image and the reference image dependency information of the non-anchor image transmitted by the encoding end decode the view image in the macro block motion information skip mode.
  • the above method embodiments solve the problems in the prior art to achieve reduced coding complexity and improve the efficiency of multi-view video image coding and the effect of coding gain.
  • the method of the present invention is implemented as follows:
  • An example of an embodiment of the present invention includes a method of encoding a multi-view video image.
  • each embodiment of the present invention uses a HHI (Heinrich Hertz Institute, Heinrich Hertz Institute of Communication Technology) proposed a prediction model for multi-view video coding images, space-time-graded B-frames.
  • the prediction model is taken as an example to illustrate the dependency relationship of the anchor image and the reference image of the non-anchor image in each viewpoint. As shown in FIG. 2, in the prediction model, S0, SI...
  • the coded images at the time of TO and T8 are anchor images, and the coded images at other times are non-anchor images.
  • the letter I, P or B in the coordinate point indicates that the encoding mode of the image is intra prediction encoding, inter prediction encoding, or bidirectional predictive encoding; the letter subscript indicates the level of the image in the hierarchical B frame prediction structure.
  • the arrow between the coded images points to the coded image used to represent the start of the arrow as the reference image of the coded image pointed to by this arrow.
  • the prediction model makes full use of the temporal correlation of the internal view of the single view video and the spatial correlation of the different view views for predictive coding, and can obtain a higher coding gain.
  • the dependency relationship of the reference images between the coded images of the multi-view video prediction model is as shown in FIG. 2.
  • the reference image dependency relationship of the images in the view identifiers S0, SI, and S2 is as follows:
  • the anchor image on the time points TO and T8 does not have any reference image, and the non-anchor image at other moments only has the reference image within the viewpoint, that is, the image from the same viewpoint video as the current encoded image. a reference image of the time point direction;
  • the anchor images on the time points TO and ⁇ 8 have only one inter-view reference image, that is, the image from the different view point identification SO direction with the current coded image, and the non-anchor image at other times is also only the intra-view reference.
  • the anchor images at time points TO and T8 have a reference image from the view identifier SO direction and an inter-viewpoint reference image from the view marker S2 direction, while the non-anchor image at other points in time
  • the anchor image has a reference image between the viewpoints
  • the non-anchor image may have a reference image in the viewpoint, that is, a reference image in the time direction, and may also have a reference image between the viewpoints
  • the dependency relationship of the specific reference image needs Set according to the structure in which the camera is placed.
  • Embodiments of the present invention do not limit the multi-view video image prediction model, and the dependency relationship can be reset as needed.
  • the dependence relationship between the anchor image and the non-anchor image reference image is obtained, and the anchor image and the non-anchor image in each view are correspondingly
  • the dependency relationship of the reference images between the views is written into the encoded code stream, and transmitted to the decoding end for decoding of the video images of the respective viewpoints.
  • the motion information dependency relationship of the inter-view reference image of the non-anchored image of the inter-view reference image in the macroblock motion information skip mode.
  • setting the motion information dependency relationship of the inter-view reference image of the non-anchored image without the inter-view reference image adopts the dependence of the inter-view reference image of the anchor image under the same viewpoint.
  • the sexual relationship that is, the image at the same time as the current coded image in the view point of the inter-view reference image of the anchor image under the same viewpoint, may also be an image at different times. As shown in FIG.
  • determining the motion information dependency relationship of the inter-view reference image of the non-anchor image (S2, T1) adopts the reference image of the inter-view reference image of the anchor image (S2, T0) under the same viewpoint.
  • the relationship is (S0, T1) or (S0, Tx).
  • the global disparity vector GDV Global Disparity Vector
  • the motion information dependency of setting the non-anchor image finds the dependency relationship of the inter-view reference image of the anchor image under the same viewpoint, and finds the macro block corresponding to the current macro block in the reference image under the dependency relationship of the inter-view reference image of the anchor image, from the motion information buffer.
  • the motion information of the corresponding macroblock is obtained in the area, and the motion information of the reference image macroblock obtained by the complete decoding or the incomplete decoding is stored in the motion information buffer, and the motion information of the corresponding macroblock in the reference image is obtained as the current macro.
  • the motion information of the block encodes the current image.
  • the motion information of the macroblock corresponding to the inter-view reference image of the non-anchor image itself is called from the motion information buffer as the motion information of the current encoded macroblock.
  • the motion information of the current image obtained after encoding can be stored in the motion information buffer as a reference for the information of the subsequent image encoding.
  • the disparity point set by the transmission indication indicator may be transmitted in the encoded code stream sent to the decoding end.
  • the motion information dependency relationship of the non-anchor image of the reference image is as shown in FIG. It may be that the Ms-non-anchor-dep-indicator_flag is added to the code stream, and is set to 1, indicating that the motion information dependency relationship of the inter-view reference image of the non-anchor image is an anchor image.
  • the dependency relationship of the reference image between the viewpoints, otherwise, the dependence relationship of the reference images between the viewpoints of the non-anchor image is adopted. Its grammatical form can be:
  • Anchor_ref_10 [i] [j] ue (v)
  • Non_anchor_ref_10 [i] [j] ue (v) num_non_anchor_ref s_l 1 [i] ue (v)
  • the identifier may be added to the code stream. Sign, and set Sign to 1, indicating that the motion information dependency relationship of the inter-view reference image of the non-anchor image without the inter-view reference image adopts the dependency relationship of the inter-view reference image of the anchor image, on the contrary, when Sign When 0, the non-anchor image adopts its own dependency relationship of the inter-view reference image.
  • the inter-view reference image does not need to be completely decoded and placed in the reference queue, and the motion information can be read as well. Therefore, the current macroblock can read the corresponding adjacent viewpoint image from the motion information buffer. The motion information is not completely decoded by the adjacent viewpoint image and placed in the DPB, and then its image index in the DPB is placed in the reference image queue as the inter-viewpoint reference image of the current encoded image. Therefore, the macroblock motion information skip mode can be utilized to the maximum without having to change the existing prediction structure and reference picture queue.
  • Embodiment 2 of the present invention includes a decoding method of a multi-view video image.
  • the code stream sent by the encoding end is received, and the code stream includes a dependency relationship of the inter-view reference image of the anchor image and the non-anchor image in each view.
  • the decoding end After receiving the dependency relationship of each view image, the decoding end decodes the current image of the multi-view video image in the macro block motion information skip mode, as shown in FIG. 5.
  • the inter-view reference image of the current non-anchor image according to the dependency relationship of the inter-view reference image of the anchor image under the same view point, find the reference image in the reference image dependency relationship between the anchor image and the current macro
  • the macroblock corresponding to the block obtains motion information of the corresponding macroblock as motion information of the currently coded macroblock.
  • the motion information of the corresponding macroblock is obtained by searching for a motion information buffer, and the motion information buffer stores motion information of the reference image macroblock obtained by completely or incomplete decoding, and obtains a corresponding macroblock in the reference image.
  • the motion information encodes the current image as motion information of the current macroblock. If the decoded current non-anchor image has an inter-view reference image, the motion information of the macroblock corresponding to the inter-view reference image of the non-anchor image itself is called from the motion information buffer as the motion information of the current coded macroblock.
  • the motion information of the current image obtained after decoding may be stored in the motion information buffer as an information reference for subsequent image decoding.
  • the decoding end receiving a code stream sent by the encoding end, if the code stream includes a dependency relationship between the anchor image of the anchor image and the non-anchor image in each view, and a transmission indication identifier, decoding the And transmitting a indication flag indicating a motion information dependency relationship of the non-anchor image of the set inter-viewless reference image.
  • Decoding the transmission indication identifier corresponding to the encoding end setting, if decoding the transmission indication flag Ms_non_anchor_dep_indicator_flag in the table is 1, indicating that the motion information dependency relationship of the inter-viewpoint reference image of the non-anchor image adopts the anchor image of the same viewpoint
  • M S _n 0 n_an C hor_d e p_indicator_flag is 0, it identifies that the currently decoded non-anchor image adopts its own dependency relationship of the inter-view reference image.
  • the motion information dependency relationship of the inter-view reference image indicating the non-anchored image without the inter-view reference image adopts the inter-view reference of the anchor image under the same viewpoint.
  • the dependency relationship of the image on the contrary, when 0, each coded image adopts its own dependence relationship of the reference image between the viewpoints.
  • the decoding end is in the macroblock motion information skip mode, and the video image of the multi-viewpoint is The current image is decoded, the global disparity vector GDV is obtained according to the anchor image of the current view point, and the corresponding macro block of the current macro block is found in the reference image of the inter-view reference image of the non-anchor image of the current view by using the obtained GDV. And searching for the transmission indication identifier.
  • the transmission indication identifier is 1, indicating that the dependency relationship between the inter-view reference images of the anchor image under the same viewpoint is adopted, the inter-view reference image of the anchor image under the same viewpoint is currently decoded according to the current decoding non-anchor image.
  • the dependency relationship, the macroblock corresponding to the current macroblock in the reference image in the dependency relationship of the inter-view reference image of the anchor image is found, and the motion information of the macroblock is obtained as the motion information of the currently encoded macroblock.
  • the motion information of the corresponding macroblock is obtained by searching for a motion information buffer, and the motion information buffer stores motion information of the reference image macroblock obtained by completely or incomplete decoding, and obtains a corresponding macroblock in the reference image.
  • the motion information is used as the motion information of the current macroblock to compile the current image. code. If the transmission indication flag is 0, indicating that the non-anchor image has an inter-view reference image, the motion information of the macroblock corresponding to the inter-view reference image of the non-anchor image itself is directly called from the motion information buffer as the motion of the current coded macroblock. information.
  • the inter-view reference image does not need to be completely decoded and placed in the reference queue, and the motion information can be read as well. Therefore, the current macro can read the corresponding adjacent view image from the motion information buffer.
  • the motion information is not completely decoded by the adjacent viewpoint image and placed in the DPB, and then its image index in the DPB is placed in the reference image queue as the inter-viewpoint reference image of the current encoded image. Therefore, the macroblock motion information skip mode can be utilized to the maximum without having to change the existing prediction structure and reference picture queue.
  • Embodiment 3 of the present invention includes a coding method of a multi-view video image.
  • the anchor image has a reference image between the viewpoints
  • the non-anchor image may have a reference image in the viewpoint, that is, a reference image in the time direction, and may also have a reference image between the viewpoints.
  • the dependency relationship of the specific reference image needs to be set according to the structure in which the camera is placed. Embodiments of the present invention do not limit the multi-view video image prediction model, and the dependency relationship can be reset as needed.
  • the code stream is transmitted to the decoding end for decoding of each view video image.
  • the motion information dependency relationship of the inter-view reference image of the non-anchored image in the macroblock motion information skip mode needs to be set, as shown in FIG. 3, in this embodiment.
  • a transmission indication identifier that is, a dependency relationship identifier, may be added in the code stream
  • the motion information dependency relationship of the inter-viewpoint reference image indicating the non-anchor image is a set of customized inter-viewpoint reference image motions.
  • the information dependency relationship, its code stream syntax can be expressed as follows: seq_parameter_set_mvc_extension ( ) ⁇ Descri
  • Anchor_ref_10 [i] [j] ue (v)
  • Non_anchor_ref_10 [i] [j] ue (v) num_non_anchor_ref s_l 1 [i] ue (v) For ( j 0 ; j ⁇ num_non_anchor_ref s_l l [i];
  • the motion information buffer of the inter-view reference image finds the motion information of the corresponding macroblock of the current macroblock.
  • the motion information dependency relationship according to the customized inter-view reference image is searched.
  • the motion information of the reference image is stored in a motion information buffer, and the motion information buffer stores motion information of the reference image macroblock obtained by completely or incomplete decoding, and obtains the reference image.
  • the motion information of the corresponding macroblock is encoded as the motion information of the current macroblock.
  • Embodiment 4 of the present invention includes a decoding method of a multi-view video image.
  • the code stream sent by the encoding end is received, and the code stream includes at least a dependency relationship of the inter-view reference image of the anchor image in each view, and may also include a dependency relationship of the inter-view reference image of the non-anchor image. And a set of motion information dependency relationships of inter-view reference images of a set of custom non-anchor images.
  • the motion information of the reference image is searched according to the motion information dependency relationship of the reference inter-view reference image, and the motion information of the inter-view reference image is stored in the motion information buffer, in the motion information buffer.
  • the motion information of the reference image macroblock obtained by completely decoding or not completely decoding is stored, and the motion information of the corresponding macroblock in the reference image is obtained as the motion information of the current macroblock to decode the current image, as shown in FIG. 5.
  • the motion information of the current image obtained after decoding can be stored in the motion information buffer as an information reference for subsequent image decoding.
  • the motion information dependency relationship of the inter-view reference image using the customized non-anchor image is used as the dependency of the inter-view reference image of the non-anchor image according to the transmission indication.
  • the relationship decodes the current image.
  • the apparatus includes: a first reference image acquiring module 601, and acquiring a dependency relationship of inter-viewpoint reference images of the viewpoint image;
  • the multi-view video image encoding module 602 according to the dependence relationship between the inter-viewpoint reference image of the acquired inter-viewpoint image and the motion information dependency relationship of the inter-viewpoint reference image of the non-anchored image of the preset inter-viewless reference image
  • the macro view motion information skips the mode to encode the viewpoint image.
  • An embodiment of the present invention further provides an encoding apparatus for a multi-view video image.
  • the apparatus includes: a preset unit 701, configured to set an inter-view reference image of a non-anchor image of the inter-view reference image. Motion information dependency relationship; identification unit 702, using the motion information dependency relationship Transmitting the indication identifier to indicate; the code stream unit 703, writing the transmission indication identifier to the code stream; and the sending unit 704, transmitting the code stream including the transmission indication identifier.
  • An embodiment of the present invention further provides a decoding apparatus for a multi-viewpoint video image.
  • the apparatus includes: a second reference image acquiring module 801, which obtains a dependency relationship of inter-viewpoint reference images of an anchor image;
  • the multi-view video image decoding module 802 decodes the viewpoint image in the macroblock motion information skip mode according to the dependency relationship of the inter-view reference image of the anchor image and the reference image dependency relationship information of the non-anchor image transmitted by the encoding end .
  • the above device implementation solves the problems in the prior art to achieve a reduction in coding complexity and an effect of multi-view video image coding efficiency and coding gain.
  • the device implementation of the present invention is as follows:
  • Embodiment 5 of the present invention includes an encoding apparatus for a multi-view video image.
  • the encoding device includes a first reference image acquiring module for acquiring a dependency relationship of the reference images between the viewpoints of the respective viewpoint images.
  • the first reference image acquisition module includes a first write code stream unit and a first dependency relationship setting unit.
  • the first dependency relationship setting unit sets a motion information dependency relationship of the inter-view reference image for the non-anchor image in which the inter-view reference image is not present.
  • the motion information dependency relationship of the inter-view reference image of the non-anchor image may be set as the dependency relationship of the inter-view reference image of the anchor image under the same viewpoint. .
  • the first write stream unit writes a dependency relationship of the inter-view reference image having the inter-view reference image to the coded stream.
  • the encoding apparatus further includes a first multi-view video image encoding module, and the first multi-view video image encoding module encodes the current image of the multi-view video image in the macroblock motion information skip mode.
  • the first multi-view video image encoding module includes a first motion mode encoding unit, a first discriminating unit, and a first motion information extracting unit.
  • the first motion mode coding unit is anchored according to the current view point in the macroblock motion information skip mode
  • the image obtains a global disparity vector GDV, and uses the obtained GDV to find a corresponding macroblock of the current macroblock in the reference image of the inter-view reference image of the non-anchor image of the current view, and the first discriminating unit performs the inter-view reference image of the encoded image. Judging, determining whether the non-anchored image has an inter-view reference image, and if the non-anchor image has no inter-view reference image, the first motion mode encoding unit uses the result of the first dependency relationship setting unit to adopt the viewpoint of the anchor image under the same viewpoint A macroblock corresponding to the current macroblock in the reference image under the dependency relationship of the reference image.
  • the encoding device further includes a first motion information buffer, wherein the first motion information buffer stores motion information of the reference image macroblock obtained by completely or incomplete decoding, and the first motion information extracting unit is configured according to the macroblock
  • the motion information of the macroblock is obtained in a motion information buffer as motion information of the currently coded macroblock. If the encoded current non-anchor image has an inter-view reference image, the first motion information extraction mode calls, from the first motion information buffer, motion information of the corresponding macroblock of the inter-view reference image of the non-anchor image itself, the first motion The information extracting unit uses the motion information of the reference image as the motion information of the currently encoded macroblock.
  • the motion information of the current image obtained after encoding can be stored in the first motion information buffer as a reference for information of subsequent image encoding.
  • the encoding device further includes a first sending module, configured to send the encoded code stream to the decoding end according to the first write code stream unit, wherein the encoded code stream includes a dependency relationship of the inter-view reference image having the inter-view reference image.
  • the first write stream unit writes the dependency relationship set by the first dependency relationship setting unit and the dependency relationship of the inter-view reference image of the viewpoint image having the inter-view reference image to the code stream.
  • the dependency relationship between the anchor image having the inter-view reference image and the inter-view reference image of the non-anchor image is written into the code stream, and the non-anchor image having no inter-view reference image is indicated by the transmission indication flag
  • the motion information is dependent on the code stream.
  • the motion information dependency relationship of the anchor image of the inter-viewpoint reference image set by the transmission indication flag in the coded end code stream can be, add the identifier Ms_non_anchor_ to the code stream d e p_indi Ca t 0 r_fl a g and set it to 1, indicating that the motion information dependency relationship of the inter-view reference image of the non-anchor image without the inter-view reference image uses the inter-view reference image of the anchor image under the same viewpoint.
  • the dependency relationship otherwise, the non-anchor image has an inter-view reference image, and the dependence relationship of the inter-view reference image of the non-anchor image itself is adopted.
  • the identification relationship of the anchor image of the inter-viewless reference image indicated by the transmission indication flag may also be added to the code stream, and the identifier may be added to the code stream, and set to 1, indicating that there is no inter-viewpoint
  • the motion information dependency relationship of the inter-view reference image of the non-anchor image of the reference image adopts the dependency relationship of the inter-view reference image of the anchor image under the same viewpoint, and conversely, when it is 0, the non-anchor image itself is adopted.
  • Embodiment 6 of the present invention includes a decoding apparatus for a multi-view video image.
  • the decoding device includes a second receiving module for receiving the encoded code stream, and reading the dependency relationship of the anchor image in each view in the code stream and the inter-view reference image of the non-anchor image.
  • the decoding device further includes a second multi-view video image decoding module, and the second multi-view video image decoding module decodes the current image of the multi-view video image in the macro block motion information skip mode.
  • the second multi-view video image decoding module includes a second motion mode decoding unit, a second discriminating unit, and a second motion information extracting unit.
  • the second motion mode encoding unit obtains the global disparity vector GDV according to the anchor image of the current view in the macroblock motion information skip mode, and uses the obtained GDV to find in the reference image of the inter-view reference image of the non-anchor image of the current view.
  • the second discriminating unit judges the inter-viewpoint reference image of the non-anchor image, determines whether the non-anchor image has an inter-viewpoint reference image, and if the non-anchor image has no inter-viewpoint reference image, the second motion
  • the mode coding unit uses a macroblock corresponding to the current macroblock in the reference image in the dependency relationship of the inter-view reference image of the anchor image under the same viewpoint.
  • the decoding device further includes a second motion information buffer, wherein the second motion information buffer stores motion information of the reference image macroblock obtained by completely or incomplete decoding, and the second motion information is extracted. And the unit obtains motion information of each macroblock from the second motion information buffer according to the macroblock, and the motion information of the corresponding macroblock obtained by the second motion mode encoding unit from the second motion information buffer is used as the current coded macroblock. Sports information. If the encoded current non-anchor image has an inter-view reference image, the second motion information extraction mode calls the motion information of the corresponding macroblock of the inter-view reference image of the non-anchor image itself from the second motion information buffer, the second motion The information extracting unit uses the motion information of the reference image as the motion information of the currently decoded macroblock.
  • the motion information of the current image obtained after decoding can be stored in the second motion information buffer as an information reference for subsequent image decoding.
  • the second receiving module in the decoding device is configured to receive the encoded code stream, read the dependency relationship between the anchor image in each view in the code stream and the inter-view reference image of the non-anchor image, and transmit the indication flag.
  • the transmission indication flag indicates a motion information dependency relationship of the non-anchor image of the set inter-viewless reference image.
  • the second motion mode encoding unit obtains the global disparity vector GDV according to the anchor image of the current view in the macroblock motion information skip mode, and uses the obtained GDV to find in the reference image of the inter-view reference image of the non-anchor image of the current view.
  • the corresponding macroblock of the current macroblock the second discriminating unit determines the transmission indication identifier, for example, when the transmission indication identifier is 1, the motion information dependency of the inter-view reference image of the non-anchor image without the inter-view reference image
  • the relationship adopts a dependency relationship of the inter-view reference image of the anchor image under the same view point, and the second motion mode coding unit uses the reference image in the dependency relationship of the inter-view reference image of the anchor image under the same view to correspond to the current macro block.
  • the second motion information extracting unit obtains motion information of the corresponding macroblock from the second motion information buffer according to the macroblock, and the second motion mode encoding unit uses the corresponding macro obtained from the second motion information buffer.
  • the block motion information is used as motion information of the currently decoded macroblock.
  • the second motion information extraction mode calls the motion information of the macroblock corresponding to the inter-view reference image of the non-anchor image itself from the second motion information buffer, and the second motion information extraction unit is configured according to the The motion information of the reference picture is used as motion information of the current decoding code macroblock.
  • Embodiment 7 of the present invention includes an encoding apparatus for a multi-view video image.
  • the encoding device includes a third reference image acquiring module for setting a dependency relationship of the inter-view reference images of the respective viewpoint images.
  • the third reference image acquisition module includes a third write code stream unit and a third dependency relationship setting unit.
  • the third dependency relationship setting unit sets a motion information dependency relationship of the inter-view reference image for the non-anchor image.
  • the motion information dependency relationship of the inter-viewpoint reference image of the non-anchor image may be preset as a motion information dependency relationship of a set of custom inter-view reference images.
  • the third write stream unit writes the dependency relationship set by the third dependency relationship setting unit and the dependency relationship of the inter-view reference image including at least the anchor image to the code stream, wherein the third dependency relationship setting unit is set
  • the dependency relationship written to the code stream may be to write a motion information dependency relationship of a preset set of customized inter-view reference images to the code stream.
  • the third write stream unit may also add a transmission indication identifier, that is, a dependency relationship identifier, to the code stream, and indicate that the motion information dependency relationship of the inter-view reference image of the non-anchor image is a set of customized inter-view reference images. Motion information dependency relationship.
  • the encoding device further includes a third multi-view video image encoding module, and the third multi-view video image encoding module encodes the current image of the multi-view video image in the macroblock motion information skip mode.
  • the third multi-view video image encoding module includes a third motion mode encoding unit, a third determining unit, and a third motion information extracting unit;
  • the third motion mode encoding unit obtains the global disparity vector GDV according to the anchor image of the current view in the macroblock motion information skip mode, and uses the obtained GDV to find in the reference image of the inter-view reference image of the non-anchor image of the current view.
  • the third discriminating unit judges whether the non-anchored image is determined, and when the current image is a non-anchor image, the motion mode encoding unit searches for the motion information dependency relationship of the non-anchored image according to the setting The defined dependence relationship of the motion information of the reference image between the viewpoints, and the macroblock corresponding to the current macroblock in the reference image under the dependency relationship is found.
  • the encoding device further includes a third motion information buffer, and the third motion information buffer stores motion information of the reference image macroblock.
  • the third motion information extracting unit obtains motion information of the corresponding macroblock from the third motion information buffer according to the macroblock, and the motion information of the corresponding macroblock obtained by the third motion mode encoding unit from the third motion information buffer is used as The motion information of the currently encoded macroblock.
  • the motion information of the current image obtained after encoding can be stored in the third motion information buffer as a reference for information of the subsequent image encoding.
  • the encoding device further includes a third sending module, configured to send the encoded code stream to the decoding end according to the third write code stream unit, where the encoded code stream includes at least a dependency relationship of the inter-view reference image of the anchor image and a preset A set of motion information dependence relationships of inter-view reference images for a set of custom non-anchor images.
  • Embodiment 8 of the present invention includes a decoding apparatus for a multi-view video image.
  • the decoding device includes a fourth receiving module, configured to receive a dependency relationship between the inter-view reference images of the view images in the respective views in the encoded code stream.
  • the fourth collecting module is configured to read a dependency relationship of the inter-view reference image of the view image in each view point in the identification code stream, and includes at least a dependency relationship between the inter-viewpoint reference image of the anchor image and a preset A set of custom non-anchored images of the motion information dependence of the inter-view reference image.
  • the decoding device further includes a fourth multi-view video image decoding module, and the fourth multi-view video image decoding module decodes the current image of the multi-view video image in the macro block motion information skip mode.
  • the fourth multi-view video image decoding module includes a fourth motion mode decoding unit, a fourth discriminating unit, and a fourth motion information extracting unit;
  • the fourth motion mode decoding unit obtains the global disparity vector GDV according to the anchor image of the current view in the macroblock motion information skip mode, and uses the obtained GDV to find in the reference image of the inter-view reference image of the non-anchor image of the current view. a corresponding macroblock of the current macroblock, the fourth discriminating unit determines whether the currently decoded image is a non-anchor image, and if it is determined that the current decoded image is a non-anchor image, the fourth motion mode encoding unit is configured according to the non-anchor image.
  • Motion information dependency relationship lookup preset The dependency relationship of the motion information of the reference image between the custom viewpoints is found, and the macroblock corresponding to the current macroblock in the reference image under the dependency relationship is found.
  • the decoding device further includes a fourth motion information buffer, and the fourth motion information buffer stores motion information of the reference image macroblock obtained by completely or incomplete decoding.
  • the fourth motion information extracting unit obtains motion information of the corresponding macroblock from the fourth motion information buffer according to the macroblock, and the motion information of the corresponding macroblock obtained by the fourth motion mode encoding unit from the fourth motion information buffer is used as The motion information of the currently encoded macroblock.
  • the motion information of the current image obtained after decoding can be stored in the motion information buffer as an information reference for subsequent image decoding.
  • the fourth discriminating unit determines, according to the transmission indication identifier, a motion information dependency relationship of the inter-viewpoint reference image using the customized non-anchor image as the inter-viewpoint of the non-anchor image
  • the current image is decoded by the dependency relationship of the reference image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

一种多视点视频图像编码和解码的方法及装置 本申请要求于 2008 年 4 月 18 日提交中国专利局， 申请号为 200810066587. 0 , 发明名称为 "一种多视点视频图像编码和解码的方法及装 置" 的中国专利申请的优先权， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及图像编解码技术领域， 尤其涉及一种多视点视频图像编码和 解码的方法及装置。 背景技术
随着多媒体通信技术的快速发展， 出现了对于多视角视频的需求。 再多 视角视频需求下产生的多视点视频信号指采用了多个摄像机在不同的空间位 置以不同的角度同时获取同一场景的一组视频信号， 对多视点视频信号进行 压缩编码称为多视点视频编码。 如何充分利用不同视点视图之间的相关性进 一歩去除不同视点视频中的冗余信息， 从而提高多视点视频的编码效率成为 现阶段多视点视频编码的讨论热点。
多视点视频图像中， 各个视点视图间以及各个视点视频内部视图具有依 赖性关系， 即一个或者多个编码图像可作为其他的一个或者多个编码图像的 参考图像， 其中与当前视点编码图像来至相同视点的视频参考图像称为视图 内参考图像， 与当前视点编码图像来至不同视点的视频参考图像称为视点间 参考图像。 多视点视频图像中， 各视点某些时刻的图像称为锚定图像， 其余 时刻的为非锚定图像， 对于锚定图像或者非锚定图像， 其可能有视点间参考 图像或者视图内参考图像中至少一类参考图像， 也可能不具备任何参考图像。
现有对多视点视频图像编码的技术中， 运用包括宏块运动信息跳过模式 在内的各种方法来有效提高多视点视频图像的编码效率。 其中， 宏块运动信 息跳过模式是利用了相同物体在不同视点中具有相同运动特性的原理， 如图 1 所示， 即在编码端编码当前视点图像的当前宏块时， 利用相邻视点参考图像 中对应宏块的运动信息作为当前编码宏块的运动信息。
在现有的编码技术中， 当在宏块运动信息跳过模式下对当前图像进行编 码时， 各视点视频图像的参考图像会被完全解码， 即需要重建参考图像， 并 将参考图像存储在 DPB ( decoded picture buffer, 解码图像缓冲区） 中。 当 编码当前宏块时， 将重建的参考图像的图像索引放在参考队列中， 调用参考 图像队列中的图像索引， 在 DPB中找到索引所指示的重建参考图像用来作为当 前编码图像的参考图像并将编码后的码流发送到解码端， 解码端再根据参考 队列中的图像索引在 DPB中找到索引所指示的重建参考图像解码当前图像。
在实现本发明过程中， 发明人发现现有技术中至少存在如下问题： 视点 间参考图像的存在取决于视图间的依赖性， 当当前视点图像没有视点间参考 图像存在时， 参考图像队列中没有可调用的参考图像， 无法在宏块运动信息 跳过模式下对视频图像当前块进行多视点视频图像编码， 当当前视点图像的 视点间参考图像存在时， 需要对参考图像进行完全解码重建参考图像并将其 存储在 DPB 中及将它的图像索引放在参考队列中。 若仍然按照现有的方法进 行编码， 势必需要改变已有的视图相关性以及对视点间参考图像信息的管理， 增大了编码复杂性， 严重降低了多视点视频图像编码的效率和编码增益。 现 有的多视点视频图像编码技术中。 发明内容
本发明的实施例提供了一种多视点视频图像的编码方法， 该方法包括： 获取视点图像的视点间参考图像的依赖性关系；
根据所述获取的视点间图像的视点间参考图像的依赖关系和预设的无视 点间参考图像的非锚定图像的视点间参考图像的运动信息依赖性关系在宏块 运动信息跳过模式下编码视点图像。
本发明的实施例还提供了一种多视点视频图像的编码方法， 该方法包括: 设置无视点间参考图像的非锚定图像的视点间参考图像的运动信息依赖 性关系；
将所述运动信息依赖性关系用传输指示标识来指示；
将所述传输指示标识写入码流；
发送包括所述传输指示标识的码流。
本发明的实施例还提供了一种多视点视频图像的解码方法， 该方法包括： 获得锚定图像的视点间参考图像的依赖性关系；
根据所述锚定图像的视点间参考图像的依赖性关系以及编码端发送的非 锚定图像的参考图像依赖关系信息在宏块运动信息跳过模式下解码视点图 像。
本发明的实施例还提供了一种多视点视频图像的编码装置， 该装置包括: 第一参考图像获取模块， 获取视点图像的视点间参考图像的依赖性关系; 多视点视频图像编码模块， 根据所述获取的视点间图像的视点间参考图 像的依赖关系和预设的无视点间参考图像的非锚定图像的视点间参考图像的 运动信息依赖性关系在宏块运动信息跳过模式下编码视点图像。
本发明的实施例还提供了一种多视点视频图像的编码装置， 该装置包括: 预设单元、 设置无视点间参考图像的非锚定图像的视点间参考图像的运 动信息依赖性关系；
标识单元、 将所述运动信息依赖性关系用传输指示标识来指示； 写码流单元、 将所述传输指示标识写入码流；
发送单元、 发送包括所述传输指示标识的码流。
本发明的实施例还提供了一种多视点视频图像的解码装置该装置包括： 第二参考图像获取模块， 获得锚定图像的视点间参考图像的依赖性关系; 多视点视频图像解码模块， 根据所述锚定图像的视点间参考图像的依赖 性关系以及编码端发送的非锚定图像的参考图像依赖关系信息在宏块运动信 息跳过模式下解码视点图像。 由上述本发明的实施例提供的技术方案可以看出， 在宏块运动信息跳过 模式下编码当前宏块的过程中， 通过设置编码图像的视点间参考图像的运动 信息依赖性关系， 减小了编码复杂性， 提高了多视点视频图像编码的效率和 编码增益。 附图说明
图 1为宏块运动信息跳过模式预测编码示意图；
图 2为空间一时间分等级 B帧预测模型示意图；
图 3为本发明实施例中一种编码方法的示意图；
图 4为本发明实施例中另一种编码方法的示意图；
图 5为本发明实施例中解码方法的示意图；
图 6为本发明实施例中编码装置的示意图；
图 7为本发明实施例中另一种编码装置的示意图；
图 8为本发明实施例中解码装置的示意图。 具体实施方式
本发明的方法实施例提供了一种多视点视频图像的编码方法， 如图 3所 示，该方法包括： S301 :获取视点图像的视点间参考图像的依赖性关系； S302 : 根据所述获取的视点间图像的视点间参考图像的依赖关系和预设的无视点间 参考图像的非锚定图像的视点间参考图像的运动信息依赖性关系在宏块运动 信息跳过模式下编码视点图像。
本发明的实施例还提供了一种多视点视频图像的编码方法， 如图 4所示， 该方法包括： S401 : 设置无视点间参考图像的非锚定图像的视点间参考图像 的运动信息依赖性关系； S402 : 将所述运动信息依赖性关系用传输指示标识 来指示； S403 : 将所述传输指示标识写入码流； S404: 发送包括所述传输指 示标识的码流。 本发明的实施例还提供了一种多视点视频图像的解码方法， 如图 5所示， 该方法包括： S501 : 获得锚定图像的视点间参考图像的依赖性关系； S502 : 根据所述锚定图像的视点间参考图像的依赖性关系以及编码端发送的非锚定 图像的参考图像依赖关系信息在宏块运动信息跳过模式下解码视点图像。
上述方法实施方式解决现有技术中问题以达到减小了编码复杂性， 提高 了多视点视频图像编码的效率和编码增益的效果。
具体的， 本发明的方法实施例如下：
本发明的实施例一例包括一种多视点视频图像的编码方法。
在编码端， 进行多视点视频图像编码前， 首先要确定各个视点中锚定图 像和非锚定图像的视点间参考图像的依赖性关系， 将各个视点中锚定图像以 及非锚定图像的视点间参考图像的依赖性关系写入码流， 传送到解码端。 为 描述的方便， 本发明中各实施例以德国 HHI (Heinrich Hertz Institute, 海 因里希-赫兹通信技术研究所） 提出的一种多视点视频编码图像的预测模型， 空间一时间分等级 B帧预测模型为例来说明各个视点中锚定图像以及非锚定 图像的参考图像的依赖性关系。 如图 2所示， 该预测模型中， S0、 SI…表示不 同的视点标识 View ID, 各个视点标识的编码顺序为 SO— S2— SI— S4— S3— S6 -S5-S7 , T0、 Tl…表示不同的时刻， （Sx，Tx) (x = 0、 1、 2……） 的坐标 点表示编码图像。 TO , T8时刻的编码图像均为锚定图像， 其它时刻的编码图 像均为非锚定图像。 坐标点中的字母 I， P或 B表示该图像的编码方式是帧内预 测编码， 帧间预测编码， 或双向预测编码； 字母下标则表示该图像在分等级 B 帧预测结构中的等级。 编码图像间的箭头指向用来表示箭头起点的编码图像 就是此箭头指向的编码图像的参考图像。 该预测模型充分利用单个视点视频 内部视图的时间相关性以及不同视点视图的空间相关性进行预测编码， 能够 获得较高的编码增益。 该多视点视频预测模型的编码图像间的参考图像的依 赖性关系如图 2所示， 例如， 视图标识 S0， SI和 S2中的图像的参考图像依赖性 关系如下： 在 SO视图标识， 时间点 TO和 T8上的锚定图像没有任何参考图像， 而其它 时刻的非锚定图像只有视点内参考图像， 即与当前编码图像来自相同视点视 频的图像来做该视图标识的时间点方向的参考图像；
在 S2视图标识， 时间点 TO和 Τ8上的锚定图像仅有一个视点间参考图像， 即与当前编码图像来自不同视点标识 SO方向的图像， 而其它时刻的非锚定图 像也是只有视点内参考图像；
在 S 1视图标识， 时间点 TO和 T8上的锚定图像有一个来自视图标识 SO方向 的参考图像和有一个来自视图标识 S2方向的视点间参考图像， 而其它时间点 上的非锚定图像有来自这两个视图标识 （SO和 S2 ) 方向的视点间参考图像和 视点内参考图像。 上述预测模型中， 锚定图像有视点间参考图像， 而非锚定 图像可以有视点内参考图像即时间方向的参考图像， 进一歩也可以有视点间 参考图像， 具体参考图像的依赖性关系需要根据摄像机摆放的结构进行设置。 本发明各实施例不对多视点视频图像预测模型进行限定， 其依赖性关系根据 需要可以重新设置。
当确定多视点视频图像预测模型后， 如图 3所示需获得锚定图像和非锚定 图像的视点间参考图像的依赖性关系并相应的将各个视点中锚定图像以及非 锚定图像的视点间参考图像的依赖性关系写入编码码流， 传送到解码端用于 各视点视频图像的解码。
在编码端， 进行多视点视频图像编码前， 还需要设置在宏块运动信息跳 过模式下无视点间参考图像的非锚定图像的视点间参考图像的运动信息依赖 性关系。 仍以空间一时间分等级 B帧预测模型为例， 设置无视点间参考图像的 非锚定图像的视点间参考图像的运动信息依赖性关系采用同一视点下锚定图 像的视点间参考图像的依赖性关系， 即同一视点下锚定图像的视点间参考图 像所在视点中与当前编码图像位于相同时刻的图像， 也可以是采用不同时刻 的图像。 如图 2所示， 如， 确定非锚定图像 （S2，T1 ) 的视点间参考图像的运 动信息依赖性关系采用同一视点下锚定图像（S2，T0 ) 的视点间参考图像的依 赖性关系， 即 ( S0，T1 ) 或 （S0，Tx) 。
在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行编码 时， 根据当前视点的锚定图像获得全局视差矢量 GDV ( Global Disparity Vector ) ， 利用获得的 GDV在当前视点的非锚定图像的视点间参考图像的参考 图像中找到当前宏块的对应宏块， 此时， 若编码的当前非锚定图像没有视点 间参考图像， 则根据设置非锚定图像的运动信息依赖性关系查找在同一视点 下锚定图像的视点间参考图像的依赖性关系， 找到锚定图像的视点间参考图 像的依赖性关系下的参考图像中与当前宏块对应的宏块， 从运动信息缓冲区 中查找获得对应的宏块的运动信息， 运动信息缓冲区中存储有完全解码或不 完全解码所得的参考图像宏块的运动信息， 获得所述参考图像中对应宏块的 运动信息作为当前宏块的运动信息对当前图像进行编码。 若编码的当前非锚 定图像存在视点间参考图像， 则从运动信息缓冲区中调用非锚定图像自身的 视点间参考图像对应宏块的运动信息作为当前编码宏块的运动信息。
编码后获得的当前图像的运动信息可以存储在运动信息缓冲区中作为后 续图像编码的信息参考。
在编码端除将设置的多视点视频图像的视点间参考图像的依赖性关系发 送到解码端外， 进一歩的， 还可以在发送到解码端的编码码流中通过传输指 示标识指示设置的无视点间参考图像的非锚定图像的运动信息依赖性关系， 如图 4所示。可以为，在码流中添力口标识 Ms—non—anchor—dep—indicator—flag, 并将其设置为 1， 表示非锚定图像的视点间参考图像的运动信息依赖性关系采 用锚定图像的视点间参考图像的依赖性关系， 否则， 采用非锚定图像的视点 间参考图像的依赖性关系。 其语法形式可以为：
Descri
seq_parameter_set_mvc_extension ( ) {
ptor num_views_minus_l ue (v) non_anchor_single_loop_decoding_f lag u (l) for (i = 0 ; i <= num_views_minus_l； i++)
view—id [i] ue (v)
for (i = 1 ; i <= num_views_minus_l； i++) {
num_anchor_ref s_10 [i] ue (v)
for ( j = 0 ; j < num_anchor_ref s_10 [ i]； j++ )
anchor_ref_10 [i] [j] ue (v) num_anchor_r ef s_l 1 [i] ue (v)
for ( j = 0 ; j < num_anchor_ref s_l l [ i]； j++ )
anchor_ref_l l [i] [j] ue (v)
}
for (i = 1 ; i <= num_views_minus_l； i++) {
num_non_anchor_ref s_10 [i] ue (v)
for ( j = 0 ; j < num_non_anchor_ref s_10 [i]；
j++ )
non_anchor_ref_10 [i] [j] ue (v) num_non_anchor_ref s_l 1 [i] ue (v)
for ( j = 0 ; j < num_non_anchor_ref s_l l [i]；
j++ )
non_anchor_ref_l l [i] [j] ue (v)
}
Ms_non_anchor_dep_indicator_f lag ue (v)
} 在发送到解码端的编码码流中通过传输指示标识指示设置的无视点间参 考图像的非锚定图像的运动信息依赖性关系， 也可以采用在码流中添加标识 Sign, 并将 Sign设置为 1， 表示没有视点间参考图像的非锚定图像的视点间参 考图像的运动信息依赖性关系采用锚定图像的视点间参考图像的依赖性关 系， 相反的， 当 Sign为 0时， 非锚定图像采用其自身的视点间参考图像的依赖 性关系。
实施例一中， 视点间参考图像不需要被完全解码并放在参考队列中， 其 运动信息一样可以被读取， 所以， 当前宏块可以从运动信息缓冲区中读取对 应的相邻视点图像的运动信息， 而不用完全解码此相邻视点图像并放在 DPB 中， 然后把它在 DPB中的图像索引放在参考图像队列中作为当前编码图像的视 点间参考图像。 因此， 宏块运动信息跳过模式可以被最大化的利用， 而不必 改变现有的预测结构和参考图像队列。
本发明的实施例二包括一种多视点视频图像的解码方法。
在解码端， 接收编码端发送的码流， 码流中包括各个视点中锚定图像和 非锚定图像的视点间参考图像的依赖性关系。
接收各视点图像的依赖性关系后， 解码端在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行解码， 如图 5所示。
根据当前视点的锚定图像获得全局视差矢量 GDV, 利用获得的 GDV在当前 视点的非锚定图像的视点间参考图像的参考图像中找到当前宏块的对应宏 块， 此时， 若不能获得解码的当前非锚定图像的视点间参考图像， 则根据同 一视点下锚定图像的视点间参考图像的依赖性关系， 找到锚定图像的视点间 参考图像依赖性关系下的参考图像中与当前宏块对应的宏块， 获得该对应宏 块的运动信息， 作为当前编码宏块的运动信息。 此时， 该对应宏块的运动信 息通过查找运动信息缓冲区获得， 运动信息缓冲区中存储有完全解码或不完 全解码所得的参考图像宏块的运动信息， 获得所述参考图像中对应宏块的运 动信息作为当前宏块的运动信息对当前图像进行编码。 若解码的当前非锚定 图像存在视点间参考图像， 则从运动信息缓冲区中调用非锚定图像自身的视 点间参考图像对应宏块的运动信息作为当前编码宏块的运动信息。 解码后获得的当前图像的运动信息可以存储在运动信息缓冲区中作为 后续图像解码的信息参考。
进一歩的， 在解码端， 接收编码端发送的码流， 若码流中包括各个视点 中锚定图像和非锚定图像的视点间参考图像的依赖性关系以及传输指示标 识， 则解码所述传输指示标识， 所述传输指示标识指示设置的无视点间参考 图像的非锚定图像的运动信息依赖性关系。 解码所述传输指示标识， 对应编 码端设置， 若解码所述表格中传输指示标识 Ms_non_anchor_dep_indicator_ flag为 1， 表示非锚定图像的视点间参考图像的运动信息依赖性关系采用同一 视点下锚定图像的视点间参考图像的依赖性关系， 若 MS_n0n_anChor_dep_ indicator—flag为 0， 则标识当前解码的非锚定图像采用其自身的视点间参考 图像的依赖性关系。同样对应编码端设置，若解码所述传输指示标识 Sign为 1， 表示没有视点间参考图像的非锚定图像的视点间参考图像的运动信息依赖性 关系采用同一视点下锚定图像的视点间参考图像的依赖性关系， 相反的， 当 为 0时， 各编码图像采用其自身的视点间参考图像的依赖性关系。
当码流中包括各个视点中锚定图像和非锚定图像的视点间参考图像的 依赖性关系以及传输指示标识时， 解码端在宏块运动信息跳过模式下， 对多 视点的视频图像的当前图像进行解码， 根据当前视点的锚定图像获得全局视 差矢量 GDV, 利用获得的 GDV在当前视点的非锚定图像的视点间参考图像的参 考图像中找到当前宏块的对应宏块， 此时， 查找传输指示标识， 若传输指示 标识为 1， 表示采用同一视点下锚定图像的视点间参考图像的依赖性关系， 则 根据当前解码非锚定图像同一视点下锚定图像的视点间参考图像的依赖性关 系， 找到锚定图像的视点间参考图像的依赖性关系下的参考图像中与当前宏 块对应的宏块， 获得该宏块的运动信息， 作为当前编码宏块的运动信息。 此 时， 该对应宏块的运动信息通过查找运动信息缓冲区获得， 运动信息缓冲区 中存储有完全解码或不完全解码所得的参考图像宏块的运动信息， 获得所述 参考图像中对应宏块的运动信息作为当前宏块的运动信息对当前图像进行编 码。 若传输指示标识为 0， 表示非锚定图像存在视点间参考图像， 则从运动信 息缓冲区中直接调用非锚定图像自身的视点间参考图像对应宏块的运动信息 作为当前编码宏块的运动信息。
实施例二中， 视点间参考图像不需要被完全解码并放在参考队列中， 其 运动信息一样可以被读取， 所以， 当前宏快可以从运动信息缓冲区中读取对 应的相邻视点图像的运动信息， 而不用完全解码此相邻视点图像并放在 DPB 中， 然后把它在 DPB中的图像索引放在参考图像队列中作为当前编码图像的视 点间参考图像。 因此， 宏块运动信息跳过模式可以被最大化的利用， 而不必 改变现有的预测结构和参考图像队列。
本发明的实施例三包括一种多视点视频图像的编码方法。
在编码端， 进行多视点视频图像编码前， 首先至少确定各个视点中锚定 图像的视点间参考图像的依赖性关系， 将各个视点中锚定图像的视点间参考 图像的依赖性关系写入码流， 进一歩的也可将非锚定图像的视点间参考图像 的依赖性关系写入码流， 发送到解码端。 仍以空间一时间分等级 B帧预测模型 为例， 锚定图像有视点间参考图像， 而非锚定图像可以有视点内参考图像即 时间方向的参考图像， 进一歩也可以有视点间参考图像， 具体参考图像的依 赖性关系需要根据摄像机摆放的结构进行设置。 本发明各实施例不对多视点 视频图像预测模型进行限定， 其依赖性关系根据需要可以重新设置。
当确定多视点视频图像预测模型后， 需获得至少包括锚定图像的视点间 参考图像的依赖性关系， 相应的将各个视点中至少包括锚定图像的视点间参 考图像的依赖性关系写入编码码流， 传送到解码端用于各视点视频图像的解 码。
在编码端， 进行多视点视频图像编码前， 还需要设置在宏块运动信息跳 过模式下非锚定图像的视点间参考图像的运动信息依赖性关系， 如图 3所示， 本实施例中， 可以将其预设为一组自定义的视点间参考图像的运动信息依赖 性关系。 将所述自定义的视点间参考图像的运动信息依赖性关系写入码流中 发送到解码端， 也可以在码流中添加传输指示标识， 即依赖性关系标识， 指 示非锚定图像的视点间参考图像的运动信息依赖性关系为一组自定义的视点 间参考图像的运动信息依赖性关系， 其码流语法可以如下表示： seq_parameter_set_mvc_extension ( ) { Descri
ptor
num_v iews_minus_l ue (v)
non_anchor_single_loop_decoding_f lag u (l)
for (i = 0 ; i <= num_views_minus_l； i++)
view—id [i] ue (v)
for (i = 1 ; i <= num_views_minus_l； i++) {
num_anchor_ref s_10 [i] ue (v)
for ( j = 0 ; j < num_anchor_ref s_10 [ i]； j++ )
anchor_ref_10 [i] [j] ue (v) num_anchor_r ef s_l 1 [i] ue (v)
for ( j = 0 ; j < num_anchor_ref s_l l [ i]； j++ )
anchor_ref_l l [i] [j] ue (v)
}
for (i = 1 ; i <= num_views_minus_l； i++) {
num_non_anchor_ref s_10 [i] ue (v)
for ( j = 0 ; j < num_non_anchor_ref s_10 [i]；
j++ )
non_anchor_ref_10 [i] [j] ue (v) num_non_anchor_ref s_l 1 [i] ue (v) for ( j = 0 ; j < num_non_anchor_ref s_l l [i]；
j++ )
non_anchor_ref_l l [i] [j] ue (v)
}
for (i = 1 ; i <= num_views_minus_l； i++) {
num_motion_skip_ref s_10 [i] ue (v)
for ( j = 0 ; j < num_motion_skip_ref s_10 [i]；
j++ )
motion_skip_ref_10 [i] [j] ue (v) num_motion_skip_ref s_l l [i] ue (v)
for ( j = 0 ; j < num_non_anchor_ref s_l l [i]；
j++ )
motion_skip_ref_l l [i] [j] ue (v)
}
} 在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行编码 时， 根据当前视点的锚定图像获得全局视差矢量 GDV, 利用获得的 GDV在当前 视点的非锚定图像的视点间参考图像的运动信息缓冲区找到当前宏块的对应 宏块的运动信息， 此时， 若当前处理图像为非锚定图像， 则根据自定义的视 点间参考图像的运动信息依赖性关系查找参考图像的运动信息， 所述参考图 像的运动信息存储在运动信息缓冲区中， 运动信息缓冲区中存储有完全解码 或不完全解码所得的参考图像宏块的运动信息， 获得所述参考图像中对应宏 块的运动信息作为当前宏块的运动信息对当前图像进行编码。
编码后获得的当前编码图像的运动信息可以存储在运动信息缓冲区中作 本发明的实施例四包括一种多视点视频图像的解码方法。
在解码端， 接收编码端发送的码流， 码流中至少包括各个视点中锚定图 像的视点间参考图像的依赖性关系， 也可以包括非锚定图像的视点间参考图 像的依赖性关系， 以及一组自定义的非锚定图像的视点间参考图像的运动信 息依赖性关系。
根据当前视点的锚定图像获得全局视差矢量 GDV, 利用获得的 GDV在当前 视点的非锚定图像的视点间参考图像的参考图像中找到当前宏块的对应宏 块， 此时， 若当前处理图像为非锚定图像， 则根据自定义的视点间参考图像 的运动信息依赖性关系查找参考图像的运动信息， 所述视点间参考图像的运 动信息存储在运动信息缓冲区中， 运动信息缓冲区中存储有完全解码或不完 全解码所得的参考图像宏块的运动信息， 获得所述参考图像中对应宏块的运 动信息作为当前宏块的运动信息对当前图像进行解码， 如图 5所示。
解码后获得的当前图像的运动信息可以存储在运动信息缓冲区中作为后 续图像解码的信息参考。
若编码端发送的码流中有传输指示标识， 则根据传输指示标识采用自定 义的非锚定图像的视点间参考图像的运动信息依赖性关系作为非锚定图像的 视点间参考图像的依赖性关系解码当前图像。
本发明的装置实施例中提供了一种多视点视频图像的编码装置， 如图 6所 示， 该装置包括： 第一参考图像获取模块 601， 获取视点图像的视点间参考图 像的依赖性关系； 多视点视频图像编码模块 602， 根据所述获取的视点间图像 的视点间参考图像的依赖关系和预设的无视点间参考图像的非锚定图像的视 点间参考图像的运动信息依赖性关系在宏块运动信息跳过模式下编码视点图 像。
本发明的实施例还提供了一种多视点视频图像的编码装置， 如图 7所示， 该装置包括： 预设单元 701， 设置无视点间参考图像的非锚定图像的视点间参 考图像的运动信息依赖性关系； 标识单元 702， 将所述运动信息依赖性关系用 传输指示标识来指示； 写码流单元 703， 将所述传输指示标识写入码流； 发送 单元 704， 发送包括所述传输指示标识的码流。
本发明的实施例还提供了一种多视点视频图像的解码装置， 如图 8所示， 该装置包括： 第二参考图像获取模块 801， 获得锚定图像的视点间参考图像的 依赖性关系； 多视点视频图像解码模块 802， 根据所述锚定图像的视点间参考 图像的依赖性关系以及编码端发送的非锚定图像的参考图像依赖关系信息在 宏块运动信息跳过模式下解码视点图像。
上述装置实施方式解决现有技术中问题以达到减小了编码复杂性， 提高 了多视点视频图像编码的效率和编码增益的效果。
具体的， 本发明的装置实施例如下：
本发明的实施例五包括一种多视点视频图像的编码装置。
编码装置中包括第一参考图像获取模块， 用于获取各个视点图像的视点 间参考图像的依赖性关系。
第一参考图像获取模块包括第一写码流单元、 第一依赖性关系设置单元。 第一依赖性关系设置单元对不存在视点间参考图像的非锚定图像设置其 视点间参考图像的运动信息依赖性关系。 以空间一时间分等级 B帧预测模型为 例， 可以将所述非锚定图像的其视点间参考图像的运动信息依赖性关系设置 为同一视点下锚定图像的视点间参考图像的依赖性关系。
第一写码流单元将存在视点间参考图像的视点间参考图像的依赖性关系 写入编码码流。 编码装置中还包括第一多视点视频图像编码模块， 第一多视点视频图像 编码模块在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行 编码。
第一多视点视频图像编码模块包括第一运动模式编码单元、 第一判别单 元、 第一运动信息提取单元。
第一运动模式编码单元在宏块运动信息跳过模式下根据当前视点的锚定 图像获得全局视差矢量 GDV， 利用获得的 GDV在当前视点的非锚定图像的视点 间参考图像的参考图像中找到当前宏块的对应宏块， 第一判别单元对编码图 像的视点间参考图像进行判断， 判断非锚定图像是否存在视点间参考图像， 若非锚定图像没有视点间参考图像， 第一运动模式编码单元根据第一依赖性 关系设置单元的结果， 采用同一视点下锚定图像的视点间参考图像的依赖性 关系下的参考图像中与当前宏块对应的宏块。
编码装置中还包括第一运动信息缓冲区， 第一运动信息缓冲区中存储有 完全解码或不完全解码所得的参考图像宏块的运动信息， 第一运动信息提取 单元根据所述宏块从第一运动信息缓冲区中获得该宏块的运动信息作为当前 编码宏块的运动信息。 若编码的当前非锚定图像存在视点间参考图像， 则第 一运动信息提取模式从第一运动信息缓冲区中调用非锚定图像自身的视点间 参考图像对应宏块的运动信息， 第一运动信息提取单元根据所述参考图像的 运动信息作为当前编码宏块的运动信息。
编码后获得的当前图像的运动信息可以存储在第一运动信息缓冲区中作 为后续图像编码的信息参考。
编码装置中还包括第一发送模块， 根据第一写码流单元， 发送编码码流 到解码端， 所述编码码流中包括存在视点间参考图像的视点间参考图像的依 赖性关系。
进一歩的， 第一写码流单元将第一依赖性关系设置单元设置的依赖性关 系以及存在视点间参考图像的视点图像的视点间参考图像的依赖性关系写入 码流。
其中， 对存在视点间参考图像的锚定图像以及非锚定图像的视点间参考 图像的依赖性关系写入码流， 并将不存在视点间参考图像的非锚定图像用传 输指示标识指示其运动信息依赖性关系后写入码流。
编码端码流中通过传输指示标识指示设置的无视点间参考图像的锚定图 像的运动信息依赖性关系。 可以为， 在码流中添加标识 Ms_non_anchor_ dep_indiCat0r_flag并将其设置为 1， 表示没有视点间参考图像的非锚定图像 的视点间参考图像的运动信息依赖性关系采用同一视点下锚定图像的视点间 参考图像的依赖性关系， 否则， 该非锚定图像存在视点间参考图像， 则采用 非锚定图像自身的视点间参考图像的依赖性关系。
在发送到解码端的编码码流中通过传输指示标识指示设置的无视点间参 考图像的锚定图像的依赖性关系也可以在码流中添加标识 Sign, 并将其设置 为 1， 表示没有视点间参考图像的非锚定图像的视点间参考图像的运动信息依 赖性关系采用同一视点下锚定图像的视点间参考图像的依赖性关系， 相反的， 当为 0时， 采用非锚定图像自身的视点间参考图像的依赖性关系。
本发明的实施例六包括一种多视点视频图像的解码装置。
解码装置中包括第二收取模块， 用于接收编码码流， 读取码流中各个视 点中锚定图像以及非锚定图像的视点间参考图像的依赖性关系。
解码装置中还包括第二多视点视频图像解码模块， 第二多视点视频图像 解码模块在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行 解码。
第二多视点视频图像解码模块包括第二运动模式解码单元、 第二判别单 元、 第二运动信息提取单元。
第二运动模式编码单元在宏块运动信息跳过模式下根据当前视点的锚定 图像获得全局视差矢量 GDV, 利用获得的 GDV在当前视点的非锚定图像的视点 间参考图像的参考图像中找到当前宏块的对应宏块， 第二判别单元对非锚定 图像的视点间参考图像进行判断， 判断非锚定图像是否存在视点间参考图像， 若非锚定图像没有视点间参考图像， 第二运动模式编码单元采用同一视点下 锚定图像的视点间参考图像的依赖性关系下的参考图像中与当前宏块对应的 宏块。
解码装置中还包括第二运动信息缓冲区， 第二运动信息缓冲区中存储有 完全解码或不完全解码所得的参考图像宏块的运动信息， 第二运动信息提取 单元根据所述宏块从第二运动信息缓冲区中获得各宏块的运动信息， 第二运 动模式编码单元从第二运动信息缓冲区中获得的对应宏块的运动信息作为当 前编码宏块的运动信息。 若编码的当前非锚定图像存在视点间参考图像， 则 第二运动信息提取模式从第二运动信息缓冲区中调用非锚定图像自身的视点 间参考图像对应宏块的运动信息， 第二运动信息提取单元根据所述参考图像 的运动信息作为当前解码宏块的运动信息。
解码后获得的当前图像的运动信息可以存储在第二运动信息缓冲区中作 为后续图像解码的信息参考。
进一歩的， 解码装置中的第二收取模块， 用于接收编码码流， 读取码流 中各个视点中锚定图像以及非锚定图像的视点间参考图像的依赖性关系以及 传输指示标识。 传输指示标识指示设置的无视点间参考图像的非锚定图像的 运动信息依赖性关系。
第二运动模式编码单元在宏块运动信息跳过模式下根据当前视点的锚定 图像获得全局视差矢量 GDV, 利用获得的 GDV在当前视点的非锚定图像的视点 间参考图像的参考图像中找到当前宏块的对应宏块， 第二判别单元对传输指 示标识进行判断， 例如， 当传输指示标识为 1时， 表示没有视点间参考图像的 非锚定图像的视点间参考图像的运动信息依赖性关系采用同一视点下锚定图 像的视点间参考图像的依赖性关系， 第二运动模式编码单元采用同一视点下 锚定图像的视点间参考图像的依赖性关系下的参考图像中与当前宏块对应的 宏块， 第二运动信息提取单元根据所述宏块从第二运动信息缓冲区中获得对 应宏块的运动信息， 第二运动模式编码单元把从第二运动信息缓冲区中获得 的对应宏块运动信息作为当前解码宏块的运动信息。 当传输指示标识为 0时， 则第二运动信息提取模式从第二运动信息缓冲区中调用非锚定图像自身的视 点间参考图像对应宏块的运动信息， 第二运动信息提取单元根据所述参考图 像的运动信息作为当前解码码宏块的运动信息。
本发明的实施例七包括一种多视点视频图像的编码装置。 编码装置中包括第三参考图像获取模块， 用于设置各个视点图像的视点 间参考图像的依赖性关系。
第三参考图像获取模块包括第三写码流单元、 第三依赖性关系设置单元。 第三依赖性关系设置单元对非锚定图像设置其视点间参考图像的运动信 息依赖性关系。 以空间一时间分等级 B帧预测模型为例， 可以将非锚定图像的 视点间参考图像的运动信息依赖性关系预设为一组自定义的视点间参考图像 的运动信息依赖性关系。
第三写码流单元将第三依赖性关系设置单元设置的依赖性关系以及至少 包括锚定图像的视点间参考图像的依赖性关系写入码流， 其中， 将第三依赖 性关系设置单元设置的依赖性关系写入码流可以为将预设的一组自定义的视 点间参考图像的运动信息依赖性关系写入码流。 第三写码流单元也可以在码 流中添加传输指示标识， 即依赖性关系标识， 指示非锚定图像的视点间参考 图像的运动信息依赖性关系为一组自定义的视点间参考图像的运动信息依赖 性关系。
编码装置中还包括第三多视点视频图像编码模块， 第三多视点视频图像 编码模块在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行 编码。
第三多视点视频图像编码模块包括第三运动模式编码单元、 第三判别单 元、 第三运动信息提取单元；
第三运动模式编码单元在宏块运动信息跳过模式下根据当前视点的锚定 图像获得全局视差矢量 GDV, 利用获得的 GDV在当前视点的非锚定图像的视点 间参考图像的参考图像中找到当前宏块的对应宏块， 第三判别单元对是否非 锚定图像进行判断， 判断当前图像为非锚定图像时， 运动模式编码单元根据 设置的非锚定图像的运动信息依赖性关系查找自定义的视点间参考图像的运 动信息的依赖性关系， 找到该依赖性关系下的参考图像中与当前宏块对应的 宏块。 编码装置中还包括第三运动信息缓冲区， 第三运动信息缓冲区中存储参 考图像宏块的运动信息。 第三运动信息提取单元根据所述宏块从第三运动信 息缓冲区中获得对应宏块的运动信息， 第三运动模式编码单元从第三运动信 息缓冲区中获得的对应宏块的运动信息作为当前编码宏块的运动信息。
编码后获得的当前图像的运动信息可以存储在第三运动信息缓冲区中作 为后续图像编码的信息参考。 编码装置中还包括第三发送模块， 根据第三写 码流单元， 发送编码码流到解码端， 所述编码码流中包括至少锚定图像的视 点间参考图像的依赖性关系以及预设的一组自定义的非锚定图像的视点间参 考图像的运动信息依赖性关系。
本发明的实施例八包括一种多视点视频图像的解码装置。
解码装置中包括第四收取模块， 用于接收编码码流获取码流中各个视点 中视点图像的视点间参考图像的依赖性关系。
第四收取模块接收码流后， 用于读取识别码流中的各个视点中视点图像 的视点间参考图像的依赖性关系， 包括至少锚定图像的视点间参考图像的依 赖性关系以及预设的一组自定义的非锚定图像的视点间参考图像的运动信息 依赖性关系。
解码装置中还包括第四多视点视频图像解码模块， 第四多视点视频图像 解码模块在宏块运动信息跳过模式下， 对多视点的视频图像的当前图像进行 解码。
第四多视点视频图像解码模块包括第四运动模式解码单元、 第四判别单 元、 第四运动信息提取单元；
第四运动模式解码单元在宏块运动信息跳过模式下根据当前视点的锚定 图像获得全局视差矢量 GDV, 利用获得的 GDV在当前视点的非锚定图像的视点 间参考图像的参考图像中找到当前宏块的对应宏块， 第四判别单元对当前解 码图像是否为非锚定图像进行判断， 若判断当前解码图像为非锚定图像， 第 四运动模式编码单元根据设置的非锚定图像的运动信息依赖性关系查找预设 的自定义视点间参考图像的运动信息的依赖性关系， 找到该依赖性关系下的 参考图像中与当前宏块对应的宏块。
解码装置中还包括第四运动信息缓冲区， 第四运动信息缓冲区中存储有 完全解码或不完全解码所得的参考图像宏块的运动信息。 第四运动信息提取 单元根据所述宏块从第四运动信息缓冲区中获得对应宏块的运动信息， 第四 运动模式编码单元从第四运动信息缓冲区中获得的对应宏块的运动信息作为 当前编码宏块的运动信息。
解码后获得的当前图像的运动信息可以存储在运动信息缓冲区中作为后 续图像解码的信息参考。
若编码端发送的码流中有传输指示标识， 则第四判别单元根据传输指示 标识判断采用自定义的非锚定图像的视点间参考图像的运动信息依赖性关系 作为非锚定图像的视点间参考图像的依赖性关系解码当前图像。
由上述内容可以看出， 采用本发明的实施例提供的技术方案， 在宏块运 动信息跳过模式下编码当前宏块的过程中， 通过设置编码图像的视点间参考 图像的运动信息依赖性关系， 减小了编码复杂性， 提高了多视点视频图像编 码的效率和编码增益。
以上所述， 仅为本发明较佳的具体实施方式， 但本发明的保护范围并不 局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可 轻易想到的变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明 的保护范围应该以权利要求的保护范围为准。

Claims

权 利 要 求 书
1、 一种多视点视频图像的编码方法， 其特征在于， 该方法包括： 获取视点图像的视点间参考图像的依赖性关系；
根据所述获取的视点间图像的视点间参考图像的依赖关系和预设的无视 点间参考图像的非锚定图像的视点间参考图像的运动信息依赖性关系在宏块 运动信息跳过模式下编码视点图像。
2、 根据权利要求 1所述的方法， 其特征在于， 所述无视点间参考图像的 非锚定图像的视点间参考图像的运动信息依赖性关系预设为同一视点下的锚 定图像的视点间参考图像的依赖性关系。
3、 根据权利要求 1所述的方法， 其特征在于， 该方法还包括： 预设有视 点间参考图像的非锚定图像的视点间参考图像的运动信息依赖性关系；
根据所述获取的视点间图像的视点间参考图像的依赖关系和预设的非锚 定图像的视点间参考图像的运动信息依赖性关系编码视点图像。
4、 根据权利要求 3所述的方法， 其特征在于， 所述非锚定图像的视点间 参考图像的运动信息依赖性关系预设为自定义的视点图像的视点间参考图像 的运动信息依赖性关系。
5、 根据权利要求 2或 4所述的方法， 其特征在于， 所述方法还包括将传输 指示标识写入码流发送到解码端， 所述传输指示标识指示所述预设的非锚定 图像的视点间参考图像的运动信息依赖性关系。
6、 根据权利要求 1所述的方法， 其特征在于， 所述编码当前视点图像后 还包括歩骤： 将所述编码结果写入编码码流发送到解码端。
7、 根据权利要求 1所述的方法， 其特征在于， 所述在宏块运动信息跳过 模式下解码视点图像包括：
根据所述视点间图像的视点间参考图像的依赖关系和预设的无视点间参 考图像的非锚定图像的视点间参考图像的运动信息依赖性关系， 从运动信息 缓冲区获取当前图像的参考图像的运动信息； 根据所述参考图像的运动信息编码获得当前图像的运动信息。
8、 一种多视点视频图像的编码方法， 其特征在于， 该方法包括： 设置无视点间参考图像的非锚定图像的视点间参考图像的运动信息依赖 性关系；
将所述运动信息依赖性关系用传输指示标识来指示；
将所述传输指示标识写入码流；
发送包括所述传输指示标识的码流。
9、 根据权利要求 8所述的方法， 其特征在于， 所述无视点间参考图像的 非锚定图像的视点间参考图像的运动信息依赖性关系设置为同一视点下的锚 定图像的视点间参考图像的依赖性关系。
10、 一种多视点视频图像的解码方法， 其特征在于， 该方法包括： 获得锚定图像的视点间参考图像的依赖性关系；
根据所述锚定图像的视点间参考图像的依赖性关系以及编码端发送的非 锚定图像的参考图像依赖关系信息在宏块运动信息跳过模式下解码视点图 像。
11、 根据权利要求 10所述的方法， 其特征在于， 所述编码端发送的非锚 定图像的参考图像依赖关系信息包括存在视点间参考图像的非锚定图像的视 点间参考图像的依赖性关系。
12、 根据权利要求 11所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像解码视点图像包括： 当前解码图像为不存在视点间参 考图像的非锚定图像， 采用同一视点下锚定图像的视点间参考图像的依赖性 关系作为不存在视点间参考图像的非锚定图像的视点间参考图像的运动信息 依赖性关系解码所述非锚定图像。
13、 根据权利要求 11所述的方法， 其特征在于， 该方法还包括： 接收编 码端发送的传输指示标识， 所述传输指示标识用于指示对不存在视点间参考 图像的非锚定图像的视点间参考图像的运动信息依赖性关系采用同一视点下 锚定图像的视点间参考图像的依赖性关系；
根据所述传输标识， 采用同一视点下锚定图像的视点间参考图像的依赖 性关系解码不存在视点间参考图像的非锚定图像。
14、 根据权利要求 10所述的方法， 其特征在于， 所述编码端发送的非锚 定图像的参考图像依赖关系信息为传输指示标识， 所述传输指示标识用于指 示对非锚定图像的视点间参考图像的运动信息依赖性关系采用自定义的视点 图像的视点间参考图像的运动信息依赖性关系。
15、 根据权利要求 14所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像包括： 根据所述传输标识， 采用自定义的视点图像的 视点间参考图像的运动信息依赖性关系解码非锚定图像。
16、 根据权利要求 10所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像包括：
根据所述锚定图像的视点间参考图像的依赖性关系以及编码端发送的非 锚定图像的参考图像依赖关系信息， 从运动信息缓冲区获取当前图像的参考 图像的运动信息；
根据所述参考图像的运动信息解码获得当前图像的运动信息。
17、 一种多视点视频图像的编码装置， 其特征在于， 该装置包括： 第一参考图像获取模块， 用于获取视点图像的视点间参考图像的依赖性 关系；
多视点视频图像编码模块， 用于根据所述获取的视点间图像的视点间参 考图像的依赖关系和预设的无视点间参考图像的非锚定图像的视点间参考图 像的运动信息依赖性关系在宏块运动信息跳过模式下编码视点图像。
18、 根据权利要求 17所述的装置， 其特征在于， 所述装置还包括： 预设 单元， 用于设置无视点间参考图像的非锚定图像的视点间参考图像的运动信 息依赖性关系为同一视点下的锚定图像的视点间参考图像的依赖性关系。
19、 根据权利要求 18所述的装置， 其特征在于， 所述装置还包括： 标识单元， 用于将所述采用同一视点下的锚定图像的视点间参考图像的 依赖性关系作为无视点间参考图像的非锚定图像的视点间参考图像的运动信 息依赖性关系标识为传输指示标识写入码流；
发送单元， 用于发送所述码流到解码装置。
20、 一种多视点视频图像的编码装置， 其特征在于， 该装置包括： 预设单元， 用于设置无视点间参考图像的非锚定图像的视点间参考图像 的运动信息依赖性关系；
标识单元， 用于将所述运动信息依赖性关系用传输指示标识来指示； 写码流单元， 用于将所述传输指示标识写入码流；
发送单元， 用于发送包括所述传输指示标识的码流。
21、 一种多视点视频图像的解码装置， 其特征在于， 该装置包括： 第一参考图像获取模块， 用于获得锚定图像的视点间参考图像的依赖性 关系；
多视点视频图像解码模块， 用于根据所述锚定图像的视点间参考图像的 依赖性关系以及编码端发送的非锚定图像的参考图像依赖关系信息在宏块运 动信息跳过模式下解码视点图像。
22、 根据权利要求 21所述的装置， 其特征在于， 所述多视点视频图像解 码模块包括判别单元、 运动信息提取单元、 缓冲单元、 运动模式解码单元； 判别单元， 用于判断当编码端发送的非锚定图像的参考图像依赖关系信 息， 所述非锚定图像的参考图像依赖关系信息用传输指示标识指示， 根据所 述传输指示标识判断不存在视点间参考图像的非锚定图像的视点间参考图像 的运动信息依赖性关系采用同一视点下锚定图像的视点间参考图像的依赖性 关系；
缓冲单元， 用于存储有依赖关系的参考图像的运动信息；
运动信息提取单元， 用于根据同一视点下锚定图像的视点间参考图像的 依赖性关系从运动信息缓冲区中提取当前图像的参考图像的运动信息； 运动模式解码单元， 用于在宏块运动信息跳过模式下根据运动信息提取 单元提取的运动信息解码当前图像。
23、 一种多视点视频图像的编码方法， 其特征在于， 该方法包括： 获取视点图像的视点间参考图像的依赖性关系和传输指示标识； 当所述传输指示标识指示采用锚定图像的视点间参考图像的依赖性关 系， 则根据获取的视点图像的视点间参考图像的依赖关系编码视点图像； 否则根据预设的无视点间参考图像的非锚定图像的视点间参考图像的运 动信息依赖性关系在宏块运动信息跳过模式下编码视点图像。
24、 根据权利要求 23所述的方法， 其特征在于， 所述无视点间参考图像 的非锚定图像的视点间参考图像的运动信息依赖性关系预设为同一视点下的 锚定图像的视点间参考图像的依赖性关系。
25、 根据权利要求 23所述的方法， 其特征在于， 该方法还包括： 预设有 视点间参考图像的非锚定图像的视点间参考图像的运动信息依赖性关系； 当所述传输指示标识指示采用视点图像自身的视点间参考图像的依赖性 关系， 则根据所述获取的视点间图像的视点间参考图像的依赖关系和预设的 非锚定图像的视点间参考图像的运动信息依赖性关系编码视点图像。
26、 根据权利要求 25所述的方法， 其特征在于， 所述非锚定图像的视点 间参考图像的运动信息依赖性关系预设为自定义的视点图像的视点间参考图 像的运动信息依赖性关系。
27、 根据权利要求 24或 26所述的方法， 其特征在于， 所述方法还包括将 传输指示标识写入码流发送到解码端， 所述传输指示标识指示所述预设的非 锚定图像的视点间参考图像的运动信息依赖性关系。
28、 根据权利要求 23所述的方法， 其特征在于， 所述编码当前视点图像 后还包括歩骤： 将所述编码结果写入编码码流发送到解码端。
29、 根据权利要求 23所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像包括： 根据所述视点间图像的视点间参考图像的依赖关系和预设的无视点间参 考图像的非锚定图像的视点间参考图像的运动信息依赖性关系， 从运动信息 缓冲区获取当前图像的参考图像的运动信息；
根据所述参考图像的运动信息编码获得当前图像的运动信息。
30、 一种多视点视频图像的解码方法， 其特征在于， 该方法包括： 获得锚定图像的视点间参考图像的依赖性关系和依赖关系信息； 当所述依赖关系信指示采用同一视点下锚定图像的视点间参考图像的依 赖性关系时， 根据所述锚定图像的视点间参考图像的依赖性关系解码视点图 像；
否则， 根据编码端发送的非锚定图像的参考图像依赖关系信息在宏块运 动信息跳过模式下解码视点图像。
31、 根据权利要求 30所述的方法， 其特征在于， 所述编码端发送的非锚 定图像的参考图像依赖关系信息包括存在视点间参考图像的非锚定图像的视 点间参考图像的依赖性关系。
32、 根据权利要求 31所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像解码视点图像包括： 当前解码图像为不存在视点间参 考图像的非锚定图像， 采用同一视点下锚定图像的视点间参考图像的依赖性 关系作为不存在视点间参考图像的非锚定图像的视点间参考图像的运动信息 依赖性关系解码所述非锚定图像。
33、 根据权利要求 31所述的方法， 其特征在于， 该方法还包括： 接收编 码端发送的传输指示标识， 所述传输指示标识用于指示对不存在视点间参考 图像的非锚定图像的视点间参考图像的运动信息依赖性关系采用同一视点下 锚定图像的视点间参考图像的依赖性关系；
根据所述传输标识， 采用同一视点下锚定图像的视点间参考图像的依赖 性关系解码不存在视点间参考图像的非锚定图像。
34、 根据权利要求 30所述的方法， 其特征在于， 所述编码端发送的非锚 定图像的参考图像依赖关系信息为传输指示标识， 所述传输指示标识用于指 示对非锚定图像的视点间参考图像的运动信息依赖性关系采用自定义的视点 图像的视点间参考图像的运动信息依赖性关系。
35、 根据权利要求 34所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像包括： 根据所述传输标识， 采用自定义的视点图像的 视点间参考图像的运动信息依赖性关系解码非锚定图像。
36、 根据权利要求 30所述的方法， 其特征在于， 所述在宏块运动信息跳 过模式下解码视点图像包括：
根据所述锚定图像的视点间参考图像的依赖性关系以及编码端发送的非 锚定图像的参考图像依赖关系信息， 从运动信息缓冲区获取当前图像的参考 图像的运动信息；
根据所述参考图像的运动信息解码获得当前图像的运动信息。
PCT/CN2009/071343 2008-04-18 2009-04-17 一种多视点视频图像编码和解码的方法及装置 WO2009127164A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP09731573A EP2271112A4 (en) 2008-04-18 2009-04-17 METHOD AND APPARATUS FOR ENCODING AND DECODING MULTI-VIEWPOINT VIDEO IMAGE
US12/906,701 US20110032980A1 (en) 2008-04-18 2010-10-18 Method and apparatus for coding and decoding multi-view video images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200810066587.0 2008-04-18
CN2008100665870A CN101562745B (zh) 2008-04-18 2008-04-18 一种多视点视频图像编码和解码的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/906,701 Continuation US20110032980A1 (en) 2008-04-18 2010-10-18 Method and apparatus for coding and decoding multi-view video images

Publications (1)

Publication Number Publication Date
WO2009127164A1 true WO2009127164A1 (zh) 2009-10-22

Family

ID=41198791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/071343 WO2009127164A1 (zh) 2008-04-18 2009-04-17 一种多视点视频图像编码和解码的方法及装置

Country Status (4)

Country Link
US (1) US20110032980A1 (zh)
EP (1) EP2271112A4 (zh)
CN (1) CN101562745B (zh)
WO (1) WO2009127164A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100710A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Existence of inter-view reference picture and availability of 3dvc coding tools

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355511A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
KR101506446B1 (ko) * 2010-12-15 2015-04-08 에스케이 텔레콤주식회사 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
JP5979848B2 (ja) * 2011-11-08 2016-08-31 キヤノン株式会社 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US9998727B2 (en) * 2012-09-19 2018-06-12 Qualcomm Incorporated Advanced inter-view residual prediction in multiview or 3-dimensional video coding
US9674542B2 (en) * 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
CN104768015B (zh) * 2014-01-02 2018-10-26 寰发股份有限公司 视频编码方法及装置
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006110007A1 (en) * 2005-04-13 2006-10-19 Industry-Academic Cooperation Foundation, Yonsei University Method for coding in multiview video coding/decoding system
CN101116340A (zh) * 2004-12-10 2008-01-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
WO2008020733A1 (en) * 2006-08-18 2008-02-21 Gwangju Institute Of Science And Technology A method and apparatus for encoding multiview video using hierarchical b frames in view direction, and a storage medium using the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132683A (ja) * 1998-10-23 2000-05-12 Toshiba Corp 多視点画像符号化方法
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR101383735B1 (ko) * 2006-03-29 2014-04-08 톰슨 라이센싱 멀티-뷰 비디오 코딩 시스템에서 사용하기 위한 방법 및 장치
EP2030450B1 (en) * 2006-06-19 2015-01-07 LG Electronics Inc. Method and apparatus for processing a video signal
KR20100014553A (ko) * 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116340A (zh) * 2004-12-10 2008-01-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
WO2006110007A1 (en) * 2005-04-13 2006-10-19 Industry-Academic Cooperation Foundation, Yonsei University Method for coding in multiview video coding/decoding system
WO2008020733A1 (en) * 2006-08-18 2008-02-21 Gwangju Institute Of Science And Technology A method and apparatus for encoding multiview video using hierarchical b frames in view direction, and a storage medium using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100710A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Existence of inter-view reference picture and availability of 3dvc coding tools

Also Published As

Publication number Publication date
EP2271112A1 (en) 2011-01-05
CN101562745B (zh) 2012-07-04
US20110032980A1 (en) 2011-02-10
EP2271112A4 (en) 2011-05-18
CN101562745A (zh) 2009-10-21

Similar Documents

Publication Publication Date Title
WO2009127164A1 (zh) 一种多视点视频图像编码和解码的方法及装置
TWI679882B (zh) 具區塊向量衍生區塊內複製編碼方法及系統
TWI657695B (zh) 使用多視界視頻編碼及解碼之高階語法之改良式發信的方法
JP5646994B2 (ja) 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置
WO2010068020A9 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
JP2011511597A5 (zh)
JP2010517360A (ja) ビデオ信号処理方法及び装置
TW201105112A (en) Encoding of three-dimensional conversion information with two-dimensional video sequence
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2014005426A1 (zh) 帧间预测编码运动信息的处理方法、装置和编解码系统
WO2009155827A1 (zh) 立体视频编解码方法、装置及系统
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
RU2008142963A (ru) Способ и устройство для декодирования/кодирования сигнала видео
JP2015527806A (ja) ビデオ信号処理方法及び装置
CN104995916A (zh) 视频数据解码方法和视频数据解码设备
RU2015103215A (ru) Способ и устройство для кодирования видео, имеющего временную масштабируемость, и способ и устройство для декодирования видео, имеющего временную масштабируемость
WO2014107961A1 (zh) 运动矢量预测值列表构建方法和视频编解码方法及装置
CN102195894A (zh) 即时通信中实现立体视频通信的系统及方法
CN101568038B (zh) 基于视差/运动联合估计的多视点容错编码框架
WO2012122836A1 (zh) 视频编解码处理方法和装置
WO2014166319A1 (zh) 视频编码方法和视频解码方法及相关装置
US20130100245A1 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
TW201436528A (zh) 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置
KR101420894B1 (ko) 고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치
CN101986713B (zh) 基于视点合成的多视点容错编码框架

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09731573

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009731573

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 4061/KOLNP/2010

Country of ref document: IN