WO2012081877A2 - 다시점 비디오 부호화/복호화 장치 및 방법 - Google Patents

다시점 비디오 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2012081877A2
WO2012081877A2 PCT/KR2011/009559 KR2011009559W WO2012081877A2 WO 2012081877 A2 WO2012081877 A2 WO 2012081877A2 KR 2011009559 W KR2011009559 W KR 2011009559W WO 2012081877 A2 WO2012081877 A2 WO 2012081877A2
Authority
WO
WIPO (PCT)
Prior art keywords
current block
frame
skip mode
block
view
Prior art date
Application number
PCT/KR2011/009559
Other languages
English (en)
French (fr)
Other versions
WO2012081877A3 (ko
Inventor
이진영
박두식
위호천
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN2011800675567A priority Critical patent/CN103370934A/zh
Priority to JP2013544387A priority patent/JP2014505398A/ja
Priority to US13/994,402 priority patent/US9615078B2/en
Priority to EP11847908.8A priority patent/EP2654295A4/en
Publication of WO2012081877A2 publication Critical patent/WO2012081877A2/ko
Publication of WO2012081877A3 publication Critical patent/WO2012081877A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Embodiments of the present invention relate to an apparatus and method for multiview video encoding / decoding, wherein an input image is encoded / decoded according to a skip mode using a frame at the same view or a skip mode using a frame at different views with respect to a current block.
  • An apparatus and method are provided.
  • the stereoscopic image refers to a 3D image that simultaneously provides depth and space information. Unlike stereo images, which provide images of different viewpoints to the left and right eyes, stereoscopic images provide different images according to the viewer's viewpoint. As a result, the stereoscopic image is composed of a plurality of images taken from the observer's point of view.
  • Images taken from a plurality of viewpoints have a large amount of data.
  • images captured from a plurality of viewpoints are encoded by a single-view video encoding method such as MPEG-2, H.264 / AVC, and HEVC, it is impossible to realize network infrastructure and terrestrial bandwidth.
  • a multi-view video encoding apparatus includes an encoding mode determiner configured to determine whether to encode a current block included in a frame of a first view into a skip mode using a frame of a second view; And a bitstream generator configured to generate a bitstream by encoding an index indicating the skip mode when the current block is encoded according to a skip mode.
  • a multi-view video encoding apparatus encodes a current block included in a frame of a first view in a first skip mode using a frame of a first view or a second using a frame of a second view.
  • An encoding mode determiner which determines whether to encode in a skip mode;
  • a bitstream generator configured to generate a bitstream by encoding an index indicating a skip mode determined for the current block.
  • a multi-view video decoding apparatus includes an index decoder which decodes an encoded index indicating a skip mode of a current block included in a frame of a first view; And a block reconstruction unit which extracts the prediction block of the current block from the frame at the second time point and restores the current block according to the skip mode of the current block.
  • the multi-view video decoding apparatus is an index decoder for decoding a coded index indicating whether a current block included in a frame of a first view is encoded in a first skip mode or a second skip mode. ; And a block reconstruction unit reconstructing the current block based on the skip mode of the current block determined according to the decoded index, wherein the first skip mode determines a prediction block of the current block in a frame at a first time point, The second skip mode may determine the prediction block of the current block in the frame of the second view.
  • a multi-view video encoding method includes determining whether to encode a current block included in a frame of a first view in a skip mode using a frame of a second view; And when the current block is encoded according to a skip mode, generating a bitstream by encoding an index representing the skip mode.
  • a multi-view video encoding method encodes a current block included in a frame of a first view in a first skip mode using a frame of a first view or a second using a frame of a second view. Determining whether to encode in a skip mode; And generating a bitstream by encoding an index indicating a skip mode determined for the current block.
  • a multi-view video decoding method includes decoding a coded index indicating a skip mode of a current block included in a frame of a first view; The method may include reconstructing the current block by extracting a prediction block of the current block from a frame at a second view according to the skip mode of the current block.
  • a multi-view video decoding method includes decoding a coded index indicating whether a current block included in a frame of a first view is encoded in a first skip mode or a second skip mode; And restoring a current block based on a skip mode of the current block determined according to the decoded index, wherein the first skip mode determines a prediction block of the current block in a frame at a first time point,
  • the two skip modes may determine the prediction block of the current block in the frame of the second view.
  • the coding efficiency according to the expansion of the skip mode may be improved.
  • FIG. 1 is a diagram for describing an operation of a multiview video encoding apparatus and a multiview video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a multiview video encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of a multi-view video decoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a structure of a multiview video according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a frame used to encode a current block according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a skip mode when encoding a current block according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a multiview video encoding method according to a first embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a multiview video encoding method according to a second embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a multiview video decoding method according to a first embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a multiview video decoding method according to a second embodiment of the present invention.
  • FIG. 1 is a diagram for describing an operation of a multiview video encoding apparatus and a multiview video encoding apparatus according to an embodiment of the present invention.
  • the multi-view video encoding apparatus 101 may effectively encode an image in consideration of redundancy between images photographed at a plurality of viewpoints.
  • the multiview video encoding apparatus 101 may encode the multiview video encoding method.
  • the multi-view video encoding method may encode an image in various encoding modes.
  • the skip mode transmits only the index 1 bit indicating the skip mode to the multi-view video decoding apparatus 102 without encoding the blocks constituting the image.
  • the encoding efficiency may be improved as the current block having the encoding mode is the skip mode when the image is encoded.
  • the direct mode is often distinguished from the skip mode according to whether a residual signal is encoded for the corresponding block, the skip mode in the present invention will be described including the direct mode.
  • the multi-view video encoding apparatus 101 may divide a skip mode into a first skip mode or a second skip mode.
  • the first skip mode is a method of encoding the current block by using a frame having the same time point as the frame of the current block to be encoded but having a different time.
  • the second skip mode is a method of encoding a current block using a frame that is different from a frame of a current block to be encoded, but having a time.
  • the first skip mode may be defined as an inter skip mode
  • the second skip mode may be defined as an inter view skip mode.
  • Embodiments of the present invention include all skip modes that perform the same operation without being limited to the above-described definition.
  • the frame mentioned in the embodiment of the present invention may be referred to as a reference image.
  • more current blocks may be encoded in a skip mode by considering not only a frame at the same time but also a frame at another time.
  • the multi-view video encoding apparatus 101 may encode the current block using the second skip mode.
  • the multi-view video encoding apparatus 101 determines whether it is more efficient to encode the current block in a first skip mode or a second skip mode, and then determine the skip mode determined. May be transmitted to the multi-view video decoding apparatus 102. Then, the multi-view video decoding apparatus 102 may decode the current block according to the transmitted skip mode.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a multiview video encoding apparatus according to an embodiment of the present invention.
  • the multiview video encoding apparatus 101 may include an encoding mode determiner and a bitstream generator 202.
  • the multi-view video encoding apparatus 101 may encode the current block according to an inter mode or an intra mode such as inter2Nx2N, inter2NxN, interNx2N, interNxN, intra2Nx2N, intraNxN, or the like.
  • the encoding according to the mode will be mainly described.
  • the currently defined encoding mode is not limited thereto, and another encoding mode may be added.
  • the encoding mode determiner 201 may determine whether to encode the current block included in the frame of the first view in the skip mode using the frame of the second view. That is, the multi-view video encoding apparatus 101 may determine whether to encode the current block according to the interview skip mode. Otherwise, the encoding mode determiner 201 may encode the current block included in the frame of the first view in an inter mode or an intra mode using the residual signal of the current block.
  • the multi-view video decoding apparatus 102 may determine a neighboring block that refers to the frame of the second view among the neighboring blocks adjacent to the current block included in the frame of the first view.
  • the disparity vector may be used to determine the predictive disparity vector of the current block.
  • the prediction disparity vector may be derived by applying a median filter to the disparity vector of each of the at least one neighboring block. Then, the multi-view video decoding apparatus 102 may reconstruct the current block by extracting the prediction block of the current block from the frame of the second view by using the prediction disparity vector and compensating the current block with the prediction block.
  • the multi-view video decoding apparatus 102 when the current block is encoded according to the skip mode, the multi-view video decoding apparatus 102 is the same position as the current block in a frame corresponding to a different time than the frame including the current block among the frames of the first view.
  • the predicted disparity vector of the current block may be determined using the disparity vector of the target block corresponding to.
  • the multi-view video decoding apparatus 102 may reconstruct the current block by extracting the prediction block of the current block from the frame of the first view by using the prediction disparity vector and compensating the current block with the prediction block.
  • the multi-view video decoding apparatus 102 may be adjacent to the current block at a frame corresponding to a different time than the frame including the current block among the frames of the first view.
  • the prediction disparity vector of the current block may be determined using the disparity vector of the target block corresponding to the same position as the neighboring blocks. Then, the multi-view video decoding apparatus 102 may reconstruct the current block by extracting the prediction block of the current block from the frame of the first view by using the prediction disparity vector and compensating the current block with the prediction block.
  • the bit stream generator 202 encodes an index indicating the skip mode to encode the bit stream. Can be generated. For example, since the index may be set to 1 when encoded according to the skip mode, and may be set to 0 unless encoded according to the skip mode, only 1 bit is required when encoding the index.
  • the skip mode since the skip mode does not transmit a residual signal between the current block and the prediction block of the current block, only the index related to the skip mode may be included in the bitstream.
  • the neighboring blocks adjacent to the current block may include at least one of a block adjacent to the left side of the current block, a block adjacent to the upper side of the current block, and a block adjacent to the upper left side of the current block.
  • the encoding mode determiner 201 encodes a current block included in a frame of a first view in a first skip mode using a frame of a first view or using a frame of a second view. Whether or not to encode in 2 skip modes may be determined. For example, the encoding mode determiner 201 may determine a skip mode having a small cost function among the cost functions of the encoding result according to the first skip mode and the second skip mode as the encoding mode for encoding the current block.
  • the first skip mode determines the predicted motion vector of the current block by using the motion vector of the neighboring block referring to the frame of the first view indicating a different time than the frame including the current block among the neighboring blocks adjacent to the current block.
  • an encoding mode for reconstructing the current block by using the predictive motion vector Since the second skip mode has been described in detail in the first embodiment, it will be omitted here.
  • the bitstream generator 202 may generate a bitstream by encoding an index indicating a skip mode determined for the current block.
  • FIG. 3 is a block diagram showing a detailed configuration of a multi-view video decoding apparatus according to an embodiment of the present invention.
  • the multi-view video decoding apparatus 101 may include an index decoder 301 and a block reconstruction unit 302.
  • the multi-view video decoding apparatus 102 according to two embodiments will be described.
  • the index decoder 301 may decode the encoded index indicating the skip mode of the current block included in the frame of the first view.
  • the encoded index may be transmitted through a bitstream generated by the multiview video encoding apparatus 101 and then derived from the bitstream through a demultiplexing process.
  • the block reconstruction unit 302 may reconstruct the current block by extracting the prediction block of the current block from the frame at the second time point according to the skip mode of the current block. For example, the block reconstruction unit 302 may determine the prediction disparity vector of the current block by using the disparity vector of the neighboring block referring to the frame of the second view among the neighboring blocks adjacent to the current block. The block reconstruction unit 302 may determine the prediction block of the current block in the frame of the second view by using the prediction disparity vector. Then, the block reconstruction unit 302 may reconstruct the current block by compensating the current block by using the prediction block.
  • the block reconstruction unit 302 may perform a disparity vector of a target block corresponding to the same position as neighboring blocks adjacent to the current block in a frame corresponding to a different time than the frame including the current block among the frames of the first view. May be used to determine the predictive disparity vector of the current block.
  • the block reconstruction unit 302 may determine the prediction block of the current block in the frame of the second view by using the prediction disparity vector.
  • the index decoder 301 may decode the encoded index indicating whether the current block included in the frame at the first time point is encoded in the first skip mode or the second skip mode.
  • the first skip mode is an encoding mode for determining a prediction block of the current block in a frame of the first view that is the same view as the frame including the current block.
  • the second skip mode is an encoding mode for determining a prediction block of the current block in a frame at a second view that is different from the frame including the current block.
  • the block reconstruction unit 302 may refer to a frame of a first view indicating a time different from a frame including the current block among neighboring blocks adjacent to the current block.
  • the predicted motion vector of the current block may be determined using the motion vector of the neighboring block.
  • the block reconstruction unit 302 may reconstruct the current block by determining the prediction block of the current block in the frame of the first view by using the prediction motion vector and compensating the current block by using the prediction block.
  • the block reconstruction unit 302 uses the disparity vector of the neighboring block referring to the frame of the second view among the neighboring blocks adjacent to the current block to determine the current block.
  • the prediction disparity vector can be determined.
  • the block reconstruction unit 302 may reconstruct the current block by determining the prediction block of the current block by using the prediction disparity vector and compensating the current block by using the prediction block.
  • the block reconstructor 302 may perform a frame of a first view indicating a different time from a frame including the current block among the frames of the first view.
  • a prediction disparity vector of the current block may be determined using the disparity vector of the target block corresponding to the same position as the current block.
  • the block reconstruction unit 302 may reconstruct the current block by determining the prediction block of the current block by using the prediction disparity vector and compensating the current block by using the prediction block.
  • FIG. 4 is a diagram illustrating a structure of a multiview video according to an embodiment of the present invention.
  • a multi-view video encoding method of encoding GOP (Group of Picture) '8' is shown.
  • a hierarchical B picture is basically applied to a temporal axis and a view axis, thereby reducing redundancy between images.
  • a left picture is first encoded, and then a right picture and a center picture are sequentially encoded.
  • the left image may be encoded in such a manner that temporal redundancy is removed by searching for similar regions from previous images through motion estimation.
  • the right image since the right image is encoded by using the previously encoded left image as a reference image, the right image may be encoded in such a manner that temporal redundancy based on motion estimation and view redundancy based on disparity estimation are removed. have.
  • an image encoded without using a reference image of another view may be encoded by predicting and encoding a reference image of another view in one direction, such as an I-View and a right image.
  • An image that is predicted and encoded in both directions, such as a P-View and a center image, is defined as a B-View.
  • FIG. 5 is a diagram illustrating an example of a frame used to encode a current block according to an embodiment of the present invention.
  • the multi-view video encoding method searches a prediction block most similar to the current block among neighboring images adjacent to the current image 501 including the current block, and then calculates a residual value between the current block and the prediction block.
  • the skip mode among the various encoding modes has high encoding efficiency since the encoding information of the current block is not transmitted to the multi-view video decoding apparatus 102.
  • the skip mode according to an embodiment of the present invention is the same as the first skip mode using the frame 1 502 and the frame 2 503 at the same time or different time with respect to the current frame 501 including the current block. It may be divided into a second skip mode using the frame 3 504 and the frame 4 504 which are different time points or the same time.
  • the multi-view video encoding apparatus 101 may encode the current block in the first skip mode.
  • the multiview video encoding apparatus 101 may encode the current block in the second skip mode.
  • the multiview video encoding apparatus 101 may encode the current block according to a skip mode having excellent encoding performance among the first skip mode and the second skip mode.
  • the multi-view video encoding apparatus 101 may determine a coding performance by calculating a cost function with respect to a result of encoding according to the first skip mode and the second skip mode.
  • the cost function may be calculated by Rate-Distortion according to Equation (1).
  • the sum of square difference is a value obtained by squaring the difference between the current block S and the prediction block r
  • ⁇ is a Lagrangian coefficient
  • R means the number of bits required when encoding in the first skip mode or the second skip mode.
  • the multiview video decoding apparatus 102 is based on a motion vector (MV) of neighboring blocks using a frame of the same view among neighboring blocks adjacent to the current block.
  • the prediction motion vector (PMV) of the current block may be determined.
  • the multi-view video decoding apparatus 102 may determine the predicted motion vector by using a median filter on the motion vectors of the neighboring blocks. Thereafter, the multi-view video decoding apparatus 102 may determine the prediction block of the current block at the same frame as the frame including the current block to reconstruct the current block based on the prediction motion vector.
  • the multiview video decoding apparatus 102 is based on a disparity vector (DV) of neighboring blocks using a frame of another viewpoint among neighboring blocks adjacent to the current block.
  • the prediction disparity vector (PDV) of the current block may be determined.
  • the multi-view video decoding apparatus 102 may extract the predictive disparity vector by using a median filter on the disparity vector of the neighboring blocks.
  • the multiview video encoding apparatus 101 may determine the prediction block of the current block in a frame different from the frame including the current block to reconstruct the current block based on the prediction disparity vector.
  • the multi-view video decoding apparatus 101 may reconstruct the current block based on the prediction block derived according to the first skip mode or the prediction block derived according to the second skip mode.
  • FIG. 6 is a diagram for explaining a skip mode when encoding a current block according to an embodiment of the present invention.
  • Two skip modes may be applied to encode the current block included in the frame 601.
  • a first skip mode is performed in which a prediction block is extracted from a frame 603 at the same time as the frame 601 to compensate for the current block.
  • the second skip mode compensates the current block by extracting the prediction block from the frame 602 at a different time point than the frame 601.
  • the first skip mode generates a predictive motion vector by applying a median filter to the motion vectors of the neighboring blocks b1 to b5 of the current block, and determines the predictive block in the frame 603 using the predictive motion vector. That's the way it is.
  • the second skip mode generates a predictive disparity vector by applying a median filter to the disparity vectors of neighboring blocks b1 to b5 adjacent to the current block, and determines the predictive block in the frame 602 using the predictive disparity vector. That's the way it is.
  • the second skip mode generates a prediction disparity vector using the disparity vector of the target block of the frame 603 at the same position as the current block, and determines the prediction block in the frame 602 using the prediction disparity vector. That's the way.
  • the second skip mode generates a predictive disparity vector by applying a median filter to the disparity vector of the neighboring block adjacent to the target block of the frame 603 located at the same position as the current block, and generates a frame using the predictive disparity vector In 602, a prediction block is determined.
  • the highest priority may be given to the disparity vector indicating the prediction block most similar to the current block among the predicted disparity vectors.
  • FIG. 7 is a flowchart illustrating a multiview video encoding method according to a first embodiment of the present invention.
  • the multiview video encoding apparatus 101 may determine whether to encode a current block included in a frame of a first view in a skip mode using a frame of a second view.
  • a prediction disparity vector of the current block is determined using the disparity vector of the neighboring block referring to the frame of the second view among neighboring blocks adjacent to the current block, and the current block is reconstructed using the predictive disparity vector.
  • the skip mode may determine the prediction disparity vector of the current block by using the disparity vector of the target block corresponding to the same position as the current block in a frame that is different from the frame including the current block among the frames of the first view.
  • a coding mode for reconstructing the current block by using the prediction disparity vector may be determined by using the prediction disparity vector.
  • the skip mode may be performed by using the disparity vector of the target block corresponding to the same position as the neighboring blocks adjacent to the current block in a frame at a different time than the frame including the current block among the frames of the first view.
  • a coding mode for determining a prediction disparity vector and reconstructing a current block by using the prediction disparity vector may be performed by using the disparity vector of the target block corresponding to the same position as the neighboring blocks adjacent to the current block in a frame at a different time than the frame including the current block among the frames of the first view.
  • the multiview video encoding apparatus 101 may generate a bitstream by encoding an index indicating a skip mode.
  • FIG. 8 is a flowchart illustrating a multiview video encoding method according to a second embodiment of the present invention.
  • the multi-view video encoding apparatus 101 encodes the current block included in the frame of the first view in a first skip mode using the frame of the first view or uses the frame of the second view. Whether or not to encode in 2 skip modes may be determined. For example, the multi-view video encoding apparatus 101 may determine a skip mode having a small cost function among the cost functions of the result of encoding the first skip mode and the second skip mode as the encoding mode for encoding the current block. .
  • the predicted motion vector of the current block is obtained by using the motion vector of the neighboring block that refers to the frame of the first view indicating a different time than the frame including the current block among the neighboring blocks adjacent to the current block. It means the encoding mode that determines and reconstructs the current block by using the predicted motion vector.
  • the second skip mode determines a prediction disparity vector of the current block by using the disparity vector of the neighboring block referring to the frame of the second view among neighboring blocks adjacent to the current block, and uses the prediction disparity vector to determine the current block. It means the reconstruction mode.
  • the second skip mode uses the disparity vector of the target block corresponding to the same position as the current block in the frame of the first view indicating a different time than the frame including the current block among the frames of the first view.
  • a coding mode for determining a prediction disparity vector and reconstructing a current block by using the prediction disparity vector uses the prediction disparity vector.
  • the multiview video encoding apparatus 101 may generate a bitstream by encoding an index indicating a skip mode determined for the current block.
  • FIG. 9 is a flowchart illustrating a multiview video decoding method according to a first embodiment of the present invention.
  • the multiview video decoding apparatus 102 may decode an encoded index indicating a skip mode of a current block included in a frame of a first view.
  • the skip mode mentioned in FIG. 9 has already been described in detail with reference to FIG. 7.
  • the multiview video decoding apparatus 103 may reconstruct a current block by extracting a prediction block of a current block from a frame of a second view according to a skip mode of the current block.
  • FIG. 10 is a flowchart illustrating a multiview video decoding method according to a second embodiment of the present invention.
  • the multiview video decoding apparatus 102 may decode an encoded index indicating whether a current block included in a frame of a first view is encoded in a first skip mode or a second skip mode. .
  • the skip mode mentioned in FIG. 10 has already been described in detail with reference to FIG. 8.
  • the multiview video decoding apparatus 102 may reconstruct the current block based on the skip mode of the current block determined according to the decoded index.
  • Methods according to an embodiment of the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 비디오 부호화/복호화 장치 및 방법이 개시된다. 다시점 비디오 부호화 장치는 부호화하고자 하는 제1 시점의 프레임에 속한 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드에 따라 부호화함으로써 부호화 효율을 향상시킬 수 있다.

Description

다시점 비디오 부호화/복호화 장치 및 방법
본 발명의 일실시예들은 다시점 비디오 부호화/복호화 장치 및 방법에 관한 것으로, 현재 블록에 대해 동일 시점의 프레임을 이용하는 스킵 모드 또는 다른 시점의 프레임을 이용하는 스킵 모드에 따라 입력 영상을 부호화/복호화하는 장치 및 방법에 관한 것이다.
입체 영상은 깊이 및 공간의 정보를 동시에 제공하는 3차원 영상을 의미한다. 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오 영상과 달리 입체 영상은 관찰자의 시점에 따라 각기 다른 영상을 제공한다. 결국, 입체 영상은 관찰자의 시점에서 촬영한 복수의 영상들로 구성된다.
복수의 시점에서 촬영한 영상들을 많은 데이터량을 가진다. 이와 같이 복수의 시점에서 촬영한 영상들을 MPEG-2, H.264/AVC, HEVC와 같은 단일 시점 비디오 부호화 방식으로 부호화하면 네트워크 인프라, 지상파 대역폭 면에서 실현이 불가능하다.
그래서, 복수의 시점에서 촬영한 영상들을 다시점 비디오 부호화 방식에 따라 부호화하는 것이 필요하다. 그러나, 여전히 네트워크 인프라와 지상파 대역폭은 한정되어 있기 때문에, 다시점 비디오 압축 방식을 보다 효율적으로 개선하는 것이 요구된다.
본 발명의 일실시예에 따른 다시점 비디오 부호화 장치는 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드로 부호화할 지 여부를 결정하는 부호화 모드 결정부; 및 상기 현재 블록을 스킵 모드에 따라 부호화하는 경우, 상기 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 비트스트림 생성부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 다시점 비디오 부호화 장치는 제1 시점의 프레임에 포함된 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드로 부호화할 지 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드로 부호화할 지 여부를 결정하는 부호화 모드 결정부; 및 상기 현재 블록에 대해 결정된 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 비트스트림 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 다시점 비디오 복호화 장치는 제1 시점의 프레임에 포함된 현재 블록의 스킵 모드를 나타내는 부호화된 인덱스를 복호화하는 인덱스 복호화부; 및 상기 현재 블록의 스킵 모드에 따라 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하여 상기 현재 블록을 복원하는 블록 복원부를 포함할 수 있다.
본 발명의 다른 실시예에 따른 다시점 비디오 복호화 장치는 제1 시점의 프레임에 포함된 현재 블록이 제1 스킵 모드 또는 제2 스킵 모드로 부호화되었는 지 여부를 나타내는 부호화된 인덱스를 복호화하는 인덱스 복호화부; 및 상기 복호화된 인덱스에 따라 결정된 현재 블록의 스킵 모드에 기초하여 현재 블록을 복원하는 블록 복원부를 포함하고, 상기 제1 스킵 모드는, 제1 시점의 프레임에서 현재 블록의 예측 블록을 결정하고, 상기 제2 스킵 모드는, 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정할 수 있다.
본 발명의 일실시예에 따른 다시점 비디오 부호화 방법은 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드로 부호화할 지 여부를 결정하는 단계; 및 상기 현재 블록을 스킵 모드에 따라 부호화하는 경우, 상기 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 다시점 비디오 부호화 방법은 제1 시점의 프레임에 포함된 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드로 부호화할 지 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드로 부호화할 지 여부를 결정하는 단계; 및 상기 현재 블록에 대해 결정된 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 다시점 비디오 복호화 방법은 제1 시점의 프레임에 포함된 현재 블록의 스킵 모드를 나타내는 부호화된 인덱스를 복호화하는 단계; 상기 현재 블록의 스킵 모드에 따라 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하여 상기 현재 블록을 복원하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 다시점 비디오 복호화 방법은 제1 시점의 프레임에 포함된 현재 블록이 제1 스킵 모드 또는 제2 스킵 모드로 부호화되었는 지 여부를 나타내는 부호화된 인덱스를 복호화하는 단계; 및 상기 복호화된 인덱스에 따라 결정된 현재 블록의 스킵 모드에 기초하여 현재 블록을 복원하는 단계를 포함하고, 상기 제1 스킵 모드는, 제1 시점의 프레임에서 현재 블록의 예측 블록을 결정하고, 상기 제2 스킵 모드는, 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정할 수 있다.
본 발명의 일실시예에 따르면, 동일 시점의 프레임에 기초한 스킵 모드뿐만 아니라 다른 시점의 프레임에 기초한 스킵 모드에 따라 현재 블록을 부호화함으로써, 스킵 모드의 확장에 따른 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 다시점 비디오 부호화 장치와 다시점 비디오 부호화 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 다시점 비디오 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 다시점 비디오 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 현재 블록을 부호화하기 위해 사용되는 프레임의 예시를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 현재 블록을 부호화할 때의 스킵 모드를 설명하기 위한 도면이다.
도 7은 본 발명의 제1 일실시예에 따른 다시점 비디오 부호화 방법을 도시한 플로우차트이다.
도 8은 본 발명의 제2 일실시예에 따른 다시점 비디오 부호화 방법을 도시한 플로우차트이다.
도 9는 본 발명의 제1 일실시예에 따른 다시점 비디오 복호화 방법을 도시한 플로우차트이다.
도 10은 본 발명의 제2 일실시예에 따른 다시점 비디오 복호화 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다시점 비디오 부호화 장치와 다시점 비디오 부호화 장치의 동작을 설명하기 위한 도면이다.
다시점 비디오 부호화 장치(101)는 복수의 시점에서 촬영한 영상들 간의 중복성을 고려하여 영상을 효과적으로 부호화할 수 있다. 구체적으로, 다시점 비디오 부호화 장치(101)는 다시점 비디오 부호화 방식에 따라 부호화할 수 있다. 이 때, 다시점 비디오 부호화 방식은 여러 가지 부호화 모드로 영상을 부호화할 수 있다. 여러 가지 모드들 중 스킵 모드는 영상을 구성하는 블록들을 부호화하지 않고 다시점 비디오 복호화 장치(102)에 스킵 모드를 나타내는 인덱스 1비트만 전송하기 때문에 부호화 효율이 높다. 결국, 영상을 부호화할 때 부호화 모드가 스킵 모드인 현재 블록이 많을수록 부호화 효율은 향상될 수 있다. 다이렉트 모드는 해당 블록에 대한 잔여 신호 부호화 여부에 따라 흔히 스킵 모드와 구별되기도 하지만 본 발명에서의 스킵 모드는 다이렉트 모드를 포함하여 설명한다.
이를 위해, 다시점 비디오 부호화 장치(101)는 스킵 모드를 제1 스킵 모드 또는 제2 스킵 모드로 구분할 수 있다. 이 때, 제1 스킵 모드는 부호화하고자 하는 현재 블록의 프레임과 동일 시점이지만 시간이 다른 프레임을 이용하여 현재 블록을 부호화하는 방식이다. 그리고, 제2 스킵 모드는 부호화하고자 하는 현재 블록의 프레임과 다른 시점이지만 시간은 동일한 프레임을 이용하여 현재 블록을 부호화하는 방식이다. 여기서, 제1 스킵 모드는 인터 스킵 모드(Inter Skip Mode)로 정의될 수 있고, 제2 스킵 모드는 인터뷰 스킵 모드(Inter View Skip Mode)로 정의될 수 있다. 본 발명의 일실시예들은 상기 예시된 정의에 한정되지 않고 동일한 동작을 하는 스킵 모드를 모두 포함한다. 그리고, 본 발명의 실시예에서 언급되는 프레임은 참조 영상으로 지칭될 수 있다.
결국, 본 발명의 일실시예에 따르면, 동일 시점의 프레임뿐만 아니라 다른 시점의 프레임까지 고려함으로써 보다 많은 현재 블록이 스킵 모드로 부호화될 수 있다.
본 발명의 일실시예에 따른, 다시점 비디오 부호화 장치(101)는 현재 블록을 제2 스킵 모드를 이용하여 부호화할 수 있다. 또는, 본 발명의 다른 실시예에 따른 다시점 비디오 부호화 장치(101)는 현재 블록을 제1 스킵 모드 또는 제2 스킵 모드 중 어떤 스킵 모드로 부호화하는 것이 더 효율적인지 여부를 결정한 후, 결정된 스킵 모드를 다시점 비디오 복호화 장치(102)에 전송할 수 있다. 그러면, 다시점 비디오 복호화 장치(102)는 전송된 스킵 모드에 따라 현재 블록을 복호화할 수 있다.
도 2는 본 발명의 일실시예에 따른 다시점 비디오 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 2를 참고하면, 다시점 비디오 부호화 장치(101)는 부호화 모드 결정부, 및 비트스트림 생성부(202)를 포함할 수 있다. 이하에서는, 2가지의 실시예에 따른 다시점 비디오 부호화 장치(101)를 설명하기로 한다. 특히, 다시점 비디오 부호화 장치(101)는 현재 블록을 인터2Nx2N, 인터2NxN, 인터Nx2N, 인터NxN, 인트라2Nx2N, 인트라NxN 등 인터 모드 또는 인트라 모드에 따라 부호화할 수도 있으나, 이하에서는 현재 블록을 스킵 모드에 따라 부호화하는 것을 위주로 설명하기로 한다. 현재 정의되어 있는 부호화 모드는 이에 한정되지 않고, 다른 방식의 부호화 모드가 추가될 수도 있다.
<제1 실시예>
부호화 모드 결정부(201)는 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드로 부호화할 지 여부를 결정할 수 있다. 즉, 다시점 비디오 부호화 장치(101)는 인터뷰 스킵 모드에 따라 현재 블록을 부호화할 지 여부를 결정할 수 있다. 그렇지 않는다면, 부호화 모드 결정부(201)는 제1 시점의 프레임에 포함된 현재 블록을 현재 블록의 잔차 신호를 이용하는 인터 모드 또는 인트라 모드로 부호화할 수 있다.
일례로, 현재 블록이 스킵 모드에 따라 부호화되는 경우, 다시점 비디오 복호화 장치(102)는 제1 시점의 프레임에 포함된 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 이 때, 예측 변이 벡터는 적어도 하나의 주변 블록들 각각의 변이 벡터에 미디언 필터를 적용하여 도출될 수 있다. 그러면, 다시점 비디오 복호화 장치(102)는 예측 변이 벡터를 이용하여 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하고, 예측 블록으로 현재 블록을 보상하여 현재 블록을 복원할 수 있다.
다른 일례로, 현재 블록이 스킵 모드에 따라 부호화되는 경우, 다시점 비디오 복호화 장치(102)는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 그러면, 다시점 비디오 복호화 장치(102)는 예측 변이 벡터를 이용하여 제1 시점의 프레임에서 현재 블록의 예측 블록을 추출하고, 예측 블록으로 현재 블록을 보상하여 현재 블록을 복원할 수 있다.
또 다른 일례로, 현재 블록이 스킵 모드에 따라 부호화되는 경우, 다시점 비디오 복호화 장치(102)는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 현재 블록에 인접한 주변 블록들과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 그러면, 다시점 비디오 복호화 장치(102)는 예측 변이 벡터를 이용하여 제1 시점의 프레임에서 현재 블록의 예측 블록을 추출하고, 예측 블록으로 현재 블록을 보상하여 현재 블록을 복원할 수 있다.
만약, 현재 블록을 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드에 따라 부호화하는 경우, 비트 스트림 생성부(202)는 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성할 수 있다. 예를 들어, 인덱스는 스킵 모드에 따라 부호화하면 1이고, 스킵 모드에 따라 부호화하지 않으면 0으로 설정될 수 있으므로, 실질적으로 인덱스를 부호화할 때는 1비트만 필요하다.
그리고, 인터 모드와 인트라 모드와는 달리, 스킵 모드는 현재 블록과 현재 블록의 예측 블록 간의 잔차 신호를 전송하지 않기 때문에, 비트스트림에는 스킵 모드와 관련된 인덱스만 포함될 수 있다.
그리고, 현재 블록에 인접한 주변 블록들은 현재 블록의 좌측에 인접한 블록, 현재 블록의 상측에 인접한 블록, 현재 블록의 좌측 상단에 인접한 블록 중 적어도 하나를 포함할 수 있다.
<제2 실시예>
제1 실시예와 다르게, 부호화 모드 결정부(201)는 제1 시점의 프레임에 포함된 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드로 부호화할 지 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드로 부호화할 지 여부를 결정할 수 있다. 일례로, 부호화 모드 결정부(201)는 제1 스킵 모드와 제2 스킵 모드에 따라 부호화한 결과의 비용 함수 중 작은 비용 함수를 가지는 스킵 모드를 현재 블록을 부호화하기 위한 부호화 모드로 결정할 수 있다.
여기서, 제1 스킵 모드는 현재 블록에 인접한 주변 블록들 중 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임을 참조하는 주변 블록의 움직임 벡터를 이용하여 현재 블록의 예측 움직임 벡터를 결정하고, 예측 움직임 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다. 제2 스킵 모드는 제1 실시예에서 구체적으로 설명하였으므로, 여기서는 생략하기로 한다.
그러면, 비트스트림 생성부(202)는 현재 블록에 대해 결정된 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 다시점 비디오 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3을 참고하면, 다시점 비디오 복호화 장치(101)는 인덱스 복호화부(301), 및 블록 복원부(302)를 포함할 수 있다. 이하에서는, 2가지의 실시예에 따른 다시점 비디오 복호화 장치(102)를 설명하기로 한다.
<제1 실시예>
인덱스 복호화부(301)는 제1 시점의 프레임에 포함된 현재 블록의 스킵 모드를 나타내는 부호화된 인덱스를 복호화할 수 있다. 이 때, 부호화된 인덱스는 다시점 비디오 부호화 장치(101)가 생성한 비트스트림을 통해 전송된 후, 역다중화 과정을 통해 비트스트림으로부터 도출될 수 있다.
블록 복원부(302)는 현재 블록의 스킵 모드에 따라 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하여 현재 블록을 복원할 수 있다. 일례로, 블록 복원부(302)는 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 그리고, 블록 복원부(302)는 예측 변이 벡터를 이용하여 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정할 수 있다. 그러면, 블록 복원부(302)는 예측 블록을 이용하여 현재 블록을 보상함으로써 현재 블록을 복원할 수 있다.
다른 일례로, 블록 복원부(302)는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 현재 블록에 인접한 주변 블록들과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 그리고, 그리고, 블록 복원부(302)는 예측 변이 벡터를 이용하여 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정할 수 있다.
<제2 실시예>
제1 실시예와 달리, 인덱스 복호화부(301)는 제1 시점의 프레임에 포함된 현재 블록이 제1 스킵 모드 또는 제2 스킵 모드로 부호화되었는 지 여부를 나타내는 부호화된 인덱스를 복호화할 수 있다. 여기서, 제1 스킵 모드는 현재 블록을 포함하는 프레임과 동일한 시점인 제1 시점의 프레임에서 현재 블록의 예측 블록을 결정하는 부호화 모드이다. 그리고, 제2 스킵 모드는 현재 블록을 포함하는 프레임과 다른 시점인 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정하는 부호화 모드이다.
일례로, 현재 블록이 제1 스킵 모드로 부호화된 경우, 블록 복원부(302)는 현재 블록에 인접한 주변 블록들 중 상기 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임을 참조하는 주변 블록의 움직임 벡터를 이용하여 상기 현재 블록의 예측 움직임 벡터를 결정할 수 있다. 그러면, 블록 복원부(302)는 예측 움직임 벡터를 이용하여 제1 시점의 프레임에서 현재 블록의 예측 블록을 결정하고, 예측 블록을 이용하여 현재 블록을 보상함으로써 현재 블록을 복원할 수 있다.
다른 일례로, 현재 블록이 제2 스킵 모드로 부호화된 경우, 블록 복원부(302)는 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 그러면, 블록 복원부(302)는 예측 변이 벡터를 이용하여 현재 블록의 예측 블록을 결정하고, 예측 블록을 이용하여 현재 블록을 보상함으로써 현재 블록을 복원할 수 있다.
또 다른 일례로, 현재 블록이 현재 블록이 제2 스킵 모드로 부호화된 경우, 블록 복원부(302)는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임에서 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정할 수 있다. 그러면, 블록 복원부(302)는 예측 변이 벡터를 이용하여 현재 블록의 예측 블록을 결정하고, 예측 블록을 이용하여 현재 블록을 보상함으로써 현재 블록을 복원할 수 있다.
도 4는 본 발명의 일실시예에 따른 다시점 비디오의 구조를 도시한 도면이다.
도 4를 참고하면, 3개 시점(Left, Center, Right)의 영상을 입력받았을 때, GOP(Group of Picture) '8'로 부호화하는 다시점 비디오 부호화 방식을 나타낸다. 다시점(Multi-view) 영상을 부호화기 위해서는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 영상(Hierarchical B Picture)을 적용하기 때문에 영상 간의 중복성(Redundancy)을 줄일 수 있다.
도 1에 도시된 다시점 비디오의 구조는 3개 시점의 영상을 부호화할 때, 좌측 영상(Left Picture)이 먼저 부호화된 후 우측 영상(Right Picture)과 중앙 영상(Center Picture)이 차례대로 부호화될 수 있다. 이 때, 좌측 영상은 움직임 추정(Motion Estimation)을 통해 이전 영상들로부터 비슷한 영역을 검색함으로써 시간적 중복성(Temporal Redundancy)이 제거되는 방식으로 부호화될 수 있다. 그리고, 우측 영상은 이미 부호화된 좌측 영상을 참조 영상으로 사용하여 부호화되기 때문에, 움직임 추정에 기초한 시간적 중복성과 변이 추정(Disparity Estimation)에 기초한 시점 간 중복성(View Redundancy)이 제거되는 방식으로 부호화될 수 있다.
중앙 영상은 이미 부호화된 좌측 영상과 우측 영상을 모두 참조 영상으로 이용하여 부호화되기 때문에, 양방향으로의 변이 추정에 따라 시점 간 중복성이 제거될 수 있다.
도 1을 참고하면, 다시점 비디오 부호화 방식에서, 좌측 영상과 같이 다른 시점의 참조 영상을 이용하지 않고 부호화되는 영상은 I-View, 우측 영상과 같이 다른 시점의 참조 영상을 단방향으로 예측하여 부호화하는 영상은 P-View, 중앙 영상과 같이 좌우 시점의 참조 영상을 양방향으로 예측하여 부호화하는 영상은 B-View이라고 정의된다.
도 5는 본 발명의 일실시예에 따른 현재 블록을 부호화하기 위해 사용되는 프레임의 예시를 도시한 도면이다.
일반적으로, 다시점 비디오 부호화 방식은 현재 블록을 포함하는 현재 영상(501)에 인접하는 주변 영상들 중에서 현재 블록과 가장 유사한 예측 블록을 검색한 후, 현재 블록과 예측 블록 간의 잔차값(residue)을 부호화한다. 그러나, 여러 가지 부호화 모드들 중 스킵 모드(Skip Mode)는 다시점 비디오 복호화 장치(102)에 현재 블록의 부호화 정보를 전송하지 않기 때문에 부호화 효율이 높다. 이 때, 본 발명의 일실시예에 따른 스킵 모드는 현재 블록을 포함하는 현재 프레임(501)에 대해 동일 시점이나 다른 시간인 프레임 1(502)와 프레임 2(503)를 이용하는 제1 스킵 모드와 다른 시점이나 같은 시간인 프레임 3(504)와 프레임 4(504)를 이용하는 제2 스킵 모드로 구분될 수 있다.
본 발명의 일실시예에 따른 다시점 비디오 부호화 장치(101)는 현재 블록을 제1 스킵 모드로 부호화할 수 있다. 또는, 다시점 비디오 부호화 장치(101)는 현재 블록을 제2 스킵 모드로 부호화할 수 있다. 그리고, 다시점 비디오 부호화 장치(101)는 제1 스킵 모드와 제2 스킵 모드 중 부호화 성능이 우수한 스킵 모드에 따라 현재 블록을 부호화할 수 있다. 이 때, 다시점 비디오 부호화 장치(101)는 제1 스킵 모드 및 제2 스킵 모드에 따라 부호화한 결과에 대해 비용 함수를 계산하여 부호화 성능을 판단할 수 있다. 이 때, 비용 함수는 수학식 1에 따라 율-왜곡(Rate-Distortion) 으로 계산될 수 있다.
Figure PCTKR2011009559-appb-I000001
여기서, SSD(Sum of Square Difference)는 현재 블록 S와 예측 블록 r의 차분값을 제곱한 값이고, λ은 라그랑지안 계수이다. R은 제1 스킵 모드 또는 제2 스킵 모드로 부호화했을 때 필요한 비트수를 의미한다.
제1 스킵 모드로 현재 블록이 부호화된 경우, 다시점 비디오 복호화 장치(102)는 현재 블록에 인접하는 주변 블록들 중 동일 시점의 프레임을 사용하는 주변 블록들의 움직임 벡터(Motion Vector: MV)에 기초하여 현재 블록의 예측 움직임 벡터(Prediction Motion Vector: PMV)를 결정할 수 있다. 이 때, 다시점 비디오 복호화 장치(102)는 주변 블록들의 움직임 벡터에 미디언 필터를 이용하여 예측 움직임 벡터를 결정할 수 있다. 그런 후, 다시점 비디오 복호화 장치(102)는 예측 움직임 벡터에 기초하여 현재 블록을 복원하기 위해 현재 블록이 포함된 프레임과 동일한 시점의 프레임에서 현재 블록의 예측 블록을 결정할 수 있다.
제2 스킵 모드로 현재 블록이 부호화된 경우, 다시점 비디오 복호화 장치(102)는 현재 블록에 인접하는 주변 블록들 중 다른 시점의 프레임을 사용하는 주변 블록들의 변이 벡터(Disparity Vector: DV)에 기초하여 현재 블록의 예측 변이 벡터(Prediction Disparity Vector: PDV)를 결정할 수 있다. 이 때, 다시점 비디오 복호화 장치(102)는 주변 블록들의 변이 벡터에 미디언 필터를 이용하여 예측 변이 벡터를 추출할 수 있다. 그리고, 다시점 비디오 부호화 장치(101)는 예측 변이 벡터에 기초하여 현재 블록을 복원하기 위해 현재 블록이 포함된 프레임과 다른 시점의 프레임에서 현재 블록의 예측 블록을 결정할 수 있다.
그러면, 다시점 비디오 복호화 장치(101)는 제1 스킵 모드에 따라 도출된 예측 블록 또는 제2 스킵 모드에 따라 도출된 예측 블록에 기초하여 현재 블록을 복원할 수 있다.
도 6은 본 발명의 일실시예에 따라 현재 블록을 부호화할 때의 스킵 모드를 설명하기 위한 도면이다.
프레임(601)에 포함된 현재 블록을 부호화하기 위해 2가지의 스킵 모드가 적용될 수 있다. 첫째로, 프레임(601)과 동일한 시점의 프레임(603)에서 예측 블록을 추출하여 현재 블록을 보상하는 제1 스킵 모드이다. 둘째로, 프레임(601)과 다른 시점의 프레임(602)에서 예측 블록을 추출하여 현재 블록을 보상하는 제2 스킵 모드이다.
이 때, 제1 스킵 모드는 현재 블록의 주변 블록(b1~b5)의 움직임 벡터에 미디언 필터를 적용하여 예측 움직임 벡터를 생성하고, 예측 움직임 벡터를 이용하여 프레임(603)에서 예측 블록을 결정하는 방식이다.
그리고, 제2 스킵 모드는 현재 블록에 인접한 주변 블록(b1~b5)의 변이 벡터에 미디언 필터를 적용하여 예측 변이 벡터를 생성하고, 예측 변이 벡터를 이용하여 프레임(602)에서 예측 블록을 결정하는 방식이다. 또한, 제2 스킵 모드는 현재 블록과 동일한 위치에 있는 프레임(603)의 타겟 블록의 변이 벡터를 이용하여 예측 변이 벡터를 생성하고, 예측 변이 벡터를 이용하여 프레임(602)에서 예측 블록을 결정하는 방식이다. 또는, 제2 스킵 모드는 현재 블록과 동일한 위치에 있는 프레임(603)의 타겟 블록에 인접한 주변 블록의 변이 벡터에 미디언 필터를 적용하여 예측 변이 벡터를 생성하고, 예측 변이 벡터를 이용하여 프레임(602)에서 예측 블록을 결정하는 방식이다.
앞서 제2 스킵 모드에 대해 3가지 예를 들었는데, 이를 통해 도출된 예측 변이 벡터 중 현재 블록과 가장 유사한 예측 블록을 가리키는 변이 벡터에 가장 높은 우선 순위가 부여될 수 있다.
도 7은 본 발명의 제1 일실시예에 따른 다시점 비디오 부호화 방법을 도시한 플로우차트이다.
단계(S701)에서, 다시점 비디오 부호화 장치(101)는 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드로 부호화할 지 여부를 결정할 수 있다.
여기서, 스킵 모드는, 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정하고, 예측 변이 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다.
또는 스킵 모드는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정하고, 예측 변이 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다.
또는, 스킵 모드는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 현재 블록에 인접한 주변 블록들과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정하고, 예측 변이 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다.
단계(S702)에서, 다시점 비디오 부호화 장치(101)는 현재 블록을 스킵 모드에 따라 부호화하는 경우, 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성할 수 있다.
도 8은 본 발명의 제2 일실시예에 따른 다시점 비디오 부호화 방법을 도시한 플로우차트이다.
단계(S801)에서, 다시점 비디오 부호화 장치(101)는 제1 시점의 프레임에 포함된 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드로 부호화할 지 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드로 부호화할 지 여부를 결정할 수 있다. 일례로, 다시점 비디오 부호화 장치(101)는 제1 스킵 모드와 제2 스킵 모드에 따라 부호화한 결과의 비용 함수 중 작은 비용 함수를 가지는 스킵 모드를 현재 블록을 부호화하기 위한 부호화 모드로 결정할 수 있다.
여기서, 제1 스킵 모드는, 현재 블록에 인접한 주변 블록들 중 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임을 참조하는 주변 블록의 움직임 벡터를 이용하여 현재 블록의 예측 움직임 벡터를 결정하고, 예측 움직임 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다.
그리고, 제2 스킵 모드는 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정하고, 예측 변이 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다.
또한, 제2 스킵 모드는 제1 시점의 프레임들 중 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임에서 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 현재 블록의 예측 변이 벡터를 결정하고, 예측 변이 벡터를 이용하여 현재 블록을 복원하는 부호화 모드를 의미한다.
단계(S802)에서, 다시점 비디오 부호화 장치(101)는 현재 블록에 대해 결정된 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성할 수 있다.
도 9는 본 발명의 제1 일실시예에 따른 다시점 비디오 복호화 방법을 도시한 플로우차트이다.
단계(S901)에서, 다시점 비디오 복호화 장치(102)는 제1 시점의 프레임에 포함된 현재 블록의 스킵 모드를 나타내는 부호화된 인덱스를 복호화할 수 있다. 도 9에서 언급하고 있는 스킵 모드는 도 7에서 이미 구체적으로 설명하였다.
단계(S902)에서, 다시점 비디오 복호화 장치(103)는 현재 블록의 스킵 모드에 따라 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하여 현재 블록을 복원할 수 있다.
도 10은 본 발명의 제2 일실시예에 따른 다시점 비디오 복호화 방법을 도시한 플로우차트이다.
단계(S1001)에서, 다시점 비디오 복호화 장치(102)는 제1 시점의 프레임에 포함된 현재 블록이 제1 스킵 모드 또는 제2 스킵 모드로 부호화되었는 지 여부를 나타내는 부호화된 인덱스를 복호화할 수 있다. 도 10에서 언급하고 있는 스킵 모드는 도 8에서 이미 구체적으로 설명하였다.
단계(S1002)에서, 다시점 비디오 복호화 장치(102)는 복호화된 인덱스에 따라 결정된 현재 블록의 스킵 모드에 기초하여 현재 블록을 복원할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (24)

  1. 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드로 부호화할 지 여부를 결정하는 부호화 모드 결정부;
    상기 현재 블록을 스킵 모드에 따라 부호화하는 경우, 상기 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 비트스트림 생성부
    를 포함하는 다시점 비디오 부호화 장치.
  2. 제1항에 있어서,
    상기 스킵 모드는,
    상기 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록을 복원하는 부호화 모드인 것을 특징으로 하는 다시점 비디오 부호화 장치.
  3. 제1항에 있어서,
    상기 스킵 모드는,
    상기 제1 시점의 프레임들 중 상기 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 상기 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록을 복원하는 부호화 모드인 것을 특징으로 하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  4. 제1항에 있어서,
    상기 스킵 모드는,
    상기 제1 시점의 프레임들 중 상기 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 상기 현재 블록에 인접한 주변 블록들과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록을 복원하는 부호화 모드인 것을 특징으로 하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  5. 제1항에 있어서,
    상기 비트스트림 생성부는,
    상기 현재 블록이 P-프레임에 포함되는 경우, 상기 현재 블록과 관련된 스킵 모드(SKIP Mode)를 나타내는 인덱스를 부호화하고,
    상기 현재 블록이 B-프레임에 포함되는 경우, 상기 현재 블록과 관련된 다이렉트 모드에 포함된 다이렉트 스킵 모드(Direct SKIP Mode)를 나타내는 인덱스를 부호화하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  6. 제1항에 있어서,
    상기 현재 블록에 인접한 주변 블록들은,
    상기 현재 블록의 좌측에 인접한 블록, 상기 현재 블록의 상측에 인접한 블록, 상기 현재 블록의 좌측 상단에 인접한 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  7. 제1 시점의 프레임에 포함된 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드로 부호화할 지 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드로 부호화할 지 여부를 결정하는 부호화 모드 결정부; 및
    상기 현재 블록에 대해 결정된 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 비트스트림 생성부
    를 포함하는 다시점 비디오 부호화 장치.
  8. 제7항에 있어서,
    상기 제1 스킵 모드는,
    상기 현재 블록에 인접한 주변 블록들 중 상기 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임을 참조하는 주변 블록의 움직임 벡터를 이용하여 상기 현재 블록의 예측 움직임 벡터를 결정하고, 상기 예측 움직임 벡터를 이용하여 상기 현재 블록을 복원하는 부호화 모드인 것을 특징으로 하는 다시점 비디오 부호화 장치.
  9. 제7항에 있어서,
    상기 제2 스킵 모드는,
    상기 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록을 복원하는 부호화 모드인 것을 특징으로 하는 다시점 비디오 부호화 장치.
  10. 제8항에 있어서,
    상기 제2 스킵 모드는,
    상기 제1 시점의 프레임들 중 상기 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임에서 상기 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록을 복원하는 부호화 모드인 것을 특징으로 하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  11. 제8항에 있어서,
    상기 부호화 모드 결정부는,
    상기 제1 스킵 모드와 제2 스킵 모드에 따라 부호화한 결과의 비용 함수 중 작은 비용 함수를 가지는 스킵 모드를 현재 블록을 부호화하기 위한 부호화 모드로 결정하는 것을 특징으로 하는 다시점 비디오 부호화 장치.
  12. 제1 시점의 프레임에 포함된 현재 블록의 스킵 모드를 나타내는 부호화된 인덱스를 복호화하는 인덱스 복호화부;
    상기 현재 블록의 스킵 모드에 따라 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하여 상기 현재 블록을 복원하는 블록 복원부
    를 포함하는 다시점 비디오 복호화 장치.
  13. 제12항에 있어서,
    상기 블록 복원부는,
    상기 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  14. 제12항에 있어서,
    상기 블록 복원부는,
    상기 제1 시점의 프레임들 중 상기 현재 블록이 포함된 프레임과 다른 시간에 해당하는 프레임에서 상기 현재 블록에 인접한 주변 블록들과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  15. 제12항에 있어서,
    상기 인덱스는,
    상기 현재 블록이 P-프레임에 포함되는 경우, 상기 현재 블록과 관련된 스킵 모드(SKIP Mode)를 나타내고,
    상기 현재 블록이 B-프레임에 포함되는 경우, 상기 현재 블록과 관련된 다이렉트 모드에 포함된 다이렉트 스킵 모드(Direct SKIP Mode)를 나타내는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  16. 제1 시점의 프레임에 포함된 현재 블록이 제1 스킵 모드 또는 제2 스킵 모드로 부호화되었는 지 여부를 나타내는 부호화된 인덱스를 복호화하는 인덱스 복호화부; 및
    상기 복호화된 인덱스에 따라 결정된 현재 블록의 스킵 모드에 기초하여 현재 블록을 복원하는 블록 복원부
    를 포함하고,
    상기 제1 스킵 모드는, 제1 시점의 프레임에서 현재 블록의 예측 블록을 결정하고,
    상기 제2 스킵 모드는, 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  17. 제16항에 있어서,
    상기 블록 복원부는,
    상기 현재 블록이 제1 스킵 모드로 부호화된 경우, 상기 현재 블록에 인접한 주변 블록들 중 상기 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임을 참조하는 주변 블록의 움직임 벡터를 이용하여 상기 현재 블록의 예측 움직임 벡터를 결정하고, 상기 예측 움직임 벡터를 이용하여 상기 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  18. 제16항에 있어서,
    상기 블록 복원부는,
    상기 현재 블록이 제2 스킵 모드로 부호화된 경우, 상기 현재 블록에 인접한 주변 블록들 중 제2 시점의 프레임을 참조하는 주변 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  19. 제16항에 있어서,
    상기 블록 복원부는,
    상기 현재 블록이 제2 스킵 모드로 부호화된 경우, 상기 제1 시점의 프레임들 중 상기 현재 블록이 포함된 프레임과 다른 시간을 나타내는 제1 시점의 프레임에서 상기 현재 블록과 동일한 위치에 대응하는 타겟 블록의 변이 벡터를 이용하여 상기 현재 블록의 예측 변이 벡터를 결정하고, 상기 예측 변이 벡터를 이용하여 상기 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 장치.
  20. 제1 시점의 프레임에 포함된 현재 블록을 제2 시점의 프레임을 이용하는 스킵 모드로 부호화할 지 여부를 결정하는 단계; 및
    상기 현재 블록을 스킵 모드에 따라 부호화하는 경우, 상기 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 단계
    를 포함하는 다시점 비디오 부호화 방법.
  21. 제1 시점의 프레임에 포함된 현재 블록을 제1 시점의 프레임을 이용하는 제1 스킵 모드로 부호화할 지 또는 제2 시점의 프레임을 이용하는 제2 스킵 모드로 부호화할 지 여부를 결정하는 단계; 및
    상기 현재 블록에 대해 결정된 스킵 모드를 나타내는 인덱스를 부호화하여 비트스트림을 생성하는 단계
    를 포함하는 다시점 비디오 부호화 방법.
  22. 제1 시점의 프레임에 포함된 현재 블록의 스킵 모드를 나타내는 부호화된 인덱스를 복호화하는 단계;
    상기 현재 블록의 스킵 모드에 따라 제2 시점의 프레임에서 현재 블록의 예측 블록을 추출하여 상기 현재 블록을 복원하는 단계
    를 포함하는 다시점 비디오 복호화 방법.
  23. 제1 시점의 프레임에 포함된 현재 블록이 제1 스킵 모드 또는 제2 스킵 모드로 부호화되었는 지 여부를 나타내는 부호화된 인덱스를 복호화하는 단계; 및
    상기 복호화된 인덱스에 따라 결정된 현재 블록의 스킵 모드에 기초하여 현재 블록을 복원하는 단계
    를 포함하고,
    상기 제1 스킵 모드는, 제1 시점의 프레임에서 현재 블록의 예측 블록을 결정하고,
    상기 제2 스킵 모드는, 제2 시점의 프레임에서 현재 블록의 예측 블록을 결정하는 것을 특징으로 하는 다시점 비디오 복호화 방법.
  24. 제20항 내지 제23항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
PCT/KR2011/009559 2010-12-14 2011-12-13 다시점 비디오 부호화/복호화 장치 및 방법 WO2012081877A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2011800675567A CN103370934A (zh) 2010-12-14 2011-12-13 多视点视频编码/解码装置和方法
JP2013544387A JP2014505398A (ja) 2010-12-14 2011-12-13 多視点ビデオ符号化／復号化装置及び方法
US13/994,402 US9615078B2 (en) 2010-12-14 2011-12-13 Multi-view video encoding/decoding apparatus and method
EP11847908.8A EP2654295A4 (en) 2010-12-14 2011-12-13 DEVICE AND METHOD FOR MULTIPLE VIEW VIDEO CODING / DECODING

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2010-0127456 2010-12-14
KR20100127456 2010-12-14
KR10-2011-0110588 2011-10-27
KR1020110110588A KR101893559B1 (ko) 2010-12-14 2011-10-27 다시점 비디오 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2012081877A2 true WO2012081877A2 (ko) 2012-06-21
WO2012081877A3 WO2012081877A3 (ko) 2012-08-09

Family

ID=46685914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009559 WO2012081877A2 (ko) 2010-12-14 2011-12-13 다시점 비디오 부호화/복호화 장치 및 방법

Country Status (6)

Country Link
US (1) US9615078B2 (ko)
EP (2) EP3024230A1 (ko)
JP (1) JP2014505398A (ko)
KR (1) KR101893559B1 (ko)
CN (1) CN103370934A (ko)
WO (1) WO2012081877A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301739A (zh) * 2013-07-18 2015-01-21 联发科技（新加坡）私人有限公司 多视点视频编码方法
CN104782126A (zh) * 2012-09-28 2015-07-15 三星电子株式会社 用于对多视点图像进行编码/解码的设备和方法
JP2015527806A (ja) * 2012-07-11 2015-09-17 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201502627QA (en) * 2012-10-05 2015-05-28 Mediatek Singapore Pte Ltd Method and apparatus of motion vector derivation 3d video coding
WO2014065546A1 (ko) * 2012-10-22 2014-05-01 (주)휴맥스 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
CA2921759C (en) * 2013-10-17 2018-05-15 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
WO2015188297A1 (zh) * 2014-06-08 2015-12-17 北京大学深圳研究生院 加权跳过模式的视频图像块压缩算术编解码方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
EP2123042A4 (en) * 2007-01-24 2010-03-10 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
KR20090129412A (ko) * 2007-03-02 2009-12-16 엘지전자 주식회사 비디오 신호 디코딩/인코딩 방법 및 장치
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
US10298952B2 (en) * 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
KR101524465B1 (ko) * 2008-01-10 2015-06-02 삼성전자주식회사 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
BRPI0911672A2 (pt) * 2008-04-25 2018-03-13 Thomson Licensing modos de pulo intervisualizações com profundidade
KR101158491B1 (ko) * 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2654295A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015527806A (ja) * 2012-07-11 2015-09-17 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
CN104782126A (zh) * 2012-09-28 2015-07-15 三星电子株式会社 用于对多视点图像进行编码/解码的设备和方法
US9900620B2 (en) 2012-09-28 2018-02-20 Samsung Electronics Co., Ltd. Apparatus and method for coding/decoding multi-view image
CN104782126B (zh) * 2012-09-28 2019-01-18 三星电子株式会社 用于对多视点图像进行编码/解码的设备和方法
CN104301739A (zh) * 2013-07-18 2015-01-21 联发科技（新加坡）私人有限公司 多视点视频编码方法
US9743066B2 (en) 2013-07-18 2017-08-22 Hfi Innovation Inc. Method of fast encoder decision in 3D video coding

Also Published As

Publication number Publication date
EP3024230A1 (en) 2016-05-25
KR20120066579A (ko) 2012-06-22
EP2654295A2 (en) 2013-10-23
EP2654295A4 (en) 2015-06-10
WO2012081877A3 (ko) 2012-08-09
KR101893559B1 (ko) 2018-08-31
JP2014505398A (ja) 2014-02-27
US20130335526A1 (en) 2013-12-19
CN103370934A (zh) 2013-10-23
US9615078B2 (en) 2017-04-04

Similar Documents

Publication Publication Date Title
WO2012081877A2 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
JP5020953B2 (ja) 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法
WO2012144829A2 (en) Method and apparatus for encoding and decoding motion vector of multi-view video
WO2012144821A2 (en) Method and apparatus for unified scalable video encoding for multi-view video and method and apparatus for unified scalable video decoding for multi-view video
WO2010087589A2 (ko) 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
EP2452491A2 (en) Method and apparatus for multi-view video coding and decoding
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2014010935A1 (ko) 비디오 신호 처리 방법 및 장치
KR20080114482A (ko) 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
WO2010090462A2 (en) Apparatus and method for encoding and decoding multi-view image
WO2013176485A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013191436A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012026734A2 (ko) 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
KR20120083209A (ko) 깊이 영상 부호화/복호화 장치 및 방법
WO2009108028A9 (ko) 자유시점 영상 복호화 방법 및 장치
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2012099352A2 (ko) 다시점 영상 부호화/복호화 장치 및 방법
WO2015152504A1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
WO2013032071A1 (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11847908

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013544387

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011847908

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13994402

Country of ref document: US