WO2012177063A2 - 스킵 모드 부호화 복호화 방법 및 장치 - Google Patents

스킵 모드 부호화 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2012177063A2
WO2012177063A2 PCT/KR2012/004915 KR2012004915W WO2012177063A2 WO 2012177063 A2 WO2012177063 A2 WO 2012177063A2 KR 2012004915 W KR2012004915 W KR 2012004915W WO 2012177063 A2 WO2012177063 A2 WO 2012177063A2
Authority
WO
WIPO (PCT)
Prior art keywords
depth
information
picture
image unit
decoding
Prior art date
Application number
PCT/KR2012/004915
Other languages
English (en)
French (fr)
Other versions
WO2012177063A3 (ko
Inventor
예세훈
손은용
성재원
정지욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN201280040034.2A priority Critical patent/CN103765895B/zh
Priority to US14/129,205 priority patent/US9509972B2/en
Priority to EP12802291.0A priority patent/EP2717572B1/en
Publication of WO2012177063A2 publication Critical patent/WO2012177063A2/ko
Publication of WO2012177063A3 publication Critical patent/WO2012177063A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a method and apparatus for encoding / decoding using a skip mode, and more particularly, to a method and apparatus for encoding / decoding using a skip mode in a multiview image.
  • Multi-view video coding method enables viewers to feel 3D when watching images by viewing images produced from various angles of view. It is a technique to do.
  • Multiview video can be used in a variety of areas such as free viewpoint video (FVV), free viewpoint TV (FTV), 3DTV, surveillance and home entertainment.
  • FVV free viewpoint video
  • FTV free viewpoint TV
  • 3DTV 3DTV
  • JVT joint vodeo team
  • VCEG video coding expert group
  • MPEG moving picture expert group
  • MVC multi-view video coding
  • multi-view video has a high correlation between surrounding image frames, which are images of various viewpoints that exist in the same picture order count (POC).
  • POC picture order count
  • redundant information may be reduced or eliminated by using spatial / temporal / statistical correlation of short-term images.
  • inter-view correlation may be used in addition to the existing method in order to reduce redundant information of an image. Since multi-view images use the same camera to capture the same scene at the same time, the correlation between points of view is very high because they contain almost the same information except for parallax and slight lighting differences.
  • An object of the present invention is to provide a method for improving encoding efficiency and decoding efficiency of an image using a skip mode encoding / decoding method using a warping prediction depth picture or a reference picture.
  • a method of decoding an image generating a warping prediction depth image unit, decoding skip information on a decoding target image unit, and decoding based on the skip information.
  • skip mode decoding a target video unit wherein the skip information includes depth information of the warping prediction depth image unit, depth information of the decoding target image unit, and an edge of a text picture image unit corresponding to the decoding target image unit.
  • the information may be determined based on the information.
  • the warping prediction depth image unit may be a picture obtained by warping a depth picture having a same picture order count (POC) as the depth picture to be predicted to the viewpoint of the prediction depth picture.
  • POC picture order count
  • the skip information may include calculating a maximum depth difference value that is the largest value of a difference value between a depth value of a decoding target image unit and a transform depth value of the warping prediction depth image unit, and an image of a text picture corresponding to the prediction target depth image unit.
  • the information may be calculated based on determining whether an edge region exists in a unit.
  • the skip information may include determining whether a value calculated using the first image rendering quality calculation method exceeds a first threshold value based on the maximum depth difference value when the edge exists and when the edge does not exist.
  • the information may be determined according to at least one of the steps of determining whether the value calculated using the second image rendering quality calculation method exceeds the second threshold value based on the maximum depth difference value.
  • An image decoding method for achieving the above object of the present invention generates a plurality of warping prediction depth image units, the warping prediction depth image to be used when performing skip information and skip mode for the decoding target image unit Decoding the index information of a unit and decoding the decoding target video unit in a skip mode based on the skip information and the index information, wherein the skip information includes depth information of the warping prediction depth image unit and the The information may be determined based on depth information of a decoding target video unit and edge information of an image unit of a text picture corresponding to the decoding target video unit.
  • the index information of the warping prediction depth picture may be index information of a warping prediction depth picture having a small difference from the depth information of the decoding target image unit among the plurality of warping prediction depth image units.
  • the skip information may include calculating a maximum depth difference value that is the largest value of a difference value between a depth value of a decoding target image unit and a transform depth value of the warping prediction depth image unit, and an image of a text picture corresponding to the prediction target depth image unit.
  • the information may be calculated based on determining whether an edge region exists in a unit.
  • the skip information may include determining whether a value calculated by using a first image rendering quality calculation method exceeds a first threshold value and an edge does not exist based on the maximum depth difference value when an edge exists. In this case, the information may be determined according to at least one of the steps of determining whether the value calculated using the second image rendering quality calculation method exceeds the second threshold value based on the maximum depth difference value.
  • a method of decoding an image which generates a reference picture and decodes index information of a reference picture to be used when performing skip information and a skip mode for a decoding target image unit. And decoding the decoding target video unit using a skip mode based on the skip information, wherein the skip information includes depth information of the warping prediction depth image unit, depth information of the decoding target video unit, and the The information may be determined based on edge information of an image unit of a text picture corresponding to the decoding target image unit.
  • the reference picture may include a warping prediction depth picture, which is a reference picture generated by performing warping, and a non-warping prediction depth picture, which is a reference picture without warping.
  • the skip information may include calculating a maximum depth difference value that is the largest value of a difference value between a depth value of a decoding target image unit and a transform depth value of the warping prediction depth image unit, and an image of a text picture corresponding to the prediction target depth image unit.
  • the information may be calculated based on determining whether an edge region exists in a unit.
  • the skip information may include determining whether a value calculated using the first image rendering quality calculation method exceeds a first threshold value based on a maximum depth difference value when an edge exists and maximum when the edge does not exist.
  • the information may be determined according to at least one of the steps of determining whether the value calculated using the second image rendering quality calculation method exceeds the second threshold value based on the depth difference value.
  • an image decoding apparatus generates an entropy decoder and a warping prediction depth image unit for decoding skip information on a decoding target image unit, and generates the skip information.
  • a prediction unit configured to perform skip mode decoding on the decoding target video unit, wherein the skip information corresponds to depth information of the warping prediction depth image unit, depth information of the decoding target video unit, and the decoding target video unit
  • the information may be determined based on edge information of an image unit of a text picture.
  • the entropy decoder may be an entropy decoder that decodes index information of an image unit or a picture used in a skip mode of a decoding target image unit when a plurality of warping prediction depth image units or a plurality of reference pictures are used.
  • the prediction unit is a prediction unit that uses depth information of a warping prediction depth image unit or a reference picture determined based on the index information as depth information of the decoding target image unit when the decoding target image unit performs skip mode decoding. Can be.
  • the warping prediction depth image unit may be a picture obtained by warping a depth picture having a same picture order count (POC) as the depth picture to be predicted to the viewpoint of the prediction depth picture.
  • POC picture order count
  • the skip information calculates a maximum depth difference value, which is the largest value between a difference value between a depth value of a decoding target image unit and a transform depth value of the warping prediction depth image unit, and is applied to an image unit of a text picture corresponding to the depth target image unit.
  • the information may be calculated by determining whether an edge region exists.
  • the skip information may include determining whether a value calculated using the first image rendering quality calculation method exceeds a first threshold value based on a maximum depth difference value when an edge exists and maximum when the edge does not exist.
  • the information may be determined according to at least one of the steps of determining whether the value calculated using the second image rendering quality calculation method exceeds the second threshold value based on the depth difference value.
  • a rendering quality of an image calculated by using a predicted warping depth picture or a reference picture that is warped to a viewpoint of a predicted depth picture is based on the rendering quality of the image. You can decide whether to skip mode. Therefore, the encoding and decoding efficiency of an image may be improved by not performing unnecessary prediction processes when encoding and decoding are performed on the image unit.
  • VSP View Synthesis Prediction
  • FIG. 2 is a flowchart illustrating a method of determining whether skip mode is encoded for an image unit according to an exemplary embodiment of the present invention.
  • VSP view synthesis prediction
  • FIG. 4 is a flowchart illustrating a method for determining a skip mode for an image unit when there are a plurality of reference warping pictures according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a case in which two warping prediction depth pictures are used for skip mode encoding according to an embodiment of the present invention.
  • VSP View Synthesis Prediction
  • FIG. 7 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 10 is a conceptual diagram illustrating a part of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating a depth information predictor according to an embodiment of the present invention.
  • FIG. 12 is a conceptual diagram illustrating a part of an image decoding apparatus according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • VSP View Synthesis Prediction
  • an image 100 of a first view and an image 150 of a second view may exist with the same picture order count (POC).
  • An image having the same picture order count (POC) may be an image having the same image output order.
  • the image 100 of the first view may include the first texture picture 110 and the first depth picture 120
  • the image 150 of the second view may include the second texture picture 160 and the second depth. It may include a picture 170.
  • a prediction depth picture 140 may be generated for the.
  • a depth picture used as a prediction depth picture by warping from one viewpoint to another is defined as a warping prediction depth picture, and a depth picture to be predicted is called a prediction depth picture. Defined in terms.
  • the skip mode is used when encoding the second depth picture 170 by comparing the depth information of the warping prediction depth picture 140 and the image information of the second depth picture 170 in terms of coding efficiency. To determine whether to encode.
  • the skip mode refers to an encoding method that uses the image information included in the warping prediction depth picture 140 as the image information value of the prediction target depth picture 170. For example, when the prediction block 175 included in the prediction depth picture 170 uses the skip mode, the block 145 corresponding to the prediction block 175 existing in the warping prediction depth picture 140 may be used. The depth information of may be used as the depth information of the prediction target block 175.
  • the block corresponding to the prediction target block 175 is a block present at a collcocated position with the prediction target block 175 including a point at the same position as the prediction target block 175 on the relative position in the warping prediction depth picture 140.
  • the block 145 corresponding to the prediction target block 175 may be a block existing at a specific position in another picture calculated based on a predetermined position calculation method based on the position of the prediction target block 175. .
  • encoding of an image unit included in the predicted depth picture 170 such as the prediction target block 175 may be performed such as residual information, reference picture information, and motion vector information.
  • the image encoding method using the skip mode predicts not only a block unit but also various image units (for example, CU, PU, TU, LCU, macro block, slice, frame, picture, etc.). It can be a way to do this. For example, a method of determining whether to encode a picture using a skip mode with respect to a value for which prediction is performed in one picture unit may be used.
  • image unit may be interpreted to include various image units, for example, CU, PU, TU, LCU, macro block, slice, frame, picture, and the like. have.
  • Determining whether to encode in the skip mode may be performed based on various image units as described above. For example, when determining whether to perform a skip mode based on a specific image unit, the depth information existing in the prediction target image unit 175 and the corresponding image unit 145 in the warping prediction depth picture The difference value of the depth information may be calculated to determine whether to use the skip mode when encoding the prediction target image unit 175. The following method is used to determine whether to encode using the skip mode for a specific image unit. It is briefly described.
  • the input difference value may be used to determine whether the skip mode is encoded.
  • whether the texture picture image unit 165 corresponding to the prediction depth picture image unit 170 includes an edge region may be additionally determined.
  • a method for calculating the rendering quality of an image may be applied differently by classifying the case in which the texture picture image unit 165 is an image unit including an edge and the case in which the texture picture image unit 165 does not include an edge. have.
  • the skip mode encoding may be determined in the picture unit by using the edge number information as information for determining whether to skip the mode.
  • the rendering quality of the image may be calculated based on the calculated edge information. If the calculated rendering quality is smaller than a predetermined threshold, skip mode encoding may be performed on the corresponding image unit.
  • FIG. 1 for convenience of description, only the images of two viewpoints (the image 100 of the first view and the image 150 of the second view) that exist in the same picture order count (POC) have been described.
  • the existing image may be an image for two or more viewpoints and is further described with respect to this embodiment in FIG. 3.
  • FIG. 2 is a flowchart illustrating a method of determining whether skip mode is encoded for an image unit according to an exemplary embodiment of the present invention.
  • the steps of the flowchart of FIG. 2 are not necessarily sequential, but may be performed in the changed order when the coding order is changed and performed.
  • the formula used in the embodiment of the present invention may use various methods as an example for performing a method of determining whether to skip mode encoding for a specific image unit.
  • depth information of an image unit is calculated (S200).
  • the depth information of the image unit may use depth information of the image unit calculated based on the camera plane.
  • Equation 1 is an equation for calculating depth information at coordinates (x, y) on an image plane of a camera.
  • Equation 1 Is the depth value of the actual depth image, Is the maximum depth, Indicates the minimum depth value.
  • the actual depth value at coordinates (x, y) Is depth information on the camera plane based on Equation 1 Can be converted to
  • the difference value between the depth information of the warping prediction depth image unit and the depth information of the target depth image unit is calculated (step S210).
  • a difference value may be calculated by comparing depth information of the warping prediction depth image unit and depth information of the target depth image unit.
  • the calculated difference value may be used to calculate rendering quality information of an image in a later step.
  • Equation 2 illustrates a method of calculating a difference between the depth information of the warping prediction depth image unit and the depth information of the target image unit using the depth information calculated in Equation 1.
  • Equation 2 Represents depth information of warping prediction depth image unit Represents depth information of the prediction target image unit. Equation 2 is assumed to calculate the maximum difference value in units of macro blocks, but as described above, step S210 may be applied to various image units. For example, the depth is based on one picture unit instead of a block unit. The difference value information of the information may be calculated.
  • the edge information of the texture picture image unit corresponding to the prediction depth image unit is determined (step S220).
  • the edge information of the texture picture image unit corresponding to the position of the prediction target image unit is determined.
  • the prediction target picture image unit is a block unit
  • various block edge determination methods may be used to determine whether edge information exists in a corresponding texture picture.
  • a method of determining information about the number of edges existing in the picture may be used.
  • a method of calculating rendering quality of an image for determining whether to skip may be differently applied depending on whether the texture image unit corresponding to the prediction target image unit is an edge region including an edge.
  • the rendering quality of the image is calculated based on the difference between the depth value of the warping prediction depth image unit, the depth value of the prediction target image unit, and the edge information (step S230).
  • the rendering qulaity of the prediction target image unit may be calculated based on the difference between the depth information of the warping prediction depth image unit, the depth information of the prediction target image unit, and the edge information of the texture picture image unit calculated through steps S210 and S220. have.
  • Equation 3 shows the coordinates of the viewpoint image at which the camera corresponds to p. in The texture mapping errer calculated when a depth coding error occurs Indicates.
  • the rendering quality of the image may be calculated according to Equations 4 and 5 below according to the edge information of the texture image unit.
  • Equations 4 and 5 below are equations for calculating a rendering quality of an image based on depth information difference and edge region information calculated through Equation 2.
  • the image unit is another image unit other than the block unit
  • the following equation may be changed and this embodiment is also included in the scope of the present invention.
  • Equation 4 calculates the rendering quality of the predicted image unit when the corresponding texture picture image unit is not the edge region
  • Equation 5 calculates the rendering quality of the predicted image unit when the corresponding texture image unit is the edge region. It is a mathematical expression.
  • Equation 2 May be calculated from Equation 2 and K is an arbitrary constant value set according to the implementation.
  • Equation (5) May be calculated from Equation 2, Is the local correlation of the texture-video pixel values of the region to be coded, Denotes the variance of the texture-video pixel values of the region to be coded. C is a constant value that can be determined by an implementation.
  • step S240 It is determined whether the rendering quality of the image is smaller than a specific threshold.
  • step S240 when the calculated rendering quality is smaller than the threshold value, even when encoding in the skip mode, it is determined that the image quality is not significantly reduced and the encoding efficiency can be improved. Can be performed. If the determination through step S240 is satisfied, another encoding method for encoding additional prediction information other than the skip mode may be used.
  • the threshold used to determine whether to perform the skip mode may have a different value.
  • Information on whether the skip mode is encoded with respect to a specific image unit may be encoded based on a syntax element.
  • Table 1 below shows syntax indicating whether encoding is performed using a skip mode.
  • whether a skip mode is used for a predetermined macroblock may be expressed as flag information using a depth_skip_mode_flag, which is a new syntax element.
  • the name and flag information value of the flag information can be changed as arbitrary and such embodiments are also included in the scope of the present invention.
  • the syntax element depth_skip_mode_flag is information indicating whether the skip mode is used in the encoding target video unit. For example, when the flag value of the syntax element is 1, it indicates that the skip is performed in the encoding target video unit. Therefore, when the flag value of depth_skip_mode_flag is 1, the depth information of the warping prediction depth image unit may be used as the depth information of the depth image unit to be predicted, and when the flag value is 0, the depth information of the warping prediction depth image unit and the prediction target image unit Additional information (reference picture information and motion vector information) necessary for the difference value of the depth value and other prediction may be encoded and transmitted.
  • the information about whether the skip mode is encoded may be a value inferred through decoding or combined with other information and not encoded as a specific syntax element as shown in Table 1 below.
  • the skip information and the index information which will be described further below, are encoded using specific syntax elements.
  • VSP view synthesis prediction
  • n pictures (views 1 to view n) having the same POC that may be used as a reference warping picture may exist.
  • At least one of the n depth pictures having the same POC may be warped based on the same view as the predicted depth picture to generate warping prediction depth pictures 315-1 and 335-1.
  • the prediction target is based on the plurality of warping prediction depth pictures 315-1 and 335-1.
  • the image unit 350-1 may determine whether to perform skip mode encoding.
  • Warping prediction depth pictures can be generated. It is also possible to warp the pictures of all viewpoints to the viewpoint of the current predicted depth picture.
  • the warping prediction depth picture that warps the depth picture existing at the left viewpoints (views 1 and 310) of the current prediction depth picture is defined as a first warping prediction depth picture 315-1, and the right view of the current prediction depth picture (
  • the warping prediction depth picture that warps the depth picture present in the views 2 and 330 may be defined as a second warping prediction depth picture 335-1.
  • the first warping depth picture 315-1 and the second warping picture 335-1 may be divided using indexing information.
  • Only one picture of the first warping prediction depth picture 315-1 and the second warping prediction depth picture 335-1 may be selected as the final warping prediction depth picture to determine whether to skip mode encoding as shown in FIG. 1.
  • candidate warping prediction depth pictures 315-1 and 335 as one method for selecting one of the first warping prediction depth picture 315-1 and the second warping prediction depth picture 335-1. -1) and the residual value between the predicted depth picture 350 may be compared.
  • skip mode encoding may be determined using both the first warping prediction depth picture 315-1 and the second warping prediction depth picture 335-1.
  • both warping prediction depth pictures 315-1 and 335-1 are used, two warping prediction depth pictures 315-1 and 335-1 for the image unit 350-1 of the predicted picture 350 are used.
  • the depth information present in the image units 350-2 and 350-3 may be compared with the depth information of the target depth image unit 350-1.
  • the skip mode may be determined based on the comparison result using a warping prediction depth image unit similar to the original information (depth information of the prediction target depth image unit). In this method, a different warping prediction depth image unit may be selected when the skip mode is performed for each prediction target image unit.
  • FIG. 4 is a flowchart illustrating a method for determining a skip mode for an image unit when there are a plurality of reference warping pictures according to an embodiment of the present invention.
  • a method of determining whether skip mode encoding is performed by determining a warping prediction depth picture of one of a plurality of envelope depth pictures as a final warping prediction depth picture.
  • the steps of the flowchart of FIG. 4 are not necessarily sequential and may be performed in the changed order when the coding order is changed and performed.
  • a warping prediction depth picture is generated (step S400).
  • a plurality of warping prediction depth pictures warped based on the view point of the prediction depth picture may be generated.
  • two warping prediction depth pictures may be generated from a picture existing at a point in time close to the view point of the predicted depth picture.
  • One warping prediction depth picture is selected as the final warping prediction depth picture (step S410).
  • one warping prediction depth picture may be selected as a final warping prediction depth picture and used to determine whether to skip mode encoding on an image unit of a picture to be predicted.
  • a skip mode encoding determination procedure (steps S420 to S460) is one warping prediction depth as in the steps S200 to S240 described with reference to FIG.
  • a skip mode encoding determination procedure may be performed based on the picture.
  • skip mode encoding of an image unit is performed using the procedure disclosed in FIG. 5 below without determining a picture of one of the two warping prediction depth pictures. Can be determined.
  • FIG. 5 is a flowchart illustrating a case in which two warping prediction depth pictures are used for skip mode encoding according to an embodiment of the present invention.
  • the steps of the flowchart of FIG. 5 are not necessarily sequential and may be performed in the changed order when the coding order is changed and can be performed.
  • the depth information of the image is calculated (step S500).
  • step S200 The same method as in step S200 described above may be used to calculate depth information of an image.
  • a difference value between the depth information of the warping prediction depth image unit and the depth information of the prediction target depth image unit is calculated (step S510).
  • a difference value between depth information of the plurality of warping prediction depth image units and depth information of the prediction target image unit may be calculated. For example, when two pictures are used as a warping prediction depth picture, a difference value between depth information of a first warping prediction depth image unit and a prediction target depth image unit is calculated, and depth information and a prediction target of a second warping prediction depth image unit are calculated. The difference value of the depth image unit may be calculated.
  • the same method as in operation S210 of FIG. 2 may be used.
  • One warping prediction depth image unit is selected based on the depth information of the warping prediction depth image unit and the difference value between the prediction target depth image unit (S520).
  • a warping prediction depth image unit having a smaller difference value may be selected as a warping prediction depth image unit for determining whether to skip mode encoding based on the depth information of the warping prediction depth image unit and the difference value of the prediction target depth image unit.
  • steps S530 to S550 which are subsequent procedures, may be performed in the same manner as the procedure after step S220 of FIG. 2.
  • Information about whether the skip mode is encoded may be encoded, and as described above, the syntax element depth_skip_mode_flag, which is information indicating whether the skip mode is used in an image unit, may be transmitted.
  • the syntax element depth_skip_mode_flag which is information indicating whether the skip mode is used in an image unit.
  • information on which picture is used for skip mode prediction is additionally transmitted by transmitting information indexing a plurality of warping prediction depth pictures. Can be sent.
  • the warping prediction depth image unit not only the warping prediction depth image unit but also other reference pictures (eg, a previous depth picture or a subsequent depth picture having different POC values) may also be used to predict the prediction target image unit.
  • a picture used to predict the prediction target video unit is defined as a reference picture.
  • the reference picture may include a warping reference picture which is a warped reference picture and a non-warping reference picture which is a non-warped reference picture.
  • VSP View Synthesis Prediction
  • not only a warping prediction depth picture but also a reference picture that does not perform warping with another POC value may be used.
  • a plurality of reference pictures may be used to predict the depth value of the prediction target image unit.
  • the T1 picture 620-1, the D1 picture 620, the T2 picture 630-1, and the D2 picture 630 include the T3 picture 615-1, the D3 picture 615, the T4 picture 640-1, and the T1 picture 620-1. It is encoded and decoded before the D4 picture 640 to be used as a reference picture when performing prediction for the T3 picture 615-1, the D3 picture 615, the T4 picture 640-1, and the D4 picture 640. Assume a picture.
  • the reference picture may be used as a concept including warping prediction depth pictures 605 and 610 and non-warping prediction depth pictures 615, 620 and 630.
  • the warping prediction depth pictures 605 and 610 are pictures for generating depth information prediction values for the predicted depth picture generated by the warping, and the non-warping prediction depth pictures 615, 620, and 630 do not perform warping. It refers to a picture used to predict the depth information of the prediction target video unit.
  • the non-warping prediction depth pictures 615, 620, and 630 may have the same view as that of the prediction depth picture 640, and may have a depth picture 630 and a prediction depth picture 640 having different POC values.
  • the depth picture 620 having a different view and having a different POC value, and the depth picture 615 having the same POC value with a different view than the predicted depth picture 640 may be included.
  • the warping prediction depth pictures 605 and 610 have a different view from the predicted depth picture 640 and have the same POC value as the predicted depth picture 640 as in the above-described embodiment of the present invention.
  • the warped picture may be a warping prediction depth picture 605 or a picture warped of another POC's depth picture 620 may be used as the warping prediction depth picture 610.
  • the reference picture list may be generated by indexing the non-warping prediction depth pictures 615, 620, and 630 and the warping prediction depth pictures 605 and 610 according to a predetermined criterion.
  • the warping prediction depth pictures 605 and 610 may be indexed first and the non warping prediction depth pictures 615, 620 and 630 may be indexed.
  • a small index value may be assigned to a depth picture existing at a point in time close to the view point of the predicted depth picture, and the non-warping prediction depth pictures 615, 620, and 630 may have the same view point.
  • the shared picture may be indexed, and then the index value may be assigned to the reference picture having a small POC difference.
  • various methods may be used as a method of constructing the reference picture list.
  • the reference picture used for determining skip mode encoding is one warping prediction depth picture
  • the reference picture used for determining skip mode encoding is separately used when skip mode encoding is performed. Only information on whether skip mode is performed can be encoded without indexing.
  • the reference pictures used to determine whether to skip mode encoding are a plurality of pictures, not only information about whether to perform skip mode is encoded but also reference picture information used to determine whether skip mode is encoded during skip mode encoding. Indexed information can be encoded.
  • indexing information may be encoded by indexing information on a reference picture used to determine whether skip mode is encoded when skip mode encoding is performed.
  • one warping prediction depth picture 605 and three non-warping predictions may be included in the reference picture list for use as a reference picture for predicting the prediction target image unit 640-2. It may be assumed that the depth picture (the first reference picture 630, the second reference picture 615, and the third reference picture 620) exists.
  • the warping prediction depth picture 605 with index 0 the first reference picture 630 with index 1
  • the second reference picture 615 with index 2 The third index may be allocated to the third reference picture 620.
  • the residual values of the image units of the plurality of reference pictures and the prediction target image unit such as the warping prediction depth picture 605, the first reference picture 630, the second reference picture 615, and the third reference picture 620, may be used. Can be compared. Based on the comparison result, it is possible to determine whether to skip mode encode a prediction target image unit using a reference picture having the smallest residual value.
  • the corresponding value included in the first reference picture 630 is the lowest. It is possible to determine whether to perform encoding using the skip mode in the same procedure as in FIG. 2 described above using the block.
  • Information about whether skip mode is encoded may be encoded based on flag information such as depth_skip_mode_flag, which is the above-described syntax element, and used reference picture information may be encoded based on additional index information.
  • additional prediction information such as reference picture list information, reference picture information, motion vector information, and residual information may be encoded and transmitted to the decoder like the existing prediction block coding method.
  • FIG. 7 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 7 illustrates a method of performing encoding by a skip encoding method using one of the wpic prediction depth image units disclosed in FIGS. 1 and 2. Steps of the flowchart of FIG. 7 are not necessarily sequential, but may be performed in the changed order when the coding order is changed and performed.
  • a warping prediction depth picture is generated (step S700).
  • step S700 may be performed after step S710 to be described below.
  • the warping prediction depth picture may be determined depending on whether the decoding target video unit is skipped, but may be used in a decoding method other than the skip mode (for example, merge or AMVP) when decoding the video unit.
  • the reference picture list may be stored in the reference picture list.
  • step S710 It is determined whether the skip mode is encoded by decoding the skip information.
  • the skip information is a flag indicating skip information such as depth_skip_mode_flag and indicates information on whether the decoding target video unit uses the skip mode during encoding.
  • the skip mode encoding information may be obtained by inferring without skip information separately, or the skip mode encoding information may be performed based on the information encoded by combining the skip information together with other syntax elements. You can get it.
  • the decoding target video unit is decoded using the skip mode (step S720).
  • depth information existing in the warping prediction depth image unit may be directly used as the depth information of the decoding target image unit.
  • step S730 If the video unit does not use the skip mode, additional information necessary for decoding the video unit is decoded (step S730).
  • FIG. 8 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 8 illustrates a method of decoding based on the encoding method disclosed in FIGS. 3 to 5.
  • the steps of the flowchart of FIG. 8 are not necessarily sequential and may be performed in the changed order when the encoding image order is changed and performed.
  • a plurality of warping prediction depth pictures are generated (step S800).
  • warping may be performed to generate a plurality of warping prediction depth pictures.
  • the generated warping prediction depth pictures may be stored in a buffer such as a reference picture list.
  • the skip information is decoded (step S810).
  • the skip information is a flag indicating skip information such as depth_skip_mode_flag and indicates information on whether the decoding target video unit uses the skip mode during encoding.
  • the skip mode encoding information may be obtained by inferring without skip information separately, or the skip mode encoding information may be performed based on the information encoded by combining the skip information together with other syntax elements. You can get it.
  • the reference picture index information is decoded (step S820).
  • reference picture index information used by the decoding target image unit is decoded to know which warping prediction depth pictures of the plurality of warping prediction depth pictures are used to perform decoding by performing the skip mode. Can be. As described above, when two warping prediction depth image units are used, index information of which image unit is used for skip may be encoded, and the index information may be decoded and used for skip mode decoding.
  • the decoding is performed on the decoding target video unit using the skip mode (step S830).
  • decoding using the skip mode may be performed using the selected warping prediction depth image unit.
  • step S810 If it is determined in step S810 that the mode is not the skip mode, additional information necessary to decode the video unit is decoded (step S840).
  • FIG. 9 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 9 illustrates a method of decoding based on the encoding method disclosed in FIG. 5.
  • the steps of the flowchart of FIG. 9 are not necessarily sequential and may be performed in the changed order when the encoding image order is changed and performed.
  • a reference picture list is generated (step S900).
  • the reference picture list used to perform the skip mode may include at least one warping prediction depth picture or a non-warping prediction depth picture.
  • a method of indexing a warping prediction depth picture or a non-warping prediction depth picture may use various methods.
  • the skip information is decoded (step S910).
  • the skip information is a flag indicating skip information such as depth_skip_mode_flag and may be information on whether the decoding target video unit uses the skip mode during encoding.
  • the skip mode encoding information may be obtained by inferring without skip information separately, or the skip mode encoding information may be performed based on the information encoded by combining the skip information together with other syntax elements. You can get it.
  • Reference picture index information is decoded for the decoding target video unit (step S920).
  • index information of the reference picture may be decoded to obtain information on which reference picture among a plurality of reference pictures is used to perform decoding by performing the skip mode.
  • the decoding is performed on the decoding target video unit using the skip mode (step S930).
  • decoding using the skip mode may be performed using the selected warping prediction depth picture.
  • step S910 If the determination result in step S910 is not the skip mode, additional information necessary for decoding of video units is decoded (step S940).
  • FIG. 10 is a conceptual diagram illustrating a part of an image encoding apparatus according to an embodiment of the present invention.
  • the image encoder may include a memory 1000 and a predictor 1005, and the predictor 1005 may include a depth information predictor 1010 and a texture information predictor 1020. .
  • the memory 1000 may store previously encoded depth pictures and texture pictures.
  • the encoded depth picture and the texture picture stored in the memory 1000 may be used when the prediction unit 1005 performs the prediction of the depth picture and the texture picture.
  • the texture information predictor 1020 may predict texture information such as luminance information and color difference information of a multiview image.
  • texture information prediction method various prediction methods such as an inter prediction method or an intra prediction method may be used.
  • the depth information predictor 1010 may predict depth information of an image. As described above, the depth information predictor 1010 may use image information of another picture as it is without encoding prediction information using a skip mode. The depth information predictor 1010 may generate a warping prediction depth picture by warping a depth picture stored in a memory, and determine whether to perform a skip mode based on one warping prediction depth picture or a plurality of warping prediction depth pictures. It is possible.
  • the prediction target image unit When the depth information prediction unit 1010 performs encoding using the skip mode, the prediction target image unit performs the encoding using the skip mode without encoding and transmitting the residual information (difference between the prediction depth information and the original depth information). Since the coded information is transmitted to the decoder, the decoder can perform decoding using the skip mode. If a plurality of warping prediction depth pictures or a plurality of reference pictures are used, index information of a picture used for skip may be additionally encoded and transmitted.
  • the residual information may be additionally encoded, and additional prediction information (motion vector information and reference picture index information) used for prediction may be encoded and transmitted to the decoder. have.
  • the depth information predictor 1010 may include the following additional configuration to determine whether to skip mode encoding on the prediction target video unit.
  • FIG. 11 is a conceptual diagram illustrating a depth information predictor according to an embodiment of the present invention.
  • the depth information predictor 1150 may include a warping unit 1100, a difference value generation unit 1110, an edge information generation unit 1120, and a skip determination unit 1130.
  • the warping unit 1100 may warp the encoded depth picture provided from the memory to the viewpoint of the picture to be predicted.
  • the warping unit 1100 may generate a warping prediction depth picture for determining whether to perform skip mode encoding on the image unit of the prediction target picture.
  • the difference value generator 1110 may calculate the difference value of the image unit depth information of the warping prediction depth picture corresponding to the image unit of the predicted depth picture and the image unit of the predicted depth picture.
  • the generated difference value information generated by the difference value generator 1110 may be input to the skip mode encoding determiner 1130 to determine whether the image unit of the prediction target depth picture is to be encoded in the skip mode.
  • the edge information determiner 1120 may determine edge information in the image unit of the texture picture corresponding to the image unit of the depth target picture. For example, when the edge information determiner 1120 determines that an edge exists in the image unit of the texture picture, the information is input to the skip mode encoding determiner 1130 to determine whether to perform encoding in the skip mode. Can be used as information.
  • FIG. 12 is a conceptual diagram illustrating a part of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus may include a predictor 1250 and a memory 1230, and the predictor 1250 may include a depth information predictor 1220 and a texture information predictor 1200. have.
  • the memory 1230 may store a previously decoded depth picture and a texture picture.
  • the decoded depth picture and texture picture stored in the memory 1230 may be used when the prediction unit 1230 performs the prediction of the depth picture and the texture picture.
  • the texture information predictor 1200 may generate a prediction value of texture information such as luminance information and color difference information of a multiview image based on the prediction information transmitted from the encoder.
  • the depth information predictor 1220 may predict depth information of an image based on the information transmitted from the encoder.
  • the depth information of the warping prediction depth picture generated by receiving the reference picture from the memory and warping the reference picture is used as the depth information of the prediction target picture. Can be used.
  • decoding using the skip mode may be performed by decoding index information of a picture used in the skip mode.
  • An image unit that has performed skip mode decoding may perform decoding without additional residual information.
  • the encoder may combine the prediction value and the decoded residual information of the image unit and output the prediction value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스킵 모드 부호화 복호화 방법 및 장치가 개시되어 있다. 영상 복호화 방법은 와핑 예측 깊이 영상 단위를 생성하고 복호화 대상 영상 단위에 대한 skip 정보를 복호화하는 단계와 skip 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드 복호화하는 단계를 포함하되, skip 정보는 와핑 예측 깊이 영상 단위의 깊이 정보와 복호화 대상 영상 단위의 깊이 정보 및 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐 영상 단위의 에지 정보를 기초로 결정되는 정보일 수 있다. 따라서, 영상 단위에 대해 부호화 및 복호화를 수행시 불필요한 예측 과정을 수행하지 않음으로서 영상의 부호화 및 복호화 효율을 높일 수 있다.

Description

스킵 모드 부호화 복호화 방법 및 장치
본 발명은 스킵 모드를 이용한 부호화/복호화 방법 및 장치에 관한 것으로 더욱 상세하게는 다시점 영상에서 스킵 모드를 이용한 부호화/복호화 방법 및 장치에 관한 것이다.
신호 처리 기술 및 네트워크 전송 기술의 향상으로 다양한 멀티미디어 서비스가 가능해지면서 최근 interactive한 멀티미디어 컨텐츠 및 실감미디어 컨텐츠들에 대한 요구가 증가하고 있다. 멀티미디어 컨텐츠 및 실감미디어 컨텐츠들을 생성하기 위해 다양한 기술이 사용될 수 있는데 그 중 다시점 비디오(muliti view video) 코딩 방법은 시청자들이 다각도의 시점으로 제작된 영상을 시청함으로서 영상을 시청시 입체감을 느낄 수 있도록 하는 기술이다.
멀티뷰 비디오는 FVV(free viewpoint video), FTV(free viewpoint TV), 3DTV, surveillance 및 홈 엔터테인먼트와 같은 다양한 영역에 사용될 수 있다. 최근 MPEG(moving picture expert group)의 JVT(joint Vodeo Team)와 VCEG(video coding expert group)이 다시점 비디오 코딩에 관한 표준 기술인 MVC(Multi-view video coding)에 대한 표준화를 진행하고 있다.
단시점 영상(single view video)과 달리 멀티뷰 비디오는 동일한 POC(picture order count)에 존재하는 다양한 시점의 이미지들인 주변의 이미지 프레임들 사이에 높은 correlation이 존재한다. 기존의 비디오 부호화 방법에서는 단시점 영상의 공간적/시간적/통계적 상관도를 이용하여 중복 정보를 줄이거나 제거할 수 있다. 다시점 비디오 부호화 방법에서는 영상의 중복 정보를 줄이기 위하여 기존의 방법에 추가적으로 시점간 상관도를 이용할 수 있다. 다시점 영상은 인접한 여러대의 카메라를 이용하여 똑같은 장면을 동시에 촬영하기 때문에, 시차와 약간의 조명 차이를 제외하면 거의 같은 정보를 담고 있으므로 시점간 상관도가 매우 높다.
본 발명의 목적은 와핑 예측 깊이 픽쳐 또는 참조 픽쳐를 이용한 skip 모드 부호화/복호화 방법을 사용하여 영상의 부호화 효율 및 복호화 효율을 높이는 방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 본 발명의 목적은 와핑 예측 깊이 픽쳐 또는 참조 픽쳐를 이용한 skip 모드 부호화/복호화 방법을 사용하여 영상의 부호화 효율 및 복호화 효율을 높이는 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 방법은 와핑 예측 깊이 영상 단위를 생성하고 복호화 대상 영상 단위에 대한 skip 정보를 복호화하는 단계와 상기 skip 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드 복호화하는 단계를 포함하되, 기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐 영상 단위의 에지 정보를 기초로 결정되는 정보일 수 있다. 상기 와핑 예측 깊이 영상 단위는 예측 대상 깊이 픽쳐와 동일한 POC(picture order count)를 가지는 깊이 픽쳐를 상기 예측 대상 깊이 픽쳐의 시점으로 와핑한 픽쳐일 수 있다. 상기 skip 정보는 복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하는 단계와 예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하는 단계를 기초로 산출되는 정보일 수 있다. 상기 skip 정보는 에지가 존재하는 경우 상기 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계와 에지가 존재하지 않는 경우 상기 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보일 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 복호화 방법은 복수의 와핑 예측 깊이 영상 단위를 생성하고 복호화 대상 영상 단위에 대한 skip 정보 및 skip 모드를 수행시 사용될 와핑 예측 깊이 영상 단위의 인덱스 정보를 복호화하는 단계와 상기 skip 정보 및 상기 인덱스 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드로 복호화하는 단계를 포함하되, 상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위의 에지 정보를 기초로 결정되는 정보일 수 있다. 상기 와핑 예측 깊이 픽쳐의 인덱스 정보는 상기 복수의 와핑 예측 깊이 영상 단위 중 상기 복호화 대상 영상 단위의 깊이 정보와 차이가 적은 와핑 예측 깊이 픽쳐의 인덱스 정보일 수 있다. 상기 skip 정보는 복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하는 단계와 예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하는 단계를 기초로 산출되는 정보일 수 있다. 상기 skip 정보는 에지가 존재하는 경우, 상기 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계와 에지가 존재하지 않는 경우, 상기 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보일 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 복호화 방법은 참조 픽쳐를 생성하고 복호화 대상 영상 단위에 대한 skip 정보 및 skip 모드를 수행시 사용될 참조 픽쳐의 인덱스 정보를 복호화하는 단계와 상기 skip 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드를 사용하여 복호화하는 단계를 포함하되, 상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위의 에지 정보를 기초로 결정되는 정보일 수 있다. 상기 참조 픽쳐는 와핑을 수행하여 생성된 참조 픽쳐인 와핑 예측 깊이 픽쳐 및 와핑을 수행하지 않은 참조 픽쳐인 non 와핑 예측 깊이 픽쳐를 포함할 수 있다. 상기 skip 정보는 복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하는 단계와 예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하는 단계를 기초로 산출되는 정보일 수 있다. 상기 skip 정보는 에지가 존재하는 경우 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계와 에지가 존재하지 않는 경우 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보일 수 있다.
상술한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 복호화 장치는 복호화 대상 영상 단위에 대한 skip 정보를 복호화하는 엔트로피 복호화부와 와핑 예측 깊이 영상 단위를 생성하고 상기 skip 정보를 기초로 상기 복호화 대상 영상 단위에 대하여 skip 모드 복호화를 수행하는 예측부를 포함하되, 상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위의 에지 정보를 기초로 결정되는 정보일 수 있다. 상기 엔트로피 복호화부는 복수의 와핑 예측 깊이 영상 단위 또는 복수의 참조 픽쳐가 사용될 경우 복호화 대상 영상 단위의 스킵 모드에 사용된 영상 단위 또는 픽쳐의 인덱스 정보를 복호화하는 엔트로피 복호화부일 수 있다. 상기 예측부는 상기 복호화 대상 영상 단위가 skip 모드 복호화를 수행할 경우 상기 인덱스 정보를 기초로 결정된 와핑 예측 깊이 영상 단위 또는 참조 픽쳐 중 하나의 깊이 정보를 상기 복호화 대상 영상 단위의 깊이 정보로 사용하는 예측부일 수 있다. 상기 와핑 예측 깊이 영상 단위는 예측 대상 깊이 픽쳐와 동일한 POC(picture order count)를 가지는 깊이 픽쳐를 상기 예측 대상 깊이 픽쳐의 시점으로 와핑한 픽쳐일 수 있다. 상기 skip 정보는 복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하고 예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하여 산출되는 정보일 수 있다. 상기 skip 정보는 에지가 존재하는 경우 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계와 에지가 존재하지 않는 경우 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보일 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 스킵 모드 부호화 복호화 방법 및 장치에 따르면, 예측 대상 깊이 픽쳐의 시점으로 와핑을 수행한 예측 와핑 깊이 픽쳐 또는 참조 픽쳐를 사용하여 산출된 영상의 rendering quality를 기초로 skip 모드 수행 여부를 결정할 수 있다. 따라서, 영상 단위에 대해 부호화 및 복호화를 수행시 불필요한 예측 과정을 수행하지 않음으로서 영상의 부호화 및 복호화 효율을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 VSP(View Synthesis Prediction) 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 영상 단위에 대하여 skip 모드 부호화 여부를 결정하는 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 복수개의 시점에 대한 VSP(View Synthesis Prediction)를 수행하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 참조 와핑 픽쳐가 복수개인 경우 영상 단위에 대하여 skip 모드를 결정하기 위한 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 두 개의 와핑 예측 깊이 픽쳐가 모두 skip 모드 부호화하는데 사용되는 경우를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 따른 VSP(View Synthesis Prediction) 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 9는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 10은 본 발명의 실시예에 따른 영상 부호화 장치의 일부를 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 깊이 정보 예측부를 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 영상 복호화 장치의 일부를 나타낸 개념도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 실시예에 따른 VSP(View Synthesis Prediction) 방법을 나타낸 개념도이다.
도 1을 참조하면, 동일한 POC(picture order count)를 가진 제1 시점의 영상(100)과 제2 시점의 영상(150)이 존재할 수 있다. 동일한 POC(picture order count)를 가진 영상은 동일한 영상 출력 순서를 가진 영상이 될 수 있다. 제1 시점의 영상(100)은 제1 텍스쳐 픽쳐(110)과 제1 깊이 픽쳐(120)를 포함할 수 있고, 제2 시점의 영상(150)은 제2 텍스쳐 픽쳐(160)과 제2 깊이 픽쳐(170)를 포함할 수 있다.
제1 시점 영상(100)의 제1 깊이 픽쳐(120)를 기초로 camera parameter 및 depth data 등 추가적인 정보를 이용하여 와핑을 수행하여 제1 시점이 아닌 다른 시점에 존재하는 제2 깊이 픽쳐(170)에 대한 예측 깊이 픽쳐(140)를 생성할 수 있다. 이하, 본 발명의 실시예에서는 하나의 시점에서 다른 시점으로 와핑을 수행하여 예측 깊이 픽쳐로 사용되는 깊이 픽쳐를 와핑 예측 깊이 픽쳐라는 용어로 정의하고 예측의 대상이 되는 깊이 픽쳐를 예측 대상 깊이 픽쳐라는 용어로 정의한다.
와핑 예측 깊이 픽쳐(140)의 깊이 정보는 원본 제2 깊이 픽쳐(170)의 깊이 정보 예측값이므로 원본 제2 깊이 픽쳐(170)의 깊이 정보와 와핑 예측 깊이 픽쳐(140)의 깊이 정보 사이에는 차분이 존재할 수 있다. 본 발명의 실시예에 따르면 코딩 효율의 관점에서 와핑 예측 깊이 픽쳐(140)의 깊이 정보와 제2 깊이 픽쳐(170)의 영상 정보를 비교하여 제2 깊이 픽쳐(170)를 부호화시 skip 모드를 사용하여 부호화할지 여부를 결정할 수 있다.
skip 모드는 와핑 예측 깊이 픽쳐(140)에 포함되는 영상 정보를 예측 대상 깊이 픽쳐(170)의 영상 정보값으로 동일하게 사용하는 부호화 방법을 말한다. 예를 들어, 예측 대상 깊이 픽쳐(170)에 포함된 예측 대상 블록(175)이 스킵 모드를 사용할 경우, 와핑 예측 깊이 픽쳐(140)에 존재하는 예측 대상 블록(175)에 대응되는 블록(145)의 깊이 정보를 예측 대상 블록(175)의 깊이 정보로 사용할 수 있다.
예측 대상 블록(175)에 대응되는 블록은 와핑 예측 깊이 픽쳐(140)에서 상대적인 위치상 예측 대상 블록(175)와 동일한 위치의 점을 포함하고 있는 예측 대상 블록(175)과 collcocated 위치에 존재하는 블록이 될 수 있다. 또한, 예측 대상 블록(175)에 대응되는 블록(145)은 예측 대상 블록(175)의 위치를 기준으로 소정의 위치 산출 방법을 기초로 산출된 다른 픽쳐에 특정한 위치에 존재하는 블록이 될 수도 있다.
따라서, skip 모드를 사용하여 부호화를 수행시 예측 대상 블록(175)과 같은 예측 대상 깊이 픽쳐(170)에 포함되는 영상 단위에 대한 부호화를 수행함에 있어 잔차 정보, 참조 픽쳐 정보, 움직임 벡터 정보와 같은 추가적인 정보를 사용하지 않음으로서 영상의 부호화 효율을 높일 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 주로 예측 대상 깊이 픽쳐에 포함된 블록에 대한 예측을 수행하는 방법에 대해 개시한다. 하지만, 본 발명의 실시예에 따른 skip 모드를 이용한 영상 부호화 방법은 블록 단위 뿐만 아니라 다양한 영상 단위(예를 들어, CU, PU, TU, LCU, 메크로 블록, 슬라이스, 프레임, 픽쳐 등)에 대한 예측을 수행하는 방법이 될 수 있다. 예를 들어 하나의 픽쳐 단위로 예측을 수행한 값에 대하여 skip 모드를 사용하여 픽쳐를 부호화할지 여부를 결정하는 방법이 사용될 수 있다.
이하의 본 발명의 실시예에서 사용되는 용어 중 영상 단위라는 용어는 다양한 영상 단위인 예를 들어, CU, PU, TU, LCU, 메크로 블록, 슬라이스, 프레임, 픽쳐 등을 포함하는 의미로 해석될 수 있다.
스킵 모드로 부호화할지 여부를 결정하는 것은 전술한 바와 같이 다양한 영상 단위를 기초로 수행될 수 있다. 예를 들어, 특정한 영상 단위를 기초로 스킵 모드를 수행할지 여부를 결정하는 경우, 예측 대상 영상 단위(175)에 존재하는 깊이 정보와 와핑 예측 깊이 픽쳐(에 존재하는 대응되는 영상 단위(145)의 깊이 정보의 차이값을 산출하여 예측 대상 영상 단위(175)의 부호화시에 스킵 모드를 사용할지 여부를 결정할 수 있다. 아래는 특정한 영상 단위에 대하여 스킵 모드를 사용하여 부호화할지 여부를 결정하는 방법에 대해 간략하게 설명한 것이다.
(1) 영상 단위에 대한 부호화 방법으로 skip 모드를 사용하는 것으로 결정하기 위하여 와핑 예측 깊이 픽쳐 영상 단위(145)의 깊이값과 예측 대상 깊이 픽쳐 영상 단위(175)의 깊이값을 비교하여 산출된 차이값 산출한다. 산출된 차이값을 입력값은 skip 모드 부호화 여부를 결정하는데 사용될 수 있다.
(2) 영상 단위의 skip 모드 부호화 여부를 결정하기 위한 추가적인 정보로 예측 대상 깊이 픽쳐 영상 단위(170)에 대응되는 텍스쳐 픽쳐 영상 단위(165)가 에지 영역을 포함하고 있는지 여부를 추가적으로 판단할 수 있다.
예를 들어, 텍스쳐 픽쳐 영상 단위(165)가 에지를 포함한 영상 단위인 경우와 텍스쳐 픽쳐 영상 단위(165)가 에지를 포함하지 않는 경우를 구분하여 영상의 rendering quality를 산출하기 위한 방법이 다르게 적용될 수 있다. 영상 단위가 블록 단위에서 픽쳐 단위와 같이 단위가 커질 경우, skip 모드 부호화 여부를 결정하기 위한 정보로 에지 개수 정보를 이용하여 픽쳐 단위로 skip 모드 부호화 여부를 결정할 수 있다.
(3) 전술한 단계 (1)을 통해 산출된 와핑 예측 깊이 예측 단위(145)에 포함되는 깊이 정보와 예측 대상 깊이 예측 단위(175)의 깊이 정보 사이의 차이값과 전술한 단계 (2)를 통해 산출된 에지 정보를 기초로 영상의 rendering quality를 산출할 수 있다. 산출된 rendering quality가 일정한 임계값보다 작은 경우 해당 영상 단위에 대해 skip 모드 부호화를 수행할 수 있다.
도 1에서는 설명의 편의상 동일한 POC(picture order count)에 존재하는 두 개의 시점에 대한 영상(제1 시점의 영상(100) 및 제2 시점의 영상(150))만을 가정하여 설명하였으나, 동일한 POC에 존재하는 영상이 두개 이상의 시점에 대한 영상이 될 수 있고 도 3에서 이러한 실시예에 대하여 추가적으로 개시한다.

도 2는 본 발명의 실시예에 따른 영상 단위에 대하여 skip 모드 부호화 여부를 결정하는 방법을 나타낸 순서도이다.
도 2의 순서도의 단계는 반드시 순차적이지 않고 부호화 상 순서가 바뀌어서 수행가능한 경우 바뀐 순서로 수행될 수 있다.
이하, 본 발명의 실시예에서 사용되는 수식은 특정한 영상 단위에 대하여 skip 모드 부호화 여부를 결정하는 방법을 수행하기 위한 하나의 예시로서 다양한 방법이 사용될 수 있다.
도 2를 참조하면, 영상 단위의 깊이 정보를 산출한다(단계 S200).
영상 단위의 깊이 정보는 카메라 plane을 기준으로 산출된 영상 단위의 깊이 정보를 사용할 수 있다.
아래의 수학식 1은 카메라의 이미지 plane 상에서의 좌표(x,y)에서 깊이 정보를 산출하는 수학식이다.
<수학식 1>
Figure PCTKR2012004915-appb-I000001
수학식 1을 참조하면
Figure PCTKR2012004915-appb-I000002
는 실제 깊이 영상의 depth값,
Figure PCTKR2012004915-appb-I000003
는 최대 depth,
Figure PCTKR2012004915-appb-I000004
는 최소 depth값을 나타낸다. 좌표 (x, y)에서의 실제 depth값
Figure PCTKR2012004915-appb-I000005
는 수학식 1을 기초로 카메라 plane 상의 깊이 정보인
Figure PCTKR2012004915-appb-I000006
로 변환될 수 있다.
와핑 예측 깊이 영상 단위의 깊이 정보과 예측 대상 깊이 영상 단위의 깊이 정보 사이의 차이값을 산출한다(단계 S210).
하나의 영상 단위를 기준으로 skip 모드 부호화 여부를 결정하는 경우, 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 깊이 영상 단위의 깊이 정보를 비교하여 차이값을 산출할 수 있다. 산출된 차이값은 이후의 단계에서 영상의 rendering quality 정보를 산출하는데 사용될 수 있다.
아래의 수학식 2는 수학식 1에서 산출된 깊이 정보를 이용하여 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 영상 단위의 깊이 정보의 차이값을 산출하는 방법을 나타낸 수학식이다.
<수학식 2>
Figure PCTKR2012004915-appb-I000007

수학식 2를 참조하면,
Figure PCTKR2012004915-appb-I000008
는 와핑 예측 깊이 영상 단위의 깊이 정보를 나타내고
Figure PCTKR2012004915-appb-I000009
는 예측 대상 영상 단위의 깊이 정보를 나타낸다. 수학식 2는 매크로 블록 단위로 최대 차이값을 산출하는 것으로 가정하였으나, 전술한 바와 같이 다양한 영상 단위에 단계 S210이 적용되는 것도 가능하다 예를 들어, 블록 단위가 아닌 하나의 픽쳐 단위를 기준으로 깊이 정보의 차이값 정보를 산출할 수도 있다.
예측 대상 깊이 영상 단위에 대응되는 텍스쳐 픽쳐 영상 단위의 에지 정보를 판단한다(단계 S220).
예측 대상 영상 단위의 위치와 대응되는 텍스쳐 픽쳐 영상 단위의 에지 정보를 판단한다.
예를 들어 예측 대상 픽쳐 영상 단위가 블록 단위인 경우 대응되는 텍스쳐 픽쳐에 에지 정보가 존재하는지 여부를 판단하기 위해 다양한 블록 에지 판단 방법이 사용될 수 있다. 또 다른 예로, 예측 대상 영상 단위가 하나의 픽쳐 단위인 경우 픽쳐 내에 존재하는 에지의 개수 정보를 판단하는 방법을 사용할 수 있다.
영상 단위가 블록인 경우로 가정하면 예측 대상 영상 단위에 대응되는 텍스쳐 영상 단위가 에지를 포함하는 에지 영역인지 여부에 따라 skip 여부를 결정하기 위한 영상의 rendering quality를 산출 방법이 다르게 적용될 수 있다.
와핑 예측 깊이 영상 단위의 깊이값과 예측 대상 영상 단위의 깊이값의 차이값 및 에지 정보를 기초로 영상의 rendering quality를 산출한다(단계 S230).
단계 S210 및 단계 S220을 통해 산출된 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 영상 단위의 깊이 정보의 차이값 및 텍스쳐 픽쳐 영상 단위의 에지 정보를 기초로 예측 대상 영상 단위의 rendering qulaity를 산출할 수 있다.
아래의 수학식 3은 카메라가 p에 해당하는 시점 영상의 좌표
Figure PCTKR2012004915-appb-I000010
에서
Figure PCTKR2012004915-appb-I000011
만큼의 depth coding error가 발생했다고 가정하였을 경우 산출되는 texture mapping errer인
Figure PCTKR2012004915-appb-I000012
를 나타낸다.
<수학식 3>
Figure PCTKR2012004915-appb-I000013
수학식 3에서
Figure PCTKR2012004915-appb-I000014
와
Figure PCTKR2012004915-appb-I000015
는 카메라 시점
Figure PCTKR2012004915-appb-I000016
와
Figure PCTKR2012004915-appb-I000017
사이의 거리 및
Figure PCTKR2012004915-appb-I000018
및
Figure PCTKR2012004915-appb-I000019
의 함수가 될 수 있다.
Figure PCTKR2012004915-appb-I000020
가 될 수 있으며,
Figure PCTKR2012004915-appb-I000021
는 depth coding error가 있을 경우의 좌표가 될 수 있다.
수학식 3의 에러 산출 방법을 기초로 텍스쳐 영상 단위의 에지 정보에 따라 영상의 rendering quality는 아래의 수학식 4 및 수학식 5와 같이 산출될 수 있다.
아래의 수학식 4 및 수학식 5는 수학식 2를 통해 산출된 깊이 정보 차이 및 에지 영역 정보를 기초로 영상의 rendering quality를 산출하는 수학식이다.
영상 단위가 블록 단위가 아닌 다른 영상 단위인 경우 아래의 수학식은 변화될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
수학식 4은 대응 텍스쳐 픽쳐 영상 단위가 에지 영역이 아닌 경우 예측 대상 영상 단위의 rendering quality를 산출하는 수학식이고 수학식 5는 대응 텍스쳐 영상 단위가 에지 영역인 경우 예측 대상 영상 단위의 rendering quality를 산출하는 수학식이다.
<수학식 4>
Figure PCTKR2012004915-appb-I000022
Figure PCTKR2012004915-appb-I000023
는 수학식 2에서 산출될 수 있고 K는 구현에 따라 설정되는 임의의 상수값이다.
<수학식 5>
Figure PCTKR2012004915-appb-I000024
수학식 5에서
Figure PCTKR2012004915-appb-I000025
는 수학식 2에서 산출될 수 있고,
Figure PCTKR2012004915-appb-I000026
는 코딩하려는 영역의 texture-video pixel값들의 local correlation값,
Figure PCTKR2012004915-appb-I000027
는 코딩하려는 영역의 texture-video pixel값들의 분산값을 나타낸다. C는 구현에 따라 정해질 수 있는 상수값이다.
영상의 rendering quality가 특정한 임계치보다 작은지 여부를 판단한다(단계 S240).
단계 S240에서는 대응 텍스쳐 영상 단위가 에지 영역을 포함하는지 여부에 따라 서로 다른 임계치를 사용하여 영상의 rendering quality가 특정한 임계치보다 작은지 여부를 판단할 수 있다.
단계 S240을 통한 판단 결과, 산출된 rendering quality가 임계치보다 작은 경우 skip 모드로 부호화를 하는 경우에도 영상의 품질이 크게 떨어지지 않고 부호화 효율을 높일 수 있다고 판단하여 예측 대상 영상 단위에 대하여 skip 모드를 사용한 부호화를 수행할 수 있다. 만약 단계 S240을 통한 판단이 만족되는 경우, skip 모드가 아닌 추가적인 예측 정보를 부호화하는 다른 부호화 방법을 사용할 수 있다.
대응 텍스쳐 영상 단위가 에지 영역을 포함하는 경우와 대응 텍스쳐 영상 단위가 에지 영역을 포함하지 않는 경우, 스킵 모드를 수행할지 여부를 판단하기 위해 사용되는 임계치는 서로 다른 값을 가질 수 있다.

특정한 영상 단위에 대하여 스킵 모드 부호화 여부에 대한 정보는 구문 요소를 기초로 부호화될 수 있다. 아래의 표 1은 스킵 모드를 사용하여 부호화를 수행하였는지 여부를 나타내는 syntax를 나타낸 것이다.
<표 1>
Figure PCTKR2012004915-appb-I000028

표 1을 참조하면, 소정의 영상 단위(macroblock)에 대하여 스킵 모드를 사용할지 여부를 새로운 구문 요소인 depth_skip_mode_flag를 사용하여 플래그 정보로서 표현할 수 있다.
플래그 정보의 명칭 및 플래그 정보값은 임의적인 것으로서 변할 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
구문 요소 depth_skip_mode_flag는 부호화 대상 영상 단위에서 스킵 모드를 사용하였는지 여부를 나타내는 정보로서 예를 들어, 구문 요소의 플래그값이 1이면 부호화 대상 영상 단위에서 skip을 수행한다는 것을 나타낸다. 따라서 depth_skip_mode_flag의 플래그값이 1인 경우 와핑 예측 깊이 영상 단위의 깊이 정보를 예측 대상 깊이 영상 단위의 깊이 정보로 사용할 수 있고 플래그값이 0인 경우, 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 영상 단위의 깊이값의 차분값 및 기타 예측에 필요한 추가적인 정보(참조 픽쳐 정보 및 움직임 벡터 정보)를 부호화하여 전송할 수 있다.
또한, 스킵 모드 부호화 여부에 대한 정보는 표 1과 같이 특정한 구문 요소로 표현되지 않고 decoding을 통해 유추되는 값이 되거나 다른 정보와 결합되어 부호화된 값이 될 수 있다. 이하, 본 발명의 실시예에서는 skip 여부 정보 및 이하에서 추가적으로 설명할 인덱스 정보가 구체적인 구문 요소를 이용하여 부호화된다고 갖어하여 설명한다.

도 3은 본 발명의 실시예에 따른 복수개의 시점에 대한 VSP(View Synthesis Prediction)를 수행하는 방법을 나타낸 개념도이다.
도 3을 참조하면, 참조 와핑 픽쳐로 사용될 수 있는 동일한 POC를 가진 픽쳐는 n개(view 1 내지 view n) 존재할 수 있다.
동일한 POC를 가진 n개의 깊이 픽쳐 중 적어도 하나의 픽쳐는 예측 대상 깊이 픽쳐와 동일한 뷰를 기준으로 와핑을 수행하여 와핑 예측 깊이 픽쳐(315-1, 335-1)를 생성할 수 있다. skip 모드 부호화 여부를 결정하기 위한 비교 픽쳐로 복수개 와핑 예측 깊이 픽쳐(315-1, 335-1)가 존재하는 경우, 복수개의 와핑 예측 깊이 픽쳐(315-1, 335-1)를 기초로 예측 대상 영상 단위(350-1)가 skip 모드 부호화를 수행할지 여부에 대하여 결정할 수 있다.
물론 도 2와 같이 세 개 이상의 뷰가 존재하는 경우에도 복수개의 와핑 예측 깊이 픽쳐를 사용하지 않고 전술한 도 1에서와 같이 하나의 와핑 예측 깊이 픽쳐(315-1)만을 생성할 수도 있다.
예를 들어, 부호화 순서를 고려하여 예측 대상 깊이 픽쳐 이전에 부호화된 동일한 POC를 가진 다른 뷰의 n개의 깊이 픽쳐가 존재하는 경우, 예측 대상 깊이 픽쳐의 시점을 기준으로 와핑을 수행시 최대 n-1개의 와핑 예측 깊이 픽쳐를 생성할 수 있다. 모든 시점의 픽쳐에 대해 현재 예측 대상 깊이 픽쳐의 시점으로 와핑을 수행하는 것도 가능하나. 이하 본 발명의 실시예에서는 두 개의 다른 시점(view 1(310) 및 view 3(330))의 깊이 영상 단위만을 와핑 예측 깊이 픽쳐로 사용되는 것으로 가정한다.
현재 예측 대상 깊이 픽쳐의 왼쪽 시점(view 1, 310)에 존재하는 깊이 픽쳐를 와핑한 와핑 예측 깊이 픽쳐를 제1 와핑 예측 깊이 픽쳐(315-1)라고 정의하고 현재 예측 대상 깊이 픽쳐의 오른쪽 시점(view2, 330)에 존재하는 깊이 픽쳐를 와핑한 와핑 예측 깊이 픽쳐를 제2 와핑 예측 깊이 픽쳐(335-1)라고 정의할 수 있다. 제1 와핑 깊이 픽쳐(315-1) 및 제2 와핑 픽쳐(335-1)는 인덱싱 정보를 이용하여 구분될 수 있다.
제1 와핑 예측 깊이 픽쳐(315-1) 및 제2 와핑 예측 깊이 픽쳐(335-1) 중 하나의 픽쳐만을 최종 와핑 예측 깊이 픽쳐로 선택하여 도 1에서와 같이 skip 모드 부호화 여부를 결정할 수도 있다. 예를 들어, 제1 와핑 예측 깊이 픽쳐(315-1) 및 제2 와핑 예측 깊이 픽쳐(335-1) 중 하나의 픽쳐를 선택하기 위한 하나의 방법으로 후보 와핑 예측 깊이 픽쳐(315-1 및 335-1)와 예측 대상 깊이 픽쳐(350) 사이의 잔차값을 비교할 수 있다.
또 다른 예로 제1 와핑 예측 깊이 픽쳐(315-1) 및 제2 와핑 예측 깊이 픽쳐(335-1)를 모두 사용하여 skip 모드 부호화 여부를 결정할 수도 있다. 두 개의 와핑 예측 깊이 픽쳐(315-1 및 335-1)를 모두 사용할 경우, 예측 대상 픽쳐(350)의 영상 단위(350-1)에 대하여 두개의 와핑 예측 깊이 픽쳐(315-1 및 335-1)의 영상 단위(350-2 및 350-3)에 존재하는 깊이 정보를 모두 예측 대상 깊이 영상 단위(350-1)의 깊이 정보와 비교할 수 있다. 비교 결과를 기초로 더 원본 정보(예측 대상 깊이 영상 단위의 깊이 정보)와 유사한 와핑 예측 깊이 영상 단위를 사용하여 skip 모드를 수행할지 여부를 결정할 수 있다. 이러한 방법을 사용할 경우 예측 대상 영상 단위 마다 skip 모드를 수행시 다른 와핑 예측 깊이 영상 단위가 선택될 수 있다.

도 4는 본 발명의 실시예에 따른 참조 와핑 픽쳐가 복수개인 경우 영상 단위에 대하여 skip 모드를 결정하기 위한 방법을 나타낸 순서도이다.
도 4에서는 복수개의 외피이 예측 깊이 픽쳐 중 하나의 와핑 예측 깊이 픽쳐를 최종 와핑 예측 깊이 픽쳐로 결정하여 skip 모드 부호화 여부를 판단하는 방법에 대하여 개시한다.
도 4의 순서도의 단계는 반드시 순차적이지 않고 부호화 상 순서가 바뀌어서 수행가능한 경우 바뀐 순서로 수행될 수 있다.
도 4를 참조하면, 와핑 예측 깊이 픽쳐를 생성한다(단계 S400).
동일한 POC를 가진 n개 시점의 픽쳐가 존재할 경우, 예측 대상 깊이 픽쳐의 시점을 기준으로 와핑된 복수개의 와핑 예측 깊이 픽쳐를 생성할 수 있다. 예를 들어, 예측 대상 깊이 픽쳐의 시점과 가까운 시점에 존재하는 픽쳐로 두 개의 와핑 예측 깊이 픽쳐를 생성할 수 있다.
하나의 와핑 예측 깊이 픽쳐를 최종 와핑 예측 깊이 픽쳐로 선택한다(단계 S410).
단계 S400에서 복수개의 와핑 예측 깊이 픽쳐를 생성한 경우 하나의 와핑 예측 깊이 픽쳐를 최종 와핑 예측 깊이 픽쳐로 선택하여 예측 대상 픽쳐의 영상 단위에 대해 skip 모드 부호화 여부를 결정하는데 사용할 수 있다.
하나의 와핑 예측 깊이 픽쳐가 최종 와핑 예측 깊이 픽쳐로 선택된 후 skip 모드 부호화 여부 결정 절차(단계 S420 내지 단계 S460)는 도 2에서 개시한 단계 S200 내지 단계 S240에서의 절차와 동일하게 하나의 와핑 예측 깊이 픽쳐를 기준으로 skip 모드 부호화 여부 결정 절차를 수행할 수 있다.
두 개의 와핑 예측 깊이 픽쳐를 모두 skip 모드 부호화하는데 사용하는 경우 두개의 와핑 예측 깊이 픽쳐 중 하나의 픽쳐를 결정하는 단계를 수행하지 않고 아래의 도 5에서 개시된 절차를 사용하여 영상 단위의 skip 모드 부호화 여부를 결정할 수 있다.

도 5는 본 발명의 실시예에 따른 두 개의 와핑 예측 깊이 픽쳐가 모두 skip 모드 부호화하는데 사용되는 경우를 나타낸 순서도이다.
도 5의 순서도의 단계는 반드시 순차적이지 않고 부호화 상 순서가 바뀌어서 수행가능한 경우 바뀐 순서로 수행될 수 있다.
영상의 깊이 정보를 산출한다(단계 S500).
영상의 깊이 정보를 산출하기 위해 전술한 단계 S200에서와 같은 방법이 사용될 수 있다.
와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 깊이 영상 단위의 깊이 정보 사이의 차이값을 산출한다(단계 S510).
복수개의 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 영상 단위의 깊이 정보 사이의 차이값을 산출할 수 있다. 예를 들어 두 개의 픽쳐를 와핑 예측 깊이 픽쳐로 사용하는 경우 제1 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 깊이 영상 단위의 차이값을 산출하고 제2 와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 깊이 영상 단위의 차이값을 산출할 수 있다.
차이값을 산출하는 방법으로 전술한 도 2의 단계 S210과 같은 방법이 사용될 수 있다.
와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 깊이 영상 단위의 차이값을 기초로 하나의 와핑 예측 깊이 영상 단위를 선택한다(단계 S520).
와핑 예측 깊이 영상 단위의 깊이 정보와 예측 대상 깊이 영상 단위의 차이값을 기초로 더 작은 차이값을 가진 와핑 예측 깊이 영상 단위를 skip 모드 부호화 여부를 결정하기 위한 와핑 예측 깊이 영상 단위로서 선택할 수 있다.
하나의 와핑 예측 깊이 영상 단위가 선택된 경우 이후의 절차인 단계 S530 내지 단계 S550은 도 2의 단계 S220 이후의 절차와 동일한 방법으로 수행될 수 있다.
skip 모드 부호화 여부에 대한 정보를 부호화하고 전술한 바와 같이 영상 단위에서 스킵 모드를 사용하였는지 여부를 나타내는 정보인 구문 요소 depth_skip_mode_flag를 전송할 수 있다. 도 3내지 도 5와 같이 추가적으로 skip 모드 부호화를 수행하기 위한 픽쳐를 선택적으로 사용하는 경우 복수개의 와핑 예측 깊이 픽쳐를 인덱싱한 정보를 전송하여 어떠한 픽쳐가 skip 모드 예측에 사용되었는지에 대한 정보도 추가적으로 부호화하여 전송할 수 있다.

본 발명의 실시예에 따르면 와핑 예측 깊이 영상 단위 뿐만 아니라 다른 참조 픽쳐(예를 들어, 다른 POC 값을 가지는 이전 깊이 픽쳐 또는 이후 깊이 픽쳐)도 또한 예측 대상 영상 단위를 예측하는데 사용될 수 있다. 이하, 본 발명의 실시예에서 예측 대상 영상 단위를 예측하는데 사용되는 픽쳐를 참조 픽쳐라고 정의한다. 참조 픽쳐는 와핑된 참조 픽쳐인 와핑 참조 픽쳐와 와핑되지 않은 참조 픽쳐인 non-와핑 참조 픽쳐를 포함할 수 있다.
도 6은 본 발명의 실시예에 따른 따른 VSP(View Synthesis Prediction) 방법을 나타낸 개념도이다.
skip 모드 부호화 여부를 결정하기 위해서는 와핑 예측 깊이 픽쳐 뿐만 아니라 다른 POC 값을 가진 와핑을 수행하지 않은 참조 픽쳐도 사용될 수 있다.
도 6을 참조하면, 예측 대상 영상 단위에 대한 깊이값을 예측하기 위해서는 복수개의 참조 픽쳐를 사용할 수 있다.
T1 픽쳐(620-1), D1 픽쳐(620), T2 픽쳐(630-1) 및 D2 픽쳐(630)는 T3 픽쳐(615-1), D3 픽쳐(615), T4 픽쳐(640-1) 및 D4 픽쳐(640)보다 먼저 부호화 및 복호화되어 T3 픽쳐(615-1), D3 픽쳐(615), T4 픽쳐(640-1) 및 D4 픽쳐(640)에 대한 예측을 수행시 참조 픽쳐로 사용될 수 있는 픽쳐라고 가정한다.
참조 픽쳐는 와핑 예측 깊이 픽쳐(605, 610)와 non-와핑 예측 깊이 픽쳐(615, 620, 630)를 포함하는 개념으로 사용할 수 있다. 와핑 예측 깊이 픽쳐(605, 610)는 와핑을 수행하여 생성된 예측 대상 깊이 픽쳐에 대한 깊이 정보 예측값을 생성하기 위한 픽쳐이고, non-와핑 예측 깊이 픽쳐(615, 620, 630)는 와핑을 수행하지 않고 예측 대상 영상 단위의 깊이 정보를 예측하는데 사용되는 픽쳐를 가리킨다. 예를 들어, non-와핑 예측 깊이 픽쳐(615, 620, 630)는 예측 대상 깊이 픽쳐(640)와 동일한 뷰를 가지면서 다른 POC값을 가진 깊이 픽쳐(630), 예측 대상 깊이 픽쳐(640)와 다른 뷰를 가지고 다른 POC값을 가진 깊이 픽쳐(620), 예측 대상 깊이 픽쳐(640)와 다른 뷰를 가지고 동일한 POC값을 가진 깊이 픽쳐(615)를 포함할 수 있다.
와핑 예측 깊이 픽쳐(605, 610)는 전술한 본 발명의 실시예에서와 같이 예측 대상 깊이 픽쳐(640)와 다른 뷰를 가지고 예측 대상 깊이 픽쳐(640)와 동일한 POC값을 가진 깊이 픽쳐(615)를 와핑한 픽쳐가 와핑 예측 깊이 픽쳐(605)가 될 수도 있고, 다른 POC의 깊이 픽쳐(620)를 와핑한 픽쳐를 와핑 예측 깊이 픽쳐(610)로 사용할 수도 있다.
복수개의 참조 픽쳐가 존재할 경우, 소정의 기준에 따라 non 와핑 예측 깊이 픽쳐(615, 620, 630)와 와핑 예측 깊이 픽쳐(605, 610)를 인덱스화하여 참조 픽쳐 리스트를 생성할 수 있다. 예를 들어, 와핑 예측 깊이 픽쳐(605, 610)에 먼저 인덱스를 부여하고 다음으로 non 와핑 예측 깊이 픽쳐(615, 620, 630)에 대하여 인덱싱을 할 수 있다. 와핑 예측 깊이 픽쳐(605, 610) 중 예측 대상 깊이 픽쳐의 시점과 가까운 시점에 존재하는 깊이 픽쳐에 작은 인덱스값을 부여할 수 있고, non 와핑 예측 깊이 픽쳐(615, 620, 630)도 동일한 시점을 공유하는 픽쳐에 인덱싱을 하고 그 다음으로는 POC 차이값이 작은 참조 픽쳐에 인덱스값을 부여할 수 있다. 참조 픽쳐 리스트를 구성하는 방법은 다양한 방법이 사용될 수 있다.
전술한 도 1 및 도 2와 같이 skip 모드 부호화 여부를 판단하기 위해 사용되는 참조 픽쳐가 하나의 와핑 예측 깊이 픽쳐인 경우 skip 모드 부호화를 수행시 skip 모드 부호화 여부를 판단하기 위해 사용되는 참조 픽쳐를 따로 인덱싱할 필요없이 skip 모드 수행 여부에 대한 정보만을 부호화할 수 있다.
하지만, skip 모드 부호화 여부를 판단하기 위해 사용되는 참조 픽쳐가 복수개의 픽쳐인 경우 skip 모드 수행 여부에 대한 정보만을 부호화할 뿐만 아니라 추가적으로 skip 모드 부호화시 skip 모드 부호화 여부를 판단하기 위해 사용된 참조 픽쳐 정보를 인덱싱한 정보를 부호화할 수 있다.
즉, 도 6과 같이 추가적으로 skip 모드 부호화 여부를 판단하기 위해 사용되는 참조 픽쳐가 와핑 예측 깊이 픽쳐(605, 610)와 non-와핑 예측 깊이 픽쳐(615, 620, 630)와 같이 다양한 픽쳐인 경우, skip 모드 수행 여부에 대한 정보만을 부호화할 뿐만 아니라 skip 모드 부호화를 수행시 skip 모드 부호화 여부를 판단하기 위해 사용되는 참조 픽쳐에 대한 정보를 인덱싱하여 인덱싱 정보를 부호화할 수 있다.
다시 도 6을 참조하면, 예를 들어, 예측 대상 영상 단위(640-2)를 예측하기 위한 참조 픽쳐로서 사용하기 위해 참조 픽쳐 리스트에는 하나의 와핑 예측 깊이 픽쳐(605)와 3개의 non-와핑 예측 깊이 픽쳐(제1 참조 픽쳐(630), 제2 참조 픽쳐(615), 제3 참조 픽쳐(620))가 존재한다고 가정할 수 있다.
이 때 참조 픽쳐 리스트에 포함된 참조 픽쳐의 인덱싱 정보로서 0 번 인덱스를 와핑 예측 깊이 픽쳐(605), 1 번 인덱스를 제1 참조 픽쳐(630), 2 번 인덱스를 제2 참조 픽쳐(615), 3 번 인덱스를 제3 참조 픽쳐(620)에 할당할 수 있다.
인코더에서는 와핑 예측 깊이 픽쳐(605), 제1 참조 픽쳐(630), 제2 참조 픽쳐(615), 제3 참조 픽쳐(620)와 같이 복수개의 참조 픽쳐의 영상 단위와 예측 대상 영상 단위의 잔차값을 비교할 수 있다. 비교 결과를 기초로 가장 작은 잔차값을 가진 참조 픽쳐를 사용하여 예측 대상 영상 단위를 skip 모드 부호화할지 여부를 결정할 수 있다.
예를 들어, 잔차값에 대한 비교를 수행한 결과 예측 대상 블록과 제1 참조 픽쳐(630)에 포함된 대응되는 블록의 잔차값이 가장 작은 경우, 제1 참조 픽쳐(630)에 포함된 대응되는 블록을 사용하여 전술한 도 2에서와 동일한 절차로 skip 모드를 사용하여 부호화를 수행할지 여부를 결정할 수 있다.
스킵 모드 부호화 여부에 대한 정보는 전술한 구문 요소인 depth_skip_mode_flag와 같은 플래그 정보를 기초로 부호화될 수 있고 사용된 참조 픽쳐 정보는 추가의 인덱스 정보를 기초로 부호화될 수 있다.
스킵 모드를 수행하지 않는 경우, 기존의 예측 대상 블록 부호화 방법과 마찬가지로 참조 픽쳐 리스트 정보, 참조 픽쳐 정보, 움직임 벡터 정보 및 잔차 정보와 같은 추가적인 예측 정보를 부호화하여 복호화기에 전송할 수 있다.

도 7은 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 7은 도 1 및 도 2에서 개시한 하나의 와픽 예측 깊이 영상 단위를 사용하여 skip 부호화 여부 결정 방법으로 부호화를 수행하는 방법을 나타낸다. 도 7의 순서도의 단계는 반드시 순차적이지 않고 부호화 상 순서가 바뀌어서 수행가능한 경우 바뀐 순서로 수행될 수 있다.
도 7을 참조하면, 와핑 예측 깊이 픽쳐를 생성한다(단계 S700).
와핑 예측 깊이 픽쳐가 skip 모드 복호화에만 사용되는 경우 skip 모드 부호화 정보를 먼저 복호화하고 와핑 예측 깊이 픽쳐를 생성할 수 있다. 즉, 단계 S700은 이하에서 설명할 단계 S710 다음에 수행될 수 있다.
또 와핑 예측 깊이 픽쳐는 복호화 대상 영상 단위의 skip 여부에 따라 생성 여부를 결정할 수도 있으나 영상 단위를 복호화시 skip 모드가 아닌 다른 복호화 방법(예를 들어 merge 또는 AMVP)에도 사용될 수 있으므로 예측 대상 깊이 픽쳐에 대한 복호화를 수행시 참조 픽쳐 리스트에 저장될 수 있다.
skip 정보를 복호화하여 skip 모드 부호화 여부를 판단한다(단계 S710).
skip 정보는 depth_skip_mode_flag와 같은 skip 여부 정보를 나타내는 플래그로서 복호화 대상 영상 단위가 부호화시 스킵 모드를 사용하였는지 여부에 대한 정보를 나타낸다.
또 다른 예로 skip 정보를 따로 복호화하지 않고도 유추하여 영상 단위의 skip 모드 부호화 수행 여부 정보를 얻거나 skip 정보를 다른 구문 요소 정보와 함께 결합 부호화된 정보를 기초로 영상 단위의 skip 모드 부호화 수행 여부 정보를 얻을 수 있다.
영상 단위가 skip 모드를 사용하여 부호화된 경우, skip 모드를 이용하여 복호화 대상 영상 단위를 복호화한다(단계 S720).
skip 모드를 수행하여 복호화를 수행하는 경우, 와핑 예측 깊이 영상 단위에 존재하는 깊이 정보를 복호화 대상 영상 단위의 깊이 정보로 바로 사용할 수 있다.
영상 단위가 skip 모드를 사용하지 않은 경우 영상 단위 복호화에 필요한 추가의 정보를 복호화한다(단계 S730).
영상 단위가 skip 모드를 사용하지 않은 경우 영상 단위 복호화에 필요한 추가의 정보(예를 들어, 참조 픽쳐 정보, 움직임 벡터 정보 및 잔차 정보 등)를 복호화한다.

도 8은 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 8은 도 3 내지 도 5에서 개시한 부호화 방법을 기초로 복호화를 수행하는 방법을 나타낸다. 도 8의 순서도의 단계는 반드시 순차적이지 않고 부호화 상 순서가 바뀌어서 수행가능한 경우 바뀐 순서로 수행될 수 있다.
도 8을 참조하면, 복수의 와핑 예측 깊이 픽쳐를 생성한다(단계 S800).
skip 모드를 수행하기 위해 사용되는 픽쳐가 복수의 와핑 예측 깊이 픽쳐인 경우 와핑을 수행하여 복수개의 와핑 예측 깊이 픽쳐를 생성할 수 있다. 생성된 복수의 와핑 예측 깊이 픽쳐는 참조 픽쳐 리스트와 같은 버퍼에 저장될 수 있다.
skip 정보를 복호화한다(단계 S810).
skip 정보는 depth_skip_mode_flag와 같은 skip 여부 정보를 나타내는 플래그로서 복호화 대상 영상 단위가 부호화시 스킵 모드를 사용하였는지 여부에 대한 정보를 나타낸다.
또 다른 예로 skip 정보를 따로 복호화하지 않고도 유추하여 영상 단위의 skip 모드 부호화 수행 여부 정보를 얻거나 skip 정보를 다른 구문 요소 정보와 함께 결합 부호화된 정보를 기초로 영상 단위의 skip 모드 부호화 수행 여부 정보를 얻을 수 있다.
참조 픽쳐 인덱스 정보를 복호화한다(단계 S820).
skip 모드를 수행하여 복호화를 수행하는 경우 복수의 와핑 예측 깊이 픽쳐 중 어떠한 와핑 예측 깊이 픽쳐를 이용하여 skip 모드를 수행하여 복호화를 수행하였는지에 대하여 알기 위해 복호화 대상 영상 단위가 사용한 참조 픽쳐 인덱스 정보를 복호화할 수 있다. 전술한 바와 같이 두개의 와핑 예측 깊이 영상 단위가 사용될 경우, 어떠한 영상 단위가 skip에 사용됬는지에 대한 인덱스 정보가 부호화될 수 있고 이러한 인덱스 정보를 복호화하여 skip 모드 복호화에 사용할 수 있다.
skip 모드를 이용하여 복호화 대상 영상 단위에 대하여 복호화를 수행한다(단계 S830).
단계 S820을 통해 선택된 와핑 예측 깊이 영상 단위를 이용하여 skip 모드를 이용한 복호화를 수행할 수 있다.
단계 S810을 통한 판단 결과 스킵 모드가 아닌 경우, 영상 단위 복호화에 필요한 추가의 정보를 복호화한다(단계 S840).
영상 단위가 skip 모드를 사용하지 않은 경우 영상 단위 복호화에 필요한 추가의 정보(예를 들어, 참조 픽쳐 정보, 움직임 벡터 정보 및 잔차값 정보 등)를 복호화한다

도 9는 본 발명의 실시예에 따른 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 9는 도 5에서 개시한 부호화 방법을 기초로 복호화를 수행하는 방법을 나타낸다. 도 9의 순서도의 단계는 반드시 순차적이지 않고 부호화 상 순서가 바뀌어서 수행가능한 경우 바뀐 순서로 수행될 수 있다.
도 9를 참조하면, 참조 픽쳐 리스트를 생성한다(단계 S900).
skip 모드를 수행하기 위해 사용되는 참조 픽쳐 리스트는 적어도 하나의 와핑 예측 깊이 픽쳐 또는 non-와핑 예측 깊이 픽쳐를 포함할 수 있다. 와핑 예측 깊이 픽쳐 또는 non-와핑 예측 깊이 픽쳐에 인덱싱하는 방법은 다양한 방법을 사용할 수 있다.
skip 정보를 복호화한다(단계 S910).
skip 정보는 depth_skip_mode_flag와 같은 skip 여부 정보를 나타내는 플래그로서 복호화 대상 영상 단위가 부호화시 스킵 모드를 사용하였는지 여부에 대한 정보가 될 수 있다.
또 다른 예로 skip 정보를 따로 복호화하지 않고도 유추하여 영상 단위의 skip 모드 부호화 수행 여부 정보를 얻거나 skip 정보를 다른 구문 요소 정보와 함께 결합 부호화된 정보를 기초로 영상 단위의 skip 모드 부호화 수행 여부 정보를 얻을 수 있다.
복호화 대상 영상 단위에 대해 참조 픽쳐 인덱스 정보를 복호화한다(단계 S920).
skip 모드를 수행하여 복호화를 수행하는 경우, 복수의 참조 픽쳐 중 어떠한 참조 픽쳐를 이용하여 skip 모드를 수행한 복호화를 수행하였는지에 대한 정보를 얻기 위해 참조 픽쳐의 인덱스 정보를 복호화할 수 있다.
skip 모드를 이용하여 복호화 대상 영상 단위에 대하여 복호화를 수행한다(단계 S930).
단계 S920을 통해 선택된 와핑 예측 깊이 픽쳐를 이용하여 skip 모드를 이용한 복호화를 수행할 수 있다.
단계 S910을 통한 판단 결과 스킵 모드가 아닌 경우, 영상 단위 복호화에 필요한 추가의 정보를 복호화한다(단계 S940).
영상 단위가 skip 모드를 사용하지 않은 경우 영상 단위 복호화에 필요한 추가의 정보(예를 들어, 참조 픽쳐 정보, 움직임 벡터 정보 및 잔차값 정보 등)를 복호화한다

도 10은 본 발명의 실시예에 따른 영상 부호화 장치의 일부를 나타낸 개념도이다.
도 10를 참조하면, 영상 부호화기의 메모리(1000) 및 예측부(1005)를 포함할 수 있고 예측부(1005)는 깊이 정보 예측부(1010)와 텍스쳐 정보 예측부(1020)를 포함할 수 있다.
메모리(1000)에는 이전에 부호화된 깊이 픽쳐 및 텍스쳐 픽쳐가 저장되어 있을 수 있다. 메모리(1000)에 저장된 부호화된 깊이 픽쳐 및 텍스쳐 픽쳐는 예측부(1005)에서 깊이 픽쳐 및 텍스쳐 픽쳐에 대한 예측을 수행시 사용될 수 있다.
텍스쳐 정보 예측부(1020)는 다시점 영상의 휘도 정보 및 색차 정보와 같은 텍스쳐 정보를 예측할 수 있다. 텍스쳐 정보 예측 방법으로 화면 간 예측 방법 또는 화면 내 예측 방법과 같은 다양한 예측 방법을 사용할 수 있다.
깊이 정보 예측부(1010)는 영상의 깊이 정보를 예측할 수 있다. 전술한 바와 같이 깊이 정보 예측부(1010)에서는 스킵 모드를 사용하여 예측 정보를 부호화하지 않고 다른 픽쳐의 영상 정보를 그대로 사용할 수 있다. 깊이 정보 예측부(1010)에서는 메모리에 저장된 깊이 픽쳐를 와핑하여 와핑 예측 깊이 픽쳐를 생성할 수 있고, 하나의 와핑 예측 깊이 픽쳐 또는 복수의 와핑 예측 깊이 픽쳐 를 기준으로 skip 모드를 수행할지 여부를 결정할 수 이다.
깊이 정보 예측부(1010)에서 skip 모드를 사용하여 부호화를 수행할 경우 잔차 정보(예측 깊이 정보와 원본 깊이 정보의 차이)를 부호화하여 전송할 필요없이 예측 대상 영상 단위가 skip 모드를 사용한 부호화를 수행하였다는 정보를 부호화하여 복호화기에 전송함으로서 복호화기에서는 skip 모드를 이용한 복호화를 수행할 수 있다. 만약 복수의 와핑 예측 깊이 픽쳐 또는 복수의 참조 픽쳐를 사용하는 경우 skip에 사용되는 픽쳐의 인덱스 정보도 추가적으로 부호화하여 전송할 수 있다.
만약 깊이 정보 예측부(1010)에서 skip 모드를 사용하여 부호화를 수행하지 않는 경우 잔차 정보를 추가적으로 부호화하고 예측에 사용된 추가적인 예측 정보(움직임 벡터 정보, 참조 픽쳐 인덱스 정보)를 부호화하여 복호화기에 전송할 수 있다.
예측 대상 영상 단위에 대하여 skip 모드 부호화 여부를 결정하기 위하여 깊이 정보 예측부(1010)는 아래와 같은 추가적인 구성을 포함할 수 있다.

도 11은 본 발명의 실시예에 따른 깊이 정보 예측부를 나타낸 개념도이다.
도 11을 참조하면, 깊이 정보 예측부(1150)는 와핑부(1100), 차분값 생성부(1110), 에지 정보 생성부(1120), skip 여부 결정부(1130)를 포함할 수 있다.
와핑부(1100)는 메모리에서 제공된 부호화된 깊이 픽쳐를 와핑하여 예측 대상 픽쳐의 시점으로 와핑을 수행할 수 있다. 와핑부(1100)에서 예측 대상 픽쳐의 영상 단위에 대하여 skip 모드 부호화를 수행할지 여부를 결정하기 위한 와핑 예측 깊이 픽쳐를 생성할 수 있다.
차분값 생성부(1110)는 예측 대상 깊이 픽쳐의 영상 단위와 예측 대상 깊이 픽쳐의 영상 단위에 대응되는 와핑 예측 깊이 픽쳐의 영상 단위 깊이 정보 차분값을 산출할 수 있다. 차분값 생성부(1110)에서 생성된 생성된 차분값 정보는 skip 모드 부호화 결정부(1130)로 입력되어 예측 대상 깊이 픽쳐의 영상 단위가 skip 모드로 부호화를 수행할지에 대하여 결정할 수 있다.
에지 정보 판단부(1120)는 예측 대상 깊이 픽쳐의 영상 단위에 대응되는 텍스쳐 픽쳐의 영상 단위에 에지 정보를 판단할 수 있다. 예를 들어, 에지 정보 판단부(1120)에서 텍스쳐 픽쳐의 영상 단위에 에지가 존재한다고 판단되는 경우 해당 정보는 skip 모드 부호화 결정부(1130)로 입력되어 skip 모드로 부호화를 수행할지에 대하여 결정하는 정보로 사용될 수 있다.

도 12는 본 발명의 실시예에 따른 영상 복호화 장치의 일부를 나타낸 개념도이다.
도 12를 참조하면, 영상 복호화 장치는 예측부(1250), 메모리(1230)를 포함할 수 있고 예측부(1250)는 깊이 정보 예측부(1220)와 텍스쳐 정보 예측부(1200)를 포함할 수 있다.
메모리(1230)에는 이전에 복호화된 깊이 픽쳐 및 텍스쳐 픽쳐가 저장되어 있을 수 있다. 메모리(1230)에 저장된 복호화된 깊이 픽쳐 및 텍스쳐 픽쳐는 예측부(1230)에서 깊이 픽쳐 및 텍스쳐 픽쳐에 대한 예측을 수행시 사용될 수 있다.
텍스쳐 정보 예측부(1200)는 부호화기에서 전송된 예측 정보를 기초로 다시점 영상의 휘도 정보 및 색차 정보와 같은 텍스쳐 정보의 예측값을 생성할 수 있다.
깊이 정보 예측부(1220)는 부호화기에서 전송된 정보를 기초로 영상의 깊이 정보를 예측할 수 있다. 부호화기에서 깊이 정보 예측부(1220)에서 skip 모드를 사용하였다는 정보가 전송된 경우, 메모리에서 참조 픽쳐 전송받고 참조 픽쳐를 와핑하여 생성된 와핑 예측 깊이 픽쳐의 깊이 정보를 예측 대상 픽쳐의 깊이 정보로 사용할 수 있다.
skip 모드로 복호화를 수행하기 위해 복수의 와핑 예측 깊이 픽쳐를 사용하거나 복수의 참조 픽쳐를 사용할 경우 추가적으로 skip 모드에 사용된 픽쳐의 인덱스 정보를 복호화하여 skip 모드를 이용한 복호화를 수행할 수 있다. skip 모드 복호화를 수행한 영상 단위는 추가적인 잔차 정보없이 복호화를 수행할 수 있다.
부호화기에서 깊이 정보 예측부(1220)에서 skip 모드가 아닌 다른 예측 방법을 사용하여 예측을 수행한 경우, 예측값과 영상 단위의 복호화된 잔차 정보와 합쳐져 출력될 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (18)

  1. 와핑 예측 깊이 영상 단위를 생성하고 복호화 대상 영상 단위에 대한 skip 정보를 복호화하는 단계; 및
    상기 skip 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드 복호화하는 단계를 포함하되,
    상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐 영상 단위의 에지 정보를 기초로 결정되는 정보인 영상 복호화 방법.
  2. 제1항에 있어서, 상기 와핑 예측 깊이 영상 단위는,
    예측 대상 깊이 픽쳐와 동일한 POC(picture order count)를 가지는 깊이 픽쳐를 상기 예측 대상 깊이 픽쳐의 시점으로 와핑한 픽쳐인 영상 복호화 방법.
  3. 제1항에 있어서, 상기 skip 정보는,
    복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하는 단계; 및
    예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하는 단계를 기초로 산출되는 정보인 영상 복호화 방법.
  4. 제3항에 있어서, 상기 skip 정보는,
    에지가 존재하는 경우 상기 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계; 및
    에지가 존재하지 않는 경우 상기 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보인 영상 복호화 방법.
  5. 복수의 와핑 예측 깊이 영상 단위를 생성하고 복호화 대상 영상 단위에 대한 skip 정보 및 skip 모드를 수행시 사용될 와핑 예측 깊이 영상 단위의 인덱스 정보를 복호화하는 단계; 및
    상기 skip 정보 및 상기 인덱스 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드로 복호화하는 단계를 포함하되,
    상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위의 에지 정보를 기초로 결정되는 정보인 영상 복호화 방법.
  6. 제5항에 있어서, 상기 와핑 예측 깊이 픽쳐의 인덱스 정보는,
    상기 복수의 와핑 예측 깊이 영상 단위 중 상기 복호화 대상 영상 단위의 깊이 정보와 차이가 적은 와핑 예측 깊이 픽쳐의 인덱스 정보인 영상 복호화 방법.
  7. 제5항에 있어서, 상기 skip 정보는,
    복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하는 단계; 및
    예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하는 단계를 기초로 산출되는 정보인 영상 복호화 방법.
  8. 제5항에 있어서, 상기 skip 정보는,
    에지가 존재하는 경우, 상기 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계; 및
    에지가 존재하지 않는 경우, 상기 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보인 영상 복호화 방법.
  9. 참조 픽쳐를 생성하고 복호화 대상 영상 단위에 대한 skip 정보 및 skip 모드를 수행시 사용될 참조 픽쳐의 인덱스 정보를 복호화하는 단계; 및
    상기 skip 정보를 기초로 상기 복호화 대상 영상 단위를 skip 모드를 사용하여 복호화하는 단계를 포함하되,
    상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위의 에지 정보를 기초로 결정되는 정보인 영상 복호화 방법.
  10. 제9항에 있어서, 상기 참조 픽쳐는,
    와핑을 수행하여 생성된 참조 픽쳐인 와핑 예측 깊이 픽쳐 및 와핑을 수행하지 않은 참조 픽쳐인 non 와핑 예측 깊이 픽쳐를 포함하는 영상 복호화 방법.
  11. 제9항에 있어서 상기 skip 정보는,
    복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하는 단계; 및
    예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하는 단계를 기초로 산출되는 정보인 영상 복호화 방법.
  12. 제9항에 있어서, 상기 skip 정보는,
    에지가 존재하는 경우 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계; 및
    에지가 존재하지 않는 경우 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보인 영상 복호화 방법.
  13. 복호화 대상 영상 단위에 대한 skip 정보를 복호화하는 엔트로피 복호화부; 및
    와핑 예측 깊이 영상 단위를 생성하고 상기 skip 정보를 기초로 상기 복호화 대상 영상 단위에 대하여 skip 모드 복호화를 수행하는 예측부를 포함하되,
    상기 skip 정보는 상기 와핑 예측 깊이 영상 단위의 깊이 정보와 상기 복호화 대상 영상 단위의 깊이 정보 및 상기 복호화 대상 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위의 에지 정보를 기초로 결정되는 정보인 영상 복호화 장치.
  14. 제13항에 있어서, 엔트로피 복호화부는,
    복수의 와핑 예측 깊이 영상 단위 또는 복수의 참조 픽쳐가 사용될 경우 복호화 대상 영상 단위의 스킵 모드에 사용된 영상 단위 또는 픽쳐의 인덱스 정보를 복호화하는 엔트로피 복호화부인 영상 복호화 장치.
  15. 제14항에 있어서, 상기 예측부는,
    상기 복호화 대상 영상 단위가 skip 모드 복호화를 수행할 경우 상기 인덱스 정보를 기초로 결정된 와핑 예측 깊이 영상 단위 또는 참조 픽쳐 중 하나의 깊이 정보를 상기 복호화 대상 영상 단위의 깊이 정보로 사용하는 예측부인 영상 복호화 장치.
  16. 제13항에 있어서, 상기 와핑 예측 깊이 영상 단위는,
    예측 대상 깊이 픽쳐와 동일한 POC(picture order count)를 가지는 깊이 픽쳐를 상기 예측 대상 깊이 픽쳐의 시점으로 와핑한 픽쳐인 영상 복호화 장치.
  17. 제13항에 있어서, 상기 skip 정보는,
    복호화 대상 영상 단위의 깊이값과 상기 와핑 예측 깊이 영상 단위의 변환 깊이값의 차이값 중 가장 큰 값인 최대 깊이 차이값을 산출하고 예측 대상 깊이 영상 단위에 대응되는 텍스트 픽쳐의 영상 단위에 에지 영역이 존재하는지 여부를 판단하여 산출되는 정보인 영상 복호화 장치.
  18. 제13항에 있어서, 상기 skip 정보는,
    에지가 존재하는 경우 최대 깊이 차이값을 기초로 제1 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제1 임계값을 넘는지 여부를 판단하는 단계; 및
    에지가 존재하지 않는 경우 최대 깊이 차이값을 기초로 제2 영상 rendering quality 산출 방법을 사용하여 산출된 값이 제2 임계값을 넘는지 여부를 판단하는 단계 중 적어도 하나의 단계에 따라 결정되는 정보인 영상 복호화 장치.
PCT/KR2012/004915 2011-06-24 2012-06-21 스킵 모드 부호화 복호화 방법 및 장치 WO2012177063A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280040034.2A CN103765895B (zh) 2011-06-24 2012-06-21 使用跳跃模式的编码/解码方法和装置
US14/129,205 US9509972B2 (en) 2011-06-24 2012-06-21 Encoding/decoding method and apparatus using a skip mode
EP12802291.0A EP2717572B1 (en) 2011-06-24 2012-06-21 Encoding/decoding method and apparatus using a skip mode

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161500616P 2011-06-24 2011-06-24
US61/500,616 2011-06-24

Publications (2)

Publication Number Publication Date
WO2012177063A2 true WO2012177063A2 (ko) 2012-12-27
WO2012177063A3 WO2012177063A3 (ko) 2013-03-28

Family

ID=47423092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004915 WO2012177063A2 (ko) 2011-06-24 2012-06-21 스킵 모드 부호화 복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US9509972B2 (ko)
EP (1) EP2717572B1 (ko)
CN (1) CN103765895B (ko)
WO (1) WO2012177063A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
CA2921759C (en) * 2013-10-17 2018-05-15 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
KR20220024659A (ko) 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 비디오 처리에서의 적응적 해상도 변경
CN116597062B (zh) * 2023-07-10 2024-02-09 北京麟卓信息科技有限公司 一种基于动态自适应解码的压缩纹理渲染优化方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
MY124160A (en) 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
EP3029938A1 (en) * 2002-03-15 2016-06-08 Nokia Technologies Oy Method for coding motion in a video sequence
US7764827B2 (en) 2003-08-05 2010-07-27 Koninklijke Philips Electronics N.V. Multi-view image generation
DE602005018796D1 (de) * 2004-09-16 2010-02-25 Thomson Licensing Verfahren und vorrichtung zur schnelllaufentscheidung für interframes
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
JP4398919B2 (ja) * 2005-08-22 2010-01-13 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
WO2007114612A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
US20100091845A1 (en) 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
WO2007148909A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
KR20080022055A (ko) * 2006-09-05 2008-03-10 엘지전자 주식회사 비디오 신호 디코딩 방법 및, 비디오 신호 디코딩 장치
KR20080066522A (ko) 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
KR101431546B1 (ko) * 2007-05-02 2014-08-22 삼성전자주식회사 다시점 동영상의 부호화 및 복호화 방법과 그 장치
US8917775B2 (en) 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
EP2177036A2 (en) * 2007-08-15 2010-04-21 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
BRPI0911672A2 (pt) * 2008-04-25 2018-03-13 Thomson Licensing modos de pulo intervisualizações com profundidade
US9179153B2 (en) * 2008-08-20 2015-11-03 Thomson Licensing Refined depth map
WO2010093351A1 (en) 2009-02-13 2010-08-19 Thomson Licensing Depth map coding to reduce rendered distortion
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
WO2012036903A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
JP5872676B2 (ja) * 2011-06-15 2016-03-01 メディアテック インコーポレイテッド ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2717572A4

Also Published As

Publication number Publication date
US9509972B2 (en) 2016-11-29
EP2717572A2 (en) 2014-04-09
EP2717572A4 (en) 2016-06-29
CN103765895B (zh) 2017-03-08
EP2717572B1 (en) 2018-08-08
WO2012177063A3 (ko) 2013-03-28
CN103765895A (zh) 2014-04-30
US20140146137A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
JP6472877B2 (ja) 視点合成予測を含む３ｄまたは多視点映像符号化の方法
RU2611240C2 (ru) Устройство, способ и компьютерная программа для трехмерного видеокодирования
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
US9918068B2 (en) Method and apparatus of texture image compress in 3D video coding
JP6389833B2 (ja) 三次元ビデオ符号化の視点間候補導出の方法と装置
US9648342B2 (en) Method and apparatus for residual prediction in three-dimensional video coding
US9961370B2 (en) Method and apparatus of view synthesis prediction in 3D video coding
US9961369B2 (en) Method and apparatus of disparity vector derivation in 3D video coding
US9621920B2 (en) Method of three-dimensional and multiview video coding using a disparity vector
US20160073132A1 (en) Method of Simplified View Synthesis Prediction in 3D Video Coding
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
US10477183B2 (en) Method and apparatus of camera parameter signaling in 3D video coding
US20150304681A1 (en) Method and apparatus of inter-view motion vector prediction and disparity vector prediction in 3d video coding
JP2023017984A (ja) サブ予測ユニット単位の時間的な視点間動き情報の誘導方法及び装置
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
WO2012177063A2 (ko) 스킵 모드 부호화 복호화 방법 및 장치
US20160119643A1 (en) Method and Apparatus for Advanced Temporal Residual Prediction in Three-Dimensional Video Coding
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
JP2022523440A (ja) ビデオコーディングにおけるヌルタイルコーディング
CN105144714A (zh) 三维视频编码的视差向量推导的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12802291

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14129205

Country of ref document: US