WO2013077638A1 - 칼라영상을 이용해서 다시점 깊이영상을 부호화 / 복호화 하는 장치 및 방법 - Google Patents

칼라영상을 이용해서 다시점 깊이영상을 부호화 / 복호화 하는 장치 및 방법 Download PDF

Info

Publication number
WO2013077638A1
WO2013077638A1 PCT/KR2012/009900 KR2012009900W WO2013077638A1 WO 2013077638 A1 WO2013077638 A1 WO 2013077638A1 KR 2012009900 W KR2012009900 W KR 2012009900W WO 2013077638 A1 WO2013077638 A1 WO 2013077638A1
Authority
WO
WIPO (PCT)
Prior art keywords
image block
color image
static
block
encoded
Prior art date
Application number
PCT/KR2012/009900
Other languages
English (en)
French (fr)
Inventor
이진영
박두식
이재준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2013077638A1 publication Critical patent/WO2013077638A1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Definitions

  • the present invention relates to a method and apparatus for efficient compression of 3D video, and to an apparatus and method for encoding / decoding a multiview depth image using multiview color image information.
  • a stereoscopic image refers to a 3D image that simultaneously provides shape information about depth and space.
  • images captured from different viewpoints are required.
  • Free-view TV can freely change the point of view of objects by acquiring and analyzing multi-view images of the same scene, and in the case of 3-D TVs, it is possible to recognize realistic 3D depth by changing the images reflected by both eyes of a person. To be able.
  • images taken at various points of view have a large amount of data, it is difficult to secure network infrastructure and terrestrial bandwidth in order to compress and transmit them.
  • a depth image can be created and compressed and transmitted along with the images of some viewpoints among the images of multiple viewpoints to reduce the amount of data generated during compression. Since the depth image is an image representing the distance that an object is separated from the viewer in the color image with a value of 0 to 255, the feature is similar to the color image. [Detailed Description of the Invention] [Measures of problem]
  • a color image coder for encoding a color image block, a static region determination unit for determining whether an encoded color image block is a static region or a dynamic region, and the color image block if the encoded color image block is a static region
  • an encoding apparatus including a depth image coder for encoding a depth image block corresponding to the color image block if the encoded color image block-specific dynamic region is not encoded.
  • the static region determining unit determines whether the encoded color image block is a static region or a dynamic region when the encoded color image block belongs to a P picture or a B picture, and the depth image coder determines the encoded color image. If the block belongs to the I picture, the depth image block may be encoded.
  • the static region determiner classifies the encoded color image block into the dynamic region and does not include partition information in the encoded color image block. In this case, the encoded color image block may be classified into the static region.
  • the static region determination unit classifies the encoded color image block into the dynamic region, and when the motion vector of the encoded color image block is 0.
  • the coded color image block may be classified into the static region.
  • the static region observer may classify the encoded color image block into the dynamic region.
  • the static region determiner is compared with a corresponding (same position) block of a reference image, which is an image referred to when encoding the encoded color image block, and determines that the static region is equal to or greater than the reference value. It may be determined as the dynamic region.
  • the reference image may be a reference image having a temporal correlation at the same time or a reference image having a correlation between different viewpoints at the same time.
  • the static region determination unit calculates a difference value between the encoded color image block and a corresponding (same position) block of a forward reference image, and the difference value is If it is smaller than a predetermined static reference value, it may be determined as the static area, and if the difference value is greater than or equal to the static reference value, it may be determined as the dynamic area.
  • the static region determiner may calculate the difference value using at least one of a calculation method of SAD through SSD (Sum of Squared Differece), SADCSum of Absolute Difference (HDD), or Hadamard transformation.
  • the static region determiner determines a first difference value that is a difference value between the encoded color image block feature and a corresponding (same position) block of a forward reference image and the encoding. Calculating a second difference value, which is a difference value between the corresponding color image block and the corresponding (same position) convex of the reverse reference image, and a minimum difference value and a predetermined difference value among the first difference value and the second difference value
  • the static reference value may be compared to determine the static area if the minimum difference value is smaller than the static reference value, and the dynamic range may be determined if the minimum difference value is greater than or equal to the static reference value.
  • the static region determination unit swaps an image of an I view viewpoint, which is a reference image of the encoded color image block, to a P view viewpoint, and Compute a difference value between the corresponding (same position) block and the encoded color image block, and if the difference value is smaller than a predetermined static reference value, determine the static area, and if the difference value is greater than or equal to the static reference value, It may be determined as the dynamic region.
  • the static region determination unit swaps the image of the view I, which is a reference image of the encoded color image block, to the view B, and the image of the swapped I view image.
  • the static region determination unit reconfirms that the coded color image block is a static region by using a reference depth image block, and the reference depth image block is referred to when encoding the coded color image block. It may be a corresponding block of the depth image to the reference image that is the image.
  • the static region determiner calculates a deviation of the reference depth image block, and if the deviation value is larger than a preset reconfirmation reference value, the encoded color image block is encoded. If the deviation value is less than or equal to the preset reconfirmation reference value, the encoded color image block may be reconfirmed as the static area.
  • the static region determiner may reconfirm the dynamic region if the reference depth image block includes the segmentation information, and reconfirm the dynamic region if the segmentation information is not included in the reference depth image block.
  • the static region determiner the motion vector of the reference depth image block
  • the dynamic region may be reconfirmed. If the motion vector of the reference depth image block is 0, the dynamic region may be reconfirmed.
  • the static region determination unit may reconfirm the dynamic region.
  • the static region determiner may reconfirm the dynamic region if the reference depth image block includes an edge, and reconfirm the static region if the reference depth image block does not contain an edge.
  • the static region determination unit swaps the reference depth image block to the viewpoint of the encoded color image block, and the swapped reference depth image block. You can reconfirm the correction area using.
  • a color image decoder for decoding an encoded color image block, a static region determination unit for determining whether the decoded color image block is a static region or a dynamic region, and if the decoded color image block specific static region When the static region is determined, the decoded image is decoded using a depth image block that refers to the referenced image.
  • a depth image decoder for recovering a depth image block corresponding to the color image block, and receiving and decoding a coded depth image block corresponding to the decoded color image block if the decoded color image block is a dynamic region.
  • the static region determiner determines whether the decoded color image block is a static region or a dynamic region when the decoded color image block belongs to a P picture or a B picture, and the depth image decoder determines the decoded color image. If the blotk belongs to the I picture, the encoded depth image block that receives the decoded color image block may be received and decoded.
  • the static region determining unit when the difference is less than the reference value compared to the corresponding (same position) block of the reference image which is the image to be referred to when decoding the coded color image block, and determines that the static region and if the reference value or more It may be determined as the dynamic region.
  • the depth image decoder may restore the depth image block to a corresponding (same position) block of the depth image that is referenced to the reference image.
  • the depth image decoding unit swaps a depth image to the same viewpoint as the depth image block to decode the depth image.
  • the depth image block may be restored to the corresponding (same location) block of the swapped depth image.
  • the method may further include encoding a color image block, determining whether an encoded color image block is a static region or a dynamic region, and if the encoded color image block is a static region, a depth image block for the color image block. of Without encoding, if the encoded color image block is a dynamic region, there is provided an encoding method comprising the step of encoding a depth image block to the color image block.
  • the method may further comprise: decoding an encoded color image block, determining whether the decoded color image block is a static region or a dynamic region, and determining the static region if the decoded color image block is a static region.
  • Decoded depth image blocks for the decoded color image blocks by using the depth image blocks corresponding to the referenced reference image, and if the decoded color image blocks are dynamic regions, encoded depths for the decoded color image blocks.
  • a decoding method including receiving and decoding an image block is provided.
  • An apparatus and method are provided for encoding / decoding multi-view depth images using a color image.
  • color images and depth images have many correlations.
  • the encoding efficiency is higher than the conventional method of encoding the entire region without encoding the static region.
  • 1 is a diagram illustrating an encoding structure of a multiview image
  • FIG. 2 is a diagram illustrating a configuration of a system for encoding and decoding a depth image by using a static region determined by using a color image.
  • 3 is a flowchart illustrating a process of encoding a depth image by using a static region determined by a color image in an encoding apparatus
  • 4 is a flowchart illustrating a process of decoding a depth image using a static region determined by using a color image in the decoding apparatus.
  • FIG. 5 is a flowchart illustrating a process of determining a static area using presence or absence of split information
  • FIG. 6 is a flowchart illustrating a process of determining a static region using a motion vector
  • FIG. 7 is a flowchart illustrating a process of determining a static region through a temporal correlation at the same time in a color image
  • FIG. 8 is a diagram illustrating an example of a process of reconfirming whether a depth image block is a static region
  • FIG. 9 is a flowchart illustrating a process of determining a static region through correlation between different viewpoints of the same time in a color image
  • FIG. 10 is a diagram illustrating another example of a process of rechecking whether a depth image block is a static region
  • 11A and lib illustrate an example of a static region determined by temporal correlation at the same time
  • FIG. 4 is a diagram illustrating an example of a static region determined through correlation between different viewpoints.
  • An apparatus and method are provided for encoding a depth image by using color image information that is already encoded when encoding a depth image in a 3D image.
  • 1 is a diagram illustrating an encoding structure of a multiview image.
  • the hierarchical B picture concept When compressing a multi-view image, the hierarchical B picture concept is applied to the temporal axis and the view axis, thereby reducing a lot of redundancy.
  • the MVC structure of FIG. 1 currently compresses a left image and then compresses a right image and a center image in order to compress three viewpoint images.
  • the left image is encoded while removing the temporal redundancy by finding a similar area from previous images by performing motion estimation as in the case of compressing the existing 2D image.
  • the compressed left image can be used as a reference image, so that not only temporal redundancy through motion search but also view redundancy is removed through disparity estimation.
  • both left and right images can be used as reference images, and thus, redundancy between viewpoints can be eliminated by searching for mutation in both directions.
  • FIG. 1 a view that is encoded without a pre-schedule from another view as shown in the left image
  • the encoding viewpoint is predicted by unidirectional prediction from the image of other viewpoint like I-View (Intra View), Right image A view that is encoded while bidirectionally predicting from images of a view is generally defined in MVC as a B-View (Interpolative View).
  • Each picture is divided into an I-picture, a P-predictive picture, and an B-picture according to a coding type.
  • the I-picture encodes the image itself without preliminary inter-picture
  • the P-picture encodes the difference from the predicted value by predicting the inter-image using the reference image only in the forward direction
  • the B-picture refers to both the forward and reverse directions.
  • the image is predicted and encoded using the image.
  • FIG. 2 is a diagram illustrating a configuration of a system for encoding and decoding a depth image using a static region determined by using a color image.
  • the system includes an encoding apparatus 210 for encoding a depth image using information of encoded color images, and a decoding apparatus 230 for decoding a depth image using information of decoded color images. ).
  • the encoding apparatus 210 includes a color image coder 212, a static region determiner 220, and a depth image coder 214.
  • the color image encoder 212 encodes an input color image block.
  • the static region determiner 220 determines whether the coded color image block is a static region.
  • the static region determiner 220 compares the encoded color image block with a corresponding (same position) block of the reference image to determine whether the region is a static region having a high correlation or a dynamic region having a low correlation.
  • the static region which is a region of high correlation
  • the dynamic region which is a region of low correlation
  • a static domain The reference picture referred to for determining whether the reference picture is temporally correlated with the same view may be the reference picture, or the reference picture may be correlated with other views at the same time.
  • FIG. 11 An example of a static region determined by using a reference image having a temporal correlation at the same time may be expressed as shown in FIG. 11.
  • FIG. 14 An example of a static region observed using reference images that are correlated between different viewpoints at the same time may be expressed as shown in FIG. 14. 11 and 14 will be described later.
  • the depth image encoder 214 encodes the input depth image block if the encoded color image block belongs to the I picture. If the encoded color image block belongs to the p picture or the B picture, the depth image encoder 214 does not encode the input depth image block if the static region determination unit 220 determines that the received color image block is the dynamic region. Encode the depth image block. That is, except for the static region of the depth image, only the dynamic region of the depth image is encoded. That is, the depth image encoder 214 encodes and transmits only a block corresponding to the dynamic region of the depth image.
  • the decoding apparatus 230 includes a color image decoder 232, a static region determiner 220, and a depth image decoder 234.
  • the color image decoder 232 receives the encoded color image block and decodes the encoded color image block.
  • the static region determiner 220 receives the decoded color image block of the P picture or the B picture as in the encoding apparatus 210 and determines whether the image is a static region.
  • the depth image decoder 234 receives and decodes the encoded depth image block.
  • the depth image decoder 234 is decoded.
  • the color image block belongs to the P picture or the B picture if the block is the dynamic region as a result of the determination by the static region determining unit 220, the encoded depth image block is received and decoded.
  • the depth image decoder 234 may determine that the depth image decoder 234 belongs to the p picture or the B picture, and the block is the static region as a result of the determination by the static region determiner 220. The depth image block corresponding to the decoded color image block is recovered.
  • the restoration of the depth image block corresponding to the decoded color image block corresponding to the static region may be performed by using the reference depth image block corresponding to the reference image block referenced in the color image to distinguish the static region by the static region determination unit 220.
  • the depth image decoder 234 restores the depth image block to an area value at the same position as the static region in the depth image corresponding to the reference image. .
  • the depth image decoder 234 warps and swaps to the same viewpoint as the depth image for decoding the depth image corresponding to the reference image.
  • the depth image block is restored to the region value at the same position as the static region in the extracted depth image.
  • An example of swapping the depth image may be expressed as shown in FIG. 13 to be described later.
  • the depth image decoder 234 may restore the depth image block by using both of the corresponding blocks of the two reference depth images when restoring the depth image block corresponding to the static region.
  • the static region determination unit 220 of the encoding apparatus 210 determines the static region using the encoded color image information, and the static region determination unit 220 of the decoding apparatus 230 The static region is determined using the decoded color image information. At this time, the encoded color image and the decoded color image information are the same. A detailed description of the static area determination unit 220 will be described later with reference to FIGS. 5 through 10.
  • the color image and the depth image are encoded and decoded in units of blocks, but processing may be performed in units of pixels instead of units of blocks.
  • FIG. 3 is a flowchart illustrating a process of encoding a depth image using a static region determined by a color image in the encoding apparatus.
  • the encoding apparatus 210 encodes a color image block.
  • the encoder 210 checks an encoding type of the color image block.
  • the encoding apparatus 210 determines whether the color image block encoded in step 314 is a static region.
  • the static region is determined as a dynamic region having a low correlation and a static region having a high correlation by comparing the encoded color image block with a Daeung block of the reference image.
  • the reference image referred to determine the static region may be a reference image having a temporal correlation at the same time, or may be a reference image having a correlation between different viewpoints at the same time.
  • the encoding is performed.
  • the apparatus 210 transmits the encoded color image block to the decoding apparatus. In other words, if the encoded color image block is a static region, the encoding apparatus 210 does not transmit the deep depth image block to the decoding apparatus without encoding.
  • the encoding apparatus 210 encodes the depth image block that corresponds to the color image block encoded in step 318. In operation 320, the encoding apparatus 210 transmits the encoded color image block and the encoded depth image block to the decoding apparatus.
  • the encoding apparatus 210 encodes the depth image block to the encoded color image block in operation 318.
  • the encoding apparatus 210 transmits the encoded color image block and the encoded depth image blot to the decoding apparatus.
  • FIG. 4 is a flowchart illustrating a process of decoding a depth image using a static region determined by using a color image in the decoding apparatus.
  • the decoding apparatus 230 receives and decodes the encoded color image block from the encoding apparatus 210 in step 410. In operation 412, the decoding apparatus 230 checks a decoding type of the color image block decoded.
  • the decoding apparatus 230 determines whether the decoded color image block is a static region in step 414.
  • the static region is determined as a dynamic region having a low correlation with a static region having a high correlation by comparing the decoded color image block with a corresponding block of the reference image.
  • the reference image referenced for determining the static region is It may be a reference picture having a temporal correlation at the same point in time, or may be a reference picture having a correlation between different views at the same time.
  • the decoding apparatus 230 restores the depth image block to the decoded color image block.
  • the restoration of the depth image block is restored by using the depth image block corresponding to the referenced reference image block to distinguish the static region of the color image block.
  • the decoding apparatus 230 restores the static region of the depth image to be decoded to the region value at the same position as the static region in the depth image corresponding to the reference image. do.
  • the decoding apparatus 230 is static in the swapped depth image and swapped to the same viewpoint as the depth image for decoding the depth image. Restores the static region of the depth image decoded to the region value at the same position as the region.
  • the encoding type of the color image coded as a result of checking in step 412 is an I picture or the color image block coded as a result of determination in step 414 is a dynamic region
  • the decoding apparatus 230 receives and decodes the encoded depth image block from the encoding apparatus 210 in operation 418.
  • various methods may be used to determine whether the color image block coded by the static region determiner 220 is a static region.
  • the static region determination unit 220 classifies the encoded color image block into the dynamic region when the camera parameter information of the encoded color image is different from the camera parameter information of another color image at the same time. can do.
  • the other color image is encoded It may be a reference image of a color image, a previous color image or a subsequent color image.
  • various methods for determining the static region will be described below with reference to FIGS. 5 through 10.
  • FIG. 5 is a flowchart illustrating a process of determining a static area by using presence or absence of split information.
  • the static region determiner 220 determines whether segmentation information is included in the encoded color image block (510).
  • the partition information may be known through mode information of a block to be encoded.
  • the static region determiner 220 determines the encoded color image block as the dynamic region in step 512.
  • the encoded color image block is determined as the dynamic region.
  • the static region determination unit 220 determines the encoded color image block as the static region in step 514.
  • the static region determination unit 220 may re-confirm whether the depth image block that corresponds to the color image block encoded using the reference depth image block is a static region.
  • the reference depth image block is a block at the same position in the depth image referenced when encoding the depth image block corresponding to the encoded color image block.
  • the method of reconfirming the static region may be reconfirmed through the method of FIG. 8 or 10.
  • FIG. 6 illustrates a process of determining a static region using a motion vector. It is a flow chart.
  • the static region determiner 220 determines whether the motion vector of the encoded color image block is 0 in step 610.
  • the static region determiner 220 determines the encoded color image blot as the dynamic region in step 612.
  • the static region determination unit 220 determines the encoded color image block as the static region in step 614.
  • the static region determiner 220 determines whether the depth image block corresponding to the color image block encoded using the reference depth image block is a static region if the color image block encoded in step 614 is a static region.
  • the reference depth image block is a block located at the same position in the depth image referred to when encoding the depth image block to the encoded color image block. The method of reconfirming the static region may be reconfirmed through the method of FIG. 8 or 10.
  • FIG. 7 is a flowchart illustrating a process of determining a static region through a temporal correlation at the same time in a color image.
  • the static region determiner 220 generates an SSD with a forward reference image block corresponding to the encoded color image block.
  • the forward reference image block is a block at the same position in the reference image that is used when the encoded color image block is predictively encoded, and is located earlier in time than the encoded color image block in the reproduction order of the image.
  • a reference picture block is shown.
  • an SSD between the encoded color image block and the forward reference image block is expressed as SSD prev .
  • the static region determination unit 220 checks an encoding type of the encoded color image block.
  • the static region determiner 220 determines SSD prev as the minimum SSD (Min_SSD) in operation 714.
  • the static region determiner 220 calculates an SSD between the encoded color image block and the backward reference image block in step 716.
  • the backward reference image block is a block located at the same position in the reference image used when the encoded color image block is predictively encoded, and the reference image block located later in time than the encoded color image block in the reproduction order of the image. Indicates.
  • the SSD between the encoded color image block and the backward reference image block is expressed as SSD next .
  • the static region determiner 220 determines the SSD having the smaller value in the SSD prev and the SSD next increment as the minimum SSD (Min_SSD).
  • the static area determiner 220 compares the minimum SSD with a preset static reference value in step 720.
  • the static region determiner 220 classifies the dynamic region as an area having a low correlation with the color image block all reference image blocks encoded in operation 722. do.
  • the static region determiner 220 compares the color image block encoded in operation 724 with the reference image block. Classify it as a static domain with a high correlation.
  • the static region determiner 220 may re-confirm whether the depth image block that is encoded in the color image block encoded using the reference depth image block is a static region.
  • the reference depth image block is a depth image referred to when encoding a depth image block corresponding to the encoded color image block. That is, the reference depth image blot is a corresponding block of the depth image corresponding to the referenced color image when determining the static region. Meanwhile, step 726 may not be performed depending on the setting.
  • the method of FIG. 8 below may reconfirm whether the depth image block is a static region.
  • FIG. 8 is a diagram illustrating an example of a process of reconfirming whether a depth image block is a static region.
  • the static region determination unit 220 identifies a reference depth image block that is a corresponding block of a depth image corresponding to the color image block referred to when determining the static region in step 810.
  • the static region determiner 220 calculates a deviation of the reference depth image block.
  • the standard deviation may be used instead of the deviation.
  • the static region determiner 220 compares the deviation value of the reference depth image block with a preset reconfirmation reference value.
  • the static region determination unit 220 determines the color image block encoded in step 816. Double check the dynamic range. That is, the static region determiner 220 changes the encoded color image block classified into the static region into the dynamic region.
  • the static region determination unit 220 re-confirms that the encoded color image block is correct in the static region in operation 818. In other words, the static region determiner 220 finally classifies the encoded color image block classified into the static region into the static region.
  • the method of reconfirming whether the depth image block is a static region includes, in addition to the method of FIG. 8, whether the reference depth image block includes split information, whether the motion vector of the reference depth image block is 0, and the reference depth image. It is also possible to reconfirm whether the camera information of the same depth and the camera information of the other depth image at the same time, the edge (Edge) is present in the reference depth image block.
  • the method of determining whether the reference depth image block includes the segmentation information is static. If the reference depth image block includes the segmentation information, the method determines whether the segmentation information is included in the reference depth image block. If it is not included, the method reconfirms the static area.
  • the method of reconfirming whether the motion vector of the reference depth image block is zero or not may include reconfirming the dynamic region if the motion vector of the reference depth image block is not 0, and if the motion vector of the reference depth image block is 0. Reconfirmation into a static area.
  • the method of reconfirming whether the reference depth image is static using the camera parameter is a method of reconfirming the dynamic range if the camera parameter information of the reference depth image is different from that of another depth image at the same time.
  • the method of reconfirming whether or not the edge exists in the reference depth image block includes reconfirming whether the edge is included in the reference depth image block by reconfirming the dynamic region and including the edge in the reference depth image block. If not, recheck the static area.
  • FIG. 9 is a flowchart illustrating a process of determining a static area through correlation between different viewpoints of the same time in a color image.
  • the static region determination unit 220 receives an encoded color image block of a P-view or B-view point of view, and checks the viewpoint of the received encoded color image block.
  • the static region determination unit 220 displays an image of the view I which corresponds to the reference image of the encoded color image block at operation P 912. Swap with. An example of swapping a color image may be expressed as shown in FIG. 12 to be described later.
  • the static region determiner 220 calculates an SSD between the corresponding block of the I-view image that is swapped to the P-view viewpoint and the encoded color image block that is the P-view image.
  • the SSD between the corresponding block of the swapped I-view image and the encoded color image block is represented as SSD iv .
  • the static region determination unit 220 minimizes the SSD iv in step 916.
  • the view of the encoded color image block received as a result of step 910 is B view
  • the static region determination unit 220 swaps the I-view image corresponding to the reference image of the encoded color image block received in step 918 to the B-view viewpoint.
  • the static region determiner 220 calculates an SSD (SSD iv ) between the corresponding block of the I-view image that is swapped to the B-view viewpoint and the received encoded color image block that is the B-view image.
  • the static region determination unit 220 swaps the P view image corresponding to the reference image of the encoded color image block received in step 922 to the B view viewpoint.
  • the static area determiner 220 calculates an SSD (SSD PV ; ⁇ ) between the corresponding block tok of the P-view image that is swapped to the B-view point and the received encoded color image block that is the B-view image.
  • SSD SSD between the corresponding blocktalk of the P-view image that has been swapped and the received encoded color image block is expressed as SSD PV .
  • the static region observer 220 determines the SSD having the smaller value among the SSD iv and the SSD pv as the minimum SSD (Min_SSD).
  • the static area determiner 220 compares the minimum SSD with a predetermined static reference value in step 928.
  • the static region determining unit 220 classifies the encoded color image block into a dynamic region having a low correlation with the reference image block in step 930. do.
  • the static region determiner 220 classifies the color image block encoded in step 932 into a static region having a high correlation with the reference image block. .
  • the static region determiner 220 determines whether the depth image blitting on the color image block encoded using the reference depth image block is a static region. You can double check.
  • the reference depth image block is a depth image referred to when encoding a depth image block corresponding to the encoded color image block. That is, the reference depth image block is a corresponding block of the depth image corresponding to the referenced color image when determining the static region. Meanwhile, step 726 may not be performed depending on the setting.
  • step 934 There may be a variety of methods for reconfirming whether the depth image block is a static region in step 934.
  • the method of FIG. 10 below may reconfirm whether the depth image block is a static region.
  • FIG. 10 is a diagram illustrating another example of a process of reconfirming whether a depth image block is a static region.
  • the static region determiner 220 identifies a reference depth image block that is a corresponding block of a depth image corresponding to the color image block referred to when determining the static region in step 1010.
  • the static region determiner 220 swaps the reference depth image block with the same view as the encoded color image block.
  • the static region determiner 220 calculates a deviation of the reference depth image block that is swapped.
  • the standard deviation may be used instead of the deviation.
  • the static region determiner 220 compares the deviation value of the reference depth image block that is swapped with the preset reconfirmation reference value.
  • the static region determiner 220 reconfirms the encoded color image block as the dynamic region in step 1018. That is, the static region determination unit 220 is a static region The coded color image block is classified into a dynamic region.
  • the static region determiner 220 reconfirms that the color image block encoded in step 1020 is correct. In other words, the static region determiner 220 finally classifies the encoded color image block into a static region.
  • the method of reconfirming whether or not the depth image block is a static region in step 934 includes, in addition to the method of FIG. 10, whether the split information is included in the swapped reference depth image block, and whether the motion vector of the swapped reference depth image block is 0. In addition, by checking whether an edge exists in the swapped reference depth image block, it may be reconfirmed whether it is static.
  • the swapped reference depth image block indicates a reference depth image block that is swapped to the same viewpoint as the encoded color image block.
  • the method of reconfirming whether the partitioned information is included in the swapped reference depth image block includes reconfirming the dynamic region if the partitioned information is included in the swapped reference depth image block. If the segmentation information is not included in the video block, the method checks the static area again.
  • the method of reconfirming whether the motion vector of the swapped reference depth image block is 0 or not may be performed. If the motion vector of the swapped reference depth image block is not 0, the dynamic region is reconfirmed and the swapped reference depth image If the motion vector of the block is zero, this method reconfirms the static domain.
  • SSD used in the description of FIGS. 7 and 9 may be replaced by various methods such as SAD (Sum of Absolute Difference) and SAD through Hadamard transformation.
  • 11A and lib illustrate examples of static regions determined through temporal correlation at the same time.
  • FIG. 11A illustrates a coded color image 1110 and a static map 1112 corresponding thereto when a depth image to be encoded is a P picture capable of unidirectional prediction.
  • the static map means an image displaying the static area and the dynamic area.
  • the P picture may perform unidirectional prediction with reference to a forward reference image.
  • a white block represents a dynamic region and a black block represents a static region. Therefore, when the depth image is encoded, the block corresponding to black is not compressed, and when decoding, the value corresponding to the black block is recovered by using the reference image.
  • Lib shows a coded color image 1120 and a static map 1122 corresponding thereto when the depth image to be encoded is a B picture capable of bidirectional prediction.
  • the B picture may perform bidirectional prediction with reference to a forward reference picture and a backward reference picture.
  • a white block of the static map 1122 represents a dynamic region
  • a black block represents a static region classified with reference to a forward reference image
  • a gray block represents a static region classified with reference to a backward reference image. Therefore, when encoding the depth image, the black and gray blocks are not encoded, and when decoding, the values corresponding to the black block and the gray block are recovered using the referenced reference image.
  • 12A and 12B illustrate a color image of a B-view viewpoint generated through swapping. Drawing.
  • FIG. 12A shows the color image 1210 of the I view viewpoint and the color image 1214 of the B view viewpoint using the texture of the color image 1210 of the I view viewpoint and the depth information of the depth image 1212 of the I view viewpoint.
  • An example of swapping is shown.
  • FIG. 12B illustrates the color image 1220 of the P view viewpoint using the texture of the color image 1220 of the P view viewpoint and the depth information of the depth image 1222 of the P view viewpoint.
  • An example of swapping with is shown.
  • 13A and 13B illustrate depth images of a B-view viewpoint generated through swapping.
  • FIG. 13A shows the depth image 1310 of the I view viewpoint as the depth image 1314 of the B view viewpoint using the texture of the depth image 1310 of the I view viewpoint and the depth information of the depth image 1312 of the I view viewpoint.
  • An example of swapping is shown.
  • FIG. 13B illustrates the depth image 1320 of the P view viewpoint using the texture of the depth image 1320 of the P view viewpoint and the depth information of the depth image 1322 of the P view viewpoint.
  • An example of swapping with) is shown.
  • 14A and 14B illustrate examples of static regions determined through correlations between different time points in the same time.
  • FIG. 14A illustrates a compressed color image 1410 and a static map 1412 corresponding thereto when the depth image to be encoded is a P view viewpoint capable of unidirectional prediction from another viewpoint.
  • the video at the point of view P can be unidirectionally predicted using the video at the point of view I as a reference image.
  • the white blocks of the static map 1412 represent dynamic regions and the black blocks represent static regions. Therefore, when encoding the depth image, black The blocks are not encoded, and during decoding, the static region is restored to values obtained by swapping the reference image.
  • FIG. 14B illustrates an encoded color image 1420 and a static map 1422 corresponding thereto when the depth image to be encoded is a B-view viewpoint capable of predicting from an I-view point and a P-view point of view.
  • the image 1420 of the B view viewpoint may perform bidirectional prediction using an image of the I view viewpoint or an image of the P view viewpoint as a reference image.
  • the white block of the static map 1422 represents a dynamic region, the black block is classified by referring to the image of the I-view viewpoint as a reference image, and the gray block is classified by referring to the image of the P-view viewpoint as the reference image. Represents a static area. Therefore, when encoding the depth image, black and gray blocks are not encoded, and when decoding, the black and gray blocks are recovered with values obtained by swapping the referenced reference image.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may be used alone or in combination with program instructions, data files, data structures, and the like. It may include.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, CD-ROM,
  • Program instructions such as optical media such as DVDs, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc.
  • Hardware devices specifically configured to execute are included. Examples of program instructions include only machine code, such as that produced by a compiler. It also contains high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

다시점 깊이영상을 부호화 /복호화 하는 장치 및 방법이 제공된다. 일측면에 따른 부호화 장치는 깊이영상 블록을 부호화 또는 복호화하기 전에 대응하는 칼라영상 블록올 부호화하고 부호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단해서 정적영역을 제외한 동적영역에 해당하는 깊이영상 블록만을 부호화 한다. 그러면, 복호화 장치는 깊이영상 블록이 동적영역인 경우 부호화된 깊이영상 블록을 수신해서 복호화하고 깊이영상 블록이 정적영역인 경우 참조영상을 이용해서 복구한다.

Description

【발명의 명칭】
칼라영상을이용해서다시점깊이영상을부호화 / 복호화하는장치및방법 【기술분야】
기술분야는 3차원 비디오의 효율적인 압축을 위한 방법 및 장치에 관한 것으로, 다시점 칼라영상 정보를 이용해서 다시점 깊이영상을 부호화 /복호화 하는 장치및방법에관한것이다.
【배경기술】
입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 말한다. 이때， 단순히 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오와는 달리 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공하기 위해서는,여러 시점에서 촬영한 영상이 필요하다. 여러 시점에서 촬영한 영상을 이용한 웅용분야는 자유시점 TV, 3차원 TV 등이 존재한다. 자유시점 TV는 동일 장면에 대해 다시점 영상을 획득 후 분석하여 사물을 바라보는 시점을 자유롭게 변경할 수 있으며, 3차원 TV의 경우 사람의 양쪽 눈에 비치는 영상을 달리함으로써 사실적인 3차원 깊이를 인지할 수 있도록 한다. 그러나 여러 시점에서 찍은 영상은 데이터량이 방대하기 때문에 압축하여 전송하려면 네트워크 인프라, 지상파대역폭등의확보에많은어려움이따른다.
여러 시점의 비디오를 모두 압축 전송하는 대신 깊이 영상을 만들어, 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송하면 압축시 발생하는 데이터량을 줄일 수 있다. 깊이 영상은 칼라 영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의값으로나타낸영상이기때문에, 그특징이칼라영상과비슷하다. 【발명의 상세한 설명】 【과제의 해결 수단】
일 측면에 있어서, 칼라영상 블록을 부호화 하는 칼라영상 부호부와, 부호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 정적영역 판단부 및 상기 부호화된 칼라영상 블록이 정적영역이면 상기 칼라영상 블록에 대응하는 깊이영상 블록을 부호화하지 않고， 상기 부호화된 칼라영상 블특이 동적영역이면 상기 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화하는 깊이영상 부호부를 포함하는 부호화 장치가 제공된다.
이때， 상기 정적영역 판단부는 상기 부호화된 칼라영상 블록이 P픽처 또는 B 픽처에 속하는 경우, 상기 부호화된 칼라영상 블록이 정적영역인지 동적영역인지를 판단하고， 상기 깊이영상 부호부는 상기 부호화된 칼라영상 블록이 I 픽처에 속한다면 상기 깊이영상 블록을 부호화할 수 있다.
이때 상기 정적영역 판단부는 상기 부호화된 칼라영상 블록에 분할 (Partition) 정보가 포함된 경우， 상기 부호화된 칼라영상 블록올 상기 동적영역으로 분류하고， 상기 부호화된 칼라영상 블록에 분할 정보가 포함지 않은 경우， 상기 부호화된 칼라영상 블록올 상기 정적영역으로 분류할 수 있다.
이때， 상기 정적영역 판단부는, 상기 부호화된 칼라영상 블록의 움직임 백터가 0이 아닌 경우， 상기 부호화된 칼라영상 블록을 상기 동적영역으로 분류하고, 상기 부호화된 칼라영상 블록의 움직임 백터가 0인 경우, 상기 부호화된 칼라영상 블록을 상기 정적영역으로 분류할 수 있다.
이때, 상기 정적영역 관단부는， 상기 부호화된 칼라영상의 카메라 파라메터 정보가 동일 시점의 다른 영상들과의 카메라 파라메터 정보와 다른 경우, 상기 부호화된 칼라영상 블록을 상기 동적영역으로 분류할 수 있다. 이때， 상기 정적영역 판단부는, 상기 부호화된 칼라영상 블록을 부호화할 때 참조하는 영상인 참조영상의 해당 (동일 위치)블록과 비교해서 그 차이가 기준값 미만이면 상기 정적영역으로 판단하고 상기 기준값 이상이면 상기 동적영역으로 판단할 수 있다.
이때， 상기 참조영상은， 동일시점의 시간적 상관관계가 있는 참조영상이거나 또는 동일시간의 다른 시점간의 상관관계가 있는 참조영상일 수 있다.
이때, 상기 정적영역 판단부는， 상기 부호화된 칼라영상 블록의 부호화 타입이 P 픽처이면， 상기 부호화된 칼라영상 블록과 순방향 참조영상의 해당 (동일 위치) 블록 간의 차이값을 계산하고, 상기 차이값이 기설정한 정적 기준값 보다 작으면 상기 정적영역으로 판단하고， 상기 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단할 수 있다.
이때， 상기 정적영역 판단부는, 상기 차이값을 SSD(Sum of Squared Differece), SADCSum of Absolute Difference) 또는 하다마드 변환을 통한 SAD의 계산방법 중에서 적어도 하나를 이용해서 계산할 수 있다.
이때， 상기 정적영역 판단부는， 상기 부호화된 칼라영상 블록의 부호화 타입이 B 픽처이면, 상기 부호화된 칼라영상 블특과 순방향 참조영상의 해당 (동일 위치) 블록 간의 차이값인 제 1 차이값과 상기 부호화된 칼라영상 블록과 역방향 참조영상의 해당 (동일 위치) 볼록 간의 차이값인 제 2 차이값을 계산하고， 상기 제 1 차이값과 상기 제 2 차이값 중에서 더 작은 차이값인 최소 차이값과 기설정한 정적 기준값을 비교해서 상기 최소 차이값이 상기 정적 기준값 보다 작으면 상기 정적영역으로 판단하고, 상기 최소 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단할 수 있다. 이때， 상기 정적영역 판단부는， 상기 부호화된 칼라영상 블록의 시점이 P뷰 이면 상기 부호화된 칼라영상 블록의 참조영상인 I뷰 시점의 영상을 P뷰 시점으로 왑핑하고， 상기 왑핑된 I뷰 영상의 해당 (동일 위치) 블록과 상기 부호화된 칼라영상 블톡 간이 차이값을 계산하고， 상기 차이값이 기설정한 정적 기준값 보다 작으면 상기 정적영역으로 판단하고， 상기 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단할 수 있다.
이때, 상기 정적영역 판단부는, 상기 부호화된 칼라영상 블톡의 시점이 B뷰 이면 상기 부호화된 칼라영상 블록의 참조영상인 I뷰 시점의 영상을 B뷰 시점으로 왑핑하고， 상기 왑핑된 I뷰 영상의 해당 (동일 위치) 블록과 상기 부호화된 칼라영상 블록 간이 차이값인 제 1 차이값을 계산하고， 상기 부호화된 칼라영상 블록의 참조영상인 P뷰 시점의 영상을 B뷰 시점으로 왑핑하고， 상기 왑핑된 P뷰 영상의 해당 (동일 위치) 블록과 상기 부호화된 칼라영상 블록 간이 차이값인 제 2 차이값을 계산하고， 상기 제 1 차이값과 상기 제 2 차이값 중에서 더 작은 차이값인 최소 차이값과 기설정한 정적 기준값을 비교해서 상기 최소 차이값이 상기 정적 기준값 보다 작으면 상기 정적영역으로 판단하고, 상기 최소 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단할 수 있다.
이때， 상기 정적영역 판단부는， 상기 부호화된 칼라영상 블록이 정적영역으로 판단되면 참조 깊이영상 블록을 이용해서 정적영역임을 재확인하고， 상기 참조 깊이영상 블록은 상기 부호화된 칼라영상 블록을 부호화할 때 참조하는 영상인 참조영상에 대웅하는 깊이영상의 해당블록일 수 있다.
이때, 상기 정적영역 판단부는, 상기 참조 깊이영상 블록의 편차를 계산하고, 편차값이 기설정된 재확인 기준값보다 크면 부호화된 칼라영상 블록을 동적영역으로 재확인하고, 상기 편차값이 기설정된 재확인 기준값보다 작거나 같으면 부호화된 칼라영상 블록을 정적영역으로 재확인할 수 있다.
이때， 상기 정적영역 판단부는, 상기 참조 깊이영상 블록에 분할정보가 포함되어 있으면 동적영역으로 재확인하고， 상기 참조 깊이영상 블록에 분할정보가 포함되어 있지 않으면 정적영역으로 재확인할 수 있다.
이때， 상기 정적영역 판단부는, 상기 참조 깊이영상 블록의 움직임 백터가
0이 아니면 동적영역으로 재확인하고， 상기 참조 깊이영상 블록의 움직임 백터가 0 이면 정적영역으로 재확인할 수 있다.
이때, 상기 정적영역 판단부는ᅳ 상기 참조 깊이영상의 카메라 파라메터 정보가 동일 시점의 다른 깊이영상들과의 카메라 파라메터 정보와 다르면 동적영역으로 재확인할 수 있다.
이때， 상기 정적영역 판단부는， 상기 참조 깊이영상 블록에 에지 (Edge)가 포함되어 있으면 동적영역으로 재확인하고， 상기 참조 깊이영상 블톡에 에지가 포함되어 있지 않으면 정적영역으로 재확인할 수 있다.
이때， 상기 정적영역 판단부는， 상기 참조 깊이영상 블록의 시점이 상기 부호화된 칼라영상 블록의 시점과 다르면 상기 참조 깊이영상 블록을 상기 부호화된 칼라영상 블록의 시점으로 왑핑하고， 왑핑된 참조 깊이영상 블록을 이용해서 정정영역임을 재확인할 수 있다.
일 측면에 있어서， 부호화된 칼라영상 블록을 복호화 하는 칼라영상 복호부와， 상기 복호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 정적영역 판단부 및 상기 복호화된 칼라영상 블특이 정적영역이면 상기 정적영역을 판단할 때 참조한 참조영상에 대웅하는 깊이영상 블록을 이용해서 상기 복호화된 칼라영상 블록에 대응하는 깊이영상 블록을 복구하고, 상기 복호화된 칼라영상 블록이 동적영역이면 상기 복호화된 칼라영상 블록에 대웅하는 부호화된 깊이영상 블록을 수신해서 복호화하는 깊이영상 복호부를 포함하는 복호화 장치가 제공된다.
이때， 상기 정적영역 판단부는 상기 복호화된 칼라영상 블록이 P픽처 또는 B 픽처에 속하는 경우, 상기 복호화된 칼라영상 블록이 정적영역인지 동적영역인지를 판단하고, 상기 깊이영상 복호부는 상기 복호화된 칼라영상 블톡이 I 픽처에 속한다면 상기 복호화된 칼라영상 블록에 대웅하는 부호화된 깊이영상 블록을 수신해서 복호화할 수 있다.
이때， 상기 정적영역 판단부는， 상기 부호화된 칼라영상 블록을 복호화할 때 참조하는 영상인 참조영상의 해당 (동일 위치)블록과 비교해서 그 차이가 기준값 미만이면 상기 정적영역으로 판단하고 상기 기준값 이상이면 상기 동적영역으로 판단할 수 있다.
이때， 상기 깊이영상 복호부는, 상기 참조영상이 동일시점의 시간적 상관관계가 있는 참조영상인 경우， 상기 참조영상에 대웅하는 깊이영상의 해당 (동일 위치) 블록으로 상기 깊이영상 블록을 복구할 수 있다.
이때, 상기 깊이영상 복호부는, 상기 참조영상이 동일시간의 다른 시점간의 상관관계가 있는 참조영상인 경우， 상기 참조영상에 대웅하는 깊이영상을 상기 복호화하는 깊이영상 블록과 같은 시점으로 왑핑 (warping)하고 왑핑된 깊이영상의 해당 (동일 위치) 블록으로 상기 깊이영상 블록을 복구할 수 있다.
일 측면에 있어서， 칼라영상 블록을 부호화 하는 단계와， 부호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 단계 및 상기 부호화된 칼라영상 블록이 정적영역이면 상기 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화하지 않고， 상기 부호화된 칼라영상 블록이 동적영역이면 상기 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화하는 단계를 포함하는 부호화 방법이 제공된다.
일 측면에 있어서, 부호화된 칼라영상 블록을 복호화 하는 단계와， 상기 복호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 단계 및 상기 복호화된 칼라영상 블록이 정적영역이면 상기 정적영역을 판단할 때 참조한 참조영상에 대응하는 깊이영상 블록을 이용해서 상기 복호화된 칼라영상 블록에 대웅하는 깊이영상 블록을 복구하고， 상기 복호화된 칼라영상 블록이 동적영역이면 상기 복호화된 칼라영상 블록에 대웅하는 부호화된 깊이영상 블록을 수신해서 복호화하는 단계를 포함하는 복호화 방법이 제공된다.
【발명의 효과】
칼라영상을 이용해서 다시점 깊이영상을 부호화 /복호화 하는 장치 및 방법이 제공된다. 3차원 비디오 영상에서 칼라영상과 깊이영상은 많은 상관관계를 가지고 있다. 본 발명의 실시예에서는 부호화된 칼라영상을 분석하여 정적영역을 구분하고 깊이영상을 부호화할 때 정적영역을 부호화하지 않아서 전체영역을 부호화하는기존방법에비해높은부호화효율을얻올수있다.
【도면의 간단한 설명】
도 1은 다시점 영상의 부호화 구조를 도시한 도면，
도 2는 칼라영상을 이용해서 판단한 정적영역을 이용해서 깊이영상을 부호화하고 복호화하는 시스템의 구성을 도시한 도면，
도 3은 부호화 장치에서 칼라영상을 이용해서 판단한 정적영역을 이용해서 깊이영상을 부호화 하는 과정을 도시한 흐름도, 도 4는 복호화 장치에서 칼라영상을 이용해서 판단한 정적영역을 이용해서 깊이영상을 복호화 하는 과정을 도시한흐름도，
도 5는 분할정보 포함 유무를 이용해서 정적영역을 판단하는 과정을 도시한 흐름도,
도 6은 움직임 백터를 이용해서 정적영역을 판단하는 과정을 도시한 흐름도，
도 7은 칼라영상에서 동일시점의 시간적 상관관계를 통해 정적영역을 판단하는 과정을 도시한흐름도，
도 8은 깊이영상 블록이 정적영역인지 여부를 재확인 과정의 일 예를 도시한 도면，
도 9는 칼라영상에서 동일시간의 다른 시점간의 상관관계를 통해 정적영역을 판단하는 과정을 도시한 흐름도,
도 10은 깊이영상 블록이 정적영역인지 여부를 재확인 과정의 다른 예를 도시한 도면，
도 11a 및 도 lib는 동일시점의 시간적 상관관계를 통해 판단된 정적영역의 예를 도시한 도면,
도 12a 및 도 12b는 왑핑을 통해 생성된 B뷰의 칼라영상을 도시한 도면， 도 13a 및 도 13b는 왑핑을 통해 생성된 B뷰의 깊이영상을 도시한 도면 도 14a 및 도 14b는 동일시간의 다른 시점간의 상관관계를 통해 판단된 정적영역의 예를 도시한 도면이다.
【발명의 실시를 위한 형태 】 이하， 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
3차원 영상에서 깊이영상을 부호화할 때 이미 부호화된 칼라영상 정보를 이용해서 깊이영상을 부호화 하는 장치 및 방법을 제안한다.
도 1은 다시점 영상의 부호화 구조를 도시한 도면이다.
도 1을 참조하면， 도 1의 다시점 영상의 부호화 구조는 세개의 시점 영상을 입력 (Left View, Center View, Right View) 받았을 때 GOP(Group of Picture) '8'로 부호화하는 MVC(Multiview Video Coding) 구조를 나타낸다.
다시점 (Multi-view) 영상을 압축할 때는 기본적으로 시간 (Temporal)축과 시점 (View)축으로 계층적 B 픽처 (Hierarchical B Picture) 개념을 적용하기 때문에 영상간의 많은 증복성 (Redundancy)를 줄일 수 있다. 현재 도 1의 MVC 구조는 세 개의 시점 영상을 압축할 때 Left 영상을 압축한 뒤 Right 영상과 Center 영상을 차례대로 압축한다. 이 때， Left 영상은 기존의 2D 영상을 압축할 때와 같이 움직임 탐색 (Motion Estimation)을 하여 이전 영상들로부터 비슷한 영역을 찾아 시간적 중복성 (Temporal Redundancy)을 제거하면서 부호화된다. 하지만 Right 영상이 압축될 때에는 이미 압축된 Left 영상을 참조영상으로 이용할 수 있기 때문에 움직임 탐색을 통한 시간적 중복성뿐만 아니라 변이 탐색 (Disparity Estimation)을 통하여 시점간의 중복성 (View Redundancy)도 제거하면서 부호화된다. Center 영상의 경우에는 Left와 Right 영상을 참조영상으로 모두 이용할 수 있기 때문에 양방향으로 변이 탐색을 하여 시점간의 중복성을 제거할 수 있다.
도 1에서 Left 영상처럼 다른 시점으로부터의 예축 없이 부호화되는 시점을
I-View(Intra View), Right 영상처럼 다른 시점의 영상으로부터 단방향으로 예측하면서 부호화하는 시점을 P-View(Predictive View), Center 영상처럼 좌우 시점의 영상들로부터 양방향 예측하면서 부호화하는 시점을 B-View(Interpolative View)로 MVC에서는 일반적으로 정의한다.
그리고， 각각의 영상 (picture)은 부호화 타입 (coding type)에 따라 I- 픽처 (intra picture), P—픽처 (predictive picture), B-픽처 (interpolative picture)로 나뉘어진다. 이때， I-픽처는 영상간 예축없이 영상 자체를 부호화하고, P-픽처는 순방향으로만 참조영상을 이용해서 영상간 예측하여 예측값과의 차이를 부호화하며， B-픽처는 순방향과 역방향 양측으로 참조영상을 이용해서 영상간 예측하여 부호화한다.
도 2는 칼라영상을 이용해서 판단한 정적영역을 이용해서 깊이영상을 부호화하고 복호화하는 시스템의 구성을 도시한도면이다.
도 2를 참조하면， 실시예에 따른 시스템은 부호화된 칼라영상의 정보를 이용해서 깊이영상을 부호화하는 부호화 장치 (210)와 복호화된 칼라영상의 정보를 이용해서 깊이영상을 복호화 하는 복호화 장치 (230)를 포함한다.
먼저, 부호화 장치 (210)는 칼라영상 부호부 (212)， 정적영역 판단부 (220) 및 깊이영상 부호부 (214)를 포함한다.
칼라영상 부호부 (212)는 입력되는 칼라영상 블록을 부호화한다.
정적영역 판단부 (220)는 부호화된 칼라영상 블록이 P 픽처 또는 B 픽처에 속하면, 정적영역인지 여부를 판단한다. 정적영역 판단부 (220)는 부호화된 칼라영상 블록을 참조영상의 해당 (동일 위치) 블록과 비교해서 상관관계가 높은 영역인 정적영역인지 아니면 상관관계가 낮은 영역인 동적영역인지 판단한다. 이때， 상관관계가 높은 영역인 정적영역은 움직임이 없는 배경을 의미하고, 상관관계가 낮은 영역인 동적영역은 움직임이 존재하는 물체를 의미한다. 그리고, 정적영역 여부를 판단하기 위해 참조되는 참조영상은 동일시점의 시간적 상관관계가 있는 참조영상일 수도 있고, 동일시간의 다른 시점간의 상관관계가 있는 참조영상일 수도 있다.
동일시점의 시간적 상관관계가 있는 참조영상을 이용해서 판단되는 정적영역의 예는 도 11과 같이 표현될 수 있다. 그리고， 동일시간의 다른 시점간의 상관관계가 있는 참조영상을 이용해서 관단되는 정적영역의 예는 도 14과 같이 표현될 수 있다. 도 11과 도 14의 설명은 이후 후술된다.
깊이영상 부호부 (214)는 부호화된 칼라영상 블록이 I 픽처에 속하면， 입력받은 깊이영상 블록을 부호화한다. 깊이영상 부호부 (214)는 부호화된 칼라영상 블록이 p 픽처 또는 B 픽처에 속하면, 정적영역 판단부 (220)의 판단결과 정적영역이면 입력받은 깊이 영상 블록을 부호화하지 않고 동적영역이면 입력받은 깊이영상 블록을 부호화한다. 즉， 깊이영상의 정적영역을 제외하고 깊이영상의 동적영역만을 부호화한다. 즉， 깊이영상 부호부 (214)는 깊이영상의 동적영역에 해당하는 블록만 부호화해서 전송한다.
다음으로， 복호화 장치 (230)는 칼라영상 복호부 (232)， 정적영역 판단부 (220) 및 깊이영상 복호부 (234)를 포함한다.
칼라영상 복호부 (232)는 부호화된 칼라영상 블록을 수신하고， 부호화된 칼라영상 블록을 복호화한다.
정적영역 판단부 (220)는 부호화 장치 (210)에서와 동일하게 P 픽처 또는 B 픽처의 복호화된 칼라영상 블록을 수신해서 정적영역인지 여부를 판단한다.
깊이영상 복호부 (234)는 복호화된 칼라영상 블록이 I 픽처에 속하면， 부호화된 깊이영상 블록을 수신하여 복호화한다. 깊이영상 복호부 (234)는 복호화된 칼라영상 블록이 P 픽처 또는 B 픽처에 속하면， 정적영역 판단부 (220)의 판단결과 상기 블록이 동적영역인 경우, 부호화된 깊이영상 블록을 수신하여 복호화한다. 그리고， 깊이영상 복호부 (234)는 깊이영상 복호부 (234)는 복호화된 칼라영상 블톡이 p 픽처 또는 B 픽처에 속하고, 정적영역 판단부 (220)의 판단결과 상기 블록이 정적영역인 경우， 복호화된 칼라 영상 블록에 대응하는 깊이영상 블록을 복구한다.
정적영역에 해당하는 복호화된 칼라 영상 블톡에 대응하는 깊이영상 블록의 복구는 정적영역 판단부 (220)에서 정적영역을 구분하기 위해 칼라영상에서 참조한 참조영상 블록에 대응하는 참조 깊이영상 블록을 이용해서 복구한다. 이때, 참조영상이 동일시점의 시간적 상관관계가 있는 참조영상인 경우， 깊이영상 복호부 (234)는 참조영상에 대응하는 깊이영상에서 정적영역과 동일한 위치의 영역 값으로 상기 깊이 영상 블록을 복구한다.
하지만, 참조영상이 동일시간의 다른 시점간의 상관관계가 있는 참조영상인 경우, 깊이영상 복호부 (234)는 참조영상에 대응하는 깊이영상을 복호화하는 깊이영상과 같은 시점으로 왑핑 (warping)하고 왑핑된 깊이영상에서 정적영역과 동일한 위치의 영역 값으로 상기 깊이 영상 블록을 복구한다. 깊이영상을 왑핑한 예는 후술되는 도 13와 같이 표현될 수 있다.
한편， 깊이영상 복호부 (234)는 정적영역에 해당하는 깊이영상 블록의 복구할 때， 두 개의 참조 깊이영상들의 해당 블록들 모두를 이용해서 상기 깊이영상 블록을 복구할 수도 있다.
부호화 장치 (210)의 정적영역 판단부 (220)는 부호화된 칼라영상 정보를 이용해서 정적영역을 판단하고 복호화 장치 (230)의 정적영역 판단부 (220)는 복호화된 칼라영상 정보를 이용해서 정적영역을 판단한다. 이 때， 부호화된 칼라 영상과 복호화된 칼라 영상 정보는 동일하다. 정적영역 판단부 (220)의 상세한 설명은 이후 도 5에서 도 10을 통해 후술한다.
상기 도 2의 설명에서 칼라영상과 깊이영상 각각을 블록 단위로 부호화 하고 복호화 있으나, 블록 단위 대신에 픽셀 단위로 처리도 가능하다.
이하, 상기와 같이 구성된 부호화 /복호화 장치에서 다시점 깊이영상을 부호화 /복호화하는방법을 아래에서 도면을 참조하여 설명한다.
도 3은 부호화 장치에서 칼라영상을 이용해서 판단한 정적영역을 이용해서 깊이영상을 부호화 하는 과정을 도시한흐름도이다.
도 3을 참조하면 부호화 장치 (210)는 310단계에서 칼라영상 블록을 부호화한다.
그리고， 부호화 장치 (210)는 312단계에서 부호화한 칼라영상 블록의 부호화 타입을 확인한다.
312단계의 확인결과 부호화한 칼라영상의 부호화 타입이 P 픽처 또는 B 픽처이면， 부호화 장치 (210)는 314단계에서 부호화한 칼라영상 블록이 정적영역인지 여부를 판단한다. (
이때， 정적영역 판단은 부호화된 칼라영상 블록을 참조영상의 대웅 블록과 비교해서 상관관계가 높은 영역인 정적영역과 상관관계가 낮은 영역인 동적영역으로 판단된다. 이때, 정적영역 판단을 위해 참조되는 참조영상은 동일시점의 시간적 상관관계가 있는 참조영상일 수도 있고， 동일시간의 다른 시점간의 상관관계가 있는 참조영상일 수도 있다.
314단계의 판단결과 부호화한 칼라영상 블록이 정적영역이면, 부호화 장치 (210)는 316단계에서 부호화된 칼라영상 블록을 복호화 장치로 송신한다. 즉, 부호화한 칼라영상 블록이 정적영역이면 부호화 장치 (210)는 대웅하는 깊이영상 블록을 부호화하지 않고 복호화 장치로 전송하지 않는다.
314단계의 판단결과 부호화한 칼라영상 블록이 동적영역이면， 부호화 장치 (210)는 318단계에서 부호화한 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화한다. 그리고， 부호화 장치 (210)는 320단계에서 부호화된 칼라영상 블록과 부호화된 깊이영상 블록을 복호화 장치로 송신한다.
한편， 312단계의 확인결과 부호화한 칼라영상 블록의 부호화 타입이 I 픽처이면， 부호화 장치 (210)는 318단계에서 부호화한 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화한다. 그리고， 부호화 장치 (210)는 320단계에서 부호화된 칼라영상 블록과 부호화된 깊이영상 블톡을 복호화 장치로 송신한다.
도 4는 복호화 장치에서 칼라영상을 이용해서 판단한 정적영역을 이용해서 깊이영상을 복호화 하는 과정을 도시한 흐름도이다.
도 4를 참조하면 복호화 장치 (230)는 410단계에서 부호화 장치 (210)로부터 부호화된 칼라영상 블록을 수신해서 복호화한다. 그리고， 복호화 장치 (230)는 412단계에서 복호화한 칼라영상 블록의 복호화 타입을 확인한다.
412단계의 확인결과 복호화한 칼라영상 블록의 복호화 타입이 P 픽처 또는 B 픽처이면, 복호화 장치 (230)는 414단계에서 복호화한 칼라영상 블록이 정적영역인지 여부를 판단한다.
이때, 정적영역 판단은 복호화된 칼라영상 블록을 참조영상의 대응 블록과 비교해서 상관관계가 높은 영역인 정적영역과 상관관계가 낮은 영역인 동적영역으로 판단된다. 이때， 정적영역 판단을 위해 참조되는 참조영상은 동일시점의 시간적 상관관계가 있는 참조영상일 수도 있고, 동일시간의 다른 시점간의 상관관계가 있는 참조영상일 수도 있다.
414단계의 판단결과 복호화한 칼라영상 블록이 정적영역이면, 복호화 장치 (230)는 복호화한 칼라영상 블록에 대웅하는 깊이영상 블록을 복구한다. 깊이영상 블톡의 복구는 칼라영상 블록의 정적영역을 구분하기 위해 참조한 참조영상 블록에 대응하는 깊이영상 블록을 이용해서 복구한다.
이때， 참조영상이 동일시점의 시간적 상관관계가 있는 참조영상인 경우， 복호화 장치 (230)는 참조영상에 대응하는 깊이영상에서 정적영역과 동일한 위치의 영역 값으로 복호화하는 깊이영상의 정적영역을 복구한다.
하지만, 참조영상이 동일시간의 다른 시점간의 상관관계가 있는 참조영상인 경우， 복호화 장치 (230)는 참조영상에 대웅하는 깊이영상을 복호화하는 깊이영상과 같은 시점으로 왑큉하고 왑핑된 깊이영상에서 정적영역과 동일한 위치의 영역 값으로 복호화하는 깊이영상의 정적영역을 복구한다.
한편, 412단계의 확인결과 부호화한 칼라영상의 부호화 타입이 I픽처이거나 또는 414단계의 판단결과 부호화한 칼라영상 블록이 동적영역이면，
복호화 장치 (230)는 418단계에서 부호화 장치 (210)로부터 부호화된 깊이영상 블록을 수신해서 복호화한다.
한편, 정적영역 판단부 (220)에서 부호화된 칼라영상 블록이 정적영역인지 여부를 판단하는 방법에는 여러 방법이 가능하다. 정적영역인지 여부를 판단하는 방법으로 정적영역 판단부 (220)는 부호화된 칼라영상의 카메라 파라메터 정보가 동일 시점의 다른 칼라영상의 카메라 파라메터 정보와 다른 경우, 부호화된 칼라영상 블록을 동적영역으로 분류할 수 있다. 이때， 다른 칼라영상은 부호화된 칼라영상의 참조영상, 이전 칼라영상 또는 이후 칼라영상이 될 수 있다. 이외에도 아래 도 5에서 도 10을 통해 정적영역을 판단하는 여러 방법을 설명한다.
도 5는 분할정보 포함 유무를 이용해서 정적영역을 판단하는 과정을 도시한 흐름도이다.
도 5를 참조하면， 정적영역 판단부 (220)는 510단계에서 부호화된 칼라영상 블록에 분할 정보가 포함되어 있는지 여부를 확인한다. 분할 정보는 부호화되는 블록의 모드 정보를 통해 알 수 있다..
510단계의 확인결과 부호화된 칼라영상 블록에 분할 정보가 포함되어 있으면, 정적영역 판단부 (220)는 512단계에서 부호화된 칼라영상 블록을 동적영역으로 판단한다. 일반적으로 배경과 움직이는 물체의 경계부분이 분할 정보와 함께 부호화되기 때문에 부호화된 칼라영상 블록이 분할 정보를 포함할 경우， 부호화된 칼라영상 블록을 동적영역으로 판단한다.
510단계의 확인결과 부호화된 칼라영상 블톡에 분할 정보가 포함되어 있지 않으면， 정적영역 판단부 (220)는 514단계에서 부호화된 칼라영상 블록을 정적영역으로 판단한다.
정적영역 판단부 (220)는 514단계에서 단계에서 부호화된 칼라영상 블록을 정적영역으로 판단하면 참조 깊이영상 블록을 이용해서 부호화된 칼라영상 블록에 대웅하는 깊이영상 블록이 정적영역인지 여부를 재확인할 수 있다. 이때， 참조 깊이영상 블록이란， 부호화된 칼라영상 블록에 대응하는 깊이영상 블록을 부호화할 때 참조하는 깊이영상에서 동일 위치에 있는 블록이다. 정적영역을 재확인하는 방법은 이후 도 8또는 도 10의 방법을 통해서 재확인할 수 있다.
도 6은 움직임 백터를 이용해서 정적영역을 판단하는 과정을 도시한 흐름도이다.
도 6을 참조하면， 정적영역 판단부 (220)는 610단계에서 부호화된 칼라영상 블록의 움직임 백터가 0인지 여부를 확인한다.
610단계의 확인결과 부호화된 칼라영상 블록의 움직임 백터가 0이 아니면， 정적영역 판단부 (220)는 612단계에서 부호화된 칼라영상 블톡을 동적영역으로 판단한다.
610단계의 확인결과 부호화된 칼라영상 블록의 움직임 백터가 ◦이면, 정적영역 판단부 (220)는 614단계에서 부호화된 칼라영상 블록을 정적영역으로 판단한다.
정적영역 판단부 (220)는 614단계에서 단계에서 부호화된 칼라영상 블록을 정적영역으로 판단하면 참조 깊이영상 블록을 이용해서 부호화된 칼라영상 블록에 대응하는 깊이영상 블록이 정적영역인지 여부를 재확인할 수 있다. 이때， 참조 깊이영상 블록이란， 부호화된 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화할 때 참조하는 깊이영상에서 동일 위치에 있는 블록이다. 정적영역을 재확인하는 방법은 이후 도 8 또는 도 10의 방법을 통해서 재확인할 수 있다.
도 7은 칼라영상에서 동일시점의 시간적 상관관계를 통해 정적영역을 판단하는 과정을 도시한흐름도이다.
도 7을 참조하면， 정적영역 판단부 (220)는 710단계에서 수신한 영상인 부호화된 칼라영상 블록에 대응하는 순방향 참조영상 블록과의 SSD(Sum of
Squared Differece)를 계산한다. 이때ᅳ 순방향 참조영상 블록은 부호화된 칼라영상 블록이 예측 부호화될 때 사용되는 참조영상에서 동일 위치에 있는 블록이며， 영상의 재생순서상 부호화된 칼라영상 블록보다 시간적으로 이전에 위치하는 참조영상 블록을 나타낸다. 그리고, 이하의 설명에서 부호화된 칼라영상 블록과 순방향 참조영상 블록 간의 SSD를 SSDprev로 표현한다.
그리고, 정적영역 판단부 (220)는 712단계에서 부호화된 칼라영상 블록의 부호화 타입을 확인한다.
712단계의 확인결과 부호화된 칼라영상 블록의 부호화 타입이 P 픽처이면, 정적영역 판단부 (220)는 714단계에서 SSDprev를 최소 SSD(Min_SSD)로 결정한다.
712단계의 확인결과 부호화된 칼라영상 블록의 부호화 타입이 B 픽처이면, 정적영역 판단부 (220)는 716단계에서 부호화된 칼라영상 블록과 역방향 참조영상 블록 간의 SSD를 계산한다. 이때, 역방향 참조영상 블록은 부호화된 칼라영상 블록이 예측 부호화할 때 사용되는 참조영상에서 동일 위치에 있는 블록이며， 영상의 재생순서상 부호화된 칼라영상 블록보다 시간적으로 이후에 위치하는 참조영상 블록을 나타낸다. 그리고， 이하의 설명에서 부호화된 칼라영상 블록과 역방향 참조영상 블록 간의 SSD를 SSDnext로 표현한다.
그리고， 정적영역 판단부 (220)는 718단계에서 SSDprev와 SSDnext증에서 더 작은 값을 가진 SSD를 최소 SSD(Min_SSD)로 결정한다.
714단계 또는 718단계 이후， 정적영역 판단부 (220)는 720단계에서 최소 SSD를 기설정한 정적 기준값과 비교한다.
720단계의 확인결과 최소 SSD가 기설정한 정적 기준값 보다 크거나 같으면， 정적영역 판단부 (220)는 722단계에서 부호화된 칼라영상 블록올 참조영상 블록과의 상관관계가 낮은 영역인 동적영역으로 분류한다.
720단계의 확인결과 최소 SSD가 기설정한 정적 기준값 보다 작으면， 정적영역 판단부 (220)는 724단계에서 부호화된 칼라영상 블록을 참조영상 블록과의 상관관계가 높은 영역인 정적영역으로 분류한다.
그리고， 정적영역 판단부 (220)는 726단계에서 참조 깊이영상 블록을 이용해서 부호화된 칼라영상 블록에 대웅하는 깊이영상 블록이 정적영역인지 여부를 재확인할 수 있다. 이때, 참조 깊이영상 블록이란, 부호화된 칼라영상 블록에 대응하는 깊이영상 블록을 부호화할 때 참조하는 깊이영상이다. 즉， 참조 깊이영상 블톡은 정적영역을 판단할 때 참조된 칼라영상에 대응하는 깊이영상의 해당 블록이다. 한편， 726단계는 설정에 따라 수행되지 않을 수도 있다.
726단계에서 깊이영상 블록이 정적영역인지 여부를 재확인하는 방법에는 여러 방법이 존재할 수 있다.
첫번째로 아래 도 8의 방법으로 깊이영상 블록이 정적영역인지 여부를 재확인 할 수 있다.
도 8은 깊이영상 블록이 정적영역인지 여부를 재확인 과정의 일 예를 도시한 도면이다.
도 8을 참조하면， 정적영역 판단부 (220)는 810단계에서 정적영역을 판단할 때 참조한 칼라영상 블록에 대응하는 깊이영상의 해당 블록인 참조 깊이영상 블록을 확인한다.
그리고， 정적영역 판단부 (220)는 812단계에서 참조 깊이영상 블록의 편차를 계산한다. 이때, 편차 대신에 표준편차를 사용할 수도 있다.
그리고, 정적영역 판단부 (220)는 814단계에서 참조 깊이영상 블록의 편차값과 기설정된 재확인 기준값을 비교한다.
814단계의 비교결과 참조 깊이영상 블록의 편차값이 재확인 기준값 보다 크면， 정적영역 판단부 (220)는 816단계에서 부호화된 칼라영상 블록을 동적영역으로 재확인한다. 즉， 정적영역 판단부 (220)는 정적영역으로 분류했던 부호화된 칼라영상 블록을 동적영역으로 변경한다.
814단계의 비교결과 참조 깊이영상 블록의 편차값이 재확인 기준값 보다 작거나 같으면， 정적영역 판단부 (220)는 818단계에서 부호화된 칼라영상 블록이 정적영역이 맞음을 재확인한다. 다시 말해， 정적영역 판단부 (220)는 정적영역으로 분류했던 부호화된 칼라영상 블록을 정적영역으로 최종 분류한다.
726단계에서 깊이영상 블록이 정적영역인지 여부를 재확인하는 방법에는 도 8의 방법 외에도， 참조 깊이영상 블록에 분할정보가 포함되어 있는지 여부， 참조 깊이영상 블록의 움직임 백터가 0인지 여부， 참조 깊이영상의 카메라 파라메터 정보와 동일 시점의 다른 깊이영상의 카메라 정보가 동일한지 여부， 참조 깊이영상 블록에 에지 (Edge)가 존재하는 여부를 확인해서 정적여부를 재확인할 수도 있다.
이때， 참조 깊이영상 블록에 분할정보가 포함되어 있는지 여부를 이용해서 정적여부를 판단하는 방법은, 참조 깊이영상 블록에 분할정보가 포함되어 있으면 동적영역으로 재확인하고， 참조 깊이영상 블록에 분할정보가 포함되어 있지 않으면 정적영역으로 재확인하는 방법이다.
그리고 참조 깊이영상 블록의 움직임 백터가 0인지 여부를 이용해서 정적여부를 재확인하는 방법은， 참조 깊이영상 블록의 움직임 백터가 0이 아니면 동적영역으로 재확인하고， 참조 깊이영상 블록의 움직임 백터가 0 이면 정적영역으로 재확인하는 방법이다.
그리고, 참조 깊이영상의 카메라 파라메터를 이용해서 정적여부를 재확인하는 방법은， 참조 깊이영상의 카메라 파라메터 정보가 동일 시점의 다른 깊이영상의 카메라 파라메터와 다르다면 동적영역으로 재확인하는 방법이다. 그리고， 참조 깊이영상 블록에 에지 (Edge)가 존재하는 여부를 확인해서 정적여부를 재확인하는 방법은, 참조 깊이영상 블록에 에지가 포함되어 있으면 동적영역으로 재확인하고， 참조 깊이영상 블록에 에지가 포함되어 있지 않으면 정적영역으로 재확인하는 방법이다.
다시 정적영역을 판단하는 방법으로 돌아와서, 다른 시점의 참조영상을 이용하는 경우를 아래 도 9를 통해 설명한다.
도 9는 칼라영상에서 동일시간의 다른 시점간의 상관관계를 통해 정적영역을 판단하는 과정을 도시한 흐름도이다.
도 9를 참조하면， 정적영역 판단부 (220)는 910단계에서 P뷰 또는 B뷰 시점의 부호화된 칼라영상 블록을 수신하고， 수신한 부호화된 칼라영상 블록의 시점을 확인한다.
910단계의 확인결과 수신한 부호화된 칼라영상 블록의 시점이 P뷰 이면， 정적영역 판단부 (220)는 912단계에서 부호화된 칼라영상 블록의 참조영상에 해당하는 I뷰 시점의 영상을 P뷰 시점으로 왑핑한다. 칼라 영상의 왑핑 예는 후술되는 도 12과 같이 표현될 수 있다.
그리고， 정적영역 판단부 (220)는 914단계에서 P뷰 시점으로 왑핑된 I뷰 영상의 해당 블록과 P뷰 영상인 부호화된 칼라영상 블록 간의 SSD를 계산한다. 이하의 설명에서 왑핑된 I뷰 영상의 해당 블록과 부호화된 칼라영상 블록 간의 SSD를 SSDiv로 표현한다.
그리고, 정적영역 판단부 (220)는 916단계에서 SSDiv를 최소
SSD(Min_SSD)로 결정한다.
한편, 910단계의 확인결과 수신한 부호화된 칼라영상 블록의 시점이 B뷰 이면， 정적영역 판단부 (220)는 918단계에서 수신한 부호화된 칼라영상 블록의 참조영상에 해당하는 I뷰 영상을 B뷰 시점으로 왑핑한다. 그리고， 정적영역 판단부 (220)는 620단계에서 B뷰 시점으로 왑핑된 I뷰 영상의 해당 블록과 B뷰 영상인 수신한 부호화된 칼라영상 블록 간의 SSD(SSDiv)를 계산한다.
그리고, 정적영역 판단부 (220)는 922단계에서 수신한 부호화된 칼라영상 블록의 참조영상에 해당하는 P뷰 영상을 B뷰 시점으로 왑핑한다. 그리고, 정적영역 판단부 (220)는 924단계에서 B뷰 시점으로 왑핑된 P뷰 영상의 해당블톡과 B뷰 영상인 수신한 부호화된 칼라영상 블록 간의 SSD(SSDPV;^ 계산한다. 이하의 설명에서 왑핑된 P뷰 영상의 해당블톡과 수신한 부호화된 칼라영상 블록 간의 SSD를 SSDPV로 표현한다.
그리고, 정적영역 관단부 (220)는 926단계에서 SSDiv 와 SSDpv중에서 더 작은 값올 가진 SSD를 최소 SSD(Min_SSD)로 결정한다.
916단계 또는 926단계 이후, 정적영역 판단부 (220)는 928단계에서 최소 SSD를 기설정한 정적 기준값과 비교한다.
928단계의 확인결과 최소 SSD가 기설정한 정적 기준값 보다 크거나 같으면， 정적영역 판단부 (220)는 930단계에서 부호화된 칼라영상 블록을 참조영상 블록과의 상관관계가 낮은 영역인 동적영역으로 분류한다.
928단계의 확인결과 최소 SSD가 기설정한 정적 기준값 보다 작으면, 정적영역 판단부 (220)는 932단계에서 부호화된 칼라영상 블록을 참조영상 블록과의 상관관계가 높은 영역인 정적영역으로 분류한다.
그리고， 정적영역 판단부 (220)는 934단계에서 참조 깊이영상 블록을 이용해서 부호화된 칼라영상 블록에 대웅하는 깊이영상 블톡이 정적영역인지 여부를 재확인할 수 있다. 이때， 참조 깊이영상 블록이란, 부호화된 칼라영상 블록에 대응하는 깊이영상 블록을 부호화할 때 참조하는 깊이영상이다. 즉, 참조 깊이영상 블록은 정적영역을 판단할 때 참조된 칼라영상에 대응하는 깊이영상의 해당 블록이다. 한편， 726단계는 설정에 따라 수행되지 않을 수도 있다.
934단계에서 깊이영상 블록이 정적영역인지 여부를 재확인하는 방법에는 여러 방법이 존재할 수 있다.
첫번째로 아래 도 10의 방법으로 깊이영상 블록이 정적영역인지 여부를 재확인 할 수 있다.
도 10은 깊이영상 블록이 정적영역인지 여부를 재확인 과정의 다른 예를 도시한 도면이다.
도 10을 참조하면, 정적영역 판단부 (220)는 1010단계에서 정적영역을 판단할 때 참조한 칼라영상 블록에 대응하는 깊이영상의 해당 블록인 참조 깊이영상 블록을 확인한다.
그리고， 정적영역 판단부 (220)는 1012단계에서 참조 깊이영상 블록을 부호화된 칼라영상 블록과 동일한 시점으로 왑핑한다.
그리고, 정적영역 판단부 (220)는 1014단계에서 왑핑된 참조 깊이영상 블록의 편차를 계산한다. 이때， 편차 대신에 표준편차를 사용할 수도 있다.
그리고， 정적영역 판단부 (220)는 1016단계에서 왑핑된 참조 깊이영상 블록의 편차값과 기설정된 재확인 기준값올 비교한다.
1016단계의 비교결과 왑핑된 참조 깊이영상 블록의 편차값이 재확인 기준값 보다 크면， 정적영역 판단부 (220)는 1018단계에서 부호화된 칼라영상 블록을 동적영역으로 재확인한다. 즉， 정적영역 판단부 (220)는 정적영역으로 분류했던 부호화된 칼라영상 블록을 동적영역으로 변경한다.
1016단계의 비교결과 왑핑된 참조 깊이영상 블록의 편차값이 재확인 기준값 보다 작거나 같으면， 정적영역 판단부 (220)는 1020단계에서 부호화된 칼라영상 블록이 정적영역이 맞음을 재확인한다. 다시 말해, 정적영역 판단부 (220)는 정적영역으로 분류했던 부호화된 칼라영상 블톡을 정적영역으로 최종 분류한다.
934단계에서 깊이영상 블록이 정적영역인지 여부를 재확인하는 방법에는 도 10의 방법 외에도， 왑핑된 참조 깊이영상 블록에 분할정보가 포함되어 있는지 여부, 왑핑된 참조 깊이영상 블특의 움직임 백터가 0인지 여부, 왑핑된 참조 깊이영상 블톡에 에지 (Edge)가 존재하는 여부를 확인해서 정적여부를 재확인할 수도 있다. 여기서 왑핑된 참조 깊이영상 블록은 부호화된 칼라영상 블록과 동일한 시점으로 왑핑한 참조 깊이영상 블록을 나타낸다.
이때, 왑핑된 참조 깊이영상 블록에 분할정보가 포함되어 있는지 여부를 이용해서 정적여부를 재확인하는 방법은, 왑핑된 참조 깊이영상 블록에 분할정보가 포함되어 있으면 동적영역으로 재확인하고, 왑핑된 참조 깊이영상 블록에 분할정보가 포함되어 있지 않으면 정적영역으로 재확인하는 방법이다.
그리고， 왑핑된 참조 깊이영상 블록의 움직임 백터가 0인지 여부를 이용해서 정적여부를 재확인하는 방법은， 왑핑된 참조 깊이영상 블록의 움직임 백터가 0이 아니면 동적영역으로 재확인하고, 왑핑된 참조 깊이영상 블록의 움직임 백터가 0 이면 정적영역으로 재확인하는 방법이다.
그리고， 왑핑된 참조 깊이영상 블록에 에지 (Edge)가 존재하는 여부를 확인해서 정적여부를 재확인하는 방법은， 왑핑된 참조 깊이영상 블록에 에지가 포함되어 있으면 동적영역으로 재확인하고, 왑핑된 참조 깊이영상 블록에 에지가 포함되어 있지 않으면 정적영역으로 재확인하는 방법이다.
한편, 도 7와 도 9의 설명에서 사용하는 SSD는 SAD(Sum of Absolute Difference)와 하다마드 변환을 통한 SAD 등 여러 가지 방법으로 대체할 수 있다.
도 11a 및 도 lib는 동일시점의 시간적 상관관계를 통해 판단된 정적영역의 예를 도시한 도면이다.
도 11a는 부호화할 깊이영상이 단방향 예측을 할 수 있는 P 픽처일 때 이에 해당하는 부호화된 칼라영상 (1110)과 그것의 정적지도 (1112)를 나타낸다. 이때， 정적지도란 정적영역과 동적영역을 표시한 영상을 의미한다.
P 픽처는 순방향 참조영상을 참조해서 단방향 예측을 할 수 있다. 정적지도 (1112)에서 흰색 블록은 동적영역을， 검은색 블록은 정적영역을 나타낸다. 따라서， 깊이영상올 부호화할 때， 검은색에 해당하는 블록은 압축하지 않고， 복호화 시에는 참조영상을 이용해서 검은색 블록에 해당하는 값을 복구한다.
도 lib는 부호화할 깊이영상이 양방향 예측을 할 수 있는 B 픽처일 때 이에 해당하는 부호화된 칼라영상 (1120)과 그것의 정적지도 (1122)를 나타낸다. B 픽처는 순방향 참조영상과 역방향 참조영상들을 참조해서 양방향 예측을 할 수 있다. 정적지도 (1122)의 흰색 블록은 동적영역올 나타내고， 검은색 블록은 순방향 참조영상올 참조해서 분류한 정적영역， 그리고 회색 블록은 역방향 참조영상을 참조해서 분류한 정적영역을 나타낸다. 따라서 깊이영상을 부호화 시， 검은색 및 회색 블록은 부호화하지 않고, 복호화 시에는 참조한 참조영상을 이용해서 검은색 블록과 회색 블록에 해당하는 값을 복구한다.
도 12a 및 도 12b는 왑핑을 통해 생성된 B뷰 시점의 칼라영상을 도시한 도면이다.
도 12a는 I뷰 시점의 칼라영상 (1210)의 텍스쳐와 I뷰 시점의 깊이영상 (1212)의 깊이정보를 이용해서 I뷰 시점의 칼라영상 (1210)올 B뷰 시점의 칼라영상 (1214)로 왑핑한 예를 나타낸다.
그리고， 도 12b는 P뷰 시점의 칼라영상 (1220)의 텍스쳐와 P뷰 시점의 깊이영상 (1222)의 깊이정보를 이용해서 P뷰 시점의 칼라영상 (1220)을 B뷰 시점의 칼라영상 (1224)로 왑핑한 예를 나타낸다.
도 13a 및 도 13b는 왑핑을 통해 생성된 B뷰 시점의 깊이영상을 도시한 도면이다.
도 13a는 I뷰 시점의 깊이영상 (1310)의 텍스쳐와 I뷰 시점의 깊이영상 (1312)의 깊이정보를 이용해서 I뷰 시점의 깊이영상 (1310)을 B뷰 시점의 깊이영상 (1314)로 왑핑한 예를 나타낸다.
그리고， 도 13b는 P뷰 시점의 깊이영상 (1320)의 텍스쳐와 P뷰 시점의 깊이영상 (1322)의 깊이정보를 이용해서 P뷰 시점의 깊이영상 (1320)을 B뷰 시점의 깊이영상 (1324)로 왑핑한 예를 나타낸다.
도 14a 및 도 14b는 동일시간의 다른 시점간의 상관관계를 통해 판단된 정적영역의 예를 도시한 도면이다.
도 14a는 부호화할 깊이영상이 다른 시점으로부터 단방향 예측을 할 수 있는 P 뷰 시점일 때 이에 해당하는 압축된 칼라영상 (1410)과 그것의 정적지도 (1412)를 나타낸다. P뷰 시점의 영상은 I뷰 시점의 영상을 참조영상으로 해서 단방향 예측을 할 수 있다. 정적지도 (1412)의 흰색 블록은 동적영역을， 검은색 블록은 정적영역을 나타낸다. 따라서， 깊이영상을 부호화 시, 검은색에 해당하는 블록들은 부호화하지 않고, 복호화 시에는 참조영상을 왑핑하여 얻은 값들로 정적영역을 복구한다.
도 14b는 부호화할 깊이영상이 I 뷰의 시점과 P 뷰의 시점으로부터 예측을 할 수 있는 B 뷰 시점일 때 이에 해당하는 부호화된 칼라영상 (1420)과 그것의 정적지도 (1422)를 나타낸다. B 뷰 시점의 영상 (1420)은 I뷰 시점의 영상 또는 P뷰 시점의 영상을 참조영상으로 해서 양방향 예측을 할 수 있다. 정적지도 (1422)의 흰색 블록은 동적영역을 나타내고， 검은색 블록은 I뷰 시점의 영상을 참조영상으로 참조해서 분류한 정적영역， 그리고 회색 블록은 P뷰 시점의 영상을 참조영상으로 참조해서 분류한 정적영역을 나타낸다. 따라서 깊이영상을 부호화 시, 검은색 및 회색 블록은 부호화하지 않고， 복호화 시에는 참조한 참조영상을 왑핑하여 얻은 값들로 검은색 및 회색 블록을 복구한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 실행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다ᅳ 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크， 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM,
DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광매체 (magneto-optical media), 및름 (ROM), 램 (RAM), 플래시메모리등과같은 프로그램 명령을 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의소프트웨어모들로서작동하도록구성될수있으며 , 그역도마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어， 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및 /또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나치환되더라도적절한결과가달성될수있다ᅳ
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는특허청구범위의범위에속한다.

Claims

【청구범위】
1. 칼라영상 블록을 부호화 하는 칼라영상 부호부;
부호화된 칼라영상 블톡이 정적영역인지 동적영역인지 판단하는 정적영역 판단부 ; 및
상기 부호화된 칼라영상 블록이 정적영역이면 상기 칼라영상 블록에 대웅하는 깊이영상 블록을 부호화하지 않고， 상기 부호화된 칼라영상 블록이 동적영역이면 상기 칼라영상 블톡에 대응하는 깊이영상 블록을 부호화하는 깊이영상 부호부를 포함하는
부호화 장치 .
2. 제 1항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블록의 부호화 타입이 P픽처 또는 B 픽처인 경우， 상기 부호화된 칼라영상 블록이 정적영역인지 동적영역인지를 판단하고，
상기 깊이영상 부호부는,
상기 부호화된 칼라영상 블록의 부호화 타입이 I 픽처이면 상기 깊이영상 블록을 부호화하는
부호화 장치 .
3. 계 1항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블록에 분할 (Part it ion) 정보가 포함된 경우, 상기 부호화된 칼라영상 블록을 상기 동적영역으로 분류하고，
상기 부호화된 칼라영상 블록에 분할 정보가 포함지 않은 경우, 상기 부호화된 칼라영상 블톡을 상기 정적영역으로 분류하는
부호화 장치 .
4. 제 1항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블록의 움직임 백터가 0이 아닌 경우, 상기 부호화된 칼라영상 블록을 상기 동적영역으로 분류하고，
상기 부호화된 칼라영상 블톡의 움직임 백터가 0인 경우， 상기 부호화된 칼라영상 블록을 상기 정적영역으로 분류하는
부호화 장치 .
5. 제 1항에 있어서，
상기 정적영역 판단부는，
상기 부호화된 칼라영상의 카메라 파라메터 정보가 동일 시점의 다른 칼라영상의 카메라 파라메터 정보와 다른 경우， 상기 부호화된 칼라영상 블록을 상기 동적영역으로 분류하는
부호화 장치 .
6. 제 1항에 있어서，
상기 정적영역 판단부는
상기 부호화된 칼라영상 블록을 부호화할 때 참조하는 영상인 참조영상의 해당블록과 비교해서 그 차이가 기준값 미만이면 상기 정적영역으로 판단하고 상기 기준값 이상이면 상기 동적영역으로 판단하는
부호화 장치.
7. 제 6항에 있어서， 상기 참조영상은,
동일시점의 시간적 상관관계가 있는 참조영상이거나 또는 동일시간의 다른 시점간의 상관관계가 있는 참조영상인
부호화 장치 .
8. 제 1항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블톡의 부호화 타입이 P 픽처이면， 상기 부호화된 칼라영상 블록과 순방향 참조영상의 해당 블록 간의 차이값을 계산하고，
상기 차이값이 기설정한 정적 기준값 보다 작으면 상기 정적영역으로 판단하고， 상기 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단하는
부호화 장치.
9. 제 8항에 있어서，
상기 정적영역 판단부는,
상기 차이값을 SSD(Sum of Squared Differece), SAD(Sum of Absolute Difference) 또는 하다마드 변환을 통한 SAD의 계산방법 중에서 적어도 하나를 이용해서 계산하는
부호화 장치ᅳ
10. 제 1항에 있어서，
상기 정적영역 판단부는,
상기 부호화된 칼라영상 블록의 부호화 타입이 B 픽처이면, 상기 부호화된 칼라영상 블록과 순방향 참조영상의 해당 블록 간의 차이값인 제 1 차이값과 상기 부호화된 칼라영상 블록과 역방향 참조영상의 해당 볼록 간의 차이값인 제 2 차이값을 계산하고，
상기 제 1 차이값과 상기 제 2 차이값 중에서 더 작은 차이값인 최소 차이값과 기설정한 정적 기준값을 비교해서 상기 최소 차이값이 상기 정적 기준값 보다 작으면 상기 정적영역으로 판단하고, 상기 최소 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단하는
부호화 장치.
11. 제 1항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블록의 시점이 P뷰 이면 상기 부호화된 칼라영상 블록의 참조영상인 I뷰 시점의 영상을 P뷰 시점으로 왑핑하고，
상기 왑핑된 I뷰 영상의 해당 블톡과 상기 부호화된 칼라영상 블록 간이 차이값올 계산하고,
상기 차이값이 기설정한 정적 기준값 보다 작으면 상기 정적영역으로 판단하고， 상기 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단하는
부호화 장치.
12. 제 1항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블록의 시점이 B뷰 이면 상기 부호화된 칼라영상 블록의 참조영상인 I뷰 시점의 영상을 B뷰 시점으로 왑핑하고, 상기 왑핑된 I뷰 영상의 해당 블록과 상기 부호화된 칼라영상 블록 간이 차이값인 제 1 차이값을 계산하고，
상기 부호화된 칼라영상 블록의 참조영상인 P뷰 시점'의 영상을 B뷰 시점으로 왑핑하고， 상기 왑핑된 P뷰 영상의 해당 블록과 상기 부호화된 칼라영상 블록 간이 차이값인 게 2 차이값을 계산하고，
상기 게 1 차이값과 상기 제 2 차이값 중에서 더 작은 차이값인 최소 차이값과 기설정한 정적 기준값을 비교해서 상기 최소 차이값이 상기 정적 기준값 보다 작으면 상기 정적영역으로 판단하고， 상기 최소 차이값이 상기 정적 기준값보다 크거나 같으면 상기 동적영역으로 판단하는
부호화 장치.
13. 제 1항에 있어서,
상기 정적영역 판단부는,
상기 부호화된 칼라영상 블록이 정적영역으로 판단되면 참조 깊이영상 블록을 이용해서 정적영역임을 재확인하고，
상기 참조 깊이영상 블록은 상기 부호화된 칼라영상 블록을 부호화할 때 참조하는 영상인 참조영상에 대웅하는 깊이영상의 해당블록을 나타내는
부호화 장치.
14. 제 13항에 있어서，
상기 정적영역 판단부는，
상기 참조 깊이영상 블록의 편차를 계산하고，
편차값이 기설정된 재확인 기준값보다 크면 부호화된 칼라영상 블록을 동적영역으로 재확인하고,
상기 편차값이 기설정된 재확인 기준값보다 작거나 같으면 부호화된 칼라영상 블록을 정적영역으로 재확인하고，
부호화 장치.
15. 제 13항에 있어서，
상기 정적영역 판단부는，
상기 참조 깊이영상 블톡에 분할정보가 포함되어 있으면 동적영역으로 재확인하고， 상기 참조 깊이영상 블록에 분할정보가 포함되어 있지 않으면 정적영역으로 재확인하는
부호화 장치.
16. 제 13항에 있어서，
상기 정적영역 판단부는,
상기 참조 깊이영상 블록의 움직임 백터가 0이 아니면 동적영역으로 재확인하고, 상기 참조 깊이영상 블록의 움직임 백터가 ◦ 이면 정적영역으로 재확인하는
부호화 장치.
17. 제 13항에 있어세
상기 정적영역 판단부는,
상기 참조 깊이영상의 카메라 파라메터 정보가 동일 시점의 다른 깊이영상의 카메라 파라메터 정보와 다르면 동적영역으로 재확인하는
부호화 장치.
18. 제 13항에 있어서,
상기 정적영역 판단부는,
상기 참조 깊이영상 블록에 에지 (Edge)가 포함되어 있으면 동적영역으로 재확인하고， 상기 참조 깊이영상 블록에 에지가 포함되어 있지 않으면 정적영역으로 재확인하는
부호화 장치.
19. 제 13항에 있어서，
상기 정적영역 판단부는，
상기 참조 깊이영상 블록의 시점이 상기 부호화된 칼라영상 블록의 시점과 다르면 상기 참조 깊이영상 블록을 상기 부호화된 칼라영상 블록의 시점으로 왑핑하고, 왑핑된 참조 깊이영상 블록을 이용해서 정정영역임을 재확인하는，
부호화 장치.
20. 부호화된 칼라영상 블록을 복호화 하는 칼라영상 복호부;
상기 복호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 정적영역 판단부; 및
상기 복호화된 칼라영상 블록이 정적영역이면 상기 정적영역을 판단할 때 참조한 참조영상에 대응하는 깊이 영상을 이용해서 상기 복호화된 칼라영상 블록에 대웅하는 깊이영상 블록을 복구하고， 상기 복호화된 칼라영상 블록이 동적영역이면 상기 복호화된 칼라영상 블록에 대웅하는 부호화된 깊이영상 블록을 수신해서 복호화하는 깊이영상 복호부를 포함하는
복호화 장치 .
21. 제 20항에 있어서,
상기 정적영역 판단부는,
' 상기 복호화된 칼라영상 블록의 복호화 타입이 P픽처 또는 B 픽처인 경우, 상기 복호화된 칼라영상 블록이 정적영역인지 동적영역인지를 판단하고, 상기 깊이영상 복호부는,
상기 부호화된 칼라영상 블록의 복호화 타입이 I 픽처이면 상기 복호화된 칼라영상 블록에 대응하는 부호화된 깊이영상 블록을 수신해서 복호화하는
복호화 장치 .
22. 제 20항에 있어서,
상기 정적영역 판단부는，
상기 부호화된 칼라영상 블록을 복호화할 때 참조하는 영상인 참조영상의 해당블록과 비교해서 그 차이가 기준값 미만이면 상기 정적영역으로 판단하고 상기 기준값 이상이면 상기 동적영역으로 판단하는
복호화 장치 .
23. 제 20항에 있어서，
상기 깊이영상 복호부는，
상기 참조영상이 동일시점의 시간적 상관관계가 있는 참조영상인 경우, 상기 참조영상에 대웅하는 깊이영상의 해당 블록으로 상기 깊이영상 블록을 복구하는 복호화 장치.
24. 제 20항에 있어서,
상기 깊이영상 복호부는，
상기 참조영상이 동일시간의 다른 시점간의 상관관계가 있는 참조영상인 경우, 상기 참조영상에 대웅하는 깊이영상을 상기 복호화하는 깊이영상 블록과 같은 시점으로 왑핑 (warping)하고 왑핑된 깊이영상의 해당 블록으로 상기 깊이영상 블록을 복구하는
복호화 장치.
25. 칼라영상 블록을 부호화 하는 단계;
부호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 단계 ; 및 상기 부호화된 칼라영상 블록이 정적영역이면 상기 칼라영상 블록에 대응하는 깊이영상 블록올 부호화하지 않고, 상기 부호화된 칼라영상 블록이 동적영역이면 상기 칼라영상 블록에 대응하는 깊이영상 블록을 부호화하는 단계를 포함하는
부호화 방법 .
26. 부호화된 칼라영상 블록을 복호화 하는 단계;
상기 복호화된 칼라영상 블록이 정적영역인지 동적영역인지 판단하는 단겨 1; 상기 복호화된 칼라영상 블록이 정적영역이면 상기 정적영역을 판단할 때 참조한 참조영상에 대웅하는 깊이영상 블록을 이용해서 상기 복호화된 칼라영상 블록에 대응하는 깊이영상 블록을 복구하고， 상기 복호화된 칼라영상 블록이 동적영역이면 상기 복호화된 칼라영상 블록에 대웅하는 부호화된 깊이영상 블록을 수신해서 복호화하는 단계를 포함하는
복호화 방법 .
PCT/KR2012/009900 2011-11-22 2012-11-22 칼라영상을 이용해서 다시점 깊이영상을 부호화 / 복호화 하는 장치 및 방법 WO2013077638A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0122364 2011-11-22
KR20110122364 2011-11-22

Publications (1)

Publication Number Publication Date
WO2013077638A1 true WO2013077638A1 (ko) 2013-05-30

Family

ID=48470025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009900 WO2013077638A1 (ko) 2011-11-22 2012-11-22 칼라영상을 이용해서 다시점 깊이영상을 부호화 / 복호화 하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20130056803A (ko)
WO (1) WO2013077638A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015231A (ko) * 2000-08-21 2002-02-27 김영민 객체 지향형 영상 부호화 시스템 및 방법
KR20060067207A (ko) * 2004-12-14 2006-06-19 엘지전자 주식회사 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법
KR20100046485A (ko) * 2008-10-27 2010-05-07 한국전자통신연구원 관심 영역 깊이 정보 기반의 3차원 방송 서비스 방법 및 장치
KR20100066304A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015231A (ko) * 2000-08-21 2002-02-27 김영민 객체 지향형 영상 부호화 시스템 및 방법
KR20060067207A (ko) * 2004-12-14 2006-06-19 엘지전자 주식회사 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법
KR20100046485A (ko) * 2008-10-27 2010-05-07 한국전자통신연구원 관심 영역 깊이 정보 기반의 3차원 방송 서비스 방법 및 장치
KR20100066304A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNG HAK, NAM ET AL.: "Depth compression method for 3D video", JOURNAL OF BROADCAST ENGINEERING, vol. 15, no. 5, September 2010 (2010-09-01), pages 703 - 706 *

Also Published As

Publication number Publication date
KR20130056803A (ko) 2013-05-30

Similar Documents

Publication Publication Date Title
US9918068B2 (en) Method and apparatus of texture image compress in 3D video coding
US8953684B2 (en) Multiview coding with geometry-based disparity prediction
KR101636539B1 (ko) 입체영상 압축 처리 방법 및 장치
KR101628383B1 (ko) 영상 처리 장치 및 방법
US20120189060A1 (en) Apparatus and method for encoding and decoding motion information and disparity information
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
WO2018199792A1 (en) Apparatuses and methods for encoding and decoding a panoramic video signal
US20160316224A1 (en) Video Encoding Method, Video Decoding Method, Video Encoding Apparatus, Video Decoding Apparatus, Video Encoding Program, And Video Decoding Program
US10244259B2 (en) Method and apparatus of disparity vector derivation for three-dimensional video coding
US9191677B2 (en) Method and apparatus for encoding image and method and appartus for decoding image
US20150358599A1 (en) Method and Apparatus of Compatible Depth Dependent Coding
KR20110055820A (ko) 윤곽선 정보를 이용한 입체 영상 압축 장치 및 방법
US11240512B2 (en) Intra-prediction for video coding using perspective information
CN103108183B (zh) 一种三维视频中Skip和Direct模式运动矢量的预测方法
US20130100245A1 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
KR20110136014A (ko) 다시점 깊이영상을 부호화/복호화 하는 장치 및 방법
US9900620B2 (en) Apparatus and method for coding/decoding multi-view image
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
WO2013077638A1 (ko) 칼라영상을 이용해서 다시점 깊이영상을 부호화 / 복호화 하는 장치 및 방법
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
US10075691B2 (en) Multiview video coding method using non-referenced view video group
CN113613017B (zh) 一种三维帧间预测改进v-pcc帧间预测的方法
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12850853

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12850853

Country of ref document: EP

Kind code of ref document: A1