WO2014107038A1 - 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 - Google Patents

깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 Download PDF

Info

Publication number
WO2014107038A1
WO2014107038A1 PCT/KR2014/000035 KR2014000035W WO2014107038A1 WO 2014107038 A1 WO2014107038 A1 WO 2014107038A1 KR 2014000035 W KR2014000035 W KR 2014000035W WO 2014107038 A1 WO2014107038 A1 WO 2014107038A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
depth
sdc
coding unit
depth image
Prior art date
Application number
PCT/KR2014/000035
Other languages
English (en)
French (fr)
Inventor
임일순
오병태
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130168877A external-priority patent/KR102216585B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201480004107.1A priority Critical patent/CN104904220B/zh
Priority to US14/650,058 priority patent/US10631006B2/en
Publication of WO2014107038A1 publication Critical patent/WO2014107038A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the following embodiments describe processing according to the SDC mode when encoding or decoding a depth image.
  • one embodiment may be applied to a video compression field that requires to reduce the bit generation amount of the depth image due to the limited bandwidth.
  • Intra prediction or inter prediction may be used to encode or decode the depth image. Intra prediction may take into account the spatial associations of coding units, and inter prediction may consider the temporal associations of coding units.
  • a coding mode indicating the least cost is applied to a coding unit after setting a plurality of modes.
  • the depth image represents a specific gray level among gray levels of 0 to 255, it is necessary to set a more efficient coding mode in order to reduce the amount of bits required for transmission.
  • An embodiment of the present disclosure provides an apparatus and method capable of processing a coding unit according to any one of DC, planar, and DMM1 among Simplified Depth Coding (SDC) modes when encoding or decoding a depth image according to an intra prediction mode.
  • SDC Simplified Depth Coding
  • One embodiment provides an apparatus and a method capable of processing a coding unit according to any one of the representative modes of Planar and DMM1 among SDC modes when encoding or decoding a depth image according to an intra prediction mode.
  • One embodiment provides an apparatus and method capable of encoding or decoding a current block in consideration of an SDC mode of a left block or an upper block adjacent to a current block that is a coding unit of a depth image.
  • a method of encoding a depth image may include encoding a coding unit of a depth image in a simple depth coding (SDC) mode; And generating a bitstream including an SDC mode applied to the coding unit and residual information of the coding unit, wherein the SDC mode includes a plane mode or a depth modeling mode 1 (Depth Modeling Mode 1: DMM1). ) May be included.
  • SDC simple depth coding
  • the encoding may include encoding the coding unit in consideration of the SDC mode of the left block or the upper block of the current block corresponding to the coding unit.
  • the residual information of the coding unit may be mapped to an index based on a depth lookup table generated for each frame constituting the depth image.
  • a method of encoding a depth image includes encoding a coding unit of a depth image in a simplified depth coding (SDC) mode; And generating a bitstream including an SDC mode applied to the coding unit and residual information of the coding unit, wherein the SDC mode includes a DC mode, a planar mode, or a depth modeling mode 1 (Depth Modeling Mode). 1: DMM1).
  • SDC simplified depth coding
  • the encoding may include encoding the coding unit in consideration of the SDC mode of the left block or the upper block of the current block corresponding to the coding unit.
  • the residual information of the coding unit may be mapped to an index based on a depth lookup table generated for each frame constituting the depth image.
  • a method of decoding a depth image may include: determining a simple depth coding (SDC) mode related to intra prediction applied to a coding unit of a depth image; And decoding the coding unit according to the SDC mode, wherein the SDC mode may include a plane mode or a depth modeling mode 1 (DMM1).
  • SDC simple depth coding
  • the planar mode may include a left-top, right-top, left-bottom, and right-bottom of a plurality of samples included in the original depth value and the coding unit. ) May be an SDC mode using a prediction depth value based on samples located at).
  • the DMM 1 is located at the left-top, right-top, left-bottom and right-bottom belonging to the same segment in the original depth value and the coding unit. It may be in SDC mode using the prediction depth value of each segment derived from the samples.
  • a method of decoding a depth image may include determining a simple depth coding (SDC) mode related to intra prediction applied to a coding unit of a depth image; And decoding the coding unit according to the SDC mode, wherein the SDC mode may include a DC mode, a planar mode, or a depth modeling mode 1 (DMM1).
  • SDC simple depth coding
  • the planar mode may include a left-top, right-top, left-bottom, and right-bottom of a plurality of samples included in the original depth value and the coding unit. ) May be an SDC mode using a prediction depth value based on samples located at).
  • the DMM 1 is located at the left-top, right-top, left-bottom and right-bottom belonging to the same segment in the original depth value and the coding unit. It may be in SDC mode using the prediction depth value of each segment derived from the samples.
  • a method of decoding a depth image includes determining a simple depth coding (SDC) mode related to intra prediction applied to a coding unit configuring a depth image; And decoding a coding unit according to the SDC mode, wherein the SDC mode includes a DC mode, a planar mode, a depth modeling mode 1 (Depth Modeling Mode 1: DMM1), and a depth modeling mode 2 (Depth). Modeling Mode 2: DMM2) DC mode may be excluded.
  • SDC simple depth coding
  • a method of decoding a depth image includes determining a simple depth coding (SDC) mode related to intra prediction applied to a coding unit configuring a depth image; And decoding a coding unit according to the SDC mode, wherein the SDC mode includes a DC mode, a planar mode, a depth modeling mode 1 (Depth Modeling Mode 1: DMM1), and a depth modeling mode 2 (Depth). Modeling Mode 2: DMM2) DC mode and DMM2 may be excluded.
  • SDC simple depth coding
  • An apparatus for encoding a depth image comprising a process, wherein the processor is configured to encode a coding unit of a depth image in a simplified depth coding (SDC) mode; And generating a bitstream including the SDC mode applied to the coding unit and the residual information of the coding unit, wherein the SDC mode is a planar mode or a depth modeling mode 1 (Depth Modeling Mode 1: DMM1). ) May be included.
  • SDC simplified depth coding
  • An apparatus for encoding a depth image comprising: encoding the coding unit of the depth image in a simplified depth coding (SDC) mode; And generating a bitstream including an SDC mode applied to the coding unit and residual information of the coding unit, wherein the SDC mode is a DC mode, a planar mode, or a depth modeling mode 1 (Depth Modeling Mode). 1: DMM1).
  • SDC simplified depth coding
  • the decoding apparatus includes a process, and the processor determines a simple depth coding (SDC) mode related to intra prediction applied to a coding unit of the depth image. Making; And decoding the coding unit according to the SDC mode, wherein the SDC mode may include a planar mode or a depth modeling mode 1 (DMM1).
  • SDC simple depth coding
  • the decoding apparatus includes a process, and the processor determines a simplified depth coding (SDC) mode related to intra prediction applied to a coding unit of the depth image. Making; And decoding the coding unit according to the SDC mode, wherein the SDC mode may include a DC mode, a planar mode, or a depth modeling mode 1 (DMM1).
  • SDC simplified depth coding
  • the apparatus includes a processor, and the processor includes simplified depth coding (SDC) related to intra prediction applied to a coding unit constituting the depth image. Determining a mode; And decoding a coding unit according to the SDC mode, wherein the SDC mode includes a DC mode, a planar mode, a depth modeling mode 1 (Depth Modeling Mode 1: DMM1), and a depth modeling mode 2 (Depth). Modeling Mode 2: DMM2) DC mode may be excluded.
  • SDC simplified depth coding
  • the apparatus includes a processor, and the processor includes simplified depth coding (SDC) related to intra prediction applied to a coding unit constituting the depth image. Determining a mode; And decoding a coding unit according to the SDC mode, wherein the SDC mode includes a DC mode, a planar mode, a depth modeling mode 1 (Depth Modeling Mode 1: DMM1), and a depth modeling mode 2 (Depth). Modeling Mode 2: DMM2) DC mode and DMM2 may be excluded.
  • SDC simplified depth coding
  • the coding unit may be processed more efficiently by processing the coding unit according to one of the representative modes of DC, Planar, and DMM1 of the SDC (Simplified Depth Coding) mode. have.
  • the coding unit when the depth image is encoded or decoded according to the intra prediction mode, the coding unit may be processed more efficiently by processing the coding unit according to one of the representative modes of Planar and DMM1 in the SDC mode.
  • the current block may be encoded or decoded in consideration of the SDC mode of the left block or the upper block adjacent to the current block, which is a coding unit of the depth image, to more effectively reflect the feature of the depth image.
  • FIG. 1 is a diagram illustrating an encoding apparatus and a decoding apparatus, according to an embodiment.
  • FIG. 2 is a flowchart illustrating an operation of an encoding apparatus, according to an embodiment.
  • FIG. 3 is a flowchart illustrating an operation of a decoding apparatus according to an embodiment.
  • FIG. 4 illustrates a DMM1 according to an embodiment.
  • FIG. 5 is a diagram illustrating a process of deriving a prediction value based on a planar according to an embodiment.
  • FIG. 6 is a diagram illustrating a process of deriving a predictive value based on the DMM1 according to an embodiment.
  • FIG. 7 illustrates a process of determining a coding mode of a current block, according to an embodiment.
  • FIG. 8 illustrates an enable_flag compensating for a depth lookup table according to an exemplary embodiment.
  • FIG 9 illustrates a depth lookup table located in a slice header according to an embodiment.
  • FIG. 10 illustrates a depth lookup table located in a slice header according to another exemplary embodiment.
  • FIG. 1 is a diagram illustrating an encoding apparatus and a decoding apparatus, according to an embodiment.
  • the encoding apparatus 101 may transmit a bitstream obtained by encoding a depth image to the decoding apparatus 102.
  • the encoding apparatus 101 may encode the depth image and store it in a recording medium or in a separate file format.
  • the decoding device 102 may derive the depth image from the bitstream and play the 3D image.
  • the depth image may be represented by a depth map.
  • the encoding apparatus 101 may encode the depth image through intra prediction.
  • the encoding apparatus 101 may encode the depth image based on an image compression scheme such as H.264 / AVC, H.264 / MVC, HEVC, or the like.
  • the encoding apparatus 101 divides one depth image into a plurality of coding units, and then performs intra prediction based on spatial correlation between coding units, or performs inter prediction based on temporal correlation between coding units. can do.
  • intra prediction means predicting a pixel value of a coding unit to be encoded from pixel values of neighboring pixels adjacent to the coding unit.
  • the prediction value of the coding unit calculated through intra prediction may vary depending on the size of the coding unit and how the neighboring pixels used for the prediction are referred to.
  • a type of an intra prediction mode is defined according to a size of a coding unit and a reference method of neighboring pixels.
  • the encoding apparatus 101 may select one of the intra prediction modes defined in the image compression scheme and encode the coding unit.
  • the encoding apparatus 101 selects a bit rate required for encoding the coding unit and an intra prediction mode in which distortion of the decoded coding unit can be minimized.
  • the encoding apparatus 101 may encode according to all intra prediction modes defined in the image compression scheme, and then select the intra prediction mode having the lowest cost for the encoding result as the encoding mode of the coding unit.
  • the encoding apparatus 101 may generate a depth lookup table expressing a specific gray level as an index according to the characteristics of the depth image.
  • a method of increasing coding efficiency by expressing pixel values and residual information of a coding unit by an index will be defined as simplified depth coding (SDC). Since the depth image is composed of pixels corresponding to the specified gray level among gray levels of 0 to 255, the encoding efficiency may be improved when encoding according to the SDC mode.
  • the encoding apparatus 101 may encode the depth image using the representative mode defined in the SDC mode.
  • the representative mode may include DC, DMM1, DMM2, and Planar.
  • the encoding apparatus 101 may encode according to the remaining three representative modes except for the DMM2 among the four representative modes.
  • the encoding apparatus 101 may encode according to two representative modes except for DC and DMM2 among four representative modes.
  • the encoding apparatus 101 may set a representative mode used for encoding for each coding unit corresponding to the coding unit. Then, the encoding apparatus 101 may transmit the residual information, which is a result of predicting the representative mode and the coding unit, to the decoding apparatus 102.
  • FIG. 2 is a flowchart illustrating an operation of an encoding apparatus, according to an embodiment.
  • the encoding apparatus 101 may encode the coding unit in the SDC mode.
  • the encoding apparatus 101 may encode the depth image using a small number of representative modes without using 35 intra prediction modes generally used in HEVC. Since the depth image is not as complex as the color image and the gray levels are distributed in a certain range, most prediction may be possible in a simple representative mode.
  • the SDC mode relates to an intra prediction mode applied when encoding a depth image for reproducing a 3D video.
  • the encoding apparatus 101 may use any one of Planar and DMM1 except for DMM2 and DC in the SDC mode to encode the depth image. That is, the SDC mode may include representative modes such as DMM1 and Planar.
  • the encoding apparatus 101 may use any one of DC, Planar, and DMM1 except DMM2 in the SDC mode to encode the depth image. That is, the SDC mode may include representative modes such as DC, DMM1, and planar. The encoding apparatus 101 may predict and encode the coding unit in the representative mode having the highest probability among the representative modes included in the SDC mode.
  • the DC represents directional intra prediction in the conventional compression method of depth image.
  • the DMM may be used to improve the bit rate and distortion rate of the synthesized view when modeling discontinuities of the depth image. That is, according to an embodiment, the encoding apparatus 101 may improve the coding efficiency by encoding the depth image using the SDC mode in which some representative modes are excluded.
  • the coding unit may be predicted according to the representative mode constituting the determined SDC mode. Prediction according to the SDC mode occurs in one or two depth segments per coding unit, so one residual DC depth value may be coded for each of these segments.
  • the depth segment may consist of a plurality of pixels.
  • SDC mode is used for intra prediction of depth image.
  • An SDC flag may additionally be used indicating that the SDC mode has been applied for the coding unit. If the coding unit is coded according to the SDC mode, the coding unit may be determined to be 2N * 2N. When coded according to the SDC mode, the segment type and the representative mode of the coding unit may be coded.
  • Residual information in the pixel domain may be signaled in the bitstream for each segment.
  • the residual information may be mapped to an original depth value of an unencoded depth image using a depth lookup table (DLT).
  • DLT depth lookup table
  • the residual information can be encoded by signaling the index in the depth lookup table.
  • the encoding apparatus 101 may determine a gray level by extracting a predetermined number of frames among the plurality of frames configuring the depth image and analyzing the histogram. Then, the encoding apparatus 101 may generate the following depth lookup table using the determined gray level.
  • the encoding apparatus 101 may reduce the required bit amount by signaling the residual information set in each segment by integrating the depth lookup table.
  • the depth lookup table is a result of mapping a depth value of an original depth image to an index.
  • the depth lookup table may be generated by analyzing a specific number of frames in the input sequence of depth images.
  • the depth lookup table may be used during the encoding process to reduce the bit-depth of the residual information.
  • the encoding apparatus 101 may analyze a specific number of frames from the sequence of the depth image.
  • the frames can be encoded and all pixels can be scanned for all possible depth values.
  • the encoding apparatus 101 may generate a mapping table by mapping depth values to valid depth values based on the uncompressed original depth image.
  • the encoding apparatus 101 may generate a depth lookup table by analyzing a depth image and record the depth lookup table in a sequence parameter set (SPS).
  • SPS sequence parameter set
  • the depth lookup table may be generated by the following procedure.
  • the encoding apparatus 101 may map the depth image to an index corresponding to the depth value instead of encoding the residual information of the depth image for a given coding unit.
  • the mapping table may be transmitted to the decoding device 102 that derives a depth value from an index through an inverse of the depth lookup table.
  • i_resi I (d_orig)-I (d_pred)
  • the index i_resi of the residual information may be encoded with a flag.
  • the encoding apparatus 101 may determine the SDC mode to be applied to the current block by using a neighboring block neighboring the current block which is a coding unit. For example, the encoding apparatus 101 may determine the SDC mode of the current block by determining in which SDC mode the upper block or the left block of the current block is encoded. If the upper block or the left block of the current block is encoded in an intra prediction mode or an inter prediction mode other than the SDC mode, the encoding apparatus 101 may perform an exception process.
  • the encoding apparatus 101 may transmit a bitstream including the SDC mode applied to the coding unit and the residual information of the coding unit, to the decoding apparatus 102.
  • FIG. 3 is a flowchart illustrating an operation of a decoding apparatus according to an embodiment.
  • the decoding apparatus 102 may determine the SDC mode applied to the coding unit. According to an embodiment, the decoding apparatus 102 may determine whether any one of Planar and DMM1 except for DMM2 and DC is applied to a coding unit in the SDC mode. That is, the SDC mode may include representative modes such as DMM1 and Planar.
  • the decoding apparatus 102 may determine whether any one of DC, Planar, and DMM1 except DMM2 is applied to the coding unit in order to encode the depth image. That is, the SDC mode may include representative modes such as DC, DMM1, and planar.
  • the decoding apparatus 102 may decode the coding unit according to the SDC mode applied to the coding unit.
  • FIG. 4 illustrates a DMM1 according to an embodiment.
  • the depth image may consist mainly of sharp edges representing the object boundary and almost constant or unchanged sample values representing the object area.
  • an intra prediction mode for the depth image may be added.
  • the block 401 of the depth image may be divided into two non-rectangular regions, and each region may be represented by a constant. Samples corresponding to each region may be specified as a constant, and each region may be represented by a constant partition value (CPV). Wedgelets and Contours may be used as the partitioning method.
  • the DMM1 may follow the Wedgelets method.
  • residual information indicating a difference between an original depth value and a predicted depth value may be transmitted.
  • the prediction depth value in the block of the depth image may be determined using the DMM.
  • the block 401 of the depth image may be divided into two regions P1 and P2 along a straight line.
  • the block 402 of the depth image may be configured of a plurality of samples (uB ⁇ vB), and each of the samples may belong to any one of two areas.
  • the samples may be identified by binary information according to which area they belong to.
  • the DMM1 follows the Wedgelets scheme, and split information may be transmitted to the decoding apparatus 102 through a bitstream. Then, the decoding apparatus 102 may reconstruct the block of the depth image based on the split information.
  • the split information is transmitted from the encoding device 101 to the decoding device 102 and is not predicted by the decoding device 102.
  • the boundary according to the Wedgelets method may be determined so that distortion between the original depth value and the prediction value belonging to the divided region is minimized according to the Wedgelets method.
  • FIG. 5 is a diagram illustrating a process of deriving a prediction value based on a planar according to an embodiment.
  • the SDC mode replaces the intra prediction mode of the depth image.
  • the depth intra parameter of the depth image indicates whether the coding unit is signaled in the SDC mode.
  • the block corresponding to the coding unit of the depth image in the SDC mode may be predicted according to either the SDC mode of Planar or DMM1. Alternatively, the block corresponding to the coding unit of the depth image in the SDC mode may be predicted according to any one of the SDC modes of Planar, DC, and DMM1.
  • the partition size of the coding unit including the prediction unit predicted according to the SDC mode may be 2N ⁇ 2N. Residual information is coded with quantized transform coefficients, and residual information representing one or two constants may be signaled.
  • a block coded according to the SDC mode may be signaled according to the following information.
  • the residual information may be mapped to a depth value constituting the original depth image based on the depth lookup table.
  • the residual information can be coded by signaling the index into the depth lookup table.
  • the depth lookup table representing the mapping table may be transmitted to the decoding apparatus 102.
  • the encoding apparatus 101 determines the original depth value of the depth image ( ) And the predicted depth value ( ) Can be used. According to Planar, the predicted depth value ( ) May be calculated as the average of the upper left sample 501, the lower left sample 502, the upper right sample 503, and the lower right sample 504 in the prediction block.
  • FIG. 6 is a diagram illustrating a process of deriving a predictive value based on the DMM1 according to an embodiment.
  • the prediction depth value corresponding to the region ( ) May be determined as an average of samples belonging to the corresponding region in the prediction block. For example, the predicted depth value of an area of white samples ( ) May be determined as the upper left sample 601. Then, the predicted depth value of the region composed of black samples ( ) May be calculated as the average of the lower left sample 602, the upper right sample 603, and the lower right sample 604.
  • the region may correspond to a segment.
  • the depth lookup table can be used to map the original depth value and the predicted depth value to an index.
  • Residual index ( ) May be transmitted to the decoding apparatus 102, and may be determined according to Equation 1 below.
  • the average value of the restored original depth value may be determined according to Equation 2 below.
  • the average residual information may be determined according to Equation 3 below.
  • Restored Sample May be determined according to Equation 4 below.
  • Calculated residual information Can be encoded with the flag.
  • FIG. 7 illustrates a process of determining a coding mode of a current block, according to an embodiment.
  • the encoding apparatus 101 may determine a left block (A) 702 neighboring the current block 701 or The coding mode of the current block 701 may be determined according to the SDC mode applied to the upper block (B) 703.
  • the current block 701 may be DC applied.
  • DMM1 when DMM1 is applied in the left block 702 in SDC mode, DMM1 may be applied to the current block 701.
  • the left block 702 when the left block 702 is applied to the Planar of the SDC mode, the current block 701 may be applied to the Planar.
  • the upper block 703 may apply equally.
  • the current block 701 may be DC applied.
  • FIG. 8 illustrates an enable_flag compensating for a depth lookup table according to an exemplary embodiment.
  • the encoding apparatus 101 may analyze a histogram by extracting a preset number of frames from a sequence of depth images to be encoded.
  • the encoding apparatus 101 may determine a gray level by analyzing the histogram, and generate a depth lookup table using the determined gray level.
  • the encoder 101 may determine and record enable_flag for each frame of the depth image in order to reflect the features of the remaining frames except for the preset number of frames.
  • the depth lookup table may be recorded in the sequence parameter set (SPS).
  • the depth lookup table recorded in the SPS may be transmitted to the decoding apparatus 102.
  • the decoding apparatus 102 may generate a depth lookup table of the current frame by analyzing the current frame of the depth image.
  • the encoding apparatus 101 compares the gray level of the depth lookup table recorded in the SPS with the gray level of the generated depth lookup table, and when the similarity exceeds or equals the reference value, the encoding apparatus 101 uses the depth lookup table recorded in the SPS as it is. It can be coded according to the SDC mode.
  • the decoding apparatus 102 compares the gray level of the depth lookup table recorded in the SPS with the gray level of the generated depth lookup table, and when the similarity exceeds or equals the reference value, the depth lookup table recorded in the SPS is used as it is. Can be decoded according to the SDC mode.
  • the encoding apparatus 101 may not process the coding unit of the depth image according to the SDC mode.
  • the decoding device 102 may not process the coding unit of the depth image according to the SDC mode.
  • FIG 9 illustrates a depth lookup table located in a slice header according to an embodiment.
  • the depth lookup table described in FIG. 8 is generated for each frame, and may be recorded in a slice header other than the SPS as shown in FIG. 9.
  • FIG. 10 illustrates a depth lookup table located in a slice header according to another exemplary embodiment.
  • the depth lookup table may be recorded in both the SPS and the slice header.
  • the depth lookup table associated with the frame is compared with the depth lookup table recorded in the SPS, the depth lookup table may be recorded in the SPS instead of the slice header when the similarity exceeds or equals the reference value.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법이 개시된다. 깊이 영상을 인트라 예측 모드에 따라 처리하기 위해, 부호화 장치 또는 복호화 장치는 SDC 모드 중 DC 모드, Planar 모드 또는 DMM1 중 어느 하나의 대표 모드를 이용할 수 있다. 또는 깊이 영상을 인트라 예측 모드에 따라 처리하기 위해, 부호화 장치 또는 복호화 장치는 Planar 모드 또는 DMM1 중 어느 하나의 대표 모드를 이용할 수 있다.

Description

깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
이하의 일실시예들은 깊이 영상을 부호화 또는 복호화할 때 SDC 모드에 따라 처리하는 것을 설명하고 있다. 특히, 일실시예들은 제한된 대역폭으로 인하여 깊이 영상의 비트 발생량을 줄여야 하는 동영상 압축 분야에 적용될 수 있다.
깊이 영상을 부호화하거나 또는 복호화하기 위해 인트라 예측 또는 인터 예측이 이용될 수 있다. 인트라 예측은 코딩 유닛의 공간적 연관 관계를 고려하고, 인터 예측은 코딩 유닛의 시간적 연관 관계를 고려할 수 있다.
특히 깊이 영상을 인트라 예측을 하기 위해서, 종래의 압축 기법에 의하면 복수의 모드들을 설정한 후 가장 최소의 비용을 나타내는 코딩 모드가 코딩 유닛에 적용되었다. 하지만, 깊이 영상은 0~255의 그레이 레벨 중 특정한 그레이 레벨을 나타내므로, 전송할 때 필요한 비트량을 줄이기 위해서 보다 효율적인 코딩 모드를 설정하는 것이 필요하였다.
일실시예들은, 깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC(Simplified Depth Coding) 모드 중 DC, Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리할 수 있는 장치 및 방법을 제공한다.
일실시예들은 깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC 모드 중 Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리할 수 있는 장치 및 방법을 제공한다.
일실시예들은, 깊이 영상의 코딩 유닛인 현재 블록에 인접한 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 현재 블록을 부호화하거나 또는 복호화할 수 있는 장치 및 방법을 제공한다.
일실시예에 따른 깊이 영상의 부호화 방법은 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 포함하고, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 부호화 방법에서 상기 부호화하는 단계는, 상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화할 수 있다.
상기 코딩 유닛의 잔차 정보는, 상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑될 수 있다.
다른 실시예에 따른 깊이 영상의 부호화 방법은 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 부호화 방법에서 상기 부호화하는 단계는, 상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화할 수 있다.
상기 코딩 유닛의 잔차 정보는, 상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑될 수 있다.
일실시예에 따른 깊이 영상의 복호화 방법은, 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 Planar Mode는, 원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드일 수 있다.
상기 DMM 1는, 원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드일 수 있다.
다른 실시예에 따른 깊이 영상의 복호화 방법은 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 Planar Mode는, 원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드일 수 있다.
상기 DMM 1는, 원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드일 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 방법은 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외될 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 방법은 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외될 수 있다.
일실시예에 따른 깊이 영상의 부호화 장치에 있어서, 프로세스를 포함하고, 상기 프로세서는 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 수행하며, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
다른 실시예에 따른 깊이 영상의 부호화 장치에 있어서, 프로세스를 포함하고, 상기 프로세서는 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
일실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세스를 포함하고, 상기 프로세서는, 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
다른 실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세스를 포함하고, 상기 프로세서는, 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세서를 포함하고, 상기 프로세서는, 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외될 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세서를 포함하고, 상기 프로세서는, 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외될 수 있다.
깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC(Simplified Depth Coding) 모드 중 DC, Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리함으로써, 보다 효율적으로 코딩 유닛을 처리할 수 있다.
일실시예들은 깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC 모드 중 Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리함으로써, 보다 효율적으로 코딩 유닛을 처리할 수 있다.
일실시예들은, 깊이 영상의 코딩 유닛인 현재 블록에 인접한 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 현재 블록을 부호화하거나 또는 복호화함으로써, 깊이 영상의 특징을 보다 효과적으로 반영할 수 있다.
도 1은 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 일실시예에 따른 부호화 장치의 동작을 도시한 플로우차트이다.
도 3은 일실시예에 따른 복호화 장치의 동작을 도시한 플로우차트이다.
도 4는 일실시예에 따른 DMM1를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 Planar에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
도 6은 일실시예에 따른 DMM1에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
도 7은 일실시예에 따른 현재 블록의 코딩 모드를 결정하는 과정을 나타낸 도면이다.
도 8은 일실시예에 따른 깊이 룩업 테이블을 보상하는 enable_flag를 나타낸 도면이다.
도 9는 일실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
도 10은 다른 실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 1을 참고하면, 부호화 장치(101)는 깊이 영상을 부호화한 비트스트림을 복호화 장치(102)에 전송할 수 있다. 또는, 부호화 장치(101)가 깊이 영상을 부호화하여 이를 기록 매체에 저장하거나 또는 별도의 파일 포맷으로 저장할 수 있다. 그러면, 복호화 장치(102)는 비트스트림으로부터 깊이 영상을 도출하여 3차원 영상을 재생할 수 있다. 이 때, 비트스트림을 전송하기 위해 필요한 대역폭이 제한되므로, 깊이 영상의 비트 발생량을 줄일 필요가 있다. 여기서, 깊이 영상은 깊이 맵으로 표현될 수도 있다.
일례로, 부호화 장치(101)는 깊이 영상을 인트라 예측을 통해 부호화할 수 있다. 부호화 장치(101)는 H.264/AVC, H.264/MVC, HEVC 등과 같은 영상 압축 방식에 기초하여 깊이 영상을 부호화할 수 있다. 이 때, 부호화 장치(101)는 하나의 깊이 영상을 복수의 코딩 유닛들로 분할한 후, 코딩 유닛 간의 공간적 연관성에 기초하여 인트라 예측을 수행하거나 또는 코딩 유닛 간의 시간적 연관성에 기초하여 인터 예측을 수행할 수 있다.
이 때, 인트라 예측은 부호화하고자 하는 코딩 유닛의 화소값을 코딩 유닛에 인접한 주변 화소들의 화소값으로부터 예측하는 것을 의미한다. 인트라 예측을 통해 계산되는 코딩 유닛의 예측값은 코딩 유닛의 크기와 예측에 사용하는 주변 화소들을 어떻게 참조하는 지에 따라 달라질 수 있다.
영상 압축 방식은 코딩 유닛의 크기와 주변 화소들의 참조 방법에 따라 인트라 예측 모드의 종류가 정의되어 있다. 부호화 장치(101)는 영상 압축 방식에 정의된 인트라 예측 모드들 중 어느 하나를 선택하여 코딩 유닛에 대해 부호화할 수 있다. 부호화 장치(101)는 코딩 유닛의 부호화에 필요한 비트율과, 복호화된 코딩 유닛의 왜곡이 최소화할 수 있는 인트라 예측 모드를 선택한다. 구체적으로, 부호화 장치(101)는 영상 압축 방식에서 정의한 모든 인트라 예측 모드에 따라 부호화한 후, 부호화 결과에 대한 비용이 가장 적은 인트라 예측 모드를 코딩 유닛의 부호화 모드로 선택할 수 있다.
깊이 영상을 인트라 예측에 따라 부호화할 때, 부호화 장치(101)는 깊이 영상의 특성에 따라 특정한 그레이 레벨(gray level)을 인덱스로 표현한 깊이 룩업 테이블을 생성할 수 있다. 구체적으로, 코딩 유닛의 픽셀값과 잔차 정보를 인덱스로 표현함으로써 부호화 효율을 높이는 방식을 심플 깊이 코딩(Simplified Depth Coding: SDC)로 정의하기로 한다. 깊이 영상은 0~255까지의 그레이 레벨 중 특정된 그레이 레벨에 대응하는 픽셀들로 구성되므로, SDC 모드에 따라 부호화하는 경우 부호화 효율이 향상될 수 있다.
부호화 장치(101)는 SDC 모드에 정의된 대표 모드를 이용하여 깊이 영상을 부호화할 수 있다. 일반적으로, 대표 모드는 DC, DMM1, DMM2, 및 Planar를 포함할 수 있다. 하지만, 일실시예에 따른 부호화 장치(101)는 4가지의 대표 모드 중 DMM2를 제외한 나머지 3개의 대표 모드에 따라 부호화할 수 있다. 다른 실시예에 따르면, 부호화 장치(101)는 4가지의 대표 모드 중 DC, DMM2를 제외한 나머지 2개의 대표 모드에 따라 부호화할 수 있다.
부호화 장치(101)는 코딩 유닛에 대응하는 코딩 유닛마다 부호화에 사용된 대표 모드를 설정할 수 있다. 그러면, 부호화 장치(101)는 대표 모드 및 코딩 유닛을 예측한 결과인 잔차 정보를 복호화 장치(102)에 전달할 수 있다.
도 2는 일실시예에 따른 부호화 장치의 동작을 도시한 플로우차트이다.
단계(201)에서, 부호화 장치(101)는 코딩 유닛을 SDC 모드로 부호화할 수 있다. SDC 모드에 따라 깊이 영상을 부호화하는 경우, 부호화 장치(101)는 HEVC에서 일반적으로 사용하는 35가지 인트라 예측 모드를 사용하지 않고 적은 수의 대표 모드를 이용하여 깊이 영상을 부호화할 수 있다. 깊이 영상이 컬러 영상만큼 복잡하지 않고 그레이 레벨이 일정 범위에 분포되어 있으므로, 간단한 대표 모드로 대부분의 예측이 가능할 수 있다.
SDC 모드는 3차원 비디오를 재생하기 위한 깊이 영상을 부호화할 때 적용하는 인트라 예측 모드와 관련된다. 일실시예에 따르면, 부호화 장치(101)는 깊이 영상을 부호화기 위해, SDC 모드 중 DMM2와 DC를 제외한 Planar와 DMM1 중 어느 하나를 이용할 수 있다. 즉, SDC 모드는 DMM1, Planar와 같은 대표 모드를 포함할 수 있다.
다른 실시예에 따르면, 부호화 장치(101)는 깊이 영상을 부호화기 위해, SDC 모드 중 DMM2를 제외한 DC, Planar 및 DMM1 중 어느 하나를 이용할 수 있다. 즉, SDC 모드는 DC, DMM1, planar와 같은 대표 모드를 포함할 수 있다. 부호화 장치(101)는 SDC 모드에 포함된 대표 모드 중 가장 확률이 높은 대표 모드로 코딩 유닛을 예측하여 부호화할 수 있다.
DC는 기존의 깊이 영상의 압축 방식에서 방향적인 인트라 예측을 나타낸다. 그리고, DMM은 깊이 영상의 불연속성(discontinuities)를 모델링할 때 합성된 시점의 비트율과 왜곡율을 향상시키기 위해 사용될 수 있다. 즉, 일실시예에 따르면, 부호화 장치(101)는 일부의 대표 모드가 제외된 SDC 모드를 이용하여 깊이 영상을 부호화함으로써, 부호화 효율을 향상시킬 수 있다.
코딩 유닛에 대해 SDC 모드가 선택되면, 결정된 SDC 모드를 구성하는 대표 모드에 따라 코딩 유닛이 예측될 수 있다. SDC 모드에 따라 예측하는 것은 코딩 유닛별로 한 개 또는 두 개의 깊이 세크먼트에서 발생되므로, 이들 세크먼트 각각에 대해 하나의 잔차 DC 깊이값이 코딩될 수 있다. 깊이 세그먼트는 복수의 픽셀들로 구성될 수 있다. SDC 모드로 코딩하는 경우, 픽셀 도메인에서 잔차 정보가 코딩되므로 링잉 아티팩트(ringing artifact)가 제거될 수 있다.
SDC 모드는 깊이 영상의 인트라 예측을 위해 사용된다. 코딩 유닛에 대해 SDC 모드가 적용되었다는 것을 나타내는 SDC 플래그가 추가적으로 사용될 수 있다. 만약, SDC 모드에 따라 코딩 유닛이 코딩되는 경우, 코딩 유닛은 2N*2N으로 결정될 수 있다. SDC 모드에 따라 코딩되는 경우, 코딩 유닛의 세그먼트 타입과 대표 모드가 코딩될 수 있다.
<대표 모드/세그먼트 타입>
DC (1 segment)
DMM Mode 1 - Explicit Wedgelets (2 segments)
DMM Mode 2 - Intra-Predicted Wedgelets (2 segments)
Planar (1 segment)
각 세그먼트마다 픽셀 도메인에서의 잔차 정보가 비트스트림 내에서 시그널링될 수 있다. 부호화하기 전에, 잔차 정보는 깊이 룩업 테이블(Depth Lookup Table: DLT)를 이용하여 부호화되지 않은 깊이 영상의 원래 깊이값과 매핑될 수 있다. 그래서, 잔차 정보는 인덱스를 깊이 룩업 테이블에서 시그널링함으로써 부호화될 수 있다.
부호화 장치(101)는 깊이 영상을 구성하는 복수의 프레임들 중 일정 수의 프레임을 추출하여 히스토그램을 분석하여 그레이 레벨을 결정할 수 있다. 그러면, 부호화 장치(101)는 결정한 그레이 레벨을 이용하여 아래와 같은 깊이 룩업 테이블을 생성할 수 있다.
Figure PCTKR2014000035-appb-I000001
부호화 장치(101)가 SDC 모드로 코딩 유닛을 부호화하는 경우, 부호화 장치(101)는 깊이 룩업 테이블을 통합함으로써 각 세그먼트에 설정된 잔차 정보를 시그널링함으로써 필요한 비트량을 감소할 수 있다. 깊이 룩업 테이블은 원래 깊이 영상의 깊이값을 인덱스로 매핑한 결과이다. 깊이 룩업 테이블은 입력된 깊이 영상의 시퀀스에서 특정 수의 프레임들을 분석함으로써 생성될 수 있다. 깊이 룩업 테이블은 잔차 정보의 비트 깊이(bit-depth)를 줄이기 위해 부호화 과정 중에 사용될 수 있다.
부호화 장치(101)는 깊이 영상의 시퀀스로부터 특정 수의 프레임들을 분석할 수 있다. 여기서, 프레임들은 부호화될 수 있으며, 가능한 모든 깊이값을 위해 모든 픽셀들이 스캔될 수 있다. 분석 과정동안, 부호화 장치(101)는 압축되지 않은 원래 깊이 영상에 기초하여 깊이값들을 유효한 깊이값들로 매핑함으로써 매핑 테이블을 생성할 수 있다.
하지만, 깊이 영상의 전체를 분석하는 것이 아니라 일정 수의 프레임을 분석하여 깊이 룩업 테이블을 생성하는 경우, 깊이 룩업 테이블이 깊이 영상의 전체를 대표할 수 있는지가 문제될 수 있다. 구체적으로, 부호화 장치(101)는 깊이 영상을 분석하여 깊이 룩업 테이블을 생성하여 시퀀스 파라미터 셋트(sequence parameter set: SPS)에 깊이 룩업 테이블을 기록할 수 있다. SPS에 기록된 깊이 룩업 테이블은 복호화 장치(102)에 전송될 수 있다.
깊이 룩업 테이블은 아래의 과정에 따라 생성될 수 있다.
Input:Depth map D_t of NxM pixels at time instance t
Output:Depth Lookup Table D(.)
Index Lookup Table I(.)
Depth Mapping Table M(.)
Number of valid depth values d_valid
<Algorithm>
Initialization
boolean vector B(d)=FALSE for all depth values d
index counter i=0
Process each pixel position p in D_t for multiple time instances t:
Set B(D_t (p))=TRUE to mark valid depth values
Count number of TRUE values in B(d) ? d_valid
For each d with B(d)==TRUE:
Set D(i)=d
Set M(d)=d
Set I(d)=i
i=i+1
For each d with B(d)==FALSE:
Find d □=arg min|d-d □ | and B(d □)==TRUE
Set M(d)=d □
Set I(d)=I(d □)
일실시예에 따르면, 부호화 장치(101)는 주어진 코딩 유닛에 대해 깊이 영상의 잔차 정보를 부호화하는 대신에, 깊이 영상을 깊이값에 대응하는 인덱스에 매핑할 수 있다. 매핑 테이블은 깊이 룩업 테이블의 인버스(inverse)를 통해 인덱스로부터 깊이값을 도출하는 복호화 장치(102)로 전송될 수 있다.
Input: Original depth value d_orig
Predicted depth value d_pred
Index Lookup Table I(.)
Number of valid depth values d_valid
Output: Residual index i_resi to be coded
Algorithm:
i_resi=I(d_orig )- I(d_pred)
잔차 정보의 인덱스 i_resi는 플래그로 부호화될 수 있다.
한편, 부호화 장치(101)는 코딩 유닛인 현재 블록에 이웃하는 주변 블록을 이용하여 현재 블록에 적용할 SDC 모드를 결정할 수 있다. 일례로, 부호화 장치(101)는 현재 블록의 위쪽 블록 또는 왼쪽 블록이 어떤 SDC 모드로 부호화되었는 지 여부를 판단하여 현재 블록의 SDC 모드를 결정할 수 있다. 만약, 현재 블록의 위쪽 블록 또는 왼쪽 블록이 SDC 모드가 아닌 다른 인트라 예측 모드 또는 인터 예측 모드로 부호화된 경우, 부호화 장치(101)는 예외 처리를 할 수 있다.
단계(202)에서, 부호화 장치(101)는 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 복호화 장치(102)에 전달할 수 있다.
도 3은 일실시예에 따른 복호화 장치의 동작을 도시한 플로우차트이다.
단계(301)에서, 복호화 장치(102)는 코딩 유닛에 적용된 SDC 모드를 판단할 수 있다. 일실시예에 따르면, 복호화 장치(102)는 SDC 모드 중 DMM2와 DC를 제외한 Planar와 DMM1 중 어느 하나가 코딩 유닛에 적용되었는 지 여부를 판단할 수 있다. 즉, SDC 모드는 DMM1, Planar와 같은 대표 모드를 포함할 수 있다.
다른 실시예에 따르면, 복호화 장치(102)는 깊이 영상을 부호화기 위해, SDC 모드 중 DMM2를 제외한 DC, Planar 및 DMM1 중 어느 하나가 코딩 유닛에 적용되었는 지 여부를 판단할 수 있다. 즉, SDC 모드는 DC, DMM1, planar와 같은 대표 모드를 포함할 수 있다.
단계(302)에서, 복호화 장치(102)는 코딩 유닛에 적용된 SDC 모드에 따라 코딩 유닛을 복호화할 수 있다.
도 4는 일실시예에 따른 DMM1를 설명하기 위한 도면이다.
깊이 영상은 주로 오브젝트 경계를 나타내는 샤프한 경계들(sharp edges)과 오브젝트 영역을 나타내는 거의 상수 또는 변화가 없는 샘플값들로 구성될 수 있다. 깊이 영상에서 오브젝트 경계를 잘 표현하기 위해, 깊이 영상을 위한 인트라 예측 모드가 추가될 수 있다. 깊이 영상의 블록(401)은 2개의 비사각형(non-rectangular) 영역으로 분할될 수 있으며, 각각의 영역은 상수로 표현될 수 있다. 각각의 영역에 대응하는 샘플들은 상수로 특정될 수 있으며, 각각의 영역은 상수 분할값(Constant Partition Value: CPV)로 표현될 수 있다. 분할 방식은 Wedgelets와 Contours가 사용될 수 있는데, 일실시예에 따른 DMM1은 Wedgelets 방식을 따를 수 있다.
SDC 모드에 따르면 원래 깊이값과 예측 깊이값 간의 차이를 나타내는 잔차 정보가 전송될 수 있다. 깊이 영상의 블록에서 예측 깊이값은 DMM을 이용하여 결정될 수 있다. Wedgelet 방식에 의하면, 깊이 영상의 블록(401)은 직선에 따라 2개의 영역(P1, P2)으로 분할될 수 있다. 그리고, 깊이 영상의 블록(402)은 복수의 샘플들(uB×vB)로 구성될 수 있으며, 각각의 샘플들은 2개의 영역 중 어느 하나의 영역에 속할 수 있다.
그리고, 깊이 영상의 블록(403)에서 샘플들은 어떤 영역에 속하는지에 따라 2진 정보(binary information)으로 식별될 수 있다. DMM1은 Wedgelets 방식을 따르며, 분할 정보가 비트스트림을 통해 복호화 장치(102)에 전송될 수 있다. 그러면, 복호화 장치(102)는 분할 정보에 기초하여 깊이 영상의 블록을 복원할 수 있다.
분할 정보는 부호화 장치(101)가 복호화 장치(102)에 전송되는 것으로, 복호화 장치(102)에서 예측되지 않는다. 원래 깊이값과 Wedgelets 방식에 따라 분할된 영역에 속하는 예측값 간의 왜곡이 최소화가 되도록 Wedgelets 방식에 따른 경계가 결정될 수 있다.
도 5는 일실시예에 따른 Planar에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
SDC 모드는 깊이 영상의 인트라 예측 모드를 대체한다. 깊이 영상의 깊이 인트라 파라미터는 코딩 유닛이 SDC 모드로 시그널링되었는 지 여부를 나타낸다. SDC 모드에서 깊이 영상의 코딩 유닛에 대응하는 블록은 Planar 또는 DMM1 중 어느 하나의 SDC 모드에 따라 예측될 수 있다. 또는, SDC 모드에서 깊이 영상의 코딩 유닛에 대응하는 블록은 Planar, DC 및 DMM1 중 어느 하나의 SDC 모드에 따라 예측될 수 있다.
SDC 모드에 따라 예측된 예측 유닛을 포함하는 코딩 유닛의 분할 크기는 2Nx2N일 수 있다. 잔차 정보는 양자화된 변환 계수들로 코딩되며, 하나 또는 2가지의 상수를 나타내는 잔차 정보가 시그널링될 수 있다.
SDC 모드에 따라 코딩된 블록은 아래의 정보에 따라 시그널링될 수 있다. DMM Mode 1 - Explicit Wedgelets (2 segments)
Planar (1 segment)
부호화가 진행되기 전에, 잔차 정보는 깊이 룩업 테이블에 기초하여 원래 깊이 영상을 구성하는 깊이값에 매핑될 수 있다. 잔차 정보는 인덱스를 깊이 룩업 테이블로 시그널링함으로써 코딩될 수 있다. 매핑 테이블을 나타내는 깊이 룩업 테이블은 복호화 장치(102)에 전송될 수 있다.
부호화 장치(101)는 깊이 영상의 원래 깊이값(
Figure PCTKR2014000035-appb-I000002
)과 예측 깊이값(
Figure PCTKR2014000035-appb-I000003
)의 평균을 이용할 수 있다. Planar에 의하면, 예측 깊이값(
Figure PCTKR2014000035-appb-I000004
)은 예측 블록에서 왼쪽 상단 샘플(501), 왼쪽 하단 샘플(502), 오른쪽 상단 샘플(503), 오른쪽 하단 샘플(504)의 평균으로 계산될 수 있다.
도 6은 일실시예에 따른 DMM1에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
DMM1에 의하면, 영역에 대응하는 예측 깊이값(
Figure PCTKR2014000035-appb-I000005
)은 예측 블록에서 해당 영역에 속하는 샘플들의 평균으로 결정될 수 있다. 예를 들어, 흰색 샘플들로 구성된 영역의 예측 깊이값(
Figure PCTKR2014000035-appb-I000006
)은 왼쪽 상단 샘플(601)로 결정될 수 있다. 그리고, 검은색 샘플들로 구성된 영역의 예측 깊이값(
Figure PCTKR2014000035-appb-I000007
)은 왼쪽 하단 샘플(602), 오른쪽 상단 샘플(603), 오른쪽 하단 샘플(604)의 평균으로 계산될 수 있다. 여기서, 영역은 세그먼트에 대응할 수 있다.
깊이 룩업 테이블은 원래 깊이값과 예측 깊이값을 인덱스로 매핑하기 위해 이용될 수 있다. 잔차 인덱스(
Figure PCTKR2014000035-appb-I000008
)는 복호화 장치(102)에 전송될 수 있으며, 하기 수학식 1에 따라 결정될 수 있다.
Figure PCTKR2014000035-appb-I000009
여기서,
Figure PCTKR2014000035-appb-I000010
는 깊이 룩업 테이블을 의미한다. 복호화 장치(102)에서, 복원된 원래 깊이값의 평균값은 하기 수학식 2에 따라 결정될 수 있다.
Figure PCTKR2014000035-appb-I000011
여기서,
Figure PCTKR2014000035-appb-I000012
는 인버스 깊이 룩업 테이블을 의미할 수 있다. 평균 잔차 정보는 하기 수학식 3에 따라 결정될 수 있다.
Figure PCTKR2014000035-appb-I000013
복원된 샘플
Figure PCTKR2014000035-appb-I000014
는 하기 수학식 4에 따라 결정될 수 있다.
Figure PCTKR2014000035-appb-I000015
계산된 잔차 정보
Figure PCTKR2014000035-appb-I000016
는 플래그와 함께 부호화될 수 있다.
도 7은 일실시예에 따른 현재 블록의 코딩 모드를 결정하는 과정을 나타낸 도면이다.
도 2에서 언급하였듯이, 코딩 유닛에 대응하는 현재 블록(X)(701)의 코딩 모드를 결정하기 위해, 부호화 장치(101)는 현재 블록(701)에 이웃하는 왼쪽 블록(A)(702)또는 위쪽 블록(B)(703)에 적용된 SDC 모드에 따라 현재 블록(701)의 코딩 모드를 결정할 수 있다.
예를 들어서, 왼쪽 블록(702)이 SDC 모드 중 DC가 적용된 경우, 현재 블록(701)은 DC가 적용될 수 있다. 그리고, 왼쪽 블록(702)이 SDC 모드 중 DMM1이 적용된 경우, 현재 블록(701)은 DMM1이 적용될 수 있다. 또한, 왼쪽 블록(702)이 SDC 모드 중 Planar가 적용된 경우, 현재 블록(701)은 Planar가 적용될 수 있다. 위쪽 블록(703)도 동일하게 적용될 수 있다.
이 때, 왼쪽 블록(702) 또는 위쪽 블록(703)이 SDC 모드가 아닌 다른 인트라 예측 모드가 적용되거나 또는 인터 예측 모드가 적용된 경우, 현재 블록(701)은 DC가 적용될 수 있다.
도 8은 일실시예에 따른 깊이 룩업 테이블을 보상하는 enable_flag를 나타낸 도면이다.
부호화 장치(101)는 부호화하고자 하는 깊이 영상의 시퀀스에서 미리 설정된 개수의 프레임을 추출하여 히스토그램을 분석할 수 있다. 그리고, 부호화 장치(101)는 히스토그램을 분석함으로써 그레이 레벨을 결정하고, 결정한 그레이 레벨을 이용하여 깊이 룩업 테이블을 생성할 수 있다.
일실시예에 따르면, 미리 설정된 개수의 프레임을 제외한 나머지 프레임의 특징도 반영하기 위해, 부호화 장치(101)는 깊이 영상의 프레임마다 enable_flag를 결정하여 기록할 수 있다.
깊이 룩업 테이블은 시퀀스 파라미터 셋트(SPS)에 기록될 수 있다. SPS에 기록된 깊이 룩업 테이블은 복호화 장치(102)에 전송될 수 있다. 복호화 장치(102)는 깊이 영상의 현재 프레임을 분석하여 현재 프레임의 깊이 룩업 테이블을 생성할 수 있다. 그리고, 부호화 장치(101)는 SPS에 기록된 깊이 룩업 테이블의 그레이 레벨과 생성한 깊이 룩업 테이블의 그레이 레벨을 비교하여 유사도가 기준치를 초과하거나 동일한 경우, SPS에 기록된 깊이 룩업 테이블을 그대로 이용하여 SDC 모드에 따라 부호화할 수 있다. 마찬가지로, 복호화 장치(102)는 SPS에 기록된 깊이 룩업 테이블의 그레이 레벨과 생성한 깊이 룩업 테이블의 그레이 레벨을 비교하여 유사도가 기준치를 초과하거나 동일한 경우, SPS에 기록된 깊이 룩업 테이블을 그대로 이용하여 SDC 모드에 따라 복호화할 수 있다.
만약, 유사도가 기준치 미만인 경우, 부호화 장치(101)는 SDC 모드에 따라 깊이 영상의 코딩 유닛을 처리하지 않을 수 있다. 마찬가지로, 만약, 유사도가 기준치 미만인 경우, 복호화 장치(102)는 SDC 모드에 따라 깊이 영상의 코딩 유닛을 처리하지 않을 수 있다.
현재 프레임의 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때, 유사도가 기준치를 초과하거나 또는 동일한 경우 dlt_enable_flag = 1이고 부호화 장치(101) 또는 복호화 장치(102)는 SDC 모드에 따라 코딩 유닛을 처리할 수 있다. 반대로, 현재 프레임의 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때, 유사도가 기준치 미만인 경우 dlt_enable_flag = 0이고 부호화 장치(101) 또는 복호화 장치(102)는 SDC 모드에 따라 코딩 유닛을 처리하지 않을 수 있다.
도 9는 일실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
도 8에서 설명한 깊이 룩업 테이블은 프레임마다 생성되며, 도 9와 같이 SPS가 아닌 슬라이스 헤더에 기록될 수 있다.
도 10은 다른 실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
도 10에 의하면, SPS와 슬라이스 헤더에 모두 깊이 룩업 테이블이 기록될 수 있다. 이 때, 프레임과 관련된 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때, 유사도가 기준치를 초과하거나 또는 동일한 경우 슬라이스 헤더가 아닌 SPS에 깊이 룩업 테이블이 기록될 수 있다.
즉, 현재 프레임의 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때 유사도가 기준치를 초과하거나 또는 동일한 경우, dlt_enable_flag = 1 이고, SPS에 기록된 깊이 룩업 테이블이 이용될 수 있다. 그렇지 않은 경우, dlt_enable_flag = 0 이고, SPS에 기록된 깊이 룩업 테이블이 이용되지 않을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 방법.
  2. 제1항에 있어서,
    상기 부호화하는 단계는,
    상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화하는 깊이 영상의 부호화 방법.
  3. 제1항에 있어서,
    상기 코딩 유닛의 잔차 정보는,
    상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑되는 깊이 영상의 부호화 방법.
  4. 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 방법.
  5. 제4항에 있어서,
    상기 부호화하는 단계는,
    상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화하는 깊이 영상의 부호화 방법.
  6. 제4항에 있어서,
    상기 코딩 유닛의 잔차 정보는,
    상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑되는 깊이 영상의 부호화 방법.
  7. 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 방법.
  8. 제7항에 있어서,
    상기 Planar Mode는,
    원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  9. 제7항에 있어서,
    상기 DMM 1는,
    원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  10. 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 방법.
  11. 제10항에 있어서,
    상기 Planar Mode는,
    원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  12. 제10항에 있어서,
    상기 DMM 1는,
    원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  13. 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외되는 깊이 영상의 복호화 방법.
  14. 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외되는 깊이 영상의 복호화 방법.
  15. 깊이 영상의 부호화 장치에 있어서,
    프로세스를 포함하고,
    상기 프로세서는
    깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 수행하며,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 장치.
  16. 깊이 영상의 부호화 장치에 있어서,
    프로세스를 포함하고,
    상기 프로세서는
    깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 수행하며,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 장치.
  17. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세스를 포함하고,
    상기 프로세서는,
    깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 장치.
  18. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세스를 포함하고,
    상기 프로세서는,
    깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 장치.
  19. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세서를 포함하고,
    상기 프로세서는,
    깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외되는 깊이 영상의 복호화 장치.
  20. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세서를 포함하고,
    상기 프로세서는,
    깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외되는 깊이 영상의 복호화 장치.
PCT/KR2014/000035 2013-01-04 2014-01-03 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 WO2014107038A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480004107.1A CN104904220B (zh) 2013-01-04 2014-01-03 用于深度图像的编码、解码设备以及编码、解码方法
US14/650,058 US10631006B2 (en) 2013-01-04 2014-01-03 Encoding apparatus and decoding apparatus for depth image, and encoding method and decoding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361748886P 2013-01-04 2013-01-04
US61/748,886 2013-01-04
KR1020130168877A KR102216585B1 (ko) 2013-01-04 2013-12-31 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
KR10-2013-0168877 2013-12-31

Publications (1)

Publication Number Publication Date
WO2014107038A1 true WO2014107038A1 (ko) 2014-07-10

Family

ID=51062320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000035 WO2014107038A1 (ko) 2013-01-04 2014-01-03 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법

Country Status (1)

Country Link
WO (1) WO2014107038A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020190085A1 (ko) * 2019-03-21 2020-09-24 엘지전자 주식회사 인루프 필터링 기반 비디오 또는 영상 코딩

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183647A1 (en) * 2004-03-01 2007-08-09 Iatia Imaging Pty Ltd/Griffith Hack & Co. (Melbour Method and apparatus for producing an image containing depth information
KR20100066304A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR20110054244A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
KR20120083209A (ko) * 2011-01-17 2012-07-25 삼성전자주식회사 깊이 영상 부호화/복호화 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183647A1 (en) * 2004-03-01 2007-08-09 Iatia Imaging Pty Ltd/Griffith Hack & Co. (Melbour Method and apparatus for producing an image containing depth information
KR20100066304A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR20110054244A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
KR20120083209A (ko) * 2011-01-17 2012-07-25 삼성전자주식회사 깊이 영상 부호화/복호화 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020190085A1 (ko) * 2019-03-21 2020-09-24 엘지전자 주식회사 인루프 필터링 기반 비디오 또는 영상 코딩

Similar Documents

Publication Publication Date Title
WO2011149265A2 (en) New planar prediction mode
WO2011145862A2 (en) New intra prediction modes
WO2017069419A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2011139099A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2013062193A1 (ko) 영상 복호화 방법 및 장치
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011034378A2 (en) Method and apparatus for encoding and decoding image based on skip mode
WO2017160117A1 (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
WO2009110753A2 (en) Method and apparatus for image intra prediction
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2010114283A9 (ko) 비디오 신호 처리 방법 및 장치
WO2011031030A2 (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2019198997A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2017043766A1 (ko) 비디오 부호화, 복호화 방법 및 장치
WO2012044124A2 (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
WO2013162273A1 (ko) 비디오 신호 처리 방법 및 장치
KR102216585B1 (ko) 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
WO2011108879A2 (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2019212230A1 (ko) 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
WO2014081261A1 (ko) 움직임 정보 병합을 이용한 비디오 부호화/복호화 방법 및 장치
WO2018159987A1 (ko) 프리 스캔을 이용한 블록 기반 동영상 복호화 방법 및 그 장치
WO2018131838A1 (ko) 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2014107038A1 (ko) 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14735405

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14650058

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14735405

Country of ref document: EP

Kind code of ref document: A1