WO2014051319A1 - 깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치 - Google Patents

깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2014051319A1
WO2014051319A1 PCT/KR2013/008562 KR2013008562W WO2014051319A1 WO 2014051319 A1 WO2014051319 A1 WO 2014051319A1 KR 2013008562 W KR2013008562 W KR 2013008562W WO 2014051319 A1 WO2014051319 A1 WO 2014051319A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth image
representation
nonlinear
pixel value
depth
Prior art date
Application number
PCT/KR2013/008562
Other languages
English (en)
French (fr)
Inventor
임일순
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130112577A external-priority patent/KR20140043029A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2014051319A1 publication Critical patent/WO2014051319A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the following description relates to a depth image encoding method for encoding a depth image and a depth image decoding method for decoding an encoded depth image.
  • the depth image is an image representing a distance between an observer and an object.
  • the depth image is data expressed as a pixel value between 0 and 255.
  • the distance between the actual observer and the object may be expressed as a pixel value based on a focal length, baseline spacing, pixel's disparity, and the like.
  • Compression (encoding) standards for video compression include H.261, H.263, MPEG-1, MPEG-2, MPEG-4, H.264, and High Efficiency Video Coding (HEVC).
  • the compression standards differ slightly from each other, but generally have a similar structure including motion estimation, compensation, encoding, and entropy encoding.
  • a depth image focused on a low frequency band is encoded more effectively than a depth image of a uniform frequency band. Therefore, the coding efficiency of the depth image may vary according to the frequency characteristic of the depth image.
  • a depth image encoding method includes determining whether to apply a non-linear representation to a depth image in units of slices; Applying a nonlinear representation to the depth image according to the application; And encoding the depth image.
  • a depth image encoding method may include determining, by a slice unit, whether an average pixel value of a depth image is greater than a preset threshold value; If the average pixel value of the depth image is greater than a preset threshold, selectively converting the depth image into a depth image of a low frequency band based on a pixel value distribution characteristic of the depth image; And generating a bitstream by encoding the depth image of the low frequency band.
  • a depth image decoding method includes: decoding an encoded depth image; Determining whether a nonlinear representation is applied to the depth image in units of slices; And when the nonlinear representation is applied to the depth image, converting the depth image of the nonlinear representation into the depth image of the linear representation.
  • an apparatus for encoding a depth image may include: a controller configured to determine whether to apply a non-linear representation to a depth image in units of slices; A depth image converter configured to apply a non-linear representation to the depth image according to the application; And a depth image encoder which encodes the depth image.
  • a depth image decoding apparatus includes: a depth image decoder configured to decode an encoded depth image; A controller for determining whether a nonlinear representation is applied to the depth image in units of slices; And a depth image restoring unit converting the depth image of the non-linear representation into a depth image of the linear representation when the nonlinear representation is applied to the depth image.
  • FIG. 1 is a diagram illustrating an overall configuration of a depth image encoding / decoding system according to an embodiment.
  • FIG. 2 is a diagram illustrating a detailed configuration of a depth image encoding apparatus, according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a detailed configuration of an apparatus for decoding a depth image according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a non-linear representation according to one embodiment.
  • FIG. 5 is a diagram illustrating a depth image to which a nonlinear representation is applied according to an embodiment.
  • FIG. 6 is a diagram illustrating a histogram of a depth image to which a nonlinear representation is applied, according to an exemplary embodiment.
  • FIG. 7 and 8 are diagrams for describing an operation of determining whether to apply a non-linear representation according to an embodiment.
  • FIG. 9 is a flowchart illustrating an operation of a depth image encoding method, according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating an operation of a depth image encoding method according to another embodiment.
  • FIG. 11 is a flowchart illustrating an operation of a depth image decoding method, according to an exemplary embodiment.
  • the depth image encoding method according to an embodiment may be performed by the depth image encoding apparatus, and the depth image decoding method may be performed by the depth image decoding apparatus.
  • Like reference numerals in the drawings denote like elements.
  • FIG. 1 is a diagram illustrating an overall configuration of a depth image encoding / decoding system according to an embodiment.
  • the depth image encoding / decoding system may include a depth image encoding apparatus 110 and a depth image decoding apparatus 120.
  • the depth image encoding apparatus 110 may generate a bitstream by encoding the input depth image 130.
  • the depth image encoding apparatus 110 may selectively apply the non-linear representation 140 to the input depth image 130 to improve encoding performance.
  • the depth image encoding apparatus 110 may determine whether to apply the nonlinear representation in consideration of the frequency characteristic or the pixel value distribution characteristic of the depth image 130, instead of applying the nonlinear representation to all depth images. For example, the depth image encoding apparatus 110 may apply 140 a non-linear representation according to the pixel value distribution characteristic of the input depth image 130 to encode the encoding 150, or to encode the non-linear representation without applying the non-linear representation. It may be.
  • the depth image encoding apparatus 110 may determine whether to apply the nonlinear representation in a slice unit (or image frame unit) of the depth image 130. The depth image encoding apparatus 110 may determine whether it is more efficient to apply the nonlinear representation to each slice included in the depth image 130, and apply the nonlinear representation to the depth image 140 in units of slices.
  • a depth image of a low frequency band in which pixel values are concentrated in a low frequency band has a higher coding efficiency than a depth image of a high frequency band in which pixel values are concentrated in a high frequency band.
  • a nonlinear representation may be applied to the depth image to be converted into a depth image of a low frequency band.
  • the coding efficiency may be lower than the case where the nonlinear representation is applied.
  • the depth image encoding apparatus 110 may encode the depth image more effectively by determining whether to apply the nonlinear representation according to the frequency characteristic or the pixel value distribution characteristic of the input depth image 130.
  • the depth image encoding apparatus 110 may determine whether the non-linear representation is applied by determining whether the input depth image 130 corresponds to a specific condition.
  • the depth image encoding apparatus 110 may improve encoding efficiency by determining whether to apply the nonlinear representation based on characteristics of the depth image.
  • the depth image decoding apparatus 120 may decode 160 the encoded depth image.
  • the depth image decoding apparatus 120 may analyze the decoded depth image to determine whether a nonlinear representation is applied in the encoding process. For example, the depth image decoding apparatus 120 may determine whether a nonlinear representation is applied to each slice included in the depth image based on flag data or header information included in the bitstream.
  • the depth image decoding apparatus 120 may inversely convert the depth image of the nonlinear representation to which the nonlinear representation is applied to the depth image of the linear representation. For example, the depth image decoding apparatus 120 may apply a nonlinear representation corresponding to the nonlinear representation applied in the encoding process to the depth image of the nonlinear representation in order to inversely transform the depth image of the nonlinear representation. The depth image decoding apparatus 120 may restore 180 the depth image to which the nonlinear expression is applied to the depth image before the nonlinear expression is applied by inversely converting the depth image of the nonlinear expression.
  • the depth image decoding apparatus 120 may output the depth image as it is, without converting the depth image into the depth image when the nonlinear representation is not applied to the depth image or when the depth image is linearly expressed.
  • FIG. 2 is a diagram illustrating a detailed configuration of a depth image encoding apparatus, according to an exemplary embodiment.
  • the depth image encoding apparatus 210 may include a controller 220, a depth image converter 230, and a depth image encoder 240.
  • the controller 220 may determine whether to apply the nonlinear representation to the depth image in units of slices.
  • the controller 220 may determine whether to apply a non-linear representation to the depth image based on the pixel value distribution characteristics of the pixels constituting the depth image.
  • the controller 220 may calculate an average pixel value of the depth image by averaging pixel values of all pixels of the depth image.
  • the controller 220 may determine whether the average pixel value of the depth image is greater than a preset threshold value in slice units. This can be expressed as Equation 1 below.
  • T avg is an average pixel value of the depth image and Th avg represents a preset threshold.
  • T avg may be calculated using an average operator.
  • the controller 220 may apply a non-linear representation to the depth image when the average pixel value of the depth image is greater than the preset threshold (including the same case).
  • the controller 220 may further add a condition for applying the nonlinear representation to more specifically determine whether the nonlinear representation is applied.
  • a condition for applying the nonlinear representation may be applied even if the average pixel value of the depth image is larger than a preset threshold.
  • the controller 220 may determine whether to apply the nonlinear representation to the depth image once more based on the pixel value distribution characteristic of the depth image. For example, the controller 220 may determine whether to apply the nonlinear representation based on a pixel value distribution characteristic such as a histogram of the depth image. This can be expressed as Equation 2 below.
  • the controller 220 determines an effective range and an effective pixel value of the pixel value having a discrete distribution in the histogram of the depth image, and includes the number of all pixel values included in the effective range of the pixel value and the effective pixel value included in the effective range. Based on the ratio between the number of can determine whether to apply the non-linear representation.
  • T histogram is a ratio between the total number of pixel values included in the effective range and the number of effective pixel values included in the effective range, indicating the density of the depth image
  • the Th histogram is set in advance with respect to the histogram analysis. Indicates a threshold.
  • the controller 220 may control to apply the non-linear representation to the depth image when the T histogram is smaller than the Th histogram (including the same case). Detailed description thereof will be described later with reference to FIGS. 7 and 8.
  • the controller 220 may selectively convert the nonlinear representation based on the pixel value distribution characteristic of the depth image to selectively convert the depth image into the depth image of the low frequency band.
  • the controller 220 may determine the depth pixel. You can control not to apply nonlinear representations.
  • the depth image converter 230 may apply the nonlinear representation to the depth image depending on whether the nonlinear representation is applied.
  • the depth image converter 230 may apply the nonlinear representation to the depth image when the controller 220 determines to apply the nonlinear representation.
  • the depth image converter 230 may convert the depth image into a depth image of a low frequency band by applying a nonlinear representation to the depth image.
  • the depth image encoder 240 may encode the depth image.
  • the depth image encoder 240 may generate a bitstream by encoding a depth image of a low frequency band.
  • the generated bitstream may store information indicating whether the depth image is converted into the depth image of the low frequency band in a slice unit.
  • the depth image encoder 240 may encode flag data indicating whether the nonlinear representation is applied to the depth image together with the depth image.
  • the flag data may indicate whether the current slice included in the depth image is expressed in a linear form or in a non-linear form.
  • the depth image encoder 240 may convert the flag data into a slice header, a depth parameter set, a picture parameter set, and supplemental enhancement information (SEI). It can be stored in at least one of the encoding.
  • SEI Supplemental Enhancement Information
  • Table 1 shows an example of a syntax in which flag data (nonlinear_depth_representation_enable_flag, or simply ndr_enable_flag) is added to a slice header indicating whether to apply a nonlinear representation.
  • Table 2 shows an example of a syntax in which flag data ndr_enable_flag indicating whether or not a nonlinear representation is applied to the depth parameter set is added.
  • Table 3 shows an example of syntax to which flag data ndr_enable_flag indicating whether or not to apply nonlinear representation is added to the additional enhancement information SEI.
  • Table 4 shows an example of a syntax to which flag data ndr_enable_flag indicating whether or not to apply nonlinear representation is added to a picture parameter set.
  • “ndr_enable_flag” may indicate whether a non-linear representation is applied in the encoding process of the depth image. For example, when the bit value of "ndr_enable_flag" represents 1, it may represent that the current slice of the depth image is expressed in a nonlinear form. In addition, when the bit value of "ndr_enable_flag” represents 0, it may represent that the current slice of the depth image is expressed in a linear form.
  • FIG. 3 is a diagram illustrating a detailed configuration of an apparatus for decoding a depth image according to an exemplary embodiment.
  • the depth image decoding apparatus 310 may include a depth image decoder 320, a controller 330, and a depth image reconstructor 340.
  • the depth image decoder 320 may receive and decode the encoded depth image.
  • the depth image decoder 320 may determine a coding method of the depth image, and decode the depth image encoded by the decoding method corresponding to the coding method.
  • the controller 330 may determine whether a nonlinear representation is applied to the depth image in units of slices. The controller 330 determines whether the nonlinear representation is applied to the depth image in units of slices of the depth image, and when the nonlinear representation is applied to the depth image, the depth image reconstructor 340 uses the depth image to which the nonlinear representation is applied. Control to restore to the image.
  • the controller 330 may determine whether the nonlinear representation is applied to the depth image based on flag data indicating whether the current slice included in the depth image is expressed in a linear form or in a nonlinear form. For example, if the flag data has a bit value of 0, the controller 330 identifies that the current slice of the depth image is represented in a linear form. If the flag data has a bit value of 1, the controller 330 determines that the current slice of the depth image is It can be identified that it is represented in a non-linear form.
  • the flag data may be stored in at least one of a slice header, a depth parameter set, a picture parameter set, and additional enhancement information.
  • the controller 330 may read flag data stored in at least one of a slice header, a depth parameter set, a picture parameter set, and additional enhancement information, and determine whether a nonlinear representation is applied to the depth image.
  • the depth image reconstructor 340 may convert the depth image of the nonlinear representation into the depth image of the linear representation. For example, the depth image reconstructor 340 may convert the depth image of the nonlinear representation into the depth image of the linear representation when the flag data indicating whether the depth image is represented in the nonlinear form has a bit value of 1. .
  • the depth image reconstructor 340 may apply a nonlinear representation corresponding to the nonlinear representation applied in the encoding process of the depth image to the depth image of the nonlinear representation in order to convert the depth image of the nonlinear representation into the depth image of the linear representation.
  • non-linear representations corresponding to each other may be functions having an inverse relationship.
  • the nonlinear representation related information applied to the depth image may be stored in a bitstream including the encoded depth image, and the depth image reconstructor 340 may apply the nonlinear representation applied to the depth image from the nonlinear representation related information stored in the bitstream. It is possible to derive a non-linear representation as opposed to.
  • the depth image decoding apparatus 310 may determine whether the nonlinear representation is applied to the depth image in units of slices, and may restore and output the depth image to which the nonlinear representation is applied to the original depth image. For example, the depth image decoding apparatus 310 may inversely convert the depth image of the nonlinear representation into the depth image before the nonlinear representation is applied and output the depth image before the nonlinear representation is applied.
  • the depth image decoding apparatus 310 may output the depth image without converting the depth image into the depth image of the linear representation when the nonlinear representation is not applied to the depth image or when the depth image is linearly expressed.
  • the depth image decoding apparatus 310 may output the depth image as it is without converting the depth image into the depth image of the linear representation when the flag data indicating whether the depth image is expressed in a non-linear form has a bit value of 0. Can be.
  • FIG. 4 is a diagram illustrating a non-linear representation according to one embodiment.
  • Nonlinear representations may include nonlinear functions and may be used to change frequency characteristics, such as frequency bands of depth images, or to change pixel value distributions.
  • Equation 3 a non-linear representation applied by the depth image encoding apparatus to the depth image in the encoding process of the depth image may be represented by Equation 3 below, which corresponds to the graph 410 of FIG. 4.
  • the depth image encoding apparatus may obtain an output f (x) lower than the input x by applying a nonlinear expression such as Equation 3 to the depth image. In this way, the depth image encoding apparatus may generate a depth image of a low frequency band.
  • the depth image encoding apparatus may generate the depth image as the depth image of the low frequency band using not only the quadratic function of Equation 3 but also other nonlinear functions such as a cubic function and a quadratic function.
  • Equation 4 an example of the non-linear representation used in the decoding process of the depth image may be expressed as Equation 4 below, which corresponds to the graph 420 of FIG. 4.
  • the depth image decoding apparatus may restore the depth image by applying the nonlinear representation corresponding to the nonlinear representation applied in the encoding process of the depth image to the depth image.
  • the depth image decoding apparatus may restore the depth image to which the nonlinear representation is applied to the original depth image by using the nonlinear representation of the graph 420 that is inversely related to the nonlinear representation of the graph 410.
  • the depth image decoding apparatus may obtain an output h (x) higher than the input x by applying a nonlinear expression such as Equation 4 to the depth image. Through this, the depth image that has been converted into the depth image of the low frequency band may be restored to the original depth image.
  • “nonlinear_depth_representation_num” represents the number of piecewise linear segments for mapping a pixel value of a depth image to a scale unit having an equal difference.
  • nonlinear_depth_representation_model [i] represents interval linear segments for mapping pixel values of the depth image to scale units having an equal difference.
  • FIG. 5 is a diagram illustrating a depth image to which a nonlinear representation is applied according to an embodiment.
  • the depth image 510 represents the depth image before the nonlinear representation is applied
  • the depth image 520 represents the depth image to which the nonlinear representation is applied. It can be seen that the depth image 520 to which the non-linear representation is applied has a lower brightness than the depth image 510 before the non-linear representation is applied.
  • FIG. 6 is a diagram illustrating a histogram of a depth image to which a nonlinear representation is applied, according to an exemplary embodiment.
  • the histogram 610 is a histogram indicating a pixel value distribution of a depth image to which a nonlinear representation is not applied.
  • the histogram 620 is a histogram indicating a pixel value distribution of a depth image to which a nonlinear representation is applied.
  • the pixel values of the uniformly distributed depth image are concentrated in the low frequency band after the nonlinear representation is applied.
  • the nonlinear representation is applied to the depth image, it can be seen that pixels having a low pixel value increase to darken the brightness of the depth image.
  • FIG. 7 and 8 are diagrams for describing an operation of determining whether to apply a non-linear representation according to an embodiment.
  • the x axis represents a pixel value (or bin) and the y axis represents the number of pixels corresponding to the pixel value.
  • the depth image encoding apparatus may determine whether to apply the nonlinear representation to the depth image based on the pixel value distribution characteristic of the depth image such as the histogram. For example, the depth image encoding apparatus determines an effective range and an effective pixel value of a pixel value having a discrete distribution in a histogram of a depth image, and includes the number of all pixel values included in the effective range and an effective pixel included in the effective range. Based on the ratio between the number of values, it is possible to determine whether to apply the nonlinear representation. Pixel values in the histogram may correspond to bins.
  • the depth image encoding apparatus may exclude pixel values of a specific region from all pixel values of the histogram based on a preset threshold value 710.
  • a pixel value having a pixel number equal to or greater than a preset threshold value 710 is defined as an effective pixel value.
  • a range between an effective pixel value having a minimum pixel value and an effective pixel value having a maximum pixel value is defined as an effective range.
  • the depth image encoding apparatus may include a region 720 between a pixel value having a minimum number of pixels greater than or equal to a preset threshold 710 and a pixel value representing zero, and a maximum number having a pixel greater than or equal to a preset threshold 710.
  • the effective range 740 of the pixel value may be determined by excluding the pixel value included in the area 730 between the pixel value of the value and the pixel value of 255 (maximum value of the pixel value when expressed in 8 bits) from the total pixel value. .
  • the depth image encoding apparatus may determine a pixel value having a pixel number greater than or equal to a preset threshold 710 in the valid range 740 of the pixel value as an effective pixel value included in the valid range.
  • the effective pixel value is set in advance when a portion of the upper bin (eg, the region 730) and a portion of the lower bin (eg, the region 720) are removed. Represents a pixel value having a number of pixels above the threshold 710.
  • T histogram which is a ratio between the total number of pixel values included in the effective range of pixel values and the number of valid pixel values included in the effective range, may be expressed by Equation 5 below. .
  • Depth video encoder may decide to apply a non-linear representation to a depth image is smaller than the threshold value Th histogram histogram T is previously set with respect to the histogram analysis.
  • the depth image encoding apparatus includes a region 820 between a pixel value having a minimum number of pixels greater than or equal to a predetermined threshold value 810 and a pixel value representing zero, and a pixel value having a maximum value greater than or equal to a predetermined threshold value 810.
  • the effective range 840 of the pixel value may be determined by excluding the pixel value included in the region 830 between the pixel value of 255 (the maximum value of the pixel value when expressed in 8 bits) and the entire pixel value.
  • the depth image encoding apparatus determines a pixel value having a pixel number greater than or equal to a preset threshold 810 in the effective range 840 of the pixel value as an effective pixel value, and determines an effective range 840 of the pixel value.
  • the ratio between the total number of pixel values included in and the number of valid pixel values included in the valid range 840 may be calculated.
  • the depth image encoding apparatus compares a ratio between the total number of pixel values included in the effective range 840 of pixel values and the number of effective pixel values included in the effective range 840 and a nonlinear value by comparing a preset threshold value related to the histogram analysis. You can decide whether to apply the expression.
  • FIG. 9 is a flowchart illustrating an operation of a depth image encoding method, according to an exemplary embodiment.
  • the depth image encoding apparatus may determine whether to apply the non-linear representation to the depth image in units of slices.
  • the depth image encoding apparatus may calculate an average pixel value of the depth image by averaging pixel values of all pixels of the depth image.
  • the depth image encoding apparatus may determine whether the average pixel value of the depth image is greater than a preset threshold in slice units.
  • the depth image encoding apparatus may determine whether to apply the nonlinear representation to the depth image based on the average pixel value of the depth image.
  • the depth image encoding apparatus may determine whether to apply a non-linear representation to the depth image based on the pixel value distribution characteristics of the pixels constituting the depth image such as a histogram.
  • the depth image encoding apparatus determines an effective range and an effective pixel value of a pixel value having a discrete distribution in a histogram of a depth image, and counts the total number of pixel values included in an effective range of the pixel value and an effective pixel value included in an effective range. Based on the ratio between the number of can determine whether to apply the non-linear representation.
  • the depth image encoding apparatus may apply the nonlinear representation to the depth image.
  • the depth image encoding apparatus may convert the depth image into a depth image of a low frequency band by applying a nonlinear expression to the depth image.
  • the depth image encoding apparatus may encode the depth image.
  • the depth image encoding apparatus may encode a depth image to which the nonlinear representation is applied or a depth image to which the nonlinear representation is not applied.
  • the depth image encoding apparatus may encode flag data indicating whether the current slice included in the depth image is expressed in a linear form or in a non-linear form along with the depth image.
  • the depth image encoding apparatus may store and encode flag data in at least one of a slice header, a depth parameter set, a picture parameter set, and additional enhancement information.
  • FIG. 10 is a flowchart illustrating an operation of a depth image encoding method according to another embodiment.
  • the depth image encoding apparatus may determine whether the average pixel value of the depth image is greater than a preset threshold in slice units.
  • the depth image encoding apparatus may calculate an average pixel value by averaging pixel values of pixels of the depth image.
  • the depth image encoding apparatus may selectively convert the depth image into the depth image of the low frequency band based on the pixel value distribution characteristic of the depth image. .
  • the depth image encoding apparatus may selectively determine whether to apply the nonlinear representation based on pixel value distribution characteristics such as a histogram of the depth image.
  • the depth image encoding apparatus determines, in the histogram of the depth image, an effective range and an effective pixel value of a pixel value having a discrete distribution, the number of all pixel values included in the effective range of the pixel value, and an effective pixel included in the effective range. Based on the ratio between the number of values, it is possible to determine whether to apply the nonlinear representation.
  • the depth image encoding apparatus may convert the depth image into a depth image of a low frequency band by applying a nonlinear representation to the depth image.
  • the depth image encoding apparatus may generate a bitstream by encoding a depth image of a low frequency band.
  • the generated bitstream may store information indicating whether the depth image is converted into the depth image of the low frequency band in a slice unit.
  • the depth image encoding apparatus may store flag data indicating whether a nonlinear representation is applied to the depth image in the bitstream.
  • FIG. 11 is a flowchart illustrating an operation of a depth image decoding method, according to an exemplary embodiment.
  • the depth image decoding apparatus may decode the encoded depth image.
  • the depth image decoding apparatus may determine the encoding method of the depth image, and may decode the depth image encoded by the decoding method corresponding to the encoding method.
  • the depth image decoding apparatus may determine whether a nonlinear representation is applied to the depth image in slice units.
  • the depth image decoding apparatus may determine whether the nonlinear representation is applied to the depth image based on flag data indicating whether the nonlinear representation is applied to the depth image.
  • the flag data may indicate whether the current slice included in the depth image is expressed in a linear form or in a non-linear form.
  • the flag data may be stored in at least one of a slice header, a depth parameter set, a picture parameter set, and additional enhancement information.
  • the depth image decoding apparatus may determine whether the nonlinear representation is applied to the depth image by reading flag data stored in at least one of a slice header, a depth parameter set, a picture parameter set, and additional enhancement information.
  • the depth image decoding apparatus may convert the depth image of the nonlinear representation into the depth image of the linear representation.
  • the depth image decoding apparatus may inversely convert the depth image of the nonlinear representation into the depth image of the linear representation by using the nonlinear representation corresponding to the nonlinear representation applied in the encoding process of the depth image.
  • the nonlinear representation related information applied to the depth image may be stored in a bitstream including the encoded depth image, and the depth image decoding apparatus is opposed to the nonlinear representation applied to the depth image from the nonlinear representation related information stored in the bitstream.
  • Nonlinear representations can be derived.
  • the depth image decoding apparatus may determine whether the nonlinear representation is applied to the depth image in units of slices, and may restore and output the depth image to which the nonlinear representation is applied to the original depth image.
  • the depth image decoding apparatus may output the depth image as it is, without converting the depth image into the depth image when the depth image is not applied to the depth image or when the depth image is linearly expressed.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 영상을 효과적으로 부호화할 수 있는 깊이 영상 부호화 방법 및 부호화된 깊이 영상을 복호화할 수 있는 깊이 영상 복호화 방법이 개시된다. 일실시예에 따른 깊이 영상 부호화 방법은, 깊이 영상에 비선형 표현을 선택적으로 적용하여, 깊이 영상의 부호화 효율을 향상시킬 수 있다.

Description

깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치
아래의 설명은 깊이 영상을 부호화하는 깊이 영상 부호화 방법 및 부호화된 깊이 영상을 복호화하는 깊이 영상 복호화 방법에 관한 것이다.
깊이 영상은 관찰자와 물체 간의 거리를 나타내는 영상으로, 8비트일 경우, 0에서 255 사이의 픽셀값으로 표현한 데이터이다. 실제 관찰자와 물체 간의 거리는 초점 거리, 베이스라인 거리(baseline spacing), 픽셀의 변이값(pixel's disparity) 등에 기초하여 픽셀값으로 표현될 수 있다.
영상 압축을 위한 압축(부호화) 표준은 H.261, H.263, MPEG-1, MPEG-2, MPEG-4, H.264 및 HEVC(High Efficiency Video Coding) 등이 있다. 위 압축 표준들은 서로 간에 조금씩 차이점이 존재하나, 일반적으로 움직임 추정과 보상, 부호화, 그리고 엔트로피 인코딩(entropy encoding) 단계를 포함하는 유사한 구조를 가지고 있다. 일반적으로, 균일한 주파수 대역의 깊이 영상보다는 저주파 대역에 집중된 깊이 영상이 더 효과적으로 부호화된다. 따라서, 깊이 영상의 주파수 특성에 따라 깊이 영상의 부호화 효율이 다를 수 있다.
일실시예에 따른 깊이 영상 부호화 방법은, 깊이 영상에 비선형 표현을 적용할지 여부를 슬라이스 단위로 결정하는 단계; 상기 적용 여부에 따라 상기 깊이 영상에 비선형 표현을 적용하는 단계; 및 상기 깊이 영상을 부호화하는 단계를 포함할 수 있다.
다른 실시예에 따른 깊이 영상 부호화 방법은, 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰지 여부를 슬라이스 단위로 판단하는 단계; 상기 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰 경우, 상기 깊이 영상의 픽셀값 분포 특성에 기초하여 상기 깊이 영상을 저주파수 대역의 깊이 영상으로 선택적으로 변환하는 단계; 및 상기 저주파수 대역의 깊이 영상을 부호화하여 비트스트림을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 깊이 영상 복호화 방법은, 부호화된 깊이 영상을 복호화하는 단계; 상기 깊이 영상에 비선형 표현이 적용되었는지 여부를 슬라이스 단위로 판단하는 단계; 및 상기 깊이 영상에 비선형 표현이 적용된 경우, 상기 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환하는 단계를 포함할 수 있다.
일실시예에 따른 깊이 영상 부호화 장치는, 깊이 영상에 비선형 표현을 적용할지 여부를 슬라이스 단위로 결정하는 제어부; 상기 적용 여부에 따라 상기 깊이 영상에 비선형 표현을 적용하는 깊이 영상 변환부; 및 상기 깊이 영상을 부호화하는 깊이 영상 부호화부를 포함할 수 있다.
일실시예에 따른 깊이 영상 복호화 장치는, 부호화된 깊이 영상을 복호화하는 깊이 영상 복호화부; 상기 깊이 영상에 비선형 표현이 적용되었는지 여부를 슬라이스 단위로 판단하는 제어부; 및 상기 깊이 영상에 비선형 표현이 적용된 경우, 상기 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환하는 깊이 영상 복원부를 포함할 수 있다.
도 1은 일실시예에 따른 깊이 영상 부호화/복호화 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 일실시예에 따른 깊이 영상 부호화 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 깊이 영상 복호화 장치의 세부 구성을 도시한 도면이다.
도 4는 일실시예에 따른 비선형 표현을 도시한 도면이다.
도 5는 일실시예에 따른 비선형 표현이 적용된 깊이 영상을 도시한 도면이다.
도 6은 일실시예에 따른 비선형 표현이 적용된 깊이 영상의 히스토그램을 도시한 도면이다.
도 7 및 도 8은 일실시예에 따른 비선형 표현의 적용 여부를 결정하는 동작을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 깊이 영상 부호화 방법의 동작을 도시한 흐름도이다.
도 10은 다른 실시예에 따른 깊이 영상 부호화 방법의 동작을 도시한 흐름도이다.
도 11은 일실시예에 따른 깊이 영상 복호화 방법의 동작을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 깊이 영상 부호화 방법은 깊이 영상 부호화 장치에 의해 수행될 수 있으며, 깊이 영상 복호화 방법은 깊이 영상 복호화 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 깊이 영상 부호화/복호화 시스템의 전체적인 구성을 도시한 도면이다.
깊이 영상 부호화/복호화 시스템은 깊이 영상 부호화 장치(110) 및 깊이 영상 복호화 장치(120)를 포함할 수 있다.
깊이 영상 부호화 장치(110)는 입력된 깊이 영상(130)을 부호화(150)하여 비트스트림(bitstream)으로 생성할 수 있다. 깊이 영상 부호화 장치(110)는 부호화 성능을 개선시키기 위해 입력된 깊이 영상(130)에 비선형 표현을 선택적으로 적용(140)할 수 있다. 깊이 영상 부호화 장치(110)는 모든 깊이 영상에 비선형 표현을 적용하는 것이 아니라, 깊이 영상(130)의 주파수 특성 또는 픽셀값 분포 특성을 고려하여 비선형 표현의 적용 여부를 결정할 수 있다. 예를 들어, 깊이 영상 부호화 장치(110)는 입력된 깊이 영상(130)의 픽셀값 분포 특성에 따라 비선형 표현을 적용(140)하여 부호화(150)할 수도 있고, 비선형 표현을 적용하지 않고 부호화할 수도 있다.
또한, 깊이 영상 부호화 장치(110)는 깊이 영상(130)의 슬라이스(slice) 단위(또는, 영상 프레임 단위)로 비선형 표현의 적용 여부를 결정할 수 있다. 깊이 영상 부호화 장치(110)는 깊이 영상(130)에 포함된 각각의 슬라이스에 대해 비선형 표현을 적용하는 것이 더 효율적인지 판단하여, 슬라이스 단위로 깊이 영상에 비선형 표현을 적용(140)할 수 있다.
일반적으로, 저주파수 대역에 픽셀값이 집중된 저주파수 대역의 깊이 영상이 고주파수 대역에 픽셀값이 집중된 고주파수 대역의 깊이 영상보다 부호화 효율이 더 높음이 알려져 있다. 깊이 영상에 비선형 표현을 적용하여 저주파수 대역의 깊이 영상으로 변환할 수 있으나, 특정 조건에서는 비선형 표현을 적용한 경우가 오히려 부호화 효율이 더 낮을 수 있다. 깊이 영상 부호화 장치(110)는 입력된 깊이 영상(130)의 주파수 특성 또는 픽셀값 분포 특성에 따라 비선형 표현의 적용 여부를 결정함으로써, 깊이 영상을 보다 효과적으로 부호화할 수 있다. 깊이 영상 부호화 장치(110)는 입력된 깊이 영상(130)이 특정 조건에 해당되는지 여부를 판단하여 비선형 표현의 적용 여부를 결정할 수 있다. 깊이 영상 부호화 장치(110)는 깊이 영상의 특성에 기초하여 비선형 표현의 적용 여부를 결정함으로써 부호화 효율을 개선시킬 수 있다.
깊이 영상 복호화 장치(120)는 부호화되어 전송된 깊이 영상을 복호화(160)할 수 있다. 깊이 영상 복호화 장치(120)는 복호화된 깊이 영상을 분석하여 부호화 과정에서 비선형 표현이 적용되었는지 여부를 판단할 수 있다. 예를 들어, 깊이 영상 복호화 장치(120)는 비트스트림에 포함된 플래그 데이터 또는 헤더 정보 등에 기초하여 깊이 영상에 포함된 각각의 슬라이스에 비선형 표현이 적용되었는지 여부를 판단할 수 있다.
깊이 영상에 비선형 표현이 적용되었다고 판단한 경우, 깊이 영상 복호화 장치(120)는 비선형 표현이 적용된 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 역변환할 수 있다. 예를 들어, 깊이 영상 복호화 장치(120)는 비선형 표현의 깊이 영상을 역변환하기 위해, 부호화 과정에서 적용된 비선형 표현에 대응되는 비선형 표현을 비선형 표현의 깊이 영상에 적용할 수 있다. 깊이 영상 복호화 장치(120)는 비선형 표현의 깊이 영상을 역변환함으로써, 비선형 표현이 적용된 깊이 영상을 비선형 표현이 적용되기 전의 깊이 영상으로 복원(180)할 수 있다.
깊이 영상 복호화 장치(120)는 깊이 영상에 비선형 표현이 적용되지 않은 경우 또는 깊이 영상이 선형으로 표현되어 있는 경우에는, 깊이 영상을 선형 표현의 깊이 영상으로 변환하지 않고, 그대로 출력할 수 있다.
도 2는 일실시예에 따른 깊이 영상 부호화 장치의 세부 구성을 도시한 도면이다.
도 2를 참조하면, 깊이 영상 부호화 장치(210)는 제어부(220), 깊이 영상 변환부(230) 및 깊이 영상 부호화부(240)를 포함할 수 있다.
제어부(220)는 깊이 영상에 비선형 표현을 적용할지 여부를 슬라이스 단위로 결정할 수 있다. 제어부(220)는 깊이 영상을 구성하는 픽셀들의 픽셀값 분포 특성에 기초하여 깊이 영상에 비선형 표현을 적용할지 여부를 결정할 수 있다.
예를 들어, 제어부(220)는 깊이 영상의 전체 픽셀들이 가지는 픽셀값을 평균하여 깊이 영상의 평균 픽셀값을 계산할 수 있다. 제어부(220)는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰지 여부를 슬라이스 단위로 판단할 수 있다. 이는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure PCTKR2013008562-appb-I000001
위 식에서, Tavg는 깊이 영상의 평균 픽셀값이고, Thavg는 미리 설정된 임계값을 나타낸다. Tavg는 평균 연산자를 통해 계산될 수 있다. 제어부(220)는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰 경우(동일한 경우도 포함)에, 깊이 영상에 비선형 표현을 적용할 수 있다.
제어부(220)는 비선형 표현의 적용 여부를 더욱 구체적으로 판단하기 위해, 비선형 표현을 적용하기 위한 조건을 더 추가할 수 있다. 구체적으로, 제어부(220)는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰 경우에도, 깊이 영상의 픽셀값 분포 특성에 기초하여 깊이 영상에 비선형 표현을 적용할지 여부를 한번 더 결정할 수 있다. 예를 들어, 제어부(220)는 깊이 영상의 히스토그램(histogram)과 같은 픽셀값 분포 특성에 기초하여 비선형 표현의 적용 여부를 결정할 수 있다. 이는 다음의 수학식 2와 같이 나타낼 수 있다.
Figure PCTKR2013008562-appb-I000002
제어부(220)는 깊이 영상의 히스토그램에서 이산적인 분포를 갖는 픽셀값의 유효 범위 및 유효 픽셀값을 결정하고, 픽셀값의 유효 범위에 포함된 전체 픽셀값의 개수와 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율에 기초하여 비선형 표현의 적용 여부를 결정할 수 있다. 수학식 2에서, Thistogram은 유효 범위에 포함된 전체 픽셀값의 개수와 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율로서, 깊이 영상의 밀도를 나타내고, Thhistogram은 히스토그램 분석과 관련하여 미리 설정된 임계값을 나타낸다. 제어부(220)는 Thistogram이 Thhistogram 보다 작은 경우(동일한 경우도 포함)에 깊이 영상에 비선형 표현을 적용하도록 제어할 수 있다. 이와 관련된 자세한 설명은 도 7 및 도 8에서 후술하도록 한다.
제어부(220)는 비선형 표현의 적용 여부를 깊이 영상의 픽셀값 분포 특성에 기초하여 결정함으로써, 깊이 영상을 저주파수 대역의 깊이 영상으로 선택적으로 변환할 수 있다. 제어부(220)는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 작은 경우 또는 유효 픽셀값을 가지는 픽셀의 개수와 깊이 영상의 전체 픽셀 개수 간의 비율이 미리 설정된 임계값보다 큰 경우에는, 깊이 영상에 비선형 표현을 적용하지 않도록 제어할 수 있다.
깊이 영상 변환부(230)는 비선형 표현의 적용 여부에 따라 깊이 영상에 비선형 표현을 적용할 수 있다. 깊이 영상 변환부(230)는 제어부(220)가 비선형 표현을 적용하기로 결정한 경우에, 깊이 영상에 비선형 표현을 적용할 수 있다. 깊이 영상 변환부(230)는 깊이 영상에 비선형 표현을 적용함으로써, 깊이 영상을 저주파수 대역의 깊이 영상으로 변환할 수 있다.
깊이 영상 부호화부(240)는 깊이 영상을 부호화할 수 있다. 깊이 영상 부호화부(240)는 저주파수 대역의 깊이 영상을 부호화하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 깊이 영상이 저주파수 대역의 깊이 영상으로 변환되었는지 여부를 나타내는 정보를 슬라이스 단위로 저장할 수 있다.
깊이 영상 부호화부(240)는 깊이 영상에 비선형 표현이 적용되었는지 여부를 나타내는 플래그 데이터(flag data)를 깊이 영상과 함께 부호화할 수 있다. 플래그 데이터는 깊이 영상에 포함된 현재 슬라이스가 선형 형태로 표현되었는지 또는 비선형 형태로 표현되었는지를 나타낼 수 있다. 예를 들어, 깊이 영상 부호화부(240)는 플래그 데이터를 슬라이스 헤더(slice header), 깊이 파라미터 세트(depth parameter set), 픽쳐 파라미터 세트(picture parameter set) 및 부가 향상 정보(supplemental enhancement information, SEI) 중 적어도 하나에 저장하여 부호화할 수 있다.
다음의 표 1은 슬라이스 헤더에 비선형 표현의 적용 여부를 나타내는 플래그 데이터(nonlinear_depth_representation_enable_flag, 줄여서 간단히 ndr_enable_flag)가 추가된 구문(syntax)의 일례를 나타낸다.
Figure PCTKR2013008562-appb-I000003
다음의 표 2는 깊이 파라미터 세트에 비선형 표현의 적용 여부를 나타내는 플래그 데이터(ndr_enable_flag )가 추가된 구문의 일례를 나타낸다.
Figure PCTKR2013008562-appb-I000004
다음의 표 3은 부가 향상 정보(SEI)에 비선형 표현의 적용 여부를 나타내는 플래그 데이터(ndr_enable_flag )가 추가된 구문의 일례를 나타낸다.
Figure PCTKR2013008562-appb-I000005
다음의 표 4는 픽쳐 파라미터 세트에 비선형 표현의 적용 여부를 나타내는 플래그 데이터(ndr_enable_flag )가 추가된 구문의 일례를 나타낸다.
Figure PCTKR2013008562-appb-I000006
위 구문들에서, "ndr_enable_flag"는 깊이 영상의 부호화 과정에서 비선형 표현이 적용되었는지 여부를 나타낼 수 있다. 예를 들어, "ndr_enable_flag"의 비트값이 1 을 나타내는 경우, 깊이 영상의 현재 슬라이스가 비선형 형식(nonlinear form)으로 표현되었다는 것을 나타낼 수 있다. 또한, "ndr_enable_flag"의 비트값이 0 을 나타내는 경우에는, 깊이 영상의 현재 슬라이스가 선형 형식(linear form)으로 표현되었다는 것을 나타낼 수 있다.
도 3은 일실시예에 따른 깊이 영상 복호화 장치의 세부 구성을 도시한 도면이다.
도 3을 참조하면, 깊이 영상 복호화 장치(310)는 깊이 영상 복호화부(320), 제어부(330) 및 깊이 영상 복원부(340)를 포함할 수 있다.
깊이 영상 복호화부(320)는 부호화된 깊이 영상을 수신하여 복호화할 수 있다. 깊이 영상 복호화부(320)는 깊이 영상의 부호화 방식을 판단하여, 해당 부호화 방식에 대응하는 복호화 방식으로 부호화된 깊이 영상을 복호화할 수 있다.
제어부(330)는 깊이 영상에 비선형 표현이 적용되었는지 여부를 슬라이스 단위로 판단할 수 있다. 제어부(330)는 깊이 영상의 슬라이스 단위로 깊이 영상에 비선형 표현이 적용되었는지를 판단하고, 깊이 영상에 비선형 표현이 적용된 경우, 깊이 영상 복원부(340)가 비선형 표현이 적용된 깊이 영상을 원래의 깊이 영상으로 복원하도록 제어할 수 있다.
제어부(330)는 깊이 영상에 포함된 현재 슬라이스가 선형 형태로 표현되었는지 또는 비선형 형태로 표현되었는지를 나타내는 플래그 데이터에 기초하여 깊이 영상에 비선형 표현이 적용되었는지 여부를 판단할 수 있다. 예를 들어, 제어부(330)는 플래그 데이터가 0의 비트값을 가지면, 깊이 영상의 현재 슬라이스가 선형 형태로 표현되었다는 것을 식별하고, 플래그 데이터가 1의 비트값을 가지면, 깊이 영상의 현재 슬라이스가 비선형 형태로 표현되었다는 것을 식별할 수 있다. 플래그 데이터는 슬라이스 헤더, 깊이 파라미터 세트, 픽쳐 파라미터 세트 및 부가 향상 정보 중 적어도 하나에 저장될 수 있다. 제어부(330)는 슬라이스 헤더, 깊이 파라미터 세트, 픽쳐 파라미터 세트 및 부가 향상 정보 중 적어도 어느 하나에 저장된 플래그 데이터를 판독하여, 깊이 영상에 비선형 표현이 적용되었는지 여부를 판단할 수 있다.
깊이 영상 복원부(340)는 깊이 영상에 비선형 표현이 적용된 경우, 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환할 수 있다. 예를 들어, 깊이 영상 복원부(340)는 깊이 영상이 비선형 형태로 표현되었는지 여부를 나타내는 플래그 데이터가 1의 비트값을 가지는 경우, 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환할 수 있다. 깊이 영상 복원부(340)는 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환하기 위해, 깊이 영상의 부호화 과정에서 적용된 비선형 표현에 대응되는 비선형 표현을 비선형 표현의 깊이 영상에 적용할 수 있다. 예를 들어, 서로 대응되는 비선형 표현들은 역의 관계를 가지는 함수들일 수 있다. 깊이 영상에 적용된 비선형 표현 관련 정보는 부호화된 깊이 영상을 포함하는 비트스트림에 저장될 수 있고, 깊이 영상 복원부(340)는 비트스트림에 저장되어 있는 비선형 표현 관련 정보로부터, 깊이 영상에 적용된 비선형 표현에 반대되는 비선형 표현을 도출할 수 있다.
깊이 영상 복호화 장치(310)는 슬라이스 단위로 깊이 영상에 비선형 표현이 적용되었는지를 판단하여, 비선형 표현이 적용된 깊이 영상을 원래의 깊이 영상으로 복원하여 출력할 수 있다. 예를 들어, 깊이 영상 복호화 장치(310)는 비선형 표현의 깊이 영상을 비선형 표현이 적용되기 전의 깊이 영상으로 역변환하여 비선형 표현이 적용되기 전의 깊이 영상을 출력할 수 있다.
깊이 영상 복호화 장치(310)는 깊이 영상에 비선형 표현이 적용되지 않은 경우 또는 깊이 영상이 선형으로 표현되어 있는 경우에는, 깊이 영상을 선형 표현의 깊이 영상으로 변환하지 않고, 그대로 출력할 수 있다. 예를 들어, 깊이 영상 복호화 장치(310)는 깊이 영상이 비선형 형태로 표현되었는지 여부를 나타내는 플래그 데이터가 0의 비트값을 가지는 경우, 깊이 영상을 선형 표현의 깊이 영상으로 변환하지 않고, 그대로 출력할 수 있다.
도 4는 일실시예에 따른 비선형 표현을 도시한 도면이다.
비선형 표현은 비선형 함수를 포함할 수 있으며, 깊이 영상의 주파수 대역과 같은 주파수 특성을 변화시키거나 픽셀값 분포를 변화시키기 위해 이용될 수 있다.
예를 들어, 깊이 영상 부호화 장치가 깊이 영상의 부호화 과정에서 깊이 영상에 적용하는 비선형 표현은 아래 수학식 3과 같이 나타낼 수 있으며, 이는 도 4의 그래프(410)에 대응된다.
Figure PCTKR2013008562-appb-I000007
깊이 영상 부호화 장치는 수학식 3과 같은 비선형 표현을 깊이 영상에 적용하여 입력 x 보다 낮은 출력 f(x) 를 얻을 수 있다. 이를 통해, 깊이 영상 부호화 장치는 저주파수 대역의 깊이 영상을 생성할 수 있다. 깊이 영상 부호화 장치는 수학식 3의 2차 함수뿐만 아니라, 3차 함수, 4차 함수 등과 같은 다른 비선형 함수를 이용하여 깊이 영상을 저주파수 대역의 깊이 영상으로 생성할 수 있다.
또한, 깊이 영상의 복호화 과정에서 이용되는 비선형 표현의 일례를 아래 수학식 4와 같이 나타낼 수 있으며, 이는 도 4의 그래프(420)에 대응된다.
Figure PCTKR2013008562-appb-I000008
깊이 영상의 복호화 과정에서, 깊이 영상 복호화 장치는 깊이 영상의 부호화 과정에서 적용된 비선형 표현에 대응되는 비선형 표현을 깊이 영상에 적용하여 깊이 영상을 복원할 수 있다. 예를 들어, 깊이 영상 복호화 장치는 그래프(410)의 비선형 표현에 역의 관계에 있는 그래프(420)의 비선형 표현을 이용하여 비선형 표현이 적용된 깊이 영상을 원래의 깊이 영상으로 복원할 수 있다. 깊이 영상 복호화 장치는 수학식 4와 같은 비선형 표현을 깊이 영상에 적용하여 입력 x 보다 높은 출력 h(x) 을 얻을 수 있다. 이를 통해, 저주파수 대역의 깊이 영상으로 변환되었던 깊이 영상은 원래의 깊이 영상으로 복원될 수 있다.
비선형 표현을 구현하는 일례는 아래 표 5의 구문과 같이 나타낼 수 있다.
Figure PCTKR2013008562-appb-I000009
위 구문에서, "nonlinear_depth_representation_num" 은 깊이 영상의 픽셀 값을 균등한 차이를 갖는 스케일(scale) 단위로 맵핑(mapping)시키기 위한 구간적 선형 세그먼트들(piecewise linear segments)의 개수를 나타낸다.
그리고, "nonlinear_depth_representation_model[ i ]" 는 깊이 영상의 픽셀 값을 균등한 차이를 갖는 스케일 단위로 맵핑시키기 위한 구간적 선형 세그먼트들을 나타낸다.
도 5는 일실시예에 따른 비선형 표현이 적용된 깊이 영상을 도시한 도면이다.
깊이 영상(510)은 비선형 표현이 적용되기 전의 깊이 영상을 나타내고, 깊이 영상(520)는 비선형 표현이 적용된 깊이 영상을 나타낸다. 비선형 표현이 적용된 깊이 영상(520)이 비선형 표현이 적용되기 전의 깊이 영상(510)보다 전체적으로 밝기가 어두운 것을 확인할 수 있다.
도 6은 일실시예에 따른 비선형 표현이 적용된 깊이 영상의 히스토그램을 도시한 도면이다.
히스토그램(610)은 비선형 표현이 적용되지 않은 깊이 영상의 픽셀값 분포를 나타내는 히스토그램이다. 그리고, 히스토그램(620)은 비선형 표현이 적용된 깊이 영상의 픽셀값 분포를 나타내는 히스토그램이다.
히스토그램(610)과 히스토그램(620)을 비교해 볼 때, 균일하게 분포한 깊이 영상의 픽셀값은 비선형 표현이 적용된 이후에 저주파 대역으로 집중됨을 확인할 수 있다. 또한, 깊이 영상에 비선형 표현이 적용되면, 낮은 픽셀값을 가지는 픽셀들이 증가하여 깊이 영상의 밝기가 어두워짐을 알 수 있다.
도 7 및 도 8은 일실시예에 따른 비선형 표현의 적용 여부를 결정하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 깊이 영상의 히스토그램의 일례가 도시되어 있다. 히스토그램에서 x 축은 픽셀값(또는, 빈(bin))을 나타내며, y축은 해당 픽셀값에 대응하는 픽셀의 개수를 나타낸다.
깊이 영상 부호화 장치는 히스토그램과 같은 깊이 영상의 픽셀값 분포 특성에 기초하여 깊이 영상에 비선형 표현을 적용할지 여부를 결정할 수 있다. 예를 들어, 깊이 영상 부호화 장치는 깊이 영상의 히스토그램에서 이산적인 분포를 갖는 픽셀값의 유효 범위 및 유효 픽셀값을 결정하고, 유효 범위에 포함된 전체 픽셀값의 개수와 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율에 기초하여 비선형 표현의 적용 여부를 결정할 수 있다. 히스토그램에서 픽셀값은 빈(bin)에 대응할 수 있다.
도 7의 히스토그램이 나타내는 깊이 영상의 픽셀값 분포에서, 깊이 영상 부호화 장치는 미리 설정된 임계값(710)을 기준으로 히스토그램의 전체 픽셀값에서 특정 영역의 픽셀값을 제외할 수 있다. 미리 설정된 임계값(710) 이상의 픽셀 수를 가지는 픽셀값을 유효 픽셀값이라고 정의한다. 유효 픽셀값들 중에서 픽셀값이 최소인 유효 픽셀값과 픽셀값이 최대인 유효 픽셀값 사이의 범위를 유효 범위라고 정의한다.
예를 들어, 깊이 영상 부호화 장치는 미리 설정된 임계값(710) 이상의 픽셀 수를 가지는 최소값의 픽셀값과 0을 나타내는 픽셀값 사이 영역(720), 미리 설정된 임계값(710) 이상의 픽셀 수를 가지는 최대값의 픽셀값과 255(8비트로 표현될 때 픽셀값의 최대값)의 픽셀값 사이 영역(730)에 포함되는 픽셀값을 전체 픽셀값에서 제외하여 픽셀값의 유효 범위(740)을 결정할 수 있다.
깊이 영상 부호화 장치는 픽셀값의 유효 범위(740)에서 미리 설정된 임계값(710) 이상의 픽셀 수를 가지는 픽셀값을 유효 범위에 포함된 유효 픽셀값으로 결정할 수 있다. 깊이 영상의 히스토그램에서, 유효 픽셀값은 일정 부분의 상위 빈(bin)(예를 들어, 영역(730))과 일정 부분의 하위 빈(예를 들어, 영역(720))을 제거하였을 때 미리 설정된 임계값(710) 이상의 픽셀 수를 가지는 픽셀값을 나타낸다.
도 2의 수학식 2에서, 픽셀값의 유효 범위에 포함된 전체 픽셀값의 개수와 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율인 Thistogram은 다음의 수학식 5와 같이 구체화하여 나타낼 수 있다.
Figure PCTKR2013008562-appb-I000010
깊이 영상 부호화 장치는 Thistogram이 히스토그램 분석과 관련하여 미리 설정된 임계값 Thhistogram 보다 작은 경우에 깊이 영상에 비선형 표현을 적용하도록 결정할 수 있다.
도 8에 나타난 히스토그램은 도 7에 나타난 히스토그램보다 픽셀값에 대응하는 픽셀들이 밀집(dense)하여 분포하고 있다. 깊이 영상 부호화 장치는 미리 설정된 임계값(810) 이상의 픽셀 수를 가지는 최소값의 픽셀값과 0을 나타내는 픽셀값 사이 영역(820), 미리 설정된 임계값(810) 이상의 픽셀 수를 가지는 최대값의 픽셀값과 255(8비트로 표현될 때 픽셀값의 최대값)의 픽셀값 사이 영역(830)에 포함되는 픽셀값을 전체 픽셀값에서 제외하여 픽셀값의 유효 범위(840)을 결정할 수 있다.
도 7에서와 마찬가지로, 깊이 영상 부호화 장치는 픽셀값의 유효 범위(840)에서 미리 설정된 임계값(810) 이상의 픽셀 수를 가지는 픽셀값을 유효 픽셀값으로 결정하고, 픽셀값의 유효 범위(840)에 포함된 전체 픽셀값의 개수와 유효 범위(840)에 포함된 유효 픽셀값의 개수 간의 비율을 계산할 수 있다. 깊이 영상 부호화 장치는 픽셀값의 유효 범위(840)에 포함된 전체 픽셀값의 개수와 유효 범위(840)에 포함된 유효 픽셀값의 개수 간의 비율과 히스토그램 분석과 관련된 미리 설정된 임계값을 비교하여 비선형 표현의 적용 여부를 결정할 수 있다.
도 9는 일실시예에 따른 깊이 영상 부호화 방법의 동작을 도시한 흐름도이다.
단계(910)에서 깊이 영상 부호화 장치는 깊이 영상에 비선형 표현을 적용할지 여부를 슬라이스 단위로 결정할 수 있다. 깊이 영상 부호화 장치는 깊이 영상의 전체 픽셀들이 가지는 픽셀값을 평균하여 깊이 영상의 평균 픽셀값을 계산할 수 있다. 깊이 영상 부호화 장치는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰지 여부를 슬라이스 단위로 판단할 수 있다. 깊이 영상 부호화 장치는 깊이 영상의 평균 픽셀값에 기초하여 깊이 영상에 비선형 표현을 적용할지 여부를 결정할 수 있다.
깊이 영상 부호화 장치는 히스토그램과 같은 깊이 영상을 구성하는 픽셀들의 픽셀값 분포 특성에 기초하여 깊이 영상에 비선형 표현을 적용할지 여부를 결정할 수 있다. 깊이 영상 부호화 장치는 깊이 영상의 히스토그램에서 이산적인 분포를 갖는 픽셀값의 유효 범위 및 유효 픽셀값을 결정하고, 픽셀값의 유효 범위에 포함된 전체 픽셀값의 개수와 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율에 기초하여 비선형 표현의 적용 여부를 결정할 수 있다.
단계(920)에서 깊이 영상 부호화 장치는 깊이 영상에 비선형 표현을 적용하기로 결정한 경우, 깊이 영상에 비선형 표현을 적용할 수 있다. 깊이 영상 부호화 장치는 깊이 영상에 비선형 표현을 적용하여 깊이 영상을 저주파수 대역의 깊이 영상으로 변환할 수 있다.
단계(930)에서 깊이 영상 부호화 장치는 깊이 영상을 부호화할 수 있다. 깊이 영상 부호화 장치는 비선형 표현이 적용된 깊이 영상 또는 비선형 표현이 적용되지 않은 깊이 영상을 부호화할 수 있다. 깊이 영상 부호화 장치는 깊이 영상에 포함된 현재 슬라이스가 선형 형태로 표현되었는지 또는 비선형 형태로 표현되었는지를 나타내는 플래그 데이터를 깊이 영상과 함께 부호화할 수 있다. 예를 들어, 깊이 영상 부호화 장치는 플래그 데이터를 슬라이스 헤더, 깊이 파라미터 세트, 픽쳐 파라미터 세트 및 부가 향상 정보 중 적어도 하나에 저장하여 부호화할 수 있다.
도 10은 다른 실시예에 따른 깊이 영상 부호화 방법의 동작을 도시한 흐름도이다.
단계(1010)에서 깊이 영상 부호화 장치는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰지 여부를 슬라이스 단위로 판단할 수 있다. 깊이 영상 부호화 장치는 깊이 영상의 픽셀들이 가지는 픽셀값을 평균하여 평균 픽셀값을 계산할 수 있다.
단계(1020)에서 깊이 영상 부호화 장치는 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰 경우, 깊이 영상의 픽셀값 분포 특성에 기초하여 깊이 영상을 저주파수 대역의 깊이 영상으로 선택적으로 변환할 수 있다. 예를 들어, 깊이 영상 부호화 장치는 깊이 영상의 히스토그램과 같은 픽셀값 분포 특성에 기초하여 비선형 표현의 적용 여부를 선택적으로 결정할 수 있다.
깊이 영상 부호화 장치는 깊이 영상의 히스토그램에서, 이산적인 분포를 갖는 픽셀값의 유효 범위 및 유효 픽셀값을 결정하고, 픽셀값의 유효 범위에 포함된 전체 픽셀값의 개수와 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율에 기초하여 비선형 표현의 적용 여부를 결정할 수 있다. 깊이 영상 부호화 장치는 깊이 영상에 비선형 표현을 적용함으로써, 깊이 영상을 저주파수 대역의 깊이 영상으로 변환할 수 있다.
단계(1030)에서 깊이 영상 부호화 장치는 저주파수 대역의 깊이 영상을 부호화하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 깊이 영상이 저주파수 대역의 깊이 영상으로 변환되었는지 여부를 나타내는 정보를 슬라이스 단위로 저장할 수 있다. 예를 들어, 깊이 영상 부호화 장치는 깊이 영상에 비선형 표현이 적용되었는지 여부를 나타내는 플래그 데이터를 비트스트림에 저장할 수 있다.
도 11은 일실시예에 따른 깊이 영상 복호화 방법의 동작을 도시한 흐름도이다.
단계(1110)에서 깊이 영상 복호화 장치는 부호화된 깊이 영상을 복호화할 수 있다. 깊이 영상 복호화 장치는 깊이 영상의 부호화 방식을 판단하여, 해당 부호화 방식에 대응하는 복호화 방식으로 부호화된 깊이 영상을 복호화할 수 있다.
단계(1120)에서 깊이 영상 복호화 장치는 깊이 영상에 비선형 표현이 적용되었는지 여부를 슬라이스 단위로 판단할 수 있다. 깊이 영상 복호화 장치는 깊이 영상에 비선형 표현이 적용되었는지 여부를 나타내는 플래그 데이터에 기초하여 깊이 영상에 비선형 표현이 적용되었는지 여부를 판단할 수 있다. 플래그 데이터는 깊이 영상에 포함된 현재 슬라이스가 선형 형태로 표현되었는지 또는 비선형 형태로 표현되었는지를 나타낼 수 있다.
플래그 데이터는 슬라이스 헤더, 깊이 파라미터 세트, 픽쳐 파라미터 세트 및 부가 향상 정보 중 적어도 하나에 저장될 수 있다. 깊이 영상 복호화 장치는 슬라이스 헤더, 깊이 파라미터 세트, 픽쳐 파라미터 세트 및 부가 향상 정보 중 적어도 어느 하나에 저장된 플래그 데이터를 판독하여, 깊이 영상에 비선형 표현이 적용되었는지 여부를 판단할 수 있다.
단계(1130)에서 깊이 영상 복호화 장치는 깊이 영상에 비선형 표현이 적용된 경우, 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환할 수 있다. 깊이 영상 복호화 장치는 깊이 영상의 부호화 과정에서 적용된 비선형 표현에 대응되는 비선형 표현을 이용하여 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 역변환할 수 있다. 깊이 영상에 적용된 비선형 표현 관련 정보는 부호화된 깊이 영상을 포함하는 비트스트림에 저장될 수 있고, 깊이 영상 복호화 장치는 비트스트림에 저장되어 있는 비선형 표현 관련 정보로부터, 깊이 영상에 적용된 비선형 표현에 반대되는 비선형 표현을 도출할 수 있다.
깊이 영상 복호화 장치는 슬라이스 단위로 깊이 영상에 비선형 표현이 적용되었는지를 판단하여, 비선형 표현이 적용된 깊이 영상을 원래의 깊이 영상으로 복원하여 출력할 수 있다. 깊이 영상 복호화 장치는 깊이 영상에 비선형 표현이 적용되지 않은 경우 또는 깊이 영상이 선형으로 표현되어 있는 경우에는, 깊이 영상을 선형 표현의 깊이 영상으로 변환하지 않고, 그대로 출력할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 깊이 영상에 비선형 표현을 적용할지 여부를 슬라이스 단위로 결정하는 단계;
    상기 적용 여부에 따라 상기 깊이 영상에 비선형 표현을 적용하는 단계; 및
    상기 깊이 영상을 부호화하는 단계
    를 포함하는 깊이 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 깊이 영상의 평균 픽셀값에 기초하여 상기 깊이 영상에 비선형 표현을 적용할지 여부를 결정하는 깊이 영상 부호화 방법.
  3. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 깊이 영상을 구성하는 픽셀들의 픽셀값 분포 특성에 기초하여 상기 깊이 영상에 비선형 표현을 적용할지 여부를 결정하는 깊이 영상 부호화 방법.
  4. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 깊이 영상의 픽셀값 분포에서, 미리 설정된 임계값에 기초하여 이산적인 분포를 갖는 픽셀값의 유효 범위 및 유효 픽셀값을 결정하는 단계; 및
    상기 유효 범위에 포함된 전체 픽셀값의 개수와 상기 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율에 기초하여 상기 깊이 영상에 비선형 표현을 적용할지 여부를 결정하는 단계
    를 포함하는 깊이 영상 부호화 방법.
  5. 제1항에 있어서,
    상기 적용하는 단계는,
    상기 깊이 영상을 저주파수 대역의 깊이 영상으로 변환하는 깊이 영상 부호화 방법.
  6. 제1항에 있어서,
    상기 부호화하는 단계는,
    상기 깊이 영상에 포함된 현재 슬라이스가 선형 형태로 표현되었는지 또는 비선형 형태로 표현되었는지를 나타내는 플래그 데이터를 상기 깊이 영상과 함께 부호화하는 깊이 영상 부호화 방법.
  7. 제6항에 있어서,
    상기 부호화하는 단계는,
    상기 플래그 데이터를 슬라이스 헤더(slice header), 깊이 파라미터 세트(depth parameter set), 픽쳐 파라미터 세트(picture parameter set) 및 부가 향상 정보(supplemental enhancement information) 중 적어도 하나에 저장하여 부호화하는 깊이 영상 부호화 방법.
  8. 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰지 여부를 슬라이스 단위로 판단하는 단계;
    상기 깊이 영상의 평균 픽셀값이 미리 설정된 임계값보다 큰 경우, 상기 깊이 영상의 픽셀값 분포 특성에 기초하여 상기 깊이 영상을 저주파수 대역의 깊이 영상으로 선택적으로 변환하는 단계; 및
    상기 저주파수 대역의 깊이 영상을 부호화하여 비트스트림을 생성하는 단계
    를 포함하는 깊이 영상 부호화 방법.
  9. 제8항에 있어서,
    상기 변환하는 단계는,
    상기 깊이 영상의 픽셀값 분포에서, 미리 설정된 임계값에 기초하여 이산적인 분포를 갖는 픽셀값의 유효 범위 및 유효 픽셀값을 결정하는 단계; 및
    상기 유효 범위에 포함된 전체 픽셀값의 개수와 상기 유효 범위에 포함된 유효 픽셀값의 개수 간의 비율에 기초하여 상기 깊이 영상을 저주파수 대역의 깊이 영상으로 변환할지 여부를 결정하는 단계
    를 포함하는 깊이 영상 부호화 방법.
  10. 제8항에 있어서,
    상기 비트스트림은,
    상기 깊이 영상이 저주파수 대역의 깊이 영상으로 변환되었는지 여부를 나타내는 정보를 슬라이스 단위로 저장하는 깊이 영상 부호화 방법.
  11. 부호화된 깊이 영상을 복호화하는 단계;
    상기 깊이 영상에 비선형 표현이 적용되었는지 여부를 슬라이스 단위로 판단하는 단계; 및
    상기 깊이 영상에 비선형 표현이 적용된 경우, 상기 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환하는 단계
    를 포함하는 깊이 영상 복호화 방법.
  12. 제11항에 있어서,
    상기 판단하는 단계는,
    상기 깊이 영상에 포함된 현재 슬라이스가 선형 형태로 표현되었는지 또는 비선형 형태로 표현되었는지를 나타내는 플래그 데이터에 기초하여 상기 깊이 영상에 비선형 표현이 적용되었는지 여부를 판단하는 깊이 영상 복호화 방법.
  13. 제12항에 있어서,
    상기 플래그 데이터는,
    현재 슬라이스가 선형 형태로 표현된 경우에는 0의 비트값을 가지고, 현재 슬라이스가 비선형 형태로 표현된 경우에는 1의 비트값을 가지는 깊이 영상 복호화 방법.
  14. 제12항에 있어서,
    상기 플래그 데이터는,
    슬라이스 헤더, 깊이 파라미터 세트, 픽쳐 파라미터 세트 및 부가 향상 정보 중 적어도 하나에 저장되는 깊이 영상 복호화 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  16. 깊이 영상에 비선형 표현을 적용할지 여부를 슬라이스 단위로 결정하는 제어부;
    상기 적용 여부에 따라 상기 깊이 영상에 비선형 표현을 적용하는 깊이 영상 변환부; 및
    상기 깊이 영상을 부호화하는 깊이 영상 부호화부
    를 포함하는 깊이 영상 부호화 장치.
  17. 부호화된 깊이 영상을 복호화하는 깊이 영상 복호화부;
    상기 깊이 영상에 비선형 표현이 적용되었는지 여부를 슬라이스 단위로 판단하는 제어부; 및
    상기 깊이 영상에 비선형 표현이 적용된 경우, 상기 비선형 표현의 깊이 영상을 선형 표현의 깊이 영상으로 변환하는 깊이 영상 복원부
    를 포함하는 깊이 영상 복호화 장치.
PCT/KR2013/008562 2012-09-28 2013-09-25 깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치 WO2014051319A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261707556P 2012-09-28 2012-09-28
US61/707,556 2012-09-28
US201361749520P 2013-01-07 2013-01-07
US61/749,520 2013-01-07
KR1020130112577A KR20140043029A (ko) 2012-09-28 2013-09-23 깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치
KR10-2013-0112577 2013-09-23

Publications (1)

Publication Number Publication Date
WO2014051319A1 true WO2014051319A1 (ko) 2014-04-03

Family

ID=50388625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008562 WO2014051319A1 (ko) 2012-09-28 2013-09-25 깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2014051319A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341555A (ja) * 2004-04-29 2005-12-08 Mitsubishi Electric Information Technology Centre Europa Bv 画像または画像シーケンスを表現する方法、画像を表現する記述子およびその使用方法、ならびにこれらの方法を行う装置、コンピュータプログラム、および記憶媒体
KR20110111371A (ko) * 2008-12-02 2011-10-11 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
KR20110134327A (ko) * 2010-06-08 2011-12-14 엘지전자 주식회사 영상 처리 방법 및 그에 따른 영상 표시 장치
KR20120067879A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 삼차원 영상 표시 장치 및 그 표시 방법
KR20120089252A (ko) * 2009-07-27 2012-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 3ｄ 비디오 및 2ｄ 비디오 사이의 전환

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341555A (ja) * 2004-04-29 2005-12-08 Mitsubishi Electric Information Technology Centre Europa Bv 画像または画像シーケンスを表現する方法、画像を表現する記述子およびその使用方法、ならびにこれらの方法を行う装置、コンピュータプログラム、および記憶媒体
KR20110111371A (ko) * 2008-12-02 2011-10-11 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
KR20120089252A (ko) * 2009-07-27 2012-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 3ｄ 비디오 및 2ｄ 비디오 사이의 전환
KR20110134327A (ko) * 2010-06-08 2011-12-14 엘지전자 주식회사 영상 처리 방법 및 그에 따른 영상 표시 장치
KR20120067879A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 삼차원 영상 표시 장치 및 그 표시 방법

Similar Documents

Publication Publication Date Title
WO2011139099A2 (ko) 비디오 신호의 처리 방법 및 장치
CN113557718A (zh) 视频编解码的方法和装置
WO2011155714A2 (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011034378A2 (en) Method and apparatus for encoding and decoding image based on skip mode
US20150139296A1 (en) Intra block copy for intra slices in high efficiency video coding (hevc)
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2012144830A2 (en) Methods and apparatuses for encoding and decoding image using adaptive filtering
CN112019844B (zh) 视频解码的方法和装置、计算机设备和存储介质
CN113615187A (zh) 用于改进的隐式变换选择的方法和装置
WO2014030948A1 (ko) 적응 이미지 압축시스템 및 그 방법
KR20210064362A (ko) 비디오 코딩을 위한 방법 및 장치
JP2022176939A (ja) Ｖｖｃにおける色変換のための方法及び機器
WO2013157814A1 (ko) 영상의 레퍼런스 픽쳐 세트를 결정하기 위한 방법 및 장치
WO2017043766A1 (ko) 비디오 부호화, 복호화 방법 및 장치
US20230007267A1 (en) Method and apparatus for decoding imaging related to sign data hiding
KR20210069710A (ko) 비디오 코딩을 위한 방법 및 장치
WO2013133627A1 (ko) 비디오 신호 처리 방법
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
CN113545055B (zh) 视频编解码的方法、装置和存储介质
CN114946181A (zh) 用于视频译码的参考图像管理方法
WO2013157839A1 (ko) 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치
WO2023017928A1 (en) Video recording method and device
CN108900849B (zh) 视频数据加密方法、系统、设备及存储介质
WO2014051319A1 (ko) 깊이 영상 부호화 방법 및 장치, 깊이 영상 복호화 방법 및 장치
CN114846789B (zh) 用于指示条带的图像分割信息的解码器及对应方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840709

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13840709

Country of ref document: EP

Kind code of ref document: A1