WO2014168445A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2014168445A1
WO2014168445A1 PCT/KR2014/003134 KR2014003134W WO2014168445A1 WO 2014168445 A1 WO2014168445 A1 WO 2014168445A1 KR 2014003134 W KR2014003134 W KR 2014003134W WO 2014168445 A1 WO2014168445 A1 WO 2014168445A1
Authority
WO
WIPO (PCT)
Prior art keywords
current depth
depth block
neighboring pixel
index
reference neighboring
Prior art date
Application number
PCT/KR2014/003134
Other languages
English (en)
French (fr)
Inventor
허진
남정학
정지욱
예세훈
손은용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020157027969A priority Critical patent/KR101783617B1/ko
Priority to US14/782,440 priority patent/US20160050438A1/en
Publication of WO2014168445A1 publication Critical patent/WO2014168445A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Definitions

  • the present invention relates to a method and apparatus for coding a video signal.
  • Compression coding refers to a series of signal processing techniques that transmit digitized information through a communication line or store the data in a form suitable for a storage medium.
  • the object of compression encoding includes objects such as voice, video, text, and the like.
  • a technique of performing compression encoding on an image is called video image compression.
  • the general feature of multi-view video images is that they have spatial redundancy, temporal redundancy and inter-view redundancy.
  • An object of the present invention is to improve the coding efficiency of a video signal.
  • the present invention is characterized by obtaining a prediction value of the current depth block by dividing the reference neighboring pixel area and the current depth block into two areas in consideration of the direction of intra prediction.
  • the present invention is characterized in that the prediction value and the residual of the current depth block is indexed and coded using a lookup table.
  • the present invention can reduce the complexity of intra prediction by indexing and coding at least one of the prediction value and the residual of the current depth block.
  • the present invention can improve the efficiency of intra prediction by using the direction of intra prediction.
  • the present invention can simplify various flag information related to the existing intra prediction into the flag information of one intra prediction.
  • FIG. 1 is an embodiment to which the present invention is applied and shows an internal block diagram of a broadcast receiver to which depth coding is applied.
  • FIG. 2 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • FIG. 3 is a flowchart illustrating a first embodiment of decoding a current depth block by intra prediction as an embodiment to which the present invention is applied.
  • FIG. 4 is a flowchart illustrating a second embodiment of decoding a current depth block by intra prediction as an embodiment to which the present invention is applied.
  • FIG. 5 illustrates an example of determining a reference neighboring pixel area of a current depth block as an embodiment to which the present invention is applied.
  • FIG. 6 illustrates an example of dividing a current depth block into a first current depth block region and a second current depth block region as an embodiment to which the present invention is applied.
  • FIG. 7 illustrates an example in which a prediction value of a current depth block is obtained as an embodiment to which the present invention is applied.
  • the present invention obtains an intra prediction mode of a current depth block, determines a reference neighboring pixel region adjacent to the current depth block using the intra prediction mode, and uses a pixel value of the reference neighboring pixel region to refer to a reference neighboring pixel. Determine a boundary, determine a first reference neighboring pixel region and a second reference neighboring pixel region included in the reference neighboring pixel region using the reference neighboring pixel boundary, and use the reference neighboring pixel boundary to determine the current depth block.
  • the present invention also provides a lookup table in which a first residual index corresponding to the first current depth block region and a second residual index corresponding to the second current depth block region are obtained, and the first residual index is predetermined.
  • a lookup table in which a first residual index corresponding to the first current depth block region and a second residual index corresponding to the second current depth block region are obtained, and the first residual index is predetermined.
  • convert the first residual to the first residual convert the second residual index to the second residual using a predetermined lookup table, and use the first prediction value, the second prediction value, the first residual, and the second residual.
  • the present invention obtains a first residual index corresponding to the first current depth block region and a second residual index corresponding to the second current depth block region, and determines the first prediction value based on the predetermined lookup table. Converts to a first prediction index, converts the second prediction value to a second prediction index using a predetermined lookup table, and uses the first residual index and the first prediction index. Obtain a current depth block region index, obtain the second current depth block region index using the second residual index and the second prediction index, and obtain the first current depth block region index and the second current depth.
  • a video signal processing method and apparatus for decoding the current depth block using a block region index is mapped to the current depth block region index.
  • the present invention also provides a video signal processing method and apparatus for acquiring intra prediction mode selection information and acquiring the intra prediction mode using the intra prediction mode selection information.
  • the present invention also provides a video signal processing method and apparatus for determining between the pixels having the largest difference between neighboring reference neighbor pixel values in the reference neighboring pixel region as the reference neighboring pixel boundary.
  • the present invention also provides a video signal processing method and apparatus, which further uses an intra prediction mode of a texture block corresponding to the current depth block.
  • the representative value of the first reference neighboring pixel region may be an average value of pixel values included in the first reference neighboring pixel region, and the representative value of the second reference neighboring pixel region is the second reference neighboring pixel region. And a mean value of pixel values included in the video signal processing method and apparatus.
  • Techniques for compression encoding or decoding multi-view video signal data take into account spatial redundancy, temporal redundancy, and redundancy existing between viewpoints.
  • a multiview texture image photographed from two or more viewpoints may be coded to implement a 3D image.
  • depth data corresponding to a multiview texture image may be further coded as necessary.
  • compression coding may be performed in consideration of spatial redundancy, temporal redundancy, or inter-view redundancy.
  • the depth data represents distance information between the camera and the corresponding pixel, and within the present specification, the depth data may be flexibly interpreted as information related to depth, such as depth information, a depth image, a depth picture, a depth sequence, and a depth bitstream.
  • the term coding in this specification may include both the concepts of encoding and decoding, and may be flexibly interpreted according to the technical spirit and technical scope of the present invention.
  • FIG. 1 is an embodiment to which the present invention is applied and shows an internal block diagram of a broadcast receiver to which depth coding is applied.
  • the broadcast receiver is for receiving an over-the-air broadcast signal and playing back an image.
  • the broadcast receiver may generate 3D content using the received depth related information.
  • the broadcast receiver includes a tuner 100, a demodulation / channel decoder 102, a transport demultiplexer 104, a packet release unit 106, an audio decoder 108, a video decoder 110, and a PSI / PSIP processing unit ( 114, a 3D renderer 116, a formatter 120, and a display 122.
  • the tuner 100 selects and outputs a broadcast signal of one channel selected by a user from among a plurality of broadcast signals input through an antenna (not shown).
  • the demodulation / channel decoder 102 demodulates the broadcast signal from the tuner 100 and performs error correction decoding on the demodulated signal to output the transport stream TS.
  • the transport demultiplexer 104 demultiplexes the transport stream, separates the video PES and the audio PES, and extracts PSI / PSIP information.
  • the packet release unit 106 releases the packet for the video PES and the audio PES to restore the video ES and the audio ES.
  • the audio decoder 108 decodes the audio ES and outputs an audio bitstream.
  • the audio bitstream is converted into an analog voice signal by a digital-to-analog converter (not shown), amplified by an amplifier (not shown), and then output through a speaker (not shown).
  • the video decoder 110 decodes the video ES to reconstruct the original image.
  • the decoding process of the audio decoder 108 and the video decoder 110 may be performed based on a packet ID (PID) confirmed by the PSI / PSIP processing unit 114.
  • PID packet ID
  • the video decoder 110 may extract depth information.
  • additional information required to generate an image of a virtual camera viewpoint for example, camera information, or information for estimating occlusion covered by a relatively forward object (eg, geometric information such as an object outline, an object Transparency information, color information), and the like, may be extracted and provided to the 3D renderer 116.
  • the depth information and / or additional information may be separated by the transport demultiplexer 104.
  • the PSI / PSIP processing unit 114 receives the PSI / PSIP information from the transport demultiplexing unit 104, parses it, and stores it in a memory (not shown) or a register so that the broadcast is reproduced based on the stored information.
  • the 3D renderer 116 may generate color information, depth information, and the like at the virtual camera position by using the reconstructed image, depth information, additional information, and camera parameters.
  • the 3D renderer 116 generates a virtual image at a virtual camera position by performing 3D warping using the reconstructed image and depth information of the reconstructed image.
  • the 3D rendering unit 116 is described as being composed of a separate block from the video decoder 110, but this is only an example, and the 3D rendering unit 116 is the video decoder 110. It may be included in the).
  • the formatter 120 formats the image reconstructed in the decoding process, that is, the image captured by the actual camera and the virtual image generated by the 3D rendering unit 116 according to the display method of the corresponding receiver, and displays the display unit 122. ) Will display the 3D image.
  • the synthesis of the depth information and the virtual image at the virtual camera position by the 3D rendering unit 116 and the image formatting by the formatter 120 may be selectively performed in response to a user's command. That is, the viewer may operate the remote controller (not shown) so that the synthesized image is not displayed or may specify a time point at which the image synthesis is to be performed.
  • the depth information is used by the 3D rendering unit 116 to generate a 3D image, but may be used by the video decoder 110 as another embodiment.
  • various embodiments of using depth information in the video decoder 110 will be described.
  • FIG. 2 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • the video decoder 110 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, a deblocking filter unit 240, a decoded picture buffer unit 250,
  • the inter predictor 260 and the intra predictor 270 may be included.
  • the solid line means the flow of color picture data
  • the dotted line means the flow of depth picture data.
  • the color picture data and the depth picture data are separately displayed in FIG. 2, this may mean a separate bitstream or may be regarded as only a flow of data in one bitstream. That is, the color picture data and the depth picture data may be transmitted in one bitstream or in separate bitstreams.
  • the color picture data and the depth picture data are not limited to all performed in one decoder.
  • the slice header area, the slice header extension area, the slice data area, or the macro block area may include various attribute information related to the depth.
  • Depth coding may be used as a separate codec, but in case of compatibility with an existing codec, it may be more efficient to add various attribute information related to depth only in the case of a depth bitstream.
  • depth identification information for identifying whether a bit stream is a depth bitstream may be added in the sequence header area (eg, a sequence parameter set) or an extension area of the sequence header.
  • property information regarding a depth sequence may be added only when the input bitstream is a depth coded bitstream.
  • the parsed depth bitstream 200 is entropy decoded through the entropy decoding unit 210, and coefficients, motion vectors, and the like of each macroblock are extracted.
  • the inverse quantizer 220 multiplies the received quantized value by a constant constant to obtain a transformed coefficient value
  • the inverse transform unit 230 inversely transforms the coefficient value to restore depth information of the depth picture.
  • the intra predictor 270 performs intra prediction using the reconstructed depth information of the current depth picture.
  • the deblocking filter unit 240 applies deblocking filtering to each coded macroblock in order to reduce block distortion.
  • the filter smoothes the edges of the block to improve the quality of the decoded frame. The choice of filtering process depends on the boundary strength and the gradient of the image samples around the boundary.
  • the filtered depth pictures are output or stored in the decoded picture buffer unit 250 for use as a reference picture.
  • the decoded picture buffer unit 250 stores or opens previously coded depth pictures in order to perform inter prediction.
  • the frame_num and the POC (Picture Order Count) of each picture are used. Accordingly, in depth coding, some of the previously coded pictures may have depth pictures that are different from the current depth picture. Depth viewpoint information can also be used together.
  • the decoded picture buffer unit 250 may use information about the depth view in order to generate a reference picture list for inter-view prediction of the depth picture.
  • depth-view reference information may be used.
  • Depth-view reference information refers to information used for indicating a dependency relationship between viewpoints of depth pictures. For example, there may be a total number of depth views, a depth view identification number, a number of depth-view reference pictures, a depth view identification number of a depth-view reference picture, and the like.
  • the decoded picture buffer unit 250 manages the reference picture in order to more flexibly implement inter prediction. For example, an adaptive memory management control method and a sliding window method may be used. This is to manage the memory of the reference picture and the non-reference picture into one memory and manage them efficiently with less memory.
  • the depth pictures may be marked with a separate display to distinguish them from color pictures in the decoded picture buffer unit, and information for identifying each depth picture may be used in the marking process. Reference pictures managed through this process may be used for depth coding in the inter prediction unit 260.
  • the inter predictor 260 may include a motion compensator 261, a virtual view synthesizer 262, and a depth picture predictor 263.
  • the motion compensator 261 compensates for the motion of the current block by using the information transmitted from the entropy decoder 210.
  • a motion vector of blocks neighboring the current block is extracted from the video signal, and a motion vector prediction value of the current block is obtained.
  • the motion of the current block is compensated by using the motion vector prediction value and the difference vector extracted from the video signal.
  • motion compensation may be performed using one reference picture or may be performed using a plurality of pictures.
  • depth coding when the current depth picture refers to a depth picture at a different time point, information about a reference picture list for inter-view prediction of the depth picture stored in the decoded picture buffer unit 250 is used. Motion compensation can be performed.
  • motion compensation may be performed using depth view information identifying a view of the depth picture.
  • the virtual view synthesizing unit 262 synthesizes the color picture of the virtual view using the color picture of the view neighboring to the view of the current color picture.
  • viewpoint identification information indicating a viewpoint of the color picture may be used.
  • flag information indicating whether to generate the color picture of the virtual view may be defined.
  • the color picture of the virtual view may be generated using the view identification information.
  • the color picture of the virtual view obtained through the virtual view synthesizing unit 262 may be used as a reference picture.
  • the view identification information may also be assigned to the color picture of the virtual view.
  • the virtual view synthesizing unit 262 may synthesize a depth picture of a virtual view using a depth picture located at a view adjacent to the view of the current depth picture.
  • depth view identification information may be used to indicate the view point of the depth picture.
  • the depth view identification information may be derived from view identification information of a corresponding color picture.
  • the corresponding color picture may have the same picture output order information and the same view identification information as the current depth picture.
  • the depth picture generator 263 may generate a current depth picture by using the depth coding information.
  • the depth coding information may include a distance variable (eg, a Z coordinate value in a camera coordinate system) indicating a distance between a camera and an object, macroblock type information for depth coding, boundary identification information in a depth picture, and data in an RBSP.
  • the current depth picture may be predicted using the depth coding information. That is, inter prediction using depth pictures neighboring the current depth picture may be performed, and intra prediction using depth information decoded in the current depth picture may be possible.
  • the depth picture generator 263 intra-predicts the current depth block in the depth picture and the current depth block using the prediction value of the current depth block obtained through intra prediction and the residual index obtained from the bitstream. It proposes a method of decoding.
  • FIG. 3 is a flowchart illustrating a first embodiment of decoding a current depth block by intra prediction as an embodiment to which the present invention is applied.
  • An intra prediction mode of the current depth block may be obtained (S310).
  • the intra prediction mode selection information (conventional_flag) may be obtained from the bitstream, and the intra prediction mode indicated by the intra prediction mode selection information may be obtained as the intra prediction mode of the current depth block.
  • the intra prediction mode of the current depth block may be obtained using the intra prediction mode of the texture block corresponding to the current depth block.
  • the intra prediction mode of the current depth block may be obtained using the intra prediction mode of the depth block neighboring the current depth block.
  • a reference neighboring pixel region used for intra prediction may be determined (S320).
  • the reference neighboring pixel area represents an area including at least one reference neighboring pixel used for intra prediction.
  • the reference neighbor pixel may represent a pixel referenced by the current depth block in intra prediction.
  • the reference neighboring pixel may represent a pixel included in a depth block neighboring the current depth block, not included in the current depth block.
  • the reference neighboring pixel region used for intra prediction may be determined corresponding to the directionality of the intra prediction mode. An embodiment in which a reference neighboring pixel region used for intra prediction is determined will be described later with reference to FIG. 5.
  • a reference neighbor pixel boundary may be determined using pixel values in the reference neighboring pixel area (S330).
  • the reference neighboring pixel boundary may indicate a limit for dividing the reference neighboring pixel area into detailed regions.
  • the reference neighboring pixel boundary may be determined as a boundary between reference neighboring pixels having the largest difference in pixel value between each reference neighboring pixel in the reference neighboring pixel area. An embodiment of determining a reference neighbor pixel boundary will be described later with reference to FIG. 6.
  • the reference neighboring pixel area may be divided into a first reference neighboring pixel area and a second reference neighboring pixel area according to the reference neighboring pixel boundary.
  • the first reference neighboring pixel region and the second reference neighboring pixel region may represent regions within the reference neighboring pixel region divided according to the reference neighboring pixel boundary.
  • the first current depth block area and the second current depth block area may be determined (S340).
  • the first current depth block area and the second current depth block area are areas included in the current depth block and may be further obtained by using the reference neighboring pixel boundary and the intra prediction mode obtained in step S310. An example in which the first current depth block area and the second current depth block area are determined will be described later with reference to FIG. 6.
  • a prediction value of the first current depth block region and a prediction value of the second current depth block region may be obtained (S350).
  • the prediction value of the first current depth block region (hereinafter referred to as the first prediction value) and the prediction value of the second current depth block region (hereinafter referred to as the second prediction value) are determined by using pixel values in the reference neighboring pixel region. Can be obtained.
  • the first prediction value may be obtained using a pixel value in the first reference neighboring pixel region
  • the second prediction value may be obtained using a pixel value in the second reference neighboring pixel region.
  • the first prediction value may be obtained using an average value of pixel values in the first reference neighboring pixel area
  • the second prediction value may be obtained using an average value of pixel values included in the second reference neighboring pixel area.
  • the first prediction value is obtained using pixels of the first reference neighboring pixel area closest to each pixel in the first current depth block area
  • the second prediction value is closest to each pixel in the second current depth block area. It may be obtained using a pixel of the second reference neighboring pixel area.
  • the first prediction value and the second prediction value may be obtained by gradually increasing / decreasing from each pixel of the first reference neighboring pixel area and the second reference neighboring pixel area.
  • the first residual index and the second residual index may be obtained (S360).
  • the first residual index indicates that a residual which is a difference between a pixel value of the original image of the first current depth block region and a prediction value of the predicted image of the first current depth block region is converted.
  • the second residual index indicates that a residual, which is a difference between a pixel value of the original image of the second current depth block region and a prediction value of the prediction image of the second current depth block region, is converted into an index.
  • the first residual index and the second residual index may be transmitted from the encoder and obtained from the bitstream.
  • a first residual and a second residual may be obtained using a lookup table (S370).
  • the first residual is a difference between a pixel value of the original image of the first current depth block region and a prediction value of the predicted image of the first current depth block region, and may be obtained by converting the first residual index using a lookup table.
  • the second residual is a difference between a pixel value of the original image of the second current depth block region and a prediction value of the predicted image of the second current depth block region, and may be obtained by converting the second residual index using a lookup table.
  • the lookup table is a table for converting a residual index into a residual index or a residual index into a residual, and may be transmitted from an encoder or generated in a decoder.
  • the current depth block may be decoded using the first prediction value, the second prediction value, the first residual, and the second residual (S380).
  • the first current depth block region may be decoded by adding the first prediction value and the first residual
  • the second current depth block region may be decoded by adding the second prediction value and the second residual.
  • FIG. 4 is a flowchart illustrating a second embodiment of decoding a current depth block by intra prediction as an embodiment to which the present invention is applied.
  • steps S410 to S450 correspond to steps S310 to S350 described with reference to FIG. 3, detailed descriptions thereof will be omitted.
  • the first prediction index and the second prediction index may be obtained (S460).
  • the first prediction index is an index of a prediction value of the prediction image of the first current depth block region, and may be obtained by converting the first prediction value through a lookup table.
  • the second prediction index is an index of a prediction value of the prediction image of the second current depth block region, and may be obtained by converting the second prediction value through a lookup table.
  • the first residual index and the second residual index may be obtained (S470). This step corresponds to step S360 described with reference to FIG. 3.
  • the first current depth block region index and the second current depth block region index may be obtained (S480).
  • the first current depth block region index is an index corresponding to the reconstructed value of the current depth block region and may be obtained by adding the first prediction index and the first residual index.
  • the second current depth block region index is an index corresponding to the reconstructed value of the current depth block region and may be obtained by adding the second prediction index and the second residual index.
  • the current depth block may be decoded using the first current depth block region index and the second current depth block region index (S490).
  • the first current depth block region index may be converted and decoded into a restored value of the first current depth block region through a lookup table.
  • the second current depth block region index may be converted and decoded into a restored value of the second current depth block region through a lookup table.
  • the first embodiment decodes the residual index into a residual and then decodes the current depth block by adding the prediction value.
  • the prediction value is indexed, the prediction index and the residual index are added, and then converted to There is a difference in decoding the depth block.
  • FIG. 5 illustrates an example of determining a reference neighboring pixel area of a current depth block as an embodiment to which the present invention is applied.
  • a to p represent pixels in the current depth block
  • A0 to A3 represent top reference neighbor pixels of the current depth block
  • B0 to B3 represent left reference neighbor pixels of the current depth block
  • AB represent current depth blocks. It may represent the upper left reference neighboring pixel of.
  • 5A to 5E illustrate reference neighboring pixel areas determined in correspondence with the intra prediction mode of the current depth block.
  • the reference neighboring pixel area may be determined as the top reference neighboring pixel including A0, A1, A2, and A3.
  • the reference neighboring pixel area may be determined as the left reference neighboring pixel including B0, B1, B2, and B3.
  • FIG. 5C illustrates a reference neighboring pixel region when the intra prediction mode of the current depth block is 45 degrees (lower right direction).
  • the reference neighboring pixel area may be determined as a reference neighboring pixel including A0 to A3, BO to B3, and AB. Alternatively, it may be determined as a reference neighboring pixel including A0 to A2, BO to B2, and AB.
  • FIG. 5D illustrates a reference neighboring pixel area when the intra prediction mode of the current depth block is in the 22.5 degree direction (lower right direction).
  • the reference neighboring pixel area may be determined as a reference neighboring pixel including A0 to A3, BO to B1, and AB.
  • FIG. 5E illustrates a reference neighboring pixel area when the intra prediction mode of the current depth block is in the -22.5 degree direction (lower left direction).
  • the reference neighboring pixel area may be determined as the reference neighboring pixel including A4 to A7 (not shown) as well as A0 to A3.
  • A4 to A7 may represent reference neighboring pixels located on the right side of A3.
  • the intra prediction mode is in the 45 degree direction (the lower right direction), and the reference neighboring pixel areas include A0 to A3, BO to B3, and AB.
  • FIG. 6 illustrates an example of dividing a current depth block into a first current depth block region and a second current depth block region as an embodiment to which the present invention is applied.
  • the reference neighboring pixel region boundary 610 may be determined between pixels having the largest difference in pixel values in the reference neighboring pixel region. For example, when the difference between the pixel values of B0 and B1 among the pixels in the reference neighboring pixel area is greatest, the middle of B0 and B1 may be determined as the reference neighboring pixel area boundary 610.
  • the current depth block dividing line 620 may be determined from the reference neighboring pixel region boundary 610.
  • the current depth block dividing line 620 may represent a line for dividing the current depth block in the same direction as the direction corresponding to the intra prediction mode of the current depth block.
  • FIG. 6B illustrates an example in which a boundary is determined by comparing the center positions of pixels 630 to 670 in the current depth block adjacent to the current depth block dividing line 620 and the current depth block dividing line 620.
  • a pixel in which the center position of the pixels 630 to 650 in the current depth block is above the current depth block dividing line 620 and a center position of the pixels 660 to 670 in the current depth block are the current depth block dividing line 620.
  • the boundary 680 for dividing the current depth block may be determined based on the pixels 630 to 670 divided as illustrated in FIG. 6C.
  • the first current depth block area and the second current depth block area may be determined according to the boundary 680 divided into the current depth blocks.
  • FIG. 7 illustrates an example in which a prediction value of a current depth block is obtained as an embodiment to which the present invention is applied.
  • the first current depth block regions 710, a to h, j, k, l, o, p and the second are as shown in FIG. 7A by the boundary 680 that divides the current depth block.
  • the predicted value of the first current depth block 710 is obtained using pixel values in the first reference neighboring pixel region 730, and the second The prediction value of the current depth block 720 may be obtained using pixel values in the second reference neighboring pixel region 740.
  • the first current depth block region 710 has a mean value 51 of pixel values 50, 51, 54, 48, 50, and 55 included in the first reference neighboring pixel region 730. It can be obtained as a predicted value.
  • 81 which is an average value of pixel values 80, 81, and 82 included in the second reference neighboring pixel region 740 may be obtained as a prediction value.
  • the lookup table may be generated based on the predetermined depth picture. However, when the depth picture used to generate the lookup table and the characteristics of the depth picture that do not affect the generation of the lookup table are different, an inappropriate lookup table may reduce efficiency. To compensate for this problem, the lookup table can be updated periodically during the indexing process. 1) The lookup table may be updated in units of depth pictures, or 2) The lookup table may be updated in depth picture periods coded using intra prediction.
  • the first method of updating the lookup table in units of depth pictures is as follows.
  • the depth value in the depth picture is searched while indexing one depth picture by the lookup table. If the found depth value does not exist in the lookup table, depth index information corresponding to the depth value is added to the lookup table to update the lookup table. In contrast, depth index information existing in the lookup table but not used in the depth picture is removed to update the lookup table.
  • the updated lookup table may be continuously updated in the process of searching for depth values and indexing in depth picture units.
  • the second method is to update the lookup table at picture periods coded with intra prediction. For example, if a picture period coded by intra prediction is 16, the lookup table may be updated for every 16 depth pictures.
  • the updating method may be updated as whether it exists in the lookup table of the depth value indexed in the same manner as the first method.
  • the decoding / encoding device to which the present invention is applied may be provided in a multimedia broadcasting transmission / reception device such as DMB (Digital Multimedia Broadcasting), and may be used to decode video signals and data signals.
  • the multimedia broadcasting transmission / reception apparatus may include a mobile communication terminal.
  • the decoding / encoding method to which the present invention is applied may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and multimedia data having a data structure according to the present invention may also be read by a computer. It can be stored in the recording medium.
  • the computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (eg, transmission over the Internet). It also includes.
  • the bitstream generated by the coding method may be stored in a computer-readable recording medium or transmitted using a wired / wireless communication network.
  • the present invention can be used to code a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호 처리 방법 및 장치에 관한 것으로서, 현재 뎁스 블록의 인트라 예측 모드를 획득하고, 상기 인트라 예측 모드를 이용하여 상기 현재 뎁스 블록에 인접하는 참조 이웃 픽셀 영역을 결정하고, 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역을 결정하고, 상기 현재 뎁스 블록에 포함되는 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정하고, 상기 제 1 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 1 현재 뎁스 블록 영역의 제 1 예측 값을 획득하고, 상기 제 2 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 2 현재 뎁스 블록 영역의 제 2 예측 값을 획득할 수 있다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점 간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 인트라 예측의 방향성을 고려하여 참조 이웃 픽셀 영역 및 현재 뎁스 블록을 각각 두 개의 영역으로 구분하여 현재 뎁스 블록의 예측 값을 획득하는 것을 특징으로 한다.
또한, 본 발명은 현재 뎁스 블록의 예측 값 및 레지듀얼을 룩업 테이블을 이용하여 인덱스화하여 코딩하는 것을 특징으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 현재 뎁스 블록의 예측 값 및 레지듀얼 중 적어도 하나를 인덱스화하여 코딩함으로써 인트라 예측의 복잡도를 줄일 수 있다.
또한, 본 발명은 인트라 예측의 방향성을 이용하여 인트라 예측의 효율을 높일 수 있다.
또한, 본 발명은 기존의 인트라 예측에 관련된 다양한 플래그 정보를 하나의 인트라 예측의 플래그 정보로 간소화할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
도 2는 본 발명이 적용되는 일 실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일 실시예로서, 인트라 예측에 의해 현재 뎁스 블록을 디코딩하는 제 1 실시예에 대한 흐름도를 도시한 것이다.
도 4는 본 발명이 적용되는 일 실시예로서, 인트라 예측에 의해 현재 뎁스 블록을 디코딩하는 제 2 실시예에 대한 흐름도를 도시한 것이다.
도 5는 본 발명이 적용되는 일 실시예로서, 현재 뎁스 블록의 참조 이웃 픽셀 영역을 결정하는 일례를 도시한 것이다.
도 6은 본 발명이 적용되는 일 실시예로서, 현재 뎁스 블록을 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역으로 구분하는 일례를 도시한 것이다.
도 7은 본 발명이 적용되는 일 실시예로서, 현재 뎁스 블록의 예측 값이 획득되는 일례를 도시한 것이다.
본 발명은 현재 뎁스 블록의 인트라 예측 모드를 획득하고, 상기 인트라 예측 모드를 이용하여 상기 현재 뎁스 블록에 인접하는 참조 이웃 픽셀 영역을 결정하고, 상기 참조 이웃 픽셀 영역의 픽셀 값을 이용하여 참조 이웃 픽셀 경계를 결정하고, 상기 참조 이웃 픽셀 경계를 이용하여 상기 참조 이웃 픽셀 영역에 포함되는 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역을 결정하고, 상기 참조 이웃 픽셀 경계를 이용하여 상기 현재 뎁스 블록에 포함되는 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정하고, 상기 제 1 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 1 현재 뎁스 블록 영역의 제 1 예측 값을 획득하고, 상기 제 2 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 2 현재 뎁스 블록 영역의 제 2 예측 값을 획득하는 비디오 신호 처리 방법 및 장치이다.
또한, 본 발명은 상기 제 1 현재 뎁스 블록 영역에 대응되는 제 1 레지듀얼 인덱스 및 상기 제 2 현재 뎁스 블록 영역에 대응되는 제 2 레지듀얼 인덱스를 획득하고, 상기 1 레지듀얼 인덱스를 기결정된 룩업테이블을 이용하여 제 1 레지듀얼로 변환하고, 상기 2 레지듀얼 인덱스를 기결정된 룩업테이블을 이용하여 제 2 레지듀얼로 변환하고, 상기 제 1 예측 값, 제 2 예측 값, 제 1 레지듀얼 및 제 2 레지듀얼을 이용하여 상기 현재 뎁스 블록을 디코딩하는 비디오 신호 처리 방법 및 장치이다.
또한, 본 발명은 상기 제 1 현재 뎁스 블록 영역에 대응되는 제 1 레지듀얼 인덱스 및 상기 제 2 현재 뎁스 블록 영역에 대응되는 제 2 레지듀얼 인덱스를 획득하고, 상기 제 1 예측 값을 기결정된 룩업 테이블을 이용하여 제 1 예측 인덱스로 변환하고, 상기 제 2 예측 값을 기결정된 룩업 테이블을 이용하여 제 2 예측 인덱스로 변환하고, 상기 제 1 레지듀얼 인덱스 및 상기 제 1 예측 인덱스를 이용하여 상기 제 1 현재 뎁스 블록 영역 인덱스를 획득하고, 상기 제 2 레지듀얼 인덱스 및 상기 제 2 예측 인덱스를 이용하여 상기 제 2 현재 뎁스 블록 영역 인덱스를 획득하고, 상기 제 1 현재 뎁스 블록 영역 인덱스 및 상기 제 2 현재 뎁스 블록 영역 인덱스를 이용하여 상기 현재 뎁스 블록을 디코딩하는 비디오 신호 처리 방법 및 장치이다.
또한, 본 발명은 인트라 예측 모드 선택 정보를 획득하고, 상기 인트라 예측 모드 선택 정보를 이용하여 상기 인트라 예측 모드를 획득하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치이다.
또한, 본 발명은 상기 참조 이웃 픽셀 영역 내 이웃한 참조 이웃 픽셀 값의 차이가 가장 큰 픽셀 사이를 상기 참조 이웃 픽셀 경계로 결정하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치이다.
또한, 본 발명은 상기 현재 뎁스 블록에 대응되는 텍스쳐 블록의 인트라 예측 모드를 더 이용하는 것을 특징으로 하는 비디오 신호 처리 방법 및 장치이다.
또한, 본 발명은 상기 제 1 참조 이웃 픽셀 영역의 대표 값은 상기 제 1 참조 이웃 픽셀 영역에 포함되는 픽셀 값의 평균값이고, 상기 제 2 참조 이웃 픽셀 영역의 대표 값은 상기 제 2 참조 이웃 픽셀 영역에 포함되는 픽셀 값의 평균값인 것을 특징으로 하는 비디오 신호 처리 방법 및 장치이다.
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점 간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점 간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 실시예로서, 뎁스 코딩이 적용되는 방송 수신기의 내부 블록도를 나타낸다.
본 실시예에 따른 방송 수신기는 공중파 방송신호를 수신하여 영상을 재생하기 위한 것이다. 상기 방송 수신기는 수신된 뎁스 관련 정보들을 이용하여 3차원 콘텐츠를 생성할 수 있다. 상기 방송 수신기는 튜너(100), 복조/채널 디코더(102), 트랜스포트 역다중화부(104), 패킷 해제부(106), 오디오 디코더(108), 비디오 디코더(110), PSI/PSIP 처리부(114), 3D 렌더링부(116), 포맷터(120) 및 디스플레이부(122)를 포함한다.
튜너(100)는 안테나(미도시)를 통해 입력되는 다수의 방송 신호들 중에서 사용자가 선국한 어느 한 채널의 방송 신호를 선택하여 출력한다. 복조/채널 디코더(102)는 튜너(100)로부터의 방송 신호를 복조하고 복조된 신호에 대하여 에러 정정 디코딩을 수행하여 트랜스포트 스트림(TS)을 출력한다. 트랜스포트 역다중화부(104)는 트랜스포트 스트림을 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. 패킷 해제부(106)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 오디오 디코더(108)는 오디오 ES를 디코딩하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다. 비디오 디코더(110)는 비디오 ES를 디코딩하여 원래의 영상을 복원한다. 상기 오디오 디코더(108) 및 상기 비디오 디코더(110)의 디코딩 과정은 PSI/PSIP 처리부(114)에 의해 확인되는 패킷 ID(PID)를 토대로 진행될 수 있다. 디코딩 과정에서, 상기 비디오 디코더(110)는 뎁스 정보를 추출할 수 있다. 또한, 가상 카메라 시점의 영상을 생성하는데 필요한 부가 정보, 예를 들어, 카메라 정보, 또는 상대적으로 앞에 있는 객체에 의해 가려지는 영역(Occlusion)을 추정하기 위한 정보(예컨대, 객체 윤곽선 등 기하학적 정보, 객체 투명도 정보 및 컬러 정보) 등을 추출하여 3D 렌더링부(116)에 제공할 수 있다. 그러나, 본 발명의 다른 실시예에 있어서는, 상기 뎁스 정보 및/또는 부가 정보가 트랜스포트 역다중화부(104)에 의해 분리될 수도 있다.
PSI/PSIP 처리부(114)는 트랜스포트 역다중화부(104)로부터의 PSI/PSIP 정보를 받아들이고, 이를 파싱하여 메모리(미도시) 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송이 재생되도록 한다. 3D 렌더링부(116)는 복원된 영상, 뎁스 정보, 부가 정보 및 카메라 파라미터를 이용하여, 가상 카메라 위치에서의 컬러 정보, 뎁스 정보 등을 생성할 수 있다.
또한, 3D 렌더링부(116)는 복원된 영상과, 상기 복원된 영상에 대한 뎁스 정보를 이용하여 3D 와핑(Warping)을 수행함으로써, 가상 카메라 위치에서의 가상 영상을 생성한다. 본 실시예에서는 상기 3D 렌더링부(116)가 상기 비디오 디코더(110)와 별개의 블록으로 구성되어 설명되고 있지만, 이는 일실시예에 불과하며, 상기 3D 렌더링부(116)는 상기 비디오 디코더(110)에 포함되어 수행될 수도 있다.
포맷터(120)는 디코딩 과정에서 복원한 영상 즉, 실제 카메라에 의하여 촬영된 영상과, 3D 렌더링부(116)에 의하여 생성된 가상 영상을 해당 수신기에서의 디스플레이 방식에 맞게 포맷팅하여, 디스플레이부(122)를 통해 3D 영상이 표시되도록 하게 된다. 여기서, 상기 3D 렌더링부(116)에 의한 가상 카메라 위치에서의 뎁스 정보 및 가상 영상의 합성, 그리고 포맷터(120)에 의한 영상 포맷팅이 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시)을 조작하여 합성 영상이 표시되지 않도록 할 수도 있고, 영상 합성이 이루어질 시점을 지정할 수도 있다.
상기에서 살펴본 바와 같이, 3D 영상을 생성하기 위해 뎁스 정보는 3D 렌더링부(116)에서 이용되고 있지만, 다른 실시예로서 상기 비디오 디코더(110)에서 이용될 수도 있다. 이하에서는 상기 비디오 디코더(110)에서 뎁스 정보를 이용하는 다양한 실시예들을 살펴보도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 디코더의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 상기 비디오 디코더(110)는 크게 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 디블로킹 필터부(240), 복호 픽쳐 버퍼부(250), 인터 예측부(260) 및 인트라 예측부(270)를 포함할 수 있다. 여기서, 실선은 컬러 픽쳐 데이터의 흐름을 의미하며, 점선은 뎁스 픽쳐 데이터의 흐름을 의미한다. 이와 같이, 상기 도 2에서는 컬러 픽쳐 데이터와 뎁스 픽쳐 데이터를 구분하여 표시하였지만, 이는 별개의 비트스트림을 의미할 수 있고, 또는 하나의 비트스트림 내에서 데이터의 흐름만을 구분한 것으로 볼 수도 있다. 즉, 상기 컬러 픽쳐 데이터와 상기 뎁스 픽쳐 데이터는 하나의 비트스트림, 또는 별개의 비트스트림으로 전송될 수 있고, 도 2에서는 데이터의 흐름을 나타낼 뿐 하나의 디코더 내에서 모두 수행되는 것으로 한정되지 않는다.
먼저, 수신된 뎁스 비트스트림(200)을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 이 때 NAL 헤더 영역, NAL 헤더의 확장 영역, 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트), 시퀀스 헤더의 확장 영역, 픽쳐 헤더 영역(예를 들어, 픽쳐 파라미터 세트), 픽쳐 헤더의 확장 영역, 슬라이스 헤더 영역, 슬라이스 헤더의 확장 영역, 슬라이스 데이터 영역, 또는 매크로 블록 영역에는 뎁스에 관련된 여러 가지 속성 정보가 포함될 수 있다. 뎁스 코딩은 별개의 코덱으로 이용될 수 있지만, 기존 코덱과의 호환을 이루는 경우라면 뎁스 비트스트림인 경우에 한해 뎁스에 관련된 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 시퀀스 헤더 영역(예를 들어, 시퀀스 파라미터 세트) 또는 시퀀스 헤더의 확장 영역에서 뎁스 비트스트림인지 여부를 식별할 수 있는 뎁스 식별 정보를 추가할 수 있다. 상기 뎁스 식별 정보에 따라, 입력된 비트스트림이 뎁스 코딩된 비트스트림일 경우에 한해 뎁스 시퀀스에 대한 속성 정보들을 추가할 수 있다.
파싱된 뎁스 비트스트림(200)은 엔트로피 디코딩부(210)를 통하여 엔트로피 디코딩되고, 각 매크로블록의 계수, 움직임 벡터 등이 추출된다. 역양자화부(220)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 역변환부(230)에서는 상기 계수값을 역변환하여 뎁스 픽쳐의 뎁스 정보를 복원하게 된다. 인트라 예측부(270)에서는 현재 뎁스 픽쳐의 복원된 뎁스 정보를 이용하여 인트라 예측을 수행하게 된다. 한편, 디블로킹 필터부(240)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 디블로킹 필터링을 적용한다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(250)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(250)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 뎁스 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(250)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보도 함께 이용할 수 있다.
또한, 상기 복호 픽쳐 버퍼부(250)는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 뎁스 시점에 대한 정보를 이용할 수 있다. 예를 들어, 뎁스-뷰 참조 정보(depth-view reference information)를 이용할 수 있다. 뎁스-뷰 참조 정보란, 뎁스 픽쳐들의 시점간 의존 관계를 나타내기 위해 이용되는 정보들을 말한다. 예를 들어, 전체 뎁스 시점의 개수, 뎁스 시점 식별 번호, 뎁스-뷰 참조 픽쳐의 개수, 뎁스-뷰 참조 픽쳐의 뎁스 시점 식별 번호 등이 있을 수 있다.
상기 복호 픽쳐 버퍼부(250)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 컬러 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(260)에서 뎁스 코딩을 위해 이용될 수 있다.
도 2를 참조하면, 인터 예측부(260)는 움직임 보상부(261), 가상시점 합성부(262) 및 뎁스 픽쳐 예측부(263)를 포함할 수 있다.
움직임 보상부(261)에서는 엔트로피 디코딩부(210)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 예측값을 획득한다. 상기 움직임 벡터 예측값과 상기 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 뎁스 코딩에 있어서, 현재 뎁스 픽쳐가 다른 시점에 있는 뎁스 픽쳐를 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(250)에 저장되어 있는 뎁스 픽쳐의 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 뎁스 픽쳐의 시점을 식별하는 뎁스 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다.
또한, 가상 시점 합성부(Virtual View Synthesizing Unit)(262)는 현재 컬러 픽쳐의 시점에 이웃하는 시점의 컬러 픽쳐를 이용하여 가상 시점의 컬러 픽쳐를 합성한다. 서로 이웃하는 시점의 컬러 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 컬러 픽쳐들을 이용하기 위해, 상기 컬러 픽쳐의 시점을 나타내는 시점 식별 정보가 이용될 수 있다. 상기 가상 시점의 컬러 픽쳐를 생성할 경우, 상기 가상 시점의 컬러 픽쳐를 생성할지 여부를 지시하는 플래그 정보를 정의할 수 있다. 상기 플래그 정보가 상기 가상 시점의 컬러 픽쳐를 생성할 것을 지시하는 경우, 상기 시점 식별 정보를 이용하여 가상 시점의 컬러 픽쳐를 생성할 수 있다. 상기 가상 시점 합성부(262)를 통해 획득된 가상 시점의 컬러 픽쳐는 레퍼런스 픽쳐로 사용될 수도 있으며, 이 경우 상기 가상 시점의 컬러 픽쳐에도 상기 시점 식별 정보를 할당할 수 있음은 물론이다.
다른 실시예로, 상기 가상 시점 합성부(262)는 현재 뎁스 픽쳐의 시점에 이웃하는 시점에 있는 뎁스 픽쳐를 이용하여 가상 시점의 뎁스 픽쳐를 합성할 수 있다. 마찬가지로, 뎁스 픽쳐의 시점을 나타내기 위해 뎁스 시점 식별 정보가 이용될 수 있다. 여기서, 상기 뎁스 시점 식별 정보는 대응되는 컬러 픽쳐의 시점 식별 정보로부터 유도될 수 있다. 예를 들어, 상기 대응되는 컬러 픽쳐는 현재 뎁스 픽쳐와 동일한 픽쳐 출력 순서 정보 및 동일한 시점 식별 정보를 가질 수 있다.
뎁스 픽쳐 생성부(263)는 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 생성할 수 있다. 여기서, 상기 뎁스 코딩 정보는 카메라와 객체간의 거리를 나타내는 거리 변수(예를 들어, 카메라 좌표계상의 Z좌표값 등), 뎁스 코딩을 위한 매크로블록 타입 정보, 뎁스 픽쳐 내의 경계선 식별 정보, RBSP내의 데이터가 뎁스 코딩된 데이터를 포함하고 있는지 여부를 나타내는 정보, 또는 데이터 타입이 뎁스 픽쳐 데이터인지 컬러 픽쳐 데이터인지 또는 패러렉스 데이터인지 여부를 나타내는 정보 등을 포함할 수 있다. 또한, 상기 뎁스 코딩 정보를 이용하여 현재 뎁스 픽쳐를 예측할 수도 있다. 즉, 현재 뎁스 픽쳐에 이웃하는 뎁스 픽쳐를 이용한 인터 예측이 가능하며, 현재 뎁스 픽쳐내 디코딩된 뎁스 정보를 이용한 인트라 예측이 가능할 것이다.
본 발명에서는 뎁스 픽쳐 생성부(263)에서 뎁스 픽쳐 내 현재 뎁스 블록을 인트라 예측하는 방법 및 인트라 예측을 통해 획득된 현재 뎁스 블록의 예측 값 및 비트스트림으로부터 획득된 레지듀얼 인덱스를 이용하여 현재 뎁스 블록을 디코딩하는 방법에 대해 제안한다.
이하에서는 도 3을 이용하여 본 발명에서 제안하는 인트라 예측의 제 1 실시예에 대해서 설명하도록 한다.
도 3은 본 발명이 적용되는 일 실시예로서, 인트라 예측에 의해 현재 뎁스 블록을 디코딩하는 제 1 실시예에 대한 흐름도를 도시한 것이다.
현재 뎁스 블록의 인트라 예측 모드를 획득할 수 있다(S310). 예를 들어, 인트라 예측 모드 선택 정보(conventional_flag)를 비트스트림으로부터 획득하고, 인트라 예측 모드 선택 정보가 나타내는 인트라 예측 모드를 현재 뎁스 블록의 인트라 예측 모드로 획득할 수 있다. 또는, 현재 뎁스 블록의 인트라 예측 모드는 현재 뎁스 블록에 대응되는 텍스쳐 블록의 인트라 예측 모드를 이용하여 획득될 수 있다. 또는, 현재 뎁스 블록의 인트라 예측 모드는 현재 뎁스 블록에 이웃하는 뎁스 블록의 인트라 예측 모드를 이용하여 획득될 수도 있다.
인트라 예측에 이용되는 참조 이웃 픽셀 영역을 결정할 수 있다(S320). 여기서, 참조 이웃 픽셀 영역은 인트라 예측에 이용되는 적어도 하나의 참조 이웃 픽셀을 포함하는 영역을 나타낸다. 그리고, 참조 이웃 픽셀은 인트라 예측에서 현재 뎁스 블록이 참조하는 픽셀을 나타낼 수 있다. 그리고, 참조 이웃 픽셀은 현재 뎁스 블록에 포함되지 않고, 현재 뎁스 블록에 이웃한 뎁스 블록에 포함되는 픽셀을 나타낼 수 있다.
인트라 예측에 이용되는 참조 이웃 픽셀 영역은 인트라 예측 모드의 방향성에 대응하여 결정될 수 있다. 인트라 예측에 이용되는 참조 이웃 픽셀 영역이 결정되는 실시예에 대해서는 도 5를 참조하여 후술하도록 한다.
참조 이웃 픽셀 영역 내 픽셀 값을 이용하여 참조 이웃 픽셀 경계를 결정할 수 있다(S330). 참조 이웃 픽셀 경계는 참조 이웃 픽셀 영역을 세부 영역으로 구분하는 한계를 나타낼 수 있다. 참조 이웃 픽셀 경계는 참조 이웃 픽셀 영역 내 각 참조 이웃 픽셀 간 픽셀 값의 차이가 가장 큰 참조 이웃 픽셀 사이를 경계로 결정할 수 있다. 참조 이웃 픽셀 경계를 결정하는 실시예에 대해서는 도 6을 참조하여 후술하도록 한다.
참조 이웃 픽셀 경계에 따라서 참조 이웃 픽셀 영역은 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역으로 구분될 수 있다. 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역은 참조 이웃 픽셀 경계에 따라 구분된 참조 이웃 픽셀 영역 내 영역을 나타낼 수 있다.
제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정할 수 있다(S340). 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역은 현재 뎁스 블록에 포함되는 영역으로서, 참조 이웃 픽셀 경계 및 S310단계에서 획득된 인트라 예측 모드를 더 이용하여 획득될 수도 있다. 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역이 결정되는 일례에 대해서는 도 6를 참조하여 후술하도록 한다.
제 1 현재 뎁스 블록 영역의 예측 값 및 제 2 현재 뎁스 블록 영역의 예측 값을 획득할 수 있다 (S350). 제 1 현재 뎁스 블록 영역의 예측 값(이하, 제 1 예측 값이라 한다) 및 제 2 현재 뎁스 블록 영역의 예측 값(이하, 제 2 예측 값이라 한다)은 참조 이웃 픽셀 영역 내 픽셀 값을 이용하여 획득될 수 있다. 예를 들어, 제 1 예측 값은 제 1 참조 이웃 픽셀 영역 내 픽셀 값을 이용하여 획득되고, 제 2 예측 값은 제 2 참조 이웃 픽셀 영역 내 픽셀 값을 이용하여 획득될 수 있다. 제 1 예측 값은 제 1 참조 이웃 픽셀 영역 내 픽셀 값의 평균 값을 이용하여 획득되고, 제 2 예측 값은 제 2 참조 이웃 픽셀 영역 내 포함되는 픽셀 값의 평균 값을 이용하여 획득될 수 있다. 또는, 제 1 예측 값은 제 1 현재 뎁스 블록 영역 내 각 픽셀이 가장 가까운 제 1 참조 이웃 픽셀 영역의 픽셀을 이용하여 획득되고, 제 2 예측 값은 제 2 현재 뎁스 블록 영역 내 각 픽셀이 가장 가까운 제 2 참조 이웃 픽셀 영역의 픽셀을 이용하여 획득될 수 있다. 또는, 제 1 예측 값 및 제 2 예측 값은 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역의 각 픽셀로부터 점진적으로 증가/감소하여 획득될 수 있다.
제 1 레지듀얼 인덱스 및 제 2 레지듀얼 인덱스를 획득할 수 있다(S360). 제 1 레지듀얼 인덱스는 제 1 현재 뎁스 블록 영역의 원 영상의 픽셀 값과 제 1 현재 뎁스 블록 영역의 예측 영상의 예측 값의 차이인 레지듀얼을 변환한 것을 나타낸다. 그리고, 제 2 레지듀얼 인덱스는 제 2 현재 뎁스 블록 영역의 원 영상의 픽셀 값과 제 2 현재 뎁스 블록 영역의 예측 영상의 예측 값의 차이인 레지듀얼을 인덱스로 변환한 것을 나타낸다. 제 1 레지듀얼 인덱스 및 제 2 레지듀얼 인덱스는 인코더로부터 전송되고, 비트스트림으로부터 획득될 수 있다.
룩업 테이블(lookup table)을 이용하여 제 1 레지듀얼 및 제 2 레지듀얼을 획득할 수 있다(S370). 제 1 레지듀얼은 제 1 현재 뎁스 블록 영역의 원 영상의 픽셀 값과 제 1 현재 뎁스 블록 영역의 예측 영상의 예측 값의 차이로서, 제 1 레지듀얼 인덱스를 룩업 테이블을 이용하여 변환하여 획득될 수 있다. 제 2 레지듀얼은 제 2 현재 뎁스 블록 영역의 원 영상의 픽셀 값과 제 2 현재 뎁스 블록 영역의 예측 영상의 예측 값의 차이로서, 제 2 레지듀얼 인덱스를 룩업 테이블을 이용하여 변환하여 획득될 수 있다. 여기서, 룩업 테이블은 레지듀얼을 레지듀얼 인덱스로 또는 레지듀얼 인덱스를 레지듀얼로 변환하기 위한 표로서, 인코더로부터 전송되거나 디코더에서 생성될 수 있다.
제 1 예측 값, 제 2 예측 값, 제 1 레지듀얼 및 제 2 레지듀얼을 이용하여 현재 뎁스 블록을 디코딩할 수 있다(S380). 예를 들어, 제 1 예측 값 및 제 1 레지듀얼을 더하여 제 1 현재 뎁스 블록 영역을 디코딩하고, 제 2 예측 값 및 제 2 레지듀얼을 더하여 제 2 현재 뎁스 블록 영역을 디코딩할 수 있다.
이하에서는 도 4을 이용하여 본 발명에서 제안하는 인트라 예측의 제 2 실시예에 대해서 설명하도록 한다.
도 4는 본 발명이 적용되는 일 실시예로서, 인트라 예측에 의해 현재 뎁스 블록을 디코딩하는 제 2 실시예에 대한 흐름도를 도시한 것이다.
S410 내지 S450 단계는 도 3에서 설명한 S310단계 내지 S350 단계에 대응되므로, 자세한 설명은 생략하도록 한다.
제 1 예측 인덱스 및 제 2 예측 인덱스를 획득할 수 있다(S460). 제 1 예측 인덱스는 제 1 현재 뎁스 블록 영역의 예측 영상의 예측 값을 인덱스화한 것으로서, 룩업 테이블을 통해 제 1 예측 값을 변환하여 획득될 수 있다. 제 2 예측 인덱스는 제 2 현재 뎁스 블록 영역의 예측 영상의 예측 값을 인덱스화한 것으로서, 룩업 테이블을 통해 제 2 예측 값을 변환하여 획득될 수 있다.
제 1 레지듀얼 인덱스 및 제 2 레지듀얼 인덱스를 획득할 수 있다(S470). 본 단계는 도 3에서 설명한 S360 단계에 대응된다.
제 1 현재 뎁스 블록 영역 인덱스 및 제 2 현재 뎁스 블록 영역 인덱스를 획득할 수 있다(S480). 제 1 현재 뎁스 블록 영역 인덱스는 현재 뎁스 블록 영역의 복원된 값에 대응되는 인덱스로, 제 1 예측 인덱스와 제 1 레지듀얼 인덱스를 합하여 획득될 수 있다. 제 2 현재 뎁스 블록 영역 인덱스는 현재 뎁스 블록 영역의 복원된 값에 대응되는 인덱스로, 제 2 예측 인덱스와 제 2 레지듀얼 인덱스를 합하여 획득될 수 있다.
제 1 현재 뎁스 블록 영역 인덱스 및 제 2 현재 뎁스 블록 영역 인덱스를 이용하여 현재 뎁스 블록을 디코딩할 수 있다(S490). 제 1 현재 뎁스 블록 영역 인덱스를 룩업 테이블을 통해 제 1 현재 뎁스 블록 영역의 복원된 값으로 변환하여 디코딩할 수 있다. 또한, 제 2 현재 뎁스 블록 영역 인덱스를 룩업 테이블을 통해 제 2 현재 뎁스 블록 영역의 복원된 값으로 변환하여 디코딩할 수 있다.
제 1 실시예는 레지듀얼 인덱스를 레지듀얼로 변환한 뒤 예측 값과 더하여 현재 뎁스 블록을 디코딩하나, 제 2 실시예는 예측 값은 인덱스화하고, 예측 인덱스와 레지듀얼 인덱스를 더한 뒤 변환하여 현재 뎁스 블록을 디코딩하는 것에 차이가 있다.
이하에서는, 도 5를 참조하여 S320 단계 및 S420 단계의 참조 이웃 픽셀 영역을 결정하는 일례에 대해 설명하도록 한다.
도 5는 본 발명이 적용되는 일 실시예로서, 현재 뎁스 블록의 참조 이웃 픽셀 영역을 결정하는 일례를 도시한 것이다.
도 5에서 a~p는 현재 뎁스 블록 내 픽셀을 나타내고, A0~A3은 현재 뎁스 블록의 상단 참조 이웃 픽셀을 나타내고, B0~B3은 현재 뎁스 블록의 좌측 참조 이웃 픽셀을 나타내고, AB는 현재 뎁스 블록의 좌측상단 참조 이웃 픽셀을 나타낼 수 있다.
도 5의 (a) 내지 (e)는 현재 뎁스 블록의 인트라 예측 모드에 대응하여 결정된 참조 이웃 픽셀 영역을 도시한 것이다.
도 5의 (a)는 현재 뎁스 블록의 인트라 예측 모드가 수직 방향인 경우 참조 이웃 픽셀 영역을 나타낸 것이다. 현재 뎁스 블록의 인트라 예측 모드가 수직 방향인 경우, 참조 이웃 픽셀 영역은 A0, A1, A2 및 A3을 포함하는 상단 참조 이웃 픽셀로 결정될 수 있다.
도 5의 (b)는 현재 뎁스 블록의 인트라 예측 모드가 수평 방향인 경우 참조 이웃 픽셀 영역을 나타낸 것이다. 현재 뎁스 블록의 인트라 예측 모드가 수평 방향인 경우, 참조 이웃 픽셀 영역은 B0, B1, B2 및 B3을 포함하는 좌측 참조 이웃 픽셀로 결정될 수 있다.
도 5의 (c)는 현재 뎁스 블록의 인트라 예측 모드가 45도 방향(우측하단 방향)인 경우 참조 이웃 픽셀 영역을 나타낸 것이다. 현재 뎁스 블록의 인트라 예측 모드가 45도 방향인 경우, 참조 이웃 픽셀 영역은 A0 내지 A3, BO 내지 B3 및 AB을 포함하는 참조 이웃 픽셀로 결정될 수 있다. 또는, A0 내지 A2, BO 내지 B2 및 AB을 포함하는 참조 이웃 픽셀로 결정될 수도 있다.
도 5의 (d)는 현재 뎁스 블록의 인트라 예측 모드가 22.5도 방향(우측하단 방향)인 경우 참조 이웃 픽셀 영역을 나타낸 것이다. 현재 뎁스 블록의 인트라 예측 모드가 22.5도 방향인 경우, 참조 이웃 픽셀 영역은 A0 내지 A3, BO 내지 B1 및 AB을 포함하는 참조 이웃 픽셀로 결정될 수 있다.
도 5의 (e)는 현재 뎁스 블록의 인트라 예측 모드가 -22.5도 방향(좌측하단 방향)인 경우 참조 이웃 픽셀 영역을 나타낸 것이다. 현재 뎁스 블록의 인트라 예측 모드가 -22.5도 방향인 경우, 참조 이웃 픽셀 영역은 A0 내지 A3뿐만 아니라 A4 내지 A7(미도시)을 포함하는 참조 이웃 픽셀로 결정될 수 있다. 여기서, A4 내지 A7은 A3의 우측에 위치한 참조 이웃 픽셀을 나타낼 수 있다.
아래에서는 도 6 내지 도 7을 참조하여 도 3 내지 도 4에서 설명한 인트라 예측의 실시예에 대해서 자세히 설명하도록 한다. 도 6 내지 도 7에서는 인트라 예측 모드가 45도 방향(우측 하단 방향)이고, 참조 이웃 픽셀 영역이 A0 내지 A3, BO 내지 B3 및 AB을 포함하는 것을 가정하고 설명하도록 한다.
이하에서는, 도 6을 참조하여 현재 뎁스 블록 내부를 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역으로 구분하는 일례에 대해 설명하도록 한다.
도 6은 본 발명이 적용되는 일 실시예로서, 현재 뎁스 블록을 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역으로 구분하는 일례를 도시한 것이다.
도 6의 (a)는 현재 뎁스 블록의 인트라 예측 모드 및 S330 단계 또는 S430 단계에서 결정된 참조 이웃 픽셀 영역 경계(610)를 도시하고 있다. 참조 이웃 픽셀 영역 경계(610)은 참조 이웃 픽셀 영역 내 픽셀 값의 차이가 가장 큰 픽셀 사이로 결정될 수 있다. 예를 들어, 참조 이웃 픽셀 영역 내 픽셀 중 B0와 B1의 픽셀 값의 차이가 가장 큰 경우, B0와 B1의 중간을 참조 이웃 픽셀 영역 경계(610)로 결정할 수 있다. 그리고, 참조 이웃 픽셀 영역 경계(610)로부터 현재 뎁스 블록 구분선(620)을 결정할 수 있다. 현재 뎁스 블록 구분선(620)은 현재 뎁스 블록의 인트라 예측 모드에 대응되는 방향과 동일한 방향으로 현재 뎁스 블록을 구분하는 선을 나타낼 수 있다.
도 6의 (b)는 현재 뎁스 블록 구분선(620)과 현재 뎁스 블록 구분선(620)에 인접한 현재 뎁스 블록 내 픽셀(630 내지 670)의 중앙 위치를 비교하여 경계를 결정하는 일례를 도시하고 있다. 예를 들어, 현재 뎁스 블록 내 픽셀(630 내지 650)의 중앙 위치가 현재 뎁스 블록 구분선(620) 상단에 있는 픽셀 및 현재 뎁스 블록 내 픽셀(660 내지 670)의 중앙 위치가 현재 뎁스 블록 구분선(620) 하단에 있는 픽셀로 구분할 수 있다.
그리고, 도 6의 (c)와 같이 구분된 픽셀(630 내지 670)을 기준으로 현재 뎁스 블록을 구분하는 경계(680)을 결정할 수 있다. 현재 뎁스 블록으로 구분하는 경계(680)에 따라 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정할 수 있다.
이하에서는 도 7을 참조하여 참조 이웃 픽셀을 이용하여 현재 뎁스 블록의 예측 값이 획득되는 일례를 설명하도록 한다.
도 7은 본 발명이 적용되는 일 실시예로서, 현재 뎁스 블록의 예측 값이 획득되는 일례를 도시한 것이다.
예를 들어, 현재 뎁스 블록을 구분하는 경계(680)에 의해 도 7의 (a)와 같이 제 1 현재 뎁스 블록 영역(710, a 내지 h, j, k, l, o, p) 및 제 2 현재 뎁스 블록 영역(720, i, m, n)으로 구분되는 경우, 제 1 현재 뎁스 블록(710)의 예측 값은 제 1 참조 이웃 픽셀 영역(730) 내 픽셀 값을 이용하여 획득되고, 제 2 현재 뎁스 블록(720)의 예측 값은 제 2 참조 이웃 픽셀 영역(740) 내 픽셀 값을 이용하여 획득될 수 있다.
도 7의 (b)와 같이 제 1 현재 뎁스 블록 영역(710)은 제 1 참조 이웃 픽셀 영역(730)에 포함된 픽셀 값(50, 51, 54, 48, 50, 55)의 평균 값인 51이 예측 값으로 획득될 수 있다. 또한, 제 2 현재 뎁스 블록 영역(720)은 제 2 참조 이웃 픽셀 영역(740)에 포함된 픽셀 값(80, 81, 82)의 평균 값인 81이 예측 값으로 획득될 수 있다.
이하에서는, 디코더에서 룩업 테이블을 생성하는 경우, 룩업 테이블이 생성되는 일례에 대하여 설명하도록 한다.
룩업 테이블은 기결정된 뎁스 픽쳐를 기초로 하여 생성될 수 있다. 그런데, 룩업 테이블을 생성하기 위해 사용되는 뎁스 픽쳐와 룩업 테이블의 생성에 영향을 주지 않은 뎁스 픽쳐의 특성이 다른 경우 적절하지 않은 룩업 테이블은 효율을 저하시킬 수 있다. 이러한 문제점을 보완하기 위해 인덱스화 과정에서 주기적으로 룩업 테이블을 업데이트할 수 있다. 1) 뎁스 픽쳐 단위로 룩업 테이블을 업데이트하거나 2) 인트라 예측을 이용하여 코딩되는 뎁스 픽쳐 주기로 룩업 테이블을 업데이트할 수 있다.
첫번째 방법으로 뎁스 픽쳐 단위로 룩업 테이블을 업데이트하는 방법은 다음과 같다. 하나의 뎁스 픽쳐를 룩업 테이블에 의해 인덱스화하면서 뎁스 픽쳐 내 뎁스 값을 탐색한다. 그리고, 탐색된 뎁스 값이 룩업 테이블에 없는 경우 뎁스 값에 대응되는 뎁스 인덱스 정보를 룩업 테이블에 추가하여 룩업 테이블을 업데이트한다. 반대로, 룩업 테이블에는 존재하나 뎁스 픽쳐에서 이용되지 않은 뎁스 인덱스 정보는 이를 제거하여 룩업 테이블을 업데이트한다. 업데이트된 룩업 테이블은 뎁스 픽쳐 단위로 뎁스 값을 탐색하고 인덱스화되는 과정에서 계속하여 업데이트될 수 있다.
두번째 방법은 인트라 예측으로 코딩되는 픽쳐 주기로 룩업 테이블을 업데이트하는 방법은 다음과 같다. 예를 들어, 인트라 예측으로 코딩되는 픽쳐 주기가 16이면 16개의 뎁스 픽쳐마다 룩업 테이블을 업데이트할 수 있다. 업데이트하는 방법은 첫번째 방법과 동일하게 인덱스화되는 뎁스 값의 룩업 테이블 내 존재하는지 여부로서 업데이트될 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (14)

  1. 현재 뎁스 블록의 인트라 예측 모드를 획득하는 단계;
    상기 인트라 예측 모드를 이용하여 상기 현재 뎁스 블록에 인접하는 참조 이웃 픽셀 영역을 결정하는 단계;
    상기 참조 이웃 픽셀 영역의 픽셀 값을 이용하여 참조 이웃 픽셀 경계를 결정하는 단계;
    상기 참조 이웃 픽셀 경계를 이용하여 상기 참조 이웃 픽셀 영역에 포함되는 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역을 결정하는 단계;
    상기 참조 이웃 픽셀 경계를 이용하여 상기 현재 뎁스 블록에 포함되는 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정하는 단계;
    상기 제 1 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 1 현재 뎁스 블록 영역의 제 1 예측 값을 획득하는 단계; 및
    상기 제 2 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 2 현재 뎁스 블록 영역의 제 2 예측 값을 획득하는 단계를 포함하는 비디오 신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 제 1 현재 뎁스 블록 영역에 대응되는 제 1 레지듀얼 인덱스 및 상기 제 2 현재 뎁스 블록 영역에 대응되는 제 2 레지듀얼 인덱스를 획득하는 단계;
    상기 1 레지듀얼 인덱스를 기결정된 룩업테이블을 이용하여 제 1 레지듀얼로 변환하는 단계;
    상기 2 레지듀얼 인덱스를 기결정된 룩업테이블을 이용하여 제 2 레지듀얼로 변환하는 단계; 및
    상기 제 1 예측 값, 제 2 예측 값, 제 1 레지듀얼 및 제 2 레지듀얼을 이용하여 상기 현재 뎁스 블록을 디코딩하는 단계를 더 포함하는 비디오 신호 처리 방법.
  3. 제 1 항에 있어서,
    상기 제 1 현재 뎁스 블록 영역에 대응되는 제 1 레지듀얼 인덱스 및 상기 제 2 현재 뎁스 블록 영역에 대응되는 제 2 레지듀얼 인덱스를 획득하는 단계;
    상기 제 1 예측 값을 기결정된 룩업 테이블을 이용하여 제 1 예측 인덱스로 변환하는 단계;
    상기 제 2 예측 값을 기결정된 룩업 테이블을 이용하여 제 2 예측 인덱스로 변환하는 단계;
    상기 제 1 레지듀얼 인덱스 및 상기 제 1 예측 인덱스를 이용하여 상기 제 1 현재 뎁스 블록 영역 인덱스를 획득하는 단계;
    상기 제 2 레지듀얼 인덱스 및 상기 제 2 예측 인덱스를 이용하여 상기 제 2 현재 뎁스 블록 영역 인덱스를 획득하는 단계;
    상기 제 1 현재 뎁스 블록 영역 인덱스 및 상기 제 2 현재 뎁스 블록 영역 인덱스를 이용하여 상기 현재 뎁스 블록을 디코딩하는 단계를 더 포함하는 비디오 신호 처리 방법.
  4. 제 1 항에 있어서,
    인트라 예측 모드 선택 정보를 획득하는 단계를 더 포함하고,
    상기 현재 뎁스 블록에의 인트라 예측 모드를 획득하는 단계는 상기 인트라 예측 모드 선택 정보를 이용하여 상기 인트라 예측 모드를 획득하는 것을 특징으로 하는 비디오 신호 처리 방법.
  5. 제 1 항에 있어서,
    상기 참조 이웃 픽셀 영역의 픽셀 값을 이용하여 참조 이웃 픽셀 경계를 결정하는 단계는,
    상기 참조 이웃 픽셀 영역 내 이웃한 참조 이웃 픽셀 값의 차이가 가장 큰 픽셀 사이를 상기 참조 이웃 픽셀 경계로 결정하는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 1 항에 있어서,
    상기 참조 이웃 픽셀 경계를 이용하여 상기 현재 뎁스 블록에 포함되는 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정하는 단계는,
    상기 현재 뎁스 블록에 대응되는 텍스쳐 블록의 인트라 예측 모드를 더 이용하는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 1 항에 있어서,
    상기 제 1 참조 이웃 픽셀 영역의 대표 값은 상기 제 1 참조 이웃 픽셀 영역에 포함되는 픽셀 값의 평균값이고,
    상기 제 2 참조 이웃 픽셀 영역의 대표 값은 상기 제 2 참조 이웃 픽셀 영역에 포함되는 픽셀 값의 평균값인 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 현재 뎁스 블록의 인트라 예측 모드를 획득하고, 상기 인트라 예측 모드를 이용하여 상기 현재 뎁스 블록에 인접하는 참조 이웃 픽셀 영역을 결정하고, 상기 참조 이웃 픽셀 영역의 픽셀 값을 이용하여 참조 이웃 픽셀 경계를 결정하고, 상기 참조 이웃 픽셀 경계를 이용하여 상기 참조 이웃 픽셀 영역에 포함되는 제 1 참조 이웃 픽셀 영역 및 제 2 참조 이웃 픽셀 영역을 결정하고, 상기 참조 이웃 픽셀 경계를 이용하여 상기 현재 뎁스 블록에 포함되는 제 1 현재 뎁스 블록 영역 및 제 2 현재 뎁스 블록 영역을 결정하고, 상기 제 1 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 1 현재 뎁스 블록 영역의 제 1 예측 값을 획득하고, 상기 제 2 참조 이웃 픽셀 영역의 대표 값을 이용하여 상기 제 2 현재 뎁스 블록 영역의 제 2 예측 값을 획득하는 뎁스 픽쳐 생성부를 포함하는 비디오 신호 처리 장치.
  9. 제 8 항에 있어서,
    상기 뎁스 픽쳐 생성부는 상기 제 1 현재 뎁스 블록 영역에 대응되는 제 1 레지듀얼 인덱스 및 상기 제 2 현재 뎁스 블록 영역에 대응되는 제 2 레지듀얼 인덱스를 획득하고, 상기 1 레지듀얼 인덱스를 기결정된 룩업테이블을 이용하여 제 1 레지듀얼로 변환하고, 상기 2 레지듀얼 인덱스를 기결정된 룩업테이블을 이용하여 제 2 레지듀얼로 변환하고, 상기 제 1 예측 값, 제 2 예측 값, 제 1 레지듀얼 및 제 2 레지듀얼을 이용하여 상기 현재 뎁스 블록을 디코딩하는 것을 특징으로 하는 비디오 신호 처리 장치.
  10. 제 8 항에 있어서,
    상기 뎁스 픽쳐 생성부는 상기 제 1 현재 뎁스 블록 영역에 대응되는 제 1 레지듀얼 인덱스 및 상기 제 2 현재 뎁스 블록 영역에 대응되는 제 2 레지듀얼 인덱스를 획득하고, 상기 제 1 예측 값을 기결정된 룩업 테이블을 이용하여 제 1 예측 인덱스로 변환하고, 상기 제 2 예측 값을 기결정된 룩업 테이블을 이용하여 제 2 예측 인덱스로 변환하고, 상기 제 1 레지듀얼 인덱스 및 상기 제 1 예측 인덱스를 이용하여 상기 제 1 현재 뎁스 블록 영역 인덱스를 획득하고, 상기 제 2 레지듀얼 인덱스 및 상기 제 2 예측 인덱스를 이용하여 상기 제 2 현재 뎁스 블록 영역 인덱스를 획득하고, 상기 제 1 현재 뎁스 블록 영역 인덱스 및 상기 제 2 현재 뎁스 블록 영역 인덱스를 이용하여 상기 현재 뎁스 블록을 디코딩하는 것을 특징으로 하는 비디오 신호 처리 장치.
  11. 제 8 항에 있어서,
    상기 뎁스 픽쳐 생성부는 인트라 예측 모드 선택 정보를 획득하고, 상기 인트라 예측 모드 선택 정보를 이용하여 상기 인트라 예측 모드를 획득하는 것을 특징으로 하는 비디오 신호 처리 장치.
  12. 제 8 항에 있어서,
    상기 뎁스 픽쳐 생성부는 상기 참조 이웃 픽셀 영역 내 이웃한 참조 이웃 픽셀 값의 차이가 가장 큰 픽셀 사이를 상기 참조 이웃 픽셀 경계로 결정하는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제 8 항에 있어서,
    상기 뎁스 픽쳐 생성부는 상기 현재 뎁스 블록에 대응되는 텍스쳐 블록의 인트라 예측 모드를 더 이용하는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제 8 항에 있어서,
    상기 제 1 참조 이웃 픽셀 영역의 대표 값은 상기 제 1 참조 이웃 픽셀 영역에 포함되는 픽셀 값의 평균값이고,
    상기 제 2 참조 이웃 픽셀 영역의 대표 값은 상기 제 2 참조 이웃 픽셀 영역에 포함되는 픽셀 값의 평균값인 것을 특징으로 하는 비디오 신호 처리 장치.
PCT/KR2014/003134 2013-04-11 2014-04-11 비디오 신호 처리 방법 및 장치 WO2014168445A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020157027969A KR101783617B1 (ko) 2013-04-11 2014-04-11 비디오 신호 처리 방법 및 장치
US14/782,440 US20160050438A1 (en) 2013-04-11 2014-04-11 Video signal processing method and device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361810716P 2013-04-11 2013-04-11
US61/810,716 2013-04-11
US201361856039P 2013-07-18 2013-07-18
US61/856,039 2013-07-18

Publications (1)

Publication Number Publication Date
WO2014168445A1 true WO2014168445A1 (ko) 2014-10-16

Family

ID=51689780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/003134 WO2014168445A1 (ko) 2013-04-11 2014-04-11 비디오 신호 처리 방법 및 장치

Country Status (3)

Country Link
US (1) US20160050438A1 (ko)
KR (1) KR101783617B1 (ko)
WO (1) WO2014168445A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547783B (zh) * 2018-10-26 2021-01-19 陈德钱 基于帧内预测的视频压缩方法及其设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019644A (ko) * 2009-08-20 2011-02-28 광주과학기술원 깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치
KR20120084629A (ko) * 2011-01-20 2012-07-30 삼성전자주식회사 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
KR20120135296A (ko) * 2010-03-30 2012-12-12 후지쯔 가부시끼가이샤 화상 처리 장치 및 화상 처리 방법
KR20130005233A (ko) * 2011-07-05 2013-01-15 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
JP2013012840A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置および方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101149441B1 (ko) * 2009-09-28 2012-06-27 대한민국 폐대두유의 대두 증류 지방산을 포함하는 사료첨가물
EP2750384B1 (en) * 2011-09-21 2020-07-22 LG Electronics Inc. Intra prediction method and an apparatus for decoding an image
US10271034B2 (en) * 2013-03-05 2019-04-23 Qualcomm Incorporated Simplified depth coding
US20160050419A1 (en) * 2013-03-22 2016-02-18 Xin Zhao Depth modeling modes for depth map intra coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019644A (ko) * 2009-08-20 2011-02-28 광주과학기술원 깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치
KR20120135296A (ko) * 2010-03-30 2012-12-12 후지쯔 가부시끼가이샤 화상 처리 장치 및 화상 처리 방법
KR20120084629A (ko) * 2011-01-20 2012-07-30 삼성전자주식회사 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
JP2013012840A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置および方法
KR20130005233A (ko) * 2011-07-05 2013-01-15 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법

Also Published As

Publication number Publication date
KR101783617B1 (ko) 2017-10-10
US20160050438A1 (en) 2016-02-18
KR20160009535A (ko) 2016-01-26

Similar Documents

Publication Publication Date Title
WO2010087589A2 (ko) 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
KR101619448B1 (ko) 영상 신호 처리 방법 및 장치
WO2014107083A1 (ko) 비디오 신호 처리 방법 및 장치
US20110222602A1 (en) Method and device for processing a video signal using inter-view prediction
WO2014107029A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014168443A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
US20220377319A1 (en) Prediction weighted table-based image/video coding method and apparatus
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
US20230328269A1 (en) Image/video coding method and apparatus based on inter prediction
WO2014073873A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014077573A2 (ko) 비디오 신호 처리 방법 및 장치
KR20080055685A (ko) 비디오 신호의 디코딩 방법 및 장치
WO2014168445A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014042459A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014168411A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014109563A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009092A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020009375A1 (ko) 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14782553

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157027969

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14782553

Country of ref document: EP

Kind code of ref document: A1