WO2013051897A1 - 영상 부호화 방법과 영상 복호화 방법 - Google Patents

영상 부호화 방법과 영상 복호화 방법 Download PDF

Info

Publication number
WO2013051897A1
WO2013051897A1 PCT/KR2012/008098 KR2012008098W WO2013051897A1 WO 2013051897 A1 WO2013051897 A1 WO 2013051897A1 KR 2012008098 W KR2012008098 W KR 2012008098W WO 2013051897 A1 WO2013051897 A1 WO 2013051897A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
unit
layer
signal
image
Prior art date
Application number
PCT/KR2012/008098
Other languages
English (en)
French (fr)
Inventor
이하현
강정원
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120099969A external-priority patent/KR20130037162A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/350,267 priority Critical patent/US20140286434A1/en
Publication of WO2013051897A1 publication Critical patent/WO2013051897A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Definitions

  • the present invention relates to an image encoding and decoding method, and more particularly, to an inter-layer texture prediction method for scalable video coding (SVC), and an apparatus using the same.
  • SVC scalable video coding
  • the supporting performance is also diversified by device.
  • the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information.
  • the user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided by the enterprise to the user is also diversified.
  • Ultra High Definition which has four times the resolution of HDTV
  • HDTV High Definition
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture
  • An intra prediction technique for predicting a value an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
  • the quality, size, frame, etc. of the supported image need to be diversified accordingly.
  • An object of the present invention is to provide a method and apparatus for differently selecting positions of reference reconstruction sample signals of a reference layer when performing encoding / decoding of an enhancement layer in an SVC.
  • An object of the present invention is to provide a method and apparatus for performing prediction for a target unit of an enhancement layer by using a sample signal obtained by applying filtering and / or an offset to reference reconstructed sample signals in an SVC as a prediction signal or a reconstruction signal. do.
  • An object of the present invention is to provide a method and apparatus for skipping encoding a difference signal or minimizing a difference signal by applying a filtering or offset that minimizes an error between a reference reconstructed sample signal and an original signal in an SVC. do.
  • An object of the present invention is to provide a method and apparatus for improving coding efficiency in SVC.
  • An embodiment of the present invention is a scalable image coding method, comprising: determining a position of a corresponding sample in a reference layer, reconstructing a sample of a reference unit in a reference layer specified by the corresponding sample, and then receiving a reference sample signal. Generating and encoding a difference signal between the sample signal of the current unit of the enhancement layer and the reference sample signal, wherein the corresponding sample is a sample of the reference layer corresponding to the reference sample specifying the current unit.
  • the position of the corresponding sample may be determined by scaling the position of the corresponding sample according to an image size ratio of the reference layer and the enhancement layer.
  • the height component of the corresponding sample position may be scaled according to the height ratio of the reference layer image and the enhancement layer image, and the width component of the corresponding sample position is determined by the width ratio of the reference layer image and the enhancement layer image. Can be scaled accordingly.
  • the size of the reference unit may be scaled according to an image size ratio of the reference layer and the enhancement layer.
  • the height of the reference unit may be scaled according to the height ratio of the reference layer image and the enhancement layer image
  • the width of the reference unit may be scaled according to the width ratio of the reference layer image and the enhancement layer image.
  • a reference sample signal may be generated by scaling the reconstructed sample according to a shape size ratio of the reference layer and the enhancement layer.
  • the reference sample signal may be generated by reconstructing a sample of the reference unit and applying filtering.
  • the filter coefficient used for the filtering may be a filter coefficient for minimizing the difference signal.
  • the reference sample signal may be generated by applying an offset after restoring the sample of the reference unit.
  • the offset may be an offset that minimizes the difference signal.
  • Another embodiment of the present invention is a scalable image decoding method, comprising: deriving a position of a corresponding sample in a reference layer, reconstructing a sample of a reference unit in a reference layer specified by the corresponding sample, to obtain a reference sample signal Generating and reconstructing a sample signal of a current unit in an enhancement layer based on the difference signal received from the encoder and the reference sample signal, wherein the corresponding sample corresponds to a reference sample that specifies the current unit.
  • Sample of the hierarchy comprising: deriving a position of a corresponding sample in a reference layer, reconstructing a sample of a reference unit in a reference layer specified by the corresponding sample, to obtain a reference sample signal Generating and reconstructing a sample signal of a current unit in an enhancement layer based on the difference signal received from the encoder and the reference sample signal, wherein the corresponding sample corresponds to a reference sample that specifies the current unit.
  • the position of the corresponding sample may be derived by scaling the position of the corresponding sample according to an image size ratio of the reference layer and the enhancement layer.
  • the height component of the corresponding sample position may be scaled according to the height ratio of the reference layer image and the enhancement layer image, and the width component of the corresponding sample position is determined by the width ratio of the reference layer image and the enhancement layer image. Can be scaled accordingly.
  • the size of the reference unit may be scaled according to an image size ratio of the reference layer and the enhancement layer.
  • the height of the reference unit may be scaled according to the height ratio of the reference layer image and the enhancement layer image
  • the width of the reference unit may be scaled according to the width ratio of the reference layer image and the enhancement layer image.
  • a reference sample signal may be generated by scaling the reconstructed sample according to a shape size ratio of the reference layer and the enhancement layer.
  • the reference sample signal may be generated by reconstructing a sample of the reference unit and applying filtering.
  • the filtering may be performed based on an image size ratio of the reference layer and the enhancement layer, and the filtered reconstructed sample may be scaled according to an image size ratio of the reference layer and the enhancement layer.
  • the reference sample signal may be generated by applying an offset after restoring the sample of the reference unit.
  • the offset may be applied based on an image size ratio of the reference layer and the enhancement layer, and the reconstructed sample to which the offset is applied may be scaled according to an image size ratio of the reference layer and the enhancement layer.
  • a position for obtaining a reference reconstruction sample signal of a reference layer may be differently selected. As a result, complexity and coding efficiency can be improved.
  • the differential signal can be reduced by applying filtering or adding an offset to minimize the error between the reference reconstructed sample signal and the original sample signal.
  • the present invention by applying filtering or adding an offset to minimize the error between the reference reconstructed sample signal and the original sample signal, it is possible to omit the encoding process of the differential signal and to increase the coding efficiency.
  • FIG. 1 is a block diagram illustrating a basic configuration of an encoding apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating a basic configuration of a decoding apparatus according to an embodiment.
  • FIG. 3 is a conceptual diagram schematically showing an embodiment of an SVC structure using multiple layers to which the present invention is applied.
  • FIG. 4 is a flowchart schematically illustrating a method in which an encoding apparatus performs encoding of an enhancement layer according to the present invention.
  • FIG. 5 is a diagram schematically illustrating an example of a method of determining a reference sample of a current unit and a method of specifying a unit of a reference layer using the same.
  • FIG. 6 is a flowchart schematically illustrating an example of a method of applying an in-loop filter.
  • FIG. 7 is a flowchart schematically illustrating a method of decoding an enhancement layer by a decoding apparatus according to the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • FIG. 1 is a block diagram illustrating a basic configuration of an encoding apparatus according to an embodiment.
  • the encoding apparatus 100 may include an inter predictor 110, an intra predictor 120, a switch 125, a subtractor 130, a transformer 135, a quantizer 140, and entropy encoding.
  • the unit 150 includes an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a picture buffer 190.
  • the encoding apparatus 100 may encode the input image in an intra mode or an inter mode and output a bitstream. In the intra mode, the switch 125 is switched to intra, and in the inter mode, the switch 125 is switched to inter. The encoding apparatus 100 may generate a prediction block for the input block of the input image and then encode the difference between the input block and the prediction block.
  • the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the inter prediction unit 110 may obtain a motion vector by searching for a region corresponding to an input block in a reference image stored in the picture buffer 190 during a motion prediction process.
  • the inter prediction unit 110 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the picture buffer 190.
  • the subtractor 130 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transformer 135 may perform a transform on the residual block and output a transform coefficient.
  • the quantization unit 140 may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
  • the entropy encoding unit 150 may output a bitstream by entropy encoding the quantized coefficients according to a probability distribution based on values calculated by the quantization unit 140 or encoding parameter values calculated in the encoding process. Can be.
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstruction block can be generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the picture buffer 190.
  • FIG. 2 is a block diagram illustrating a basic configuration of a decoding apparatus according to an embodiment.
  • the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, and a filter unit 260. ) And picture buffer 270.
  • the decoding apparatus 200 may receive the bitstream output from the encoding apparatus, decode the intra mode or the inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the decoding apparatus 200 may obtain a residual block reconstructed from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoding unit 210 entropy decodes the input bitstream according to the probability distribution. By entropy decoding, quantized (transform) coefficients can be generated.
  • the quantized coefficient is inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficient, a reconstructed residual block may be generated.
  • the intra predictor 240 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the inter predictor 250 may generate a predictive block by performing motion compensation using a motion vector and a reference image stored in the picture buffer 270.
  • the reconstructed residual block and the prediction block are added through the adder 255, and the added block passes through the filter unit 260.
  • the filter unit 260 may apply at least one of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs the reconstructed image, that is, the reconstructed image.
  • the reconstructed image may be stored in the picture buffer 270 to be used for inter prediction.
  • the encoding apparatus and the decoding apparatus perform prediction on the current block for video encoding / decoding.
  • Prediction may be performed in the encoder / decoder, specifically, the prediction unit of the encoder / decoder.
  • the prediction unit of the encoding apparatus may include, for example, the inter prediction unit 110 and the intra prediction unit 120 of FIG. 1.
  • the prediction unit of the decoding apparatus may include, for example, the intra predictor 240 and the inter predictor 250 of FIG. 2.
  • the prediction unit performs prediction for the current block based on pixels (reference samples) in the previously encoded current picture according to the intra prediction mode of the current block. can do.
  • the prediction unit may perform intra prediction to generate a prediction block for the current block from the reference sample.
  • Scalable Video Coding (SVC, hereinafter referred to as 'SVC') is a coding method that improves encoding / decoding performance by eliminating redundancy between layers by using texture information, motion information, and residual signals between layers. Way.
  • the SVC method may provide various scalability in terms of spatial, temporal, and image quality according to ambient conditions such as a transmission bit rate, a transmission error rate, and a system resource.
  • the SVC may use multiple layers structure to provide a bitstream applicable to various network situations.
  • the SVC includes an enhancement layer that processes video information by using a base layer that processes video information using a general video encoding method, and a base layer that encodes video information along with a general video encoding method. layer).
  • the hierarchical structure may include a plurality of spatial layers, a plurality of temporal layers, a plurality of image quality layers, and the like. Images included in different spatial layers may have different spatial resolutions, and images included in different temporal layers may have different temporal resolutions (frame rates). Also, images included in different image quality layers may have different image quality, for example, different signal-to-noise ratio (SNR).
  • SNR signal-to-noise ratio
  • the layer may be an image and / or bitstream that is divided based on space (eg, image size), time (eg, encoding order, image output order), image quality, complexity, and the like. Means set.
  • FIG. 3 is a conceptual diagram schematically showing an embodiment of an SVC structure using multiple layers to which the present invention is applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a group of pictures.
  • the SVC structure includes a plurality of layers. 3 shows an example in which pictures of each layer are arranged according to a picture order count (POC).
  • Each layer, base layer and enhancement layer may have different characteristics such as bit rate, resolution, and size.
  • the bitstream for the base layer may include basic image information, and the bitstream for the enhancement layer may include information about an image having improved base layer quality (eg, accuracy, size, and / or frame rate). It may include.
  • each layer may be encoded / decoded in consideration of different characteristics.
  • the encoding apparatus of FIG. 1 and the decoding apparatus of FIG. 2 may encode and decode a picture of a corresponding layer for each layer as described with reference to FIGS. 1 and 2.
  • pictures of each layer may be encoded / decoded using information of another layer.
  • a picture of each layer may be encoded and decoded through inter layer prediction using information of another layer.
  • the prediction units of the encoding apparatus and the decoding apparatus described with reference to FIGS. 1 and 2 may perform prediction using information of another layer, that is, a reference layer.
  • the prediction units of the encoding apparatus and the decoding apparatus may perform inter-layer texture prediction, inter-layer motion information prediction, inter-layer residual signal, etc. using information of another layer.
  • inter-layer texture prediction a texture of the current layer (encoding or decoding target layer) is predicted based on texture information of another layer.
  • motion information of the current layer is predicted based on motion information (motion vector, reference picture, etc.) of another layer.
  • the inter-layer residual signal prediction predicts the residual signal of the current layer based on the residual signal of another layer.
  • upsampling may be performed on reconstructed samples of the reference layer and then used as a prediction signal for the enhancement layer.
  • the reconstructed samples of the reference layer may be reconstructed samples to which an in-loop filter such as a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) is applied.
  • the encoding apparatus encodes and transmits the prediction signal of the target block of the enhancement layer and the residual signal of the original signal.
  • the decoding apparatus may generate a reconstruction signal for the target block by adding a residual signal received from the encoding apparatus and a prediction signal predicted from the reference layer.
  • the deblocking filter removes artifacts between blocks due to block-by-block prediction, transformation, and quantization.
  • the deblocking filter is applied to the prediction unit edge or the transform unit edge, and can set a predetermined minimum block size for applying the deblocking filter.
  • the deblocking filter To apply the deblocking filter, first determine the BS (Boundary Strength) of the horizontal or vertical filter boundary. Whether to perform filtering based on the BS is determined in units of blocks. If you decide to perform filtering, decide which filter to apply.
  • the filter to be applied may be selected from a weak filter and a strong filter.
  • the filtering unit applies the selected filter to the boundary of the corresponding block.
  • SAO is a procedure for restoring the offset difference from the original image on a pixel-by-pixel basis for the deblocking filtering image.
  • a coding error may be compensated for through SAO, and the coding error may be due to quantization.
  • band offset there are two types of SAO, band offset and edge offset.
  • band offset samples of a block to which SAO is applied are classified into bands according to intensity, and a predetermined offset is applied for each band.
  • the offset value applied in the case of the band offset may be determined for each band and signaled from the encoding apparatus to the decoding apparatus.
  • the decoding apparatus may apply an offset value corresponding to the band to which the target pixel belongs to the target pixel based on the received offset value.
  • the offset is applied according to the magnitude of the intensity between the current pixel and the surrounding pixel in consideration of the direction of the edge with respect to the current pixel.
  • the direction of the edge may be divided into four edges of 0 degrees, 90 degrees, 135 degrees, and 45 degrees with respect to the current pixel.
  • the intensity relation of the current pixel and the neighboring pixels is determined when the intensity of the current pixel is less than the strength of two neighboring pixels, when the intensity of the current pixel is greater than the strength of two neighboring pixels. If the intensity of the current pixel is greater than the intensity of the other adjacent pixels, the intensity of the current pixel is smaller than that of one neighboring pixel and the same as that of the other neighboring pixels.
  • the offset value according to the edge direction and / or the intensity relationship with the adjacent pixel may be determined by the encoding device and signaled to the decoding device.
  • the decoding apparatus may apply an offset value corresponding to the category (intensity relationship with adjacent pixels and / or edge directions) of the target pixel to the target pixel based on the received offset value.
  • ALF compensates for coding errors using a Wiener filter. Unlike SAO, ALF is applied globally within a slice. ALF may be applied after applying SAO, and may be applied only to HE (High Efficiency). Information for applying the ALF (filter coefficient, on / off information, filter shape, etc.) may be delivered to the decoder through a slice header.
  • the filter type used in the ALF can be a variety of symmetrical shapes, such as two-dimensional diamond, two-dimensional cross shape.
  • In-loop filters are applied to blocks reconstructed by prediction (also called sample or sample signals), and whether or not the deblocking filter, SAO, or ALF is applied may be determined independently, or SAO and ALF when the deblocking filter is applied. At least one of may be applied.
  • a prediction signal for the current block of the enhancement layer may be generated based on reconstructed samples of the reference layer to which the deblocking filter is applied.
  • the encoding apparatus may obtain, encode, and transmit a difference between an original signal and a prediction signal of an encoding target block (current block). The difference is transmitted in order to reduce the amount of transmission and to increase the coding efficiency.
  • the prediction signal obtained from the reference layer the difference from the original signal may still be large due to the distortion of the signal due to the size difference of the images between the layers.
  • FIG. 4 is a flowchart schematically illustrating a method in which an encoding apparatus performs encoding of an enhancement layer according to the present invention.
  • FIG. 4 an example of encoding a sample signal of a current encoding target prediction unit (a current unit or a current block) with respect to an input image of an enhancement layer based on information on a reconstruction signal of a reference layer is described.
  • the encoding apparatus determines a corresponding sample position of a reference layer (S410).
  • the corresponding sample position of the reference layer means a sample position of the reference layer corresponding to the reference sample position of the current unit (current encoding target prediction unit) of the enhancement layer.
  • the encoding apparatus determines a reconstructed sample signal for the reference layer units (S420). For example, the encoding apparatus may obtain a reconstructed sample signal of at least one of a unit including a corresponding sample position of the reference layer and neighboring units of the unit.
  • the encoding apparatus encodes the sample signal of the enhancement layer unit (S430).
  • the encoding apparatus may encode the sample signal of the current unit in the enhancement layer using the reconstructed sample signal of the reference layer.
  • the encoding apparatus determines the sample position of the reference layer corresponding to the reference sample position of the current encoding target prediction unit (current unit or current block) of the enhancement layer (S410).
  • the reference sample may be a sample in the current unit as a sample specifying the location of the current unit, or may be a sample outside the current unit.
  • FIG. 5 is a diagram schematically illustrating an example of a method of determining a reference sample of a current unit (current encoding target unit or current decoding target unit) and a method of specifying a unit of a reference layer using the same.
  • the upper left sample 510, the center sample 520, the upper right sample 530, the lower left sample 540, and the lower right sample of the current encoding target prediction unit (current unit 500) 550) may be a reference sample.
  • the sample position of the reference layer corresponding to each reference sample may be derived as follows.
  • the center sample position 520 of the current unit of the enhancement layer is illustrated as a sample position on the center left.
  • the present invention is not limited thereto, and the sample position of the center left bottom, center top right or center bottom right may be used as the center sample location. It may be.
  • (xPCtr, yPCtr), which is the center sample position 520, is (xP + (nPSW >> 1) -1, yP + (nPSH >> 1) -1), which corresponds to the sample position on the center top left, and the sample position at the bottom left center.
  • nPSH represents the vertical length of the current unit (current encoding target prediction unit)
  • nPSW represents the horizontal length of the current unit.
  • the sample position (refxP, refyP) of the reference layer corresponding to the upper right sample position 530 of the current unit is (refxP) when the upper right sample position 530 of the current unit of the enhancement layer is (xPRt, yPRt).
  • refyP) (xPRt, yPRt) / scaling factor.
  • the lower right sample position (xPRt, yPRt) is (xP + nPSW, yP-1).
  • the sample positions (refxP, refyP) of the reference layer corresponding to the lower left sample position 540 of the current unit are (refxP) when the lower left sample position 540 of the current unit of the enhancement layer is (xPLb, yPLb).
  • refyP) (xPLb, yPLb) / scaling factor.
  • the lower right sample position (xPLb, yPLb) is (xP-1, yP + nPSH).
  • the sample position (refxP, refyP) of the reference layer corresponding to the lower right sample position 550 of the current unit is (refxP) when the lower right sample position 550 of the current unit of the enhancement layer is (xPRb, yPRb).
  • refyP) (xPRb, yPRb) / scaling factor.
  • the lower right sample position (xPRb, yPRb) is (xP + nPSW, yP + nPSH).
  • sample location (refxP, refyP) of the reference layer corresponding to any sample location (xPk, yPk) of the current unit may be derived with (xPk, yPk) / scaling factor.
  • the scaling factor is a size ratio between the input image of the enhancement layer and the input image of the reference layer to obtain a sample position of the reference layer corresponding to the enhancement layer when the size of the input image between the layers is different.
  • the value of the scaling factor sf_X used in the decoding apparatus may be determined as in Equation 1.
  • the value of the scaling factor may be 1.
  • the scaling factor may be 2.
  • Dividing the sample position by the scaling factor described above may mean dividing the x component and the y component of the sample position by the scaling factor, respectively.
  • the size ratio of the horizontal component and the size ratio of the vertical component may be different from the size ratio of the input image.
  • the size ratio sf_X of the horizontal component and the size ratio sf_Y of the vertical component may be determined as in Equation 2.
  • sf_X Horizontal size of enhancement layer input image / Horizontal size of reference layer input image
  • sf_Y vertical size of enhancement layer input image / vertical size of reference layer input image
  • the sample position of the enhancement layer is (xP, yP)
  • the sample position of the corresponding reference layer is (xP). / 2, yP / 1.5).
  • Reference sample positions for the current unit of the enhancement layer may use various positions other than those described in FIG. 5.
  • 5 illustrates an example of a reference sample, but the present invention is not limited thereto.
  • the sample at the lower right position in the B 2 block not the position 510 in the current unit as the upper left sample position.
  • the sample position 530 in B 0 instead of the sample position 530 in B 0 as the upper right sample position, the sample in the upper right position in the current unit or the lower right position in B 1 may be used.
  • the sample position 540 in A 0 as the lower left sample position
  • the lower left sample position in the current unit or the lower right sample position in A 1 may be used.
  • the lower right sample position may be used as the lower right sample position instead of the sample position 550 in C 0 .
  • the size of the image may be equalized by first scaling the entire image signal, and the sample position of the reference layer corresponding to the reference sample position of the current unit may be obtained.
  • a sample of the reference layer at the same position as the reference sample position of the current unit can be used as a sample of the reference layer corresponding to the reference sample of the current unit.
  • the sample position of the reference layer corresponding to the reference sample position of the current unit (current encoding target prediction unit) of the enhancement layer may be obtained using the above-described method (at least one of the above-described methods).
  • the encoding apparatus may obtain a reconstructed sample signal for at least one of a unit including a sample position of a reference layer corresponding to the enhancement layer and at least one neighboring unit (S420).
  • the reference layer used for inter-layer texture prediction when filtering is applied to the reconstructed sample signal (Adaptive Deblocking Filter (ADF), SAO, ALF, etc.), the reference layer used for inter-layer texture prediction.
  • the reconstructed sample signal may be selected from a plurality of positions.
  • the position may mean before or after the filter or offset is applied. That is, a reconstructed sample of the reference layer used for inter-layer texture prediction may be selected from a plurality of samples, wherein the reconstructed sample may be a sample to which an in-loop filter is applied or a sample to which no in-loop filter is applied.
  • the encoding apparatus may use the reconstructed sample signal before the ADF is applied as the reconstructed sample signal of the reference unit, or may use the reconstructed sample signal after the ADF is applied as the reconstructed sample signal of the reference unit.
  • the encoding apparatus may use the reconstructed sample signal before the SAO is applied as the reconstructed sample signal of the reference unit, or may use the reconstructed sample signal after the SAO is applied as the reconstructed sample signal of the reference unit.
  • the encoding apparatus may use the reconstructed sample signal before the ALF is applied as the reconstructed sample signal of the reference unit, or may use the reconstructed sample signal after the ALF is applied as the reconstructed sample signal of the reference unit.
  • the reconstructed sample signal of the reference unit may be determined in consideration of the step in which the in-loop filter is applied to the reconstructed sample signal in the reference layer.
  • the reference unit refers to a unit including the sample position of the reference layer corresponding to the sample position of the enhancement layer or a peripheral unit thereof.
  • FIG. 6 is a flowchart schematically illustrating an example of a method of applying an in-loop filter.
  • the in-loop filter may include applying an adaptive deblocking filter (ADF) at step S610, applying a sample adaptive offset (SAO) at step S620, and applying an adaptive loop filter (ALF).
  • ADF adaptive deblocking filter
  • SAO sample adaptive offset
  • ALF adaptive loop filter
  • the encoding apparatus may determine a reconstructed sample signal of the reference unit by (1) reconstructed sample signal before the ADF step, (2) reconstructed sample signal before the SAO step after the ADF step, and (3) ADF.
  • the reconstructed sample signal before the ALF step after the step and the SAO step, and (4) the reconstructed sample signal after the ADF step, the SAO step and the ALF step may be determined.
  • the example of Figure 6 is an embodiment of the present invention, in the application of the present invention, the application order of ADF, SAO, ALF is not limited to Figure 6, as well as ADF ⁇ SAO ⁇ ALF shown in FIG.
  • the reconstructed sample signal of the reference unit may be determined before and after each step when ADF, SAO, and ALF may be applied, and before or after the filter or offset applied even when at least one of ADF, SAO, and ALF is applied.
  • the reconstructed sample signal of the reference unit may be determined.
  • the encoding apparatus may transmit information on the reconstructed sample signal of the reference unit (such as the position of the reference unit and / or information about the reconstructed sample signal of the reference unit) to the decoding apparatus.
  • each reference sample is determined using all of the above-described methods and the sample location of the corresponding reference layer is specified.
  • the present invention is not limited thereto and specifies the location of any one of the reference samples. Based on this, a prediction signal may be generated using the specified reference unit.
  • the encoding apparatus may encode the sample signal of the current unit (current encoding target prediction unit) of the enhancement layer by using the reference reconstructed sample signal of the reference layer (S430).
  • the reference reconstructed sample signal is obtained from the reference unit.
  • the reference unit refers to a unit including a sample of the reference layer corresponding to the reference sample position of the current unit obtained through S410 and S420 or a peripheral unit thereof. If the size of the image is different between layers, the size of the reference unit may be scaled according to the ratio (scaling factor) of the image size between layers, and may be used for encoding the current unit.
  • the reconstructed sample signal of the reference unit may be used as the predictive sample signal of the current unit to obtain a difference signal from the original sample signal of the current unit.
  • the encoding apparatus may encode the difference signal and transmit the encoded signal to the decoding apparatus.
  • the encoding apparatus may use the reconstructed sample signal of the reference unit as the encoded signal of the current unit. For example, if it is determined that the reconstructed sample signal of the reference unit and the original sample signal of the current unit are the same, the encoding apparatus may not generate a difference signal for the current unit or may not decode the difference signal.
  • the encoding apparatus may obtain a filter coefficient that minimizes an error or a difference between the reconstructed sample signal of the reference unit and the original sample signal of the current unit.
  • the encoding apparatus may minimize the difference signal for the current unit by filtering the reconstructed sample signal of the reference unit using the obtained filter coefficients.
  • the encoding apparatus may use the reconstructed sample signal of the reference unit obtained by applying a filter that minimizes the difference signal as the prediction signal of the current unit.
  • the encoding apparatus may obtain and encode a difference signal between the prediction signal of the current unit and the original sample signal.
  • the reconstructed sample signal of the unit and the original sample signal of the current unit are set to be the same, and the encoding apparatus may not encode the difference signal for the current unit.
  • the adaptive filter coefficients may be used or the fixed filter coefficients may be used.
  • the encoding apparatus may adaptively determine the filter coefficients corresponding to the current unit and / or the reference unit. In this case, the encoding apparatus may encode and transmit the information about the filter coefficients to the decoding apparatus so that the same filter coefficients may also be used in the decoding apparatus.
  • the reconstructed sample signal of the reference unit used to calculate a filter coefficient that minimizes the difference (error) from the original sample signal of the current unit is applied to scaling and the size of the inter-layer image. It may be a reconstructed sample signal obtained after adjusting.
  • the reconstructed sample signal of the reference unit used to calculate a filter coefficient that minimizes the difference (error) from the original sample signal of the current unit may be a reference unit that does not apply scaling or It may be a reconstructed sample signal of the reference layer without scaling applied.
  • the encoding apparatus may determine a filter coefficient that minimizes the difference (error) in consideration of scaling, and may apply the filter coefficient to reflect the scaling in the process of filtering the reconstructed sample signal of the reference unit.
  • a sample offset (eg, SAO) may be applied.
  • the encoding apparatus may use the reconstructed sample signal obtained by adding a sample offset to the reconstructed sample signal of the reference unit as a prediction signal of the current unit.
  • the encoding apparatus may encode a difference signal between the prediction signal and the original sample signal of the current unit.
  • the encoding apparatus determines that the reconstructed sample signal (prediction signal) obtained by adding a sample offset value to the reconstructed sample signal of the reference unit is the same as the original sample signal of the current unit, or sets the prediction signal to be the same as the original sample signal of the current unit.
  • the reconstructed sample signal obtained by adding the sample offset value to the reconstructed sample signal of the reference unit may be used as the coded signal of the current unit (current encoding target prediction unit).
  • a predetermined fixed offset value may be applied as the sample offset value.
  • an adaptive offset value which is adaptively obtained from the reconstructed sample signal of the reference unit and the original sample signal of the current unit, may be applied as the sample offset value.
  • the encoding apparatus may encode and transmit information about the offset so that the same offset value may be used in the decoding apparatus.
  • FIG. 7 is a flowchart schematically illustrating a method of decoding an enhancement layer by a decoding apparatus according to the present invention.
  • FIG. 7 an example of decoding a sample signal of a current decoding target prediction unit (current unit or current block) with respect to an input image of an enhancement layer based on information on a reconstruction signal of a reference layer is described.
  • the decoding apparatus derives a corresponding sample position of a reference layer (S710).
  • the corresponding sample position of the reference layer means a sample position of the reference layer corresponding to the reference sample position of the current unit (current decoding target prediction unit) of the enhancement layer.
  • the decoding apparatus derives a reconstructed sample signal of the reference layer (S720).
  • the decoding apparatus may derive a reconstructed sample signal for the reference unit.
  • the decoding apparatus decodes the sample signal of the enhancement layer unit (the current decoding target prediction unit of the enhancement layer: the current unit) (S730). For example, the decoding apparatus may decode the sample signal of the current unit in the enhancement layer using the reconstructed sample signal of the reference layer.
  • the decoding apparatus determines the sample position of the reference layer corresponding to the reference sample position of the current decoding target prediction unit (current unit or current block) of the enhancement layer (S710).
  • the reference sample may be a sample in the current unit as a sample specifying the location of the current unit, or may be a sample outside the current unit.
  • FIG. 5 is a diagram schematically illustrating a method of determining a reference sample of a current unit (current decoding target unit or current encoding target unit) and a method of specifying a unit of a reference layer using the same.
  • the upper left sample 510, the center sample 520, the upper right sample 530, the lower left sample 540, and the lower right sample of the current decoding target prediction unit (current unit 500) are described.
  • 550) may be a reference sample.
  • the sample position of the reference layer corresponding to each reference sample may be derived as follows.
  • the center sample position 520 of the current unit of the enhancement layer is illustrated as a sample position on the center left.
  • the present invention is not limited thereto, and the sample position of the center left bottom, center top right or center bottom right may be used as the center sample location. It may be.
  • (xPCtr, yPCtr), which is the center sample position 520, is (xP + (nPSW >> 1) -1, yP + (nPSH >> 1) -1), which corresponds to the sample position on the center top left, and the sample position at the bottom left center.
  • nPSH represents the vertical length of the current unit (current decoding target prediction unit)
  • nPSW represents the horizontal length of the current unit.
  • the sample position (refxP, refyP) of the reference layer corresponding to the upper right sample position 530 of the current unit is (refxP) when the upper right sample position 530 of the current unit of the enhancement layer is (xPRt, yPRt).
  • refyP) (xPRt, yPRt) / scaling factor.
  • the lower right sample position (xPRt, yPRt) is (xP + nPSW, yP-1).
  • the sample positions (refxP, refyP) of the reference layer corresponding to the lower left sample position 540 of the current unit are (refxP) when the lower left sample position 540 of the current unit of the enhancement layer is (xPLb, yPLb).
  • refyP) (xPLb, yPLb) / scaling factor.
  • the lower right sample position (xPLb, yPLb) is (xP-1, yP + nPSH).
  • the sample position (refxP, refyP) of the reference layer corresponding to the lower right sample position 550 of the current unit is (refxP) when the lower right sample position 550 of the current unit of the enhancement layer is (xPRb, yPRb).
  • refyP) (xPRb, yPRb) / scaling factor.
  • the lower right sample position (xPRb, yPRb) is (xP + nPSW, yP + nPSH).
  • sample location (refxP, refyP) of the reference layer corresponding to any sample location (xPk, yPk) of the current unit may be derived with (xPk, yPk) / scaling factor.
  • the scaling factor is a size ratio between the input image of the enhancement layer and the input image of the reference layer to obtain a sample position of the reference layer corresponding to the enhancement layer when the size of the input image between the layers is different.
  • the value of the scaling factor sf_X used in the decoding apparatus may be determined as shown in Equation 4.
  • the value of the scaling factor may be 1.
  • the scaling factor may be 2.
  • Dividing the sample position by the scaling factor described above may mean dividing the x component and the y component of the sample position by the scaling factor, respectively.
  • the size ratio of the horizontal component and the size ratio of the vertical component may be different from the size ratio of the input image.
  • the size ratio sf_X of the horizontal component and the size ratio sf_Y of the vertical component may be determined as in Equation 5.
  • sf_X Horizontal size of enhancement layer input image / Horizontal size of reference layer input image
  • sf_Y vertical size of enhancement layer input image / vertical size of reference layer input image
  • the sample position of the enhancement layer is (xP, yP)
  • the sample position of the corresponding reference layer is (xP). / 2, yP / 1.5).
  • Reference sample positions for the current unit of the enhancement layer may use various positions other than those described in FIG. 5.
  • 5 illustrates an example of a reference sample, but the present invention is not limited thereto.
  • the sample at the lower right position in the B 2 block not the position 510 in the current unit as the upper left sample position.
  • the sample position 530 in B 0 instead of the sample position 530 in B 0 as the upper right sample position, the sample in the upper right position in the current unit or the lower right position in B 1 may be used.
  • the sample position 540 in A 0 as the lower left sample position
  • the lower left sample position in the current unit or the lower right sample position in A 1 may be used.
  • the lower right sample position may be used as the lower right sample position instead of the sample position 550 in C 0 .
  • the size of the image may be equalized by first scaling the entire image signal, and the sample position of the reference layer corresponding to the reference sample position of the current unit may be obtained.
  • a sample of the reference layer at the same position as the reference sample position of the current unit can be used as a sample of the reference layer corresponding to the reference sample of the current unit.
  • the sample position of the reference layer corresponding to the reference sample position of the current unit (current decoding target prediction unit) of the enhancement layer may be obtained using the above-described method (at least one of the above-described methods).
  • the decoding apparatus may induce a reconstructed sample signal for at least one of a unit including a sample position of a reference layer corresponding to the enhancement layer and at least one neighboring unit (S720).
  • the reference layer used for inter-layer texture prediction when filtering is applied to the reconstructed sample signal (Adaptive Deblocking Filter (ADF), SAO, ALF, etc.), the reference layer used for inter-layer texture prediction.
  • the reconstructed sample signal of may be selected from a number of locations.
  • the position may mean before or after the filter or offset is applied. That is, a reconstructed sample of the reference layer used for inter-layer texture prediction may be selected from a plurality of samples, wherein the reconstructed sample may be a sample to which an in-loop filter is applied or a sample to which no in-loop filter is applied.
  • the reconstructed sample signal before the ADF is applied may be used as the reconstructed sample signal of the reference unit, and the reconstructed sample signal after the ADF is applied may be used as the reconstructed sample signal of the reference unit.
  • a reconstructed sample signal before SAO is applied may be used as a reconstructed sample signal of the reference unit, and a reconstructed sample signal after SAO is applied may be used as a reconstructed sample signal of the reference unit.
  • the reconstructed sample signal before the ALF is applied may be used as the reconstructed sample signal of the reference unit, and the reconstructed sample signal after the ALF is applied may be used as the reconstructed sample signal of the reference unit.
  • FIG. 6 is a flowchart schematically illustrating an example of a method of applying an in-loop filter.
  • the in-loop filter may include applying an adaptive deblocking filter (ADF) at step S610, applying a sample adaptive offset (SAO) at step S620, and applying an adaptive loop filter (ALF).
  • ADF adaptive deblocking filter
  • SAO sample adaptive offset
  • ALF adaptive loop filter
  • the decoding apparatus may apply the in-loop filter based on the information about the application of the in-loop filter transmitted from the encoding apparatus.
  • the reconstructed sample signal of the reference unit includes (1) a reconstructed sample signal before the ADF step, (2) a reconstructed sample signal before the SAO step after the ADF step, (3) the ADF step and the SAO
  • the reconstructed sample signal before the ALF step after the step, and (4) the reconstructed sample signal after the ADF step, the SAO step, and the ALF step may be determined.
  • the example of Figure 6 is an embodiment of the present invention, in the application of the present invention, the application order of ADF, SAO, ALF is not limited to Figure 6, as well as ADF ⁇ SAO ⁇ ALF shown in FIG.
  • the reconstructed sample signal of the reference unit may be determined before and after each step when ADF, SAO, and ALF may be applied, and before or after the filter or offset applied even when at least one of ADF, SAO, and ALF is applied.
  • the reconstructed sample signal of the reference unit may be determined.
  • the decoding apparatus When information about the reconstructed sample signal of the reference unit (such as the position of the reference unit and / or information about the reconstructed sample signal of the reference unit) is transmitted from the encoding apparatus, the decoding apparatus decodes the corresponding information to determine the reconstructed sample signal. Information can be obtained.
  • the decoding apparatus may derive the reconstructed sample signal from the reference unit at the position indicated by the information received from the encoding apparatus. That is, the decoding apparatus may derive the reconstructed sample signal of the reference unit indicated by the encoding apparatus to decode the sample signal of the current unit.
  • the decoding apparatus may receive information indicating the reference sample instead of the information indicating the reference unit from the encoding apparatus.
  • the decoding apparatus may derive the reference unit specified by the indicated reference sample and restore the sample signal of the reference unit.
  • the decoding apparatus may decode the sample signal of the current unit (current decoding target prediction unit) of the enhancement layer by using the reference reconstruction sample signal of the reference layer (S730).
  • the reference reconstructed sample signal is obtained from the reference unit.
  • the reference unit refers to a unit including a sample of the reference layer corresponding to the reference sample position of the current unit obtained through S710 and S720 or a peripheral unit thereof.
  • the size of the reference unit may be scaled according to the ratio (scaling factor) of the image size between layers, and used for decoding the current unit.
  • the decoding apparatus may use the reconstructed sample signal of the reference unit as a prediction sample signal of the current unit (current encoding target prediction unit).
  • the decoding apparatus may generate the reconstructed sample signal of the current unit by adding the difference signal transmitted from the encoding apparatus and the reconstructed sample signal of the reference unit.
  • the decoding apparatus may use the reconstructed sample signal of the reference unit as the reconstructed sample signal of the current unit without receiving the difference signal from the encoding apparatus.
  • the decoding apparatus may receive an indication or information from the encoding apparatus that the reconstructed sample signal of the reference unit and the original sample signal of the current unit are the same.
  • an optimal filter coefficient is applied to minimize an error or difference between the reconstructed sample signal of the reference unit and the original sample signal of the current unit.
  • the decoding apparatus may obtain a predictive sample signal that minimizes the difference signal for the current unit by filtering the reconstructed sample signal of the reference unit using an optimal filter coefficient.
  • the decoding apparatus may use the reconstructed sample signal of the reference unit obtained by applying a filter that minimizes the difference signal as the prediction signal of the current unit.
  • the decoding apparatus may reconstruct the sample signal of the current unit by adding the prediction signal of the current unit and the difference signal received from the encoding apparatus. In this case, as described above, the difference signal for the current unit is not transmitted from the encoding apparatus, and the decoding apparatus may use the reconstructed sample signal of the reference unit as the reconstructed sample signal of the current unit.
  • the adaptive filter coefficients may be used or the fixed filter coefficients may be used.
  • the decoding apparatus receives information from the encoding apparatus about the filter coefficients to be applied to the samples of the reference unit.
  • the decoding apparatus may perform filtering on the samples of the reference unit by using the predetermined filter coefficients.
  • the predetermined filter coefficients may be filter coefficients embedded between the encoding apparatus and the decoding apparatus, or may be filter coefficients transmitted at longer intervals than the information of the adaptive filter coefficients.
  • the reconstructed sample signal of the reference unit to which filtering is applied may be a reconstructed sample signal obtained after adjusting the size of the inter-layer image by applying scaling.
  • filtering may be applied to the reconstructed sample signal of the reference unit to which no scaling is applied or the reference layer to which no scaling is applied.
  • the filter coefficient may be a filter coefficient in consideration of scaling, and scaling is reflected in filtering the reconstructed sample signal of the reference unit.
  • a sample offset (eg, SAO) may be applied.
  • SAO the reconstructed sample signal obtained by adding a sample offset to the reconstructed sample signal of the reference unit may be used as the prediction signal of the current unit.
  • the decoding apparatus may reconstruct the sample signal of the current unit by adding the prediction signal and the difference signal received from the encoding apparatus.
  • the decoding apparatus may use a reconstructed sample signal (prediction signal) obtained by adding a sample offset value to the reconstructed sample signal of the reference unit without receiving the difference signal from the encoder, as the reconstructed sample signal of the current unit.
  • the decoding apparatus may receive information from the encoding apparatus indicating that the prediction signal is the same as the original sample signal of the current unit.
  • a predetermined offset value may be applied as the sample offset value.
  • an adaptive offset value may be applied as the sample offset value.
  • the decoding apparatus may receive offset information from the encoding apparatus. The decoding apparatus may obtain the off value to be applied to the sample signal of the reference unit by decoding the received offset information.
  • the predetermined offset value may be an offset value embedded between the encoding apparatus and the decoding apparatus, or may be an offset value transmitted at a longer interval than the adaptive offset value.
  • a prediction signal, a prediction sample, a prediction block, a prediction sample signal, and the like are mixed, but this is for convenience of description.
  • the prediction signal, the prediction sample, the prediction block, the prediction sample signal, etc. may have the same meaning. .
  • the (current encoding target) prediction unit and the current unit, the current block, the target block, etc. are mixed, but this is for convenience of description, and in this specification, the current encoding target prediction unit and the current unit, the current block, Similarly, the target block may mean a block / processing unit block (unit) or a current prediction target block / processing unit block (unit) that is the target of the current encoding.

Abstract

본 발명은 영상 부호화 방법, 영상 복호화 방법 및 이를 이용하는 장치에 관한 것으로서, 본 발명에 따른 영상 부호화 방법은 참조 계층에서 대응 샘플의 위치를 결정하는 단계, 상기 대응 샘플에 의해 특정되는 참조 계층 내 참조 유닛의 샘플을 복원하여 참조 샘플 신호를 생성하는 단계 및 향상 계층의 현재 유닛의 샘플 신호와 상기 참조 샘플 신호의 차분 신호를 부호화하는 단계를 포함한다.

Description

영상 부호화 방법과 영상 복호화 방법
본 발명은 영상 부호화 및 복호화 방법에 관한 것으로서, 더 구체적으로는 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하 ‘SVC’라 함)을 위한 계층 간 텍스처 예측 방법과 이를 이용하는 장치에 관한 것이다.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.
예컨대, 단말의 성능과 컴퓨팅 능력(computing ability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 사용자에게 기업이 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.
이와 같이, 이종의 통신망과 다양한 기능/종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 레이트 등을 다양하게 지원하는 스케일러빌러티(scalability)은 비디오 포맷의 중요한 기능이 되고 있다.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 인코딩과 디코딩이 가능하도록 스케일러빌러티 기능을 제공하는 것이 필요하다.
본 발명은 SVC에 있어서 향상 계층의 부호화/복호화를 수행할 때, 참조 계층의 참조 복원 샘플 신호들의 위치를 달리 선택할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 SVC에 있어서 참조 복원 샘플 신호들에 필터링 및/또는 오프셋을 적용한 샘플 신호를 예측 신호 또는 복원 신호로 이용하여 향상 계층의 대상 유닛에 대한 예측을 수행하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 SVC에 있어서 참조 복원 샘플 신호와 원본 신호 사이의 에러를 최소화하는 필터링 또는 오프셋을 적용함으로써 차분 신호를 부호화하는 과정을 생략하거나 차분 신호를 최소화할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 SVC에 있어서 부호화 효율을 향상시킬 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 스케일러블(Scalable) 영상 부호화 방법으로서, 참조 계층에서 대응 샘플의 위치를 결정하는 단계, 상기 대응 샘플에 의해 특정되는 참조 계층 내 참조 유닛의 샘플을 복원하여 참조 샘플 신호를 생성하는 단계 및 향상 계층의 현재 유닛의 샘플 신호와 상기 참조 샘플 신호의 차분 신호를 부호화하는 단계를 포함하며, 상기 대응 샘플은 상기 현재 유닛을 특정하는 기준 샘플에 대응하는 참조 계층의 샘플이다.
상기 대응 샘플 위치 결정 단계에서는, 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라 상기 대응 샘플의 위치를 스케일링하여 대응 샘플의 위치를 결정할 수 있다.
이때, 상기 대응 샘플 위치의 높이 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라 스케일링될 수 있고, 상기 대응 샘플 위치의 너비 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라 스케일링될 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 상기 참조 유닛의 크기를 스케일링할 수 있다.
이때, 상기 참조 유닛의 높이는 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라서 스케일링될 수 있고, 상기 참조 유닛의 너비는 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라서 스케일링될 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 계층과 상기 향상 계층의 형상 크기 비율에 따라서 상기 복원된 샘플을 스케일링하여 참조 샘플 신호를 생성할 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 유닛의 샘플을 복원한 후 필터링을 적용하여 참조 샘플 신호를 생성할 수 있다.
이때, 상기 필터링에 사용되는 필터 계수는, 상기 차분 신호를 최소화하는 필터 계수일 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 유닛의 샘플을 복원한 후 오프셋을 적용하여 참조 샘플 신호를 생성할 수 있다.
이때, 상기 오프셋은 상기 차분 신호를 최소화하는 오프셋일 수 있다.
본 발명의 다른 실시형태는 스케일러블(Scalable) 영상 복호화 방법으로서, 참조 계층에서 대응 샘플의 위치를 유도하는 단계, 상기 대응 샘플에 의해 특정되는 참조 계층 내 참조 유닛의 샘플을 복원하여 참조 샘플 신호를 생성하는 단계 및 부호화기로부터 수신한 차분 신호와 상기 참조 샘플 신호를 기반으로 향상 계층 내 현재 유닛의 샘플 신호를 복원하는 단계를 포함하며, 상기 대응 샘플은 상기 현재 유닛을 특정하는 기준 샘플에 대응하는 참조 계층의 샘플이다.
상기 대응 샘플 위치 유도 단계에서는, 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라 상기 대응 샘플의 위치를 스케일링하여 대응 샘플의 위치를 유도할 수 있다.
이때, 상기 대응 샘플 위치의 높이 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라 스케일링될 수 있고, 상기 대응 샘플 위치의 너비 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라 스케일링될 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 상기 참조 유닛의 크기를 스케일링할 수 있다.
이때, 상기 참조 유닛의 높이는 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라서 스케일링될 수 있고, 상기 참조 유닛의 너비는 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라서 스케일링될 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 계층과 상기 향상 계층의 형상 크기 비율에 따라서 상기 복원된 샘플을 스케일링하여 참조 샘플 신호를 생성할 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 유닛의 샘플을 복원한 후 필터링을 적용하여 참조 샘플 신호를 생성할 수 있다.
이때, 상기 필터링은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 기반하여 수행될 수 있으며, 상기 필터링된 복원 샘플은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 스케일링될 수 있다.
상기 참조 샘플 신호 생성 단계에서는, 상기 참조 유닛의 샘플을 복원한 후 오프셋을 적용하여 참조 샘플 신호를 생성할 수 있다.
이때, 상기 오프셋은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 기반하여 가해질 수 있으며, 상기 오프셋이 가해진 복원 샘플은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 스케일링될 수 있다.
본 발명에 의하면, 부호화 및 복호화 과정에서 디블록킹 필터, 샘플 적응적 오프셋, 적응적 루프 필터 등 적어도 하나 이상의 후처리 기술이 적용되는 경우, 참조 계층의 참조 복원 샘플 신호를 구하는 위치를 달리 선택할 수 있도록 함으로써 복잡도를 감소시키고 부호화 효율을 높일 수 있다.
본 발명에 의하면, 참조 복원 샘플 신호와 원본 샘플 신호 사이의 에러를 최소화 하도록 필터링을 적용하거나 오프셋을 더함으로써 차분 신호를 감소시킬 수 있다.
본 발명에 의하면, 참조 복원 샘플 신호와 원본 샘플 신호 사이의 에러를 최소화 하도록 필터링을 적용하거나 오프셋을 더함으로써, 차분 신호의 부호화 과정을 생략하고 부호화 효율을 높일 수 있다.
도 1은 부호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 2는 복호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용되는, 복수 계층을 이용한 SVC 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따라서 부호화 장치가 향상 계층의 부호화를 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 5는 현재 유닛의 기준 샘플을 결정하는 방법과 이를 이용하여 참조 계층의 유닛을 특정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 6은 인루프 필터의 적용 방법에 관한 일 예를 개략적으로 설명하는 순서도이다.
도 7은 본 발명에 따라서 복호화 장치가 향상 계층의 복호화를 수행하는 방법을 개략적으로 설명하는 순서도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
도 1은 부호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 1을 참조하면, 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 인코딩부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽처 버퍼(190)를 포함한다.
부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 인코딩을 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 인코딩할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 인코딩된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽처 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 레지듀얼 블록(residual block)을 생성할 수 있다. 변환부(135)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 인코딩부(150)는, 양자화부(140)에서 산출된 값들 또는 인코딩 과정에서 산출된 인코딩 파라미터 값 등을 기초로, 양자화된 계수를 확률 분포에 따라 엔트로피 인코딩하여 비트스트림(bitstream)을 출력할 수 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 픽처 버퍼(190)에 저장될 수 있다.
도 2는 복호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽처 버퍼(270)를 포함한다.
복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 디코딩을 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 디코딩한다. 엔트로피 디코딩에 의해, 양자화된 (변환) 계수가 생성될 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 인코딩된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 픽처 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

상술한 바와 같이, 부호화 장치 및 복호화 장치는 영상(video) 인코딩/디코딩을 위해 현재 블록에 대한 예측을 수행한다.
예측은 부호화 장치/복호화 장치, 구체적으로 부호화 장치/복호화 장치의 예측부에서 수행될 수 있다. 부호화 장치의 예측부는, 예컨대 도 1의 인터 예측부(110), 인트라 예측부(120) 등을 포함할 수 있다. 복호화 장치의 예측부는, 예컨대 도 2의 인트라 예측부(240), 인터 예측부(250) 등을 포함할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction)인 경우에, 예측부는 현재 블록의 인트라 예측 모드에 따라서, 이전에 인코딩된 현재 픽처 내의 픽셀(참조 샘플)을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 예측부는 참조 샘플로부터 현재 블록에 대한 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
스케일러블 영상 코딩 방법(Scalable Video Coding: SVC, 이하 ‘SVC’라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. SVC 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
SVC는, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용할 수 있다. 예를 들어 SVC는, 일반적인 영상 부호화 방법을 이용하여 영상 정보를 처리하는 기본 계층(base layer)과 함께, 기본 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 정보를 처리하는 향상 계층(enhancement layer)을 포함할 수 있다.
계층 구조는 복수의 공간 계층, 복수의 시간 계층, 복수의 화질 계층 등을 포함할 수 있다. 서로 다른 공간 계층에 포함된 영상들은 서로 다른 공간적 해상도를 가질 수 있으며, 서로 다른 시간 계층에 포함된 영상들은 서로 다른 시간적 해상도(프레임율)를 가질 수 있다. 또한 서로 다른 화질 계층에 포함된 영상들은 서로 다른 화질, 예를 들어 서로 다른 SNR(Signal-to-Noise Ratio)을 가질 수 있다.
여기서, 계층(layer)은 공간(예를 들어, 영상 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및/또는 비트스트림(bitstream)의 집합을 의미한다.
도 3은 본 발명이 적용되는, 복수 계층을 이용한 SVC 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽쳐의 그룹을 나타낸다.
도 3을 참조하면, 상술한 바와 같이, SVC 구조는 복수의 계층을 포함한다. 도 3에서는 각 계층의 픽처들이 POC(Picture Order Count)에 따라 배열되어 있는 예를 보여준다. 각 계층, 기본 계층과 향상 계층들은 서로 다른 비트율, 해상도, 크기 등의 특성을 가질 수 있다. 기본 계층에 대한 비트스트림은 기본적인 영상 정보를 포함할 수 있고, 향상 계층에 대한 비트스트림은 기본 계층의 품질(정확도, 크기 및/또는 프레임 레이트(frame rate) 등)이 더 향상된 영상에 대한 정보를 포함할 수 있다.
따라서, 각 계층은 서로 다른 특성을 고려하여 부호화/복호화될 수 있다. 예컨대, 도 1의 부호화 장치 및 도 2의 복호화 장치가 각 계층별로 해당 계층의 픽처를 도 1 및 도 2에 관해 설명한 바와 같이 부호화하고 복호화할 있다.
또한, 각 계층의 픽처는 다른 계층의 정보를 이용하여 부호화/복호화될 수도 있다. 예컨대, 각 계층의 픽처는 다른 계층의 정보를 이용한 계층 간 예측(inter layer prediction)을 통해 부호화되고 복호화될 수 있다. 따라서, SVC 구조에 있어서, 도1와 도 2에서 설명한 부호화 장치 및 복호화 장치의 예측부는 다른 계층, 즉 참조 계층(reference layer)의 정보를 이용한 예측을 수행할 수 있다. 부호화 장치 및 복호화 장치의 예측부는 다른 계층의 정보를 이용하여 계층 간 텍스처(texture) 예측, 계층 간 움직임 정보 예측, 계층 간 잔여 신호(residual) 등을 수행할 수 있다.
계층 간 텍스처 예측에서는 다른 계층의 텍스처 정보에 기반하여 현재 계층(부호화 또는 복호화 대상 계층)의 텍스처를 예측한다. 계층 간 움직임 정보 예측에서는 다른 계층의 움직임 정보(움직임 벡터, 참조 픽처 등)에 기반하여 현재 계층의 움직임 정보를 예측한다. 계층 간 잔여 신호 예측에서는 다른 계층의 잔여 신호에 기반하여 현재 계층의 잔여 신호를 예측한다.
다른 계층의 정보를 이용하여 현재 계층이 부호화되고 복호화되므로, 계층 간의 중복된 정보를 처리하는 복잡도를 줄일 수 있으며, 중복된 정보를 전송하는 오버헤드를 줄일 수도 있다.
SVC에서는 계층 간 예측을 수행하는 경우에, 계층 간 해상도가 다르면 참조 계층의 복원된 샘플들에 대해서 업 샘플링을 수행한 후 향상 계층에 대한 예측 신호로 사용할 수 있다. 이때, 참조계층의 복원된 샘플들은 디블록킹 필터, SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter)와 같은 인-루프 필터가 적용된 복원 샘플들일 수 있다. 부호화 장치는 향상 계층의 대상 블록에 대한 예측 신호와 원본 신호의 잔여 신호를 부호화하여 전송한다. 복호화 장치는 부호화 장치로부터 수신한 잔여 신호와 참조 계층으로부터 예측한 예측 신호를 더하여 대상 블록에 대한 복원 신호를 생성할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 BS(Boundary Strength)를 결정한다. BS를 기반으로 필터링을 수행할 것인지를 블록 단위로 결정한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO를 통해서 부호화 에러(coding error)를 보상할 수 있으며, 부호화 에러는 양자화 등에 기인한 것일 수 있다. 상술한 바와 같이, SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다. 밴드 오프셋을 적용하는 경우에, SAO가 적용되는 블록의 샘플들은 세기(intensity)에 따른 밴드들로 분류되며, 밴드별로 소정 오프셋을 적용한다. 밴드 오프셋의 경우에 적용되는 오프셋 값은 밴드 별로 결정되어 인코딩 장치로부터 디코딩 장치로 시그널링 될 수 있다. 디코딩 장치는 수신한 오프셋 값을 기반으로, 대상 픽셀이 속하는 밴드에 대응하는 오프셋 값을 대상 픽셀에 적용할 수 있다.
에지 오프셋을 적용하는 경우는, 현재 픽셀을 기준으로 하는 에지의 방향을 고려하여 현재 픽셀과 주변 픽셀 간 세기의 대소에 따라서 오프셋을 적용한다. 에지의 방향은 현재 픽셀을 기준으로 0도, 90도, 135도, 45도의 네 에지로 구분될 수 있다. 현재 픽셀과 인접 픽셀의 세기 관계(intensity relation)는 현재 픽셀의 세기가 인접 두 픽셀의 세기보다 작은 경우, 현재 픽셀의 세기가 인접 두 픽셀의 세기보다 큰 경우, 현재 픽셀의 세기가 한 인접 픽셀의 세기보다는 크고 다른 인접 픽셀의 세기와는 같은 경우, 현재 픽셀의 세기가 한 인접 픽셀의 세기보다는 작고 다른 인접 픽셀의 세기와는 같은 경우로 나뉠 수 있다. 에지 방향 및/또는 인접 픽셀과의 세기 관계에 따른 오프셋 값은 인코딩 장치에서 결정되어 디코딩 장치로 시그널링 될 수 있다. 디코딩 장치는 수신한 오프셋 값을 기반으로, 대상 픽셀의 카테고리(인접 픽셀과의 세기 관계 및/또는 에지 방향)에 대응하는 오프셋 값을 대상 픽셀에 적용할 수 있다.
ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상한다. ALF는 SAO와 달리 슬라이스 내에 글로벌하게 적용된다. ALF는 SAO를 적용한 뒤에 적용될 수 있으며, HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다. ALF를 적용하기 위한 정보(필터 계수, 온/오프 정보, 필터 형태(shape) 등)는 슬라이스 헤더(slice header)를 통해 복호화기에 전달될 수 있다. ALF에 이용되는 필터의 형태는 2 차원 다이아몬드 형태, 2 차원 십자가 형태 등 다양한 대칭 형태가 사용될 수 있다.
인루프 필터들은 예측에 의해 복원된 블록(샘플 또는 샘플 신호라고도 함)에 적용되며, 디블록킹 필터, SAO, ALF의 적용 여부가 각각 독립적으로 결정될 수도 있고, 디블록킹 필터가 적용된 경우에 SAO와 ALF 중 적어도 하나가 적용될 수도 있다.
한편, SVC에 있어서 계층 간 텍스처 예측을 적용할 때에는 디블록킹 필터가 적용된 참조 계층의 복원 샘플들을 기반으로 향상 계층의 현재 블록에 대한 예측 신호를 생성할 수 있다. 부호화 장치는 부호화 대상 블록(현재 블록)의 원본 신호와 예측 신호의 차분을 구하여 부호화하고 전송할 수 있다. 전송량을 줄이고 부호화 효율을 높이기 위해 차분을 전송하지만, 참조 계층으로부터 구한 예측 신호의 경우 계층 간 영상의 크기 차에 따른 신호의 왜곡 등으로 원본 신호와의 차분이 여전히 클 수 있다.
따라서, 참조 계층으로부터 구한 복원 샘플와 향상 계층 원본 샘플 사이의 에러를 최소화 할 수 있는 필터링 및 오프셋을 적용함으로써 예측 신호의 정확도를 높이는 방법을 고려할 수 있다. 추가적인 필터링 및 오프셋을 적용함으로써 예측 신호의 정확도가 높아지면 차분의 크기를 더 줄이거나 차분을 부호화하지 않고도 현재 블록을 부호화하고 복호화할 수 있다.
도 4는 본 발명에 따라서 부호화 장치가 향상 계층의 부호화를 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 4에서는, 향상 계층의 입력 영상에 대한 현재 부호화 대상 예측 유닛(현재 유닛 또는 현재 블록)의 샘플 신호를 참조 계층의 복원 신호에 관한 정보를 기반으로 부호화하는 예를 설명하고 있다.
도 4를 참조하면, 우선, 부호화 장치는 참조 계층의 대응 샘플 위치를 결정한다(S410). 참조 계층의 대응 샘플 위치는 향상 계층의 현재 유닛(현재 부호화 대상 예측 유닛)의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 의미한다.
이어서, 부호화 장치는 상기 참조 계층 유닛들에 대한 복원 샘플 신호를 결정한다(S420). 예컨대, 부호화 장치는 참조 계층의 대응 샘플 위치를 포함하는 유닛 및 상기 유닛의 주변 유닛들 중 적어도 하나 이상의 복원 샘플 신호를 구할 수 있다.
다음으로, 부호화 장치는 향상 계층 유닛의 샘플 신호를 부호화한다(S430). 예컨대, 부호화 장치는 참조 계층의 복원 샘플 신호를 사용하여 향상 계층 내 현재 유닛의 샘플 신호를 부호화할 수 있다.
이하 도 4에 도시된 향상 계층의 부호화 방법을 상세하게 설명한다.
우선, 부호화 장치는 향상 계층의 현재 부호화 대상 예측 유닛(현재 유닛 또는 현재 블록)의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 결정한다(S410).
기준 샘플은 현재 유닛의 위치를 특정하는 샘플로서 현재 유닛 내의 샘플일 수도 있고, 현재 유닛 밖의 샘플일 수도 있다.
도 5는 현재 유닛(현재 부호화 대상 유닛 또는 현재 복호화 대상 유닛)의 기준 샘플을 결정하는 방법과 이를 이용하여 참조 계층의 유닛을 특정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 5를 참조하면, 현재 부호화 대상 예측 유닛(현재 유닛, 500)에 대하여 좌측 상단 샘플(510), 중앙 샘플(520), 우측 상단 샘플(530), 좌측 하단 샘플(540), 우측 하단 샘플(550) 등이 기준 샘플이 될 수 있다.
이때 각 기준 샘플에 대응되는 참조 계층의 샘플 위치는 다음과 같이 유도될 수 있다.현재 유닛(현재 부호화 대상 예측 유닛)의 좌측 상단 샘플 위치(510)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 좌측 상단 샘플 위치(510)를 (xP, yP)라고 할 때, (refxP, refyP) = (xP, yP)/스캐일링 팩터(scaling factor)로 유도될 수 있다.
현재 유닛의 중앙 샘플 위치(520)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 중앙 샘플 위치(520)를 (xPCtr, yPCtr)이라고 할 때, (refxP, refyP) = (xPCtr, yPCtr)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 도 5에서는 향상 계층의 현재 유닛의 중앙 샘플 위치(520)를 중앙 좌상의 샘플 위치로 예시하였으나, 이에 한정되지 않고, 중앙 좌하, 중앙 우상 또는 중앙 우하의 샘플 위치가 중앙 샘플 위치로서 이용될 수도 있다.
따라서, 중앙 샘플 위치(520)인 (xPCtr, yPCtr)은 중앙 좌상의 샘플 위치에 대응하는 (xP+(nPSW>>1)-1, yP+(nPSH>>1)-1), 중앙 좌하의 샘플 위치에 대응하는 (xP+(nPSW>>1)-1, yP+(nPSH>>1)), 중앙 우상의 샘플 위치에 대응하는 (xP+(nPSW>>1), yP+(nPSH>>1)-1) 또는 중앙 우하의 샘플 위치에 대응하는 (xP+(nPSW>>1), yP+(nPSH>>1)) 중 어느 하나로 결정될 수 있다. 이때, nPSH는 현재 유닛(현재 부호화 대상 예측 유닛)의 세로 길이를 나타내며, nPSW는 현재 유닛의 가로 길이를 나타낸다.
현재 유닛의 우측 상단 샘플 위치(530)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 우측 상단 샘플 위치(530)를 (xPRt, yPRt)이라고 할 때, (refxP, refyP) = (xPRt, yPRt)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 우측 하단 샘플 위치 (xPRt, yPRt)는 (xP+nPSW, yP-1)이다.
현재 유닛의 좌측 하단 샘플 위치(540)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 좌측 하단 샘플 위치(540)를 (xPLb, yPLb)이라고 할 때, (refxP, refyP) = (xPLb, yPLb)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 우측 하단 샘플 위치 (xPLb, yPLb)는 (xP-1, yP+nPSH)이다.
현재 유닛의 우측 하단 샘플 위치(550)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 우측 하단 샘플 위치(550)를 (xPRb, yPRb)이라고 할 때, (refxP, refyP) = (xPRb, yPRb)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 우측 하단 샘플 위치 (xPRb, yPRb)는 (xP+nPSW, yP+nPSH)이다.
이와 유사하게, 현재 유닛의 임의의 샘플 위치 (xPk, yPk)에 대응하는 참조 계층의 샘플 위치 (refxP, refyP)는 (xPk, yPk)/스캐일링 팩처(scaling factor)로 유도될 수 있다.
이때, 스케일링 팩터는 계층 간 입력 영상의 크기가 다른 경우에 향상 계층에 대응하는 참조 계층의 샘플 위치를 구하기 위해 향상 계층의 입력 영상과 참조 계층의 입력 영상 사이의 크기 비율이다.
따라서, 복호화 장치에서 사용하는 스케일링 팩터 sf_X의 값은 수식 1과 같이 결정될 수 있다.
<수식 1>
sf = 향상 계층 입력 영상의 크기 / 참조 계층 입력 영상의 크기
예컨대, 계층 간 입력 영상의 크기가 같은 경우에 스케일링 팩터의 값은 1일 수 있다. 향상 계층 입력 영상의 가로/세로의 크기가 참조 계층 입력 영상의 가로/세로 크기보다 각각 2배 큰 경우에는 스케일링 팩터의 값은 2일 수 있다.
앞서 설명한 샘플 위치를 스케일링 팩터로 나누는 것(예컨대, (xP, yP)/스케일링 팩터)는 샘플 위치의 x 성분과 y 성분을 각각 스케일링 팩터로 나누는 것을 의미할 수 있다. 이때, 입력 영상의 크기 비율에서 가로 성분의 크기 비율과 세로 성분의 크기 비율이 상이할 수 있다. 이 경우, 가로 성분의 크기 비율 sf_X와 세로 성분의 크기 비율 sf_Y는 수식 2와 같이 결정될 수 있다.
<수식 2>
sf_X = 향상 계층 입력 영상의 가로 크기 / 참조 계층 입력 영상의 가로 크기
sf_Y = 향상 계층 입력 영상의 세로 크기 / 참조 계층 입력 영상의 세로 크기
따라서, 향상 계층의 샘플 위치가 (xE, yE)라고 하면, 참조 계층에서 대응되는 샘플의 위치 (refxP, refyP)는 수식 3과 같다.
<수식 3>
(refxP, refyP) = (xE/sf_X, yE/sf_Y)
예컨대, 가로 성분의 스케일링 팩터 sf_X의 값이 2이고, 세로 성분의 스케일링 팩터 sf_Y의 값이 1.5라면, 향상 계층의 샘플 위치가 (xP, yP)일 때, 대응하는 참조 계층의 샘플 위치는 (xP/2, yP/1.5)가 된다.
향상 계층의 현재 유닛에 대한 기준 샘플 위치들은 도 5에서 설명한 것 외에 다양한 위치를 이용할 수 있다. 도 5에서는 기준 샘플의 일 예를 나타내었으나 본 발명은 이에 한정되지 않는다. 예컨대, 좌측 상단 샘플 위치로서 현재 유닛 내의 위치(510)가 아니라, B2 블록 내 우하단 위치의 샘플을 이용할 수 있다. 아울러, 우측 상단 샘플 위치로서 B0 내의 샘플 위치(530)이 아니라, 현재 유닛 내 우측 상단 위치 또는 B1 내 우측 하단 위치의 샘플을 이용할 수도 있다. 또한, 좌측 하단 샘플 위치로서 A0 내의 샘플 위치(540) 대신 현재 유닛 내 좌하단의 샘플 위치 또는 A1 내 우측 하단의 샘플 위치를 이용할 수도 있다. 마찬가지로, 우측 하단 샘플 위치로서 C0 내의 샘플 위치(550) 대신 현재 유닛 내 우하단의 샘플 위치를 이용할 수도 있다.
한편, 계층 간 영상의 크기가 다른 경우에는, 우선적으로 전체 영상 신호에 대해 스케일링하여 영상의 크기를 동일하게 하고, 현재 유닛의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 구할 수도 있다. 이 경우에는, 현재 유닛의 기준 샘플 위치와 동일한 위치에 있는 참조 계층의 샘플을 현재 유닛의 기준 샘플에 대응하는 참조 계층의 샘플로 이용할 수 있다.
상술한 바와 같은 방법(상술한 바와 같은 방법들 중 적어도 하나)를 이용하여 향상 계층의 현재 유닛(현재 부호화 대상 예측 유닛)의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 구할 수 있다.
다시 도 4로 돌아가서, 부호화 장치는 향상 계층에 대응되는 참조 계층의 샘플 위치를 포함하고 있는 유닛 및 주변 유닛 중 적어도 하나 이상에 대하여 복원 샘플 신호를 구할 수 있다(S420).
참조 계층의 부호화에 있어서, 복원 샘플 신호에 적응적 디블록킹 필터(Adaptive Deblocking Filter:ADF, 이하 ‘ADF’라 함), SAO, ALF 등 필터링이 적용된 경우에는, 계층 간 텍스처 예측에 사용되는 참조 계층의 복원 샘플 신호를 다수의 위치로부터 선택할 수 있다. 여기서, 위치는 필터 또는 오프셋이 적용되기 전 또는 후를 의미할 수 있다. 즉, 계층 간 텍스처 예측에 사용되는 참조 계층의 복원 샘플은 복수의 샘플 중에서 선택될 수 있으며, 이때 복원 샘플은 인루프 필터가 적용된 샘플일 수도 있고 적용되지 않은 샘플일 수도 있다.
예컨대, 부호화 장치는 ADF가 적용되기 전의 복원 샘플 신호를 참조 유닛의 복원 샘플 신호로 사용할 수도 있고, ADF가 적용된 후의 복원 샘플 신호를 참조 유닛의 복원 샘플 신호로 사용할 수 있다. 또한, 부호화 장치는 SAO가 적용되기 전의 복원 샘플 신호를 참조 유닛의 복원 샘플 신호로 사용할 수도 있고, SAO가 적용된 후의 복원 샘플 신호를 참조 유닛의 복원 샘플 신호로 사용할 수도 있다. 또한, 부호화 장치는 ALF가 적용되기 전의 복원 샘플 신호를 참조 유닛의 복원 샘플 신호로 사용할 수도 있고, ALF가 적용된 후의 복원 샘플 신호를 참조 유닛의 복원 샘플 신호로 사용할 수도 있다.
따라서, 상술한 예를 다시 말하면, 참조 계층 내의 복원 샘플 신호에 인루프 필터가 적용되는 단계를 고려하여 참조 유닛의 복원 샘플 신호를 결정할 수 있다. 이때 참조 유닛은 향상 계층의 샘플 위치에 대응되는 참조 계층의 샘플 위치를 포함하고 있는 유닛 또는 그 주변 유닛을 의미한다.
도 6은 인루프 필터의 적용 방법에 관한 일 예를 개략적으로 설명하는 순서도이다.
도 6을 참조하면, 인루프 필터는 ADF(적응적 디블록킹 필터)를 적용하는 단계(S610), SAO(샘플 적응적 오프셋)을 적용하는 단계(S620), ALF(적응적 루프 필터)를 적용하는 단계(630)를 포함한다. 이때 ADF, SAO, ALF는 선택적으로 적용될 수도 있고, 앞선 필터 또는 오프셋이 적용된 경우에만 적용 여부가 결정될 수도 있다.
도 6의 인루프 적용 방법의 예를 고려하면, 부호화 장치는 참조 유닛의 복원 샘플 신호를 (1) ADF 단계 전의 복원 샘플 신호, (2) ADF 단계 후 SAO 단계 전의 복원 샘플 신호, (3) ADF 단계 및 SAO 단계 후 ALF 단계 전의 복원 샘플 신호, (4) ADF 단계, SAO 단계 및 ALF 단계 후의 복원 샘플 신호 중 어느 하나로 결정할 수 있다. 다만, 도 6의 예는 본 발명의 일 실시예로서, 본 발명을 적용함에 있어서, ADF, SAO, ALF의 적용 순서는 도 6에 한정되지 않으며, 도 6에 도시된 ADF→SAO→ALF 뿐만 아니라 ADF→ALF→SAO, SAO→ADF→ALF, SAO→ALF→ADF, ALF→SAO→ADF, ALF→ADF→SAO 중 어느 하나 일 수 있다. 또한 ADF, SAO, ALF가 모두 적용될 수도 있는 경우에 각 단계의 전후에서 참조 유닛의 복원 샘플 신호가 결정될 수도 있고, ADF, SAO, ALF 중 적어도 하나가 적용되는 경우에도 적용되는 필터 또는 오프셋의 전후에서 참조 유닛의 복원 샘플 신호가 결정될 수도 있다.
부호화 장치는 참조 유닛의 복원 샘플 신호에 관한 정보(참조 유닛의 위치 및/또는 참조 유닛의 복원 샘플 신호에 관한 정보 등)을 복호화 장치에 전송할 수 있다.
한편, 여기서는 상술한 방법들을 모두 이용하여 각 기준 샘플의 위치를 결정하고 대응하는 참조 계층의 샘플 위치를 특정하는 것으로 설명하였으나, 본 발명은 이에 한정하지 않고 기준 샘플들 중 어느 하나의 위치를 특정하고 이를 기반으로 특정된 참조 유닛을 이용하여 예측 신호를 생성할 수도 있다.
다시 도 4로 돌아가면, 부호화 장치는 참조 계층의 참조 복원 샘플 신호를 사용하여 향상 계층의 현재 유닛(현재 부호화 대상 예측 유닛)의 샘플 신호를 부호화할 수 있다(S430).
이때, 참조 복원 샘플 신호는 참조 유닛으로부터 얻어진다. 상술한 바와 같이, 참조 유닛은 S410, S420을 통해 구한 현재 유닛의 기준 샘플 위치에 대응되는 참조 계층의 샘플을 포함하고 있는 유닛 또는 그 주변 유닛을 의미한다. 계층 간에 영상의 크기가 다를 경우에는 계층 간 영상 크기의 비율(스케일링 팩터)에 따라서 참조 유닛의 크기를 스케일링 하여 현재 유닛의 부호화에 이용할 수도 있다.
참조 유닛의 복원 샘플 신호를 현재 유닛의 예측 샘플 신호로 사용하여 현재 유닛의 원본 샘플 신호와의 차분 신호를 구할 수 있다. 부호화 장치는 차분 신호를 부호화하여 복호화 장치로 전송할 수 있다.
부호화 장치는 참조 유닛의 복원 샘플 신호를 현재 유닛의 부호화 신호로 사용할 수 있다. 예컨대, 참조 유닛의 복원 샘플 신호와 현재 유닛의 원본 샘플 신호가 동일하다고 판단하면, 부호화 장치는 현재 유닛에 대한 차분 신호를 생성하지 않거나 차분 신호를 복호화하지 않을 수 있다.
부호화 장치는 참조 유닛의 복원 샘플 신호와 현재 유닛의 원본 샘플 신호와의 에러 또는 차이를 최소화하는 필터 계수를 구할 수 있다. 부호화 장치는 구한 필터 계수를 이용하여 참조 유닛의 복원 샘플 신호를 필터링함으로써 현재 유닛에 대한 차분 신호를 최소화할 수 있다.
부호화 장치는 차분 신호를 최소화하는 필터를 적용하여 획득한 참조 유닛의 복원 샘플 신호를 현재 유닛의 예측 신호로 사용할 수 있다. 부호화 장치는 현재 유닛의 예측 신호와 원본 샘플 신호 사이의 차분 신호를 구하여 부호화 할 수 있다. 이 경우에, 상술한 바와 같이, 차분 신호를 최소화하는 필터를 적용하여 획득한 참조 유닛의 복원 샘플 신호가 현재 유닛의 원본 샘플 신호와 동일하다고 판단하거나 차분 신호를 최소화하는 필터를 적용하는 경우에는 참조 유닛의 복원 샘플 신호와 현재 유닛의 원본 샘플 신호가 동일하다고 설정하고, 부호화 장치는 현재 유닛에 대한 차분 신호를 부호화하지 않을 수 있다.
참조 유닛의 복원 샘플 신호에 대한 필터링에 이용되는 필터 계수로서 적응형 필터 계수가 이용될 수도 있고 고정형 필터 계수가 이용될 수도 있다. 적응형 필터 계수를 사용하는 경우에 부호화 장치는 현재 유닛 및/또는 참조 유닛에 대응하여 필터 계수를 적응적으로 결정할 수 있다. 이 경우, 부호화 장치는 복호화 장치에서도 동일한 필터 계수가 사용될 수 있도록 필터 계수에 관한 정보를 부호화하여 복호화 장치로 전송할 수 있다.
이때, 계층 간 영상의 크기가 상이하다면, 현재 유닛의 원본 샘플 신호와의 차이(에러)를 최소화하는 필터 계수를 산출하기 위해 사용되는 참조 유닛의 복원 샘플 신호는 스케일링을 적용하여 계층 간 영상의 크기를 조정한 후에 획득된 복원 샘플 신호일 수 있다.
또한, 계층 간 영상의 크기가 상이하다고 해도, 현재 유닛의 원본 샘플 신호와의 차이(에러)를 최소화하는 필터 계수를 산출하기 위해 사용되는 참조 유닛의 복원 샘플 신호는 스케일링을 적용하지 않은 참조 유닛 또는 스케일링을 적용하지 않은 참조 계층의 복원 샘플 신호일 수 있다. 이 경우에 부호화 장치는 차이(에러)를 최소화하는 필터 계수를 스케일링을 고려하여 결정할 수 있으며, 이 필터 계수를 적용하여 참조 유닛의 복원 샘플 신호를 필터링하는 과정에서 스케일링이 반영되도록 할 수도 있다.
상술한 필터링(예컨대, 디블록킹 필터링, ALF 등) 외에 샘플 오프셋(예컨대, SAO)을 적용할 수도 있다. 부호화 장치는 참조 유닛의 복원 샘플 신호에 샘플 오프셋을 더한 복원 샘플 신호를 현재 유닛의 예측 신호로 사용할 수 있다. 부호화 장치는 예측 신호와 현재 유닛의 원본 샘플 신호와의 차분 신호를 부호화할 수 있다.
또한, 부호화 장치는 참조 유닛의 복원 샘플 신호에 샘플 오프셋 값을 더한 복원 샘플 신호(예측 신호)가 현재 유닛의 원본 샘플 신호와 동일하다고 판단하거나 예측 신호가 현재 유닛의 원본 샘플 신호와 동일하다고 설정한 경우에, 참조 유닛의 복원 샘플 신호에 샘플 오프셋 값을 더한 복원 샘플 신호를 현재 유닛(현재 부호화 대상 예측 유닛)의 부호화 신호로서 사용할 수도 있다.
샘플 오프셋 값으로서 미리 정해진 고정 오프셋 값이 적용될 수 있다. 또한, 샘플 오프셋 값으로서 참조 유닛의 복원 샘플 신호와 현재 유닛의 원본 샘플 신호로부터 적응적으로 구해지는 적응적 오프셋 값이 적용될 수도 있다. 적응적 오프셋을 이용하는 경우, 부호화 장치는 복호화 장치에서도 동일한 오프셋 값이 사용될 수 있도록 오프셋에 관한 정보를 부호화하여 전송할 수 있다.
도 7은 본 발명에 따라서 복호화 장치가 향상 계층의 복호화를 수행하는 방법을 개략적으로 설명하는 순서도이다.

도 7에서는, 향상 계층의 입력 영상에 대한 현재 복호화 대상 예측 유닛(현재 유닛 또는 현재 블록)의 샘플 신호를 참조 계층의 복원 신호에 관한 정보를 기반으로 복호화하는 예를 설명하고 있다.
도 7을 참조하면, 우선, 복호화 장치는 참조 계층의 대응 샘플 위치를 유도한다(S710). 참조 계층의 대응 샘플 위치는 향상 계층의 현재 유닛(현재 복호화 대상 예측 유닛)의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 의미한다.
이어서, 복호화 장치는 참조 계층의 복원 샘플 신호를 유도한다(S720). 예컨대, 복호화 장치는 참조 유닛에 대한 복원 샘플 신호를 유도할 수 있다.
다음으로, 복호화 장치는 향상 계층 유닛(향상 계층의 현재 복호화 대상 예측 유닛: 현재 유닛)의 샘플 신호를 복호화한다(S730). 예컨대, 복호화 장치는 참조 계층의 복원 샘플 신호를 사용하여 향상 계층 내 현재 유닛의 샘플 신호를 복호화할 수 있다.
이하 도 7에 도시된 향상 계층의 복호화 방법을 상세하게 설명한다.
우선, 복호화 장치는 향상 계층의 현재 복호화 대상 예측 유닛(현재 유닛 또는 현재 블록)의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 결정한다(S710).
기준 샘플은 현재 유닛의 위치를 특정하는 샘플로서 현재 유닛 내의 샘플일 수도 있고, 현재 유닛 밖의 샘플일 수도 있다.
도 5는 현재 유닛(현재 복호화 대상 유닛 또는 현재 부호화 대상 유닛)의 기준 샘플을 결정하는 방법과 이를 이용하여 참조 계층의 유닛을 특정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 5를 참조하면, 현재 복호화 대상 예측 유닛(현재 유닛, 500)에 대하여 좌측 상단 샘플(510), 중앙 샘플(520), 우측 상단 샘플(530), 좌측 하단 샘플(540), 우측 하단 샘플(550) 등이 기준 샘플이 될 수 있다.
이때 각 기준 샘플에 대응되는 참조 계층의 샘플 위치는 다음과 같이 유도될 수 있다.현재 유닛(현재 복호화 대상 예측 유닛)의 좌측 상단 샘플 위치(510)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 좌측 상단 샘플 위치(510)를 (xP, yP)라고 할 때, (refxP, refyP) = (xP, yP)/스캐일링 팩터(scaling factor)로 유도될 수 있다.
현재 유닛의 중앙 샘플 위치(520)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 중앙 샘플 위치(520)를 (xPCtr, yPCtr)이라고 할 때, (refxP, refyP) = (xPCtr, yPCtr)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 도 5에서는 향상 계층의 현재 유닛의 중앙 샘플 위치(520)를 중앙 좌상의 샘플 위치로 예시하였으나, 이에 한정되지 않고, 중앙 좌하, 중앙 우상 또는 중앙 우하의 샘플 위치가 중앙 샘플 위치로서 이용될 수도 있다.
따라서, 중앙 샘플 위치(520)인 (xPCtr, yPCtr)은 중앙 좌상의 샘플 위치에 대응하는 (xP+(nPSW>>1)-1, yP+(nPSH>>1)-1), 중앙 좌하의 샘플 위치에 대응하는 (xP+(nPSW>>1)-1, yP+(nPSH>>1)), 중앙 우상의 샘플 위치에 대응하는 (xP+(nPSW>>1), yP+(nPSH>>1)-1) 또는 중앙 우하의 샘플 위치에 대응하는 (xP+(nPSW>>1), yP+(nPSH>>1)) 중 어느 하나로 결정될 수 있다. 이때, nPSH는 현재 유닛(현재 복호화 대상 예측 유닛)의 세로 길이를 나타내며, nPSW는 현재 유닛의 가로 길이를 나타낸다.
현재 유닛의 우측 상단 샘플 위치(530)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 우측 상단 샘플 위치(530)를 (xPRt, yPRt)이라고 할 때, (refxP, refyP) = (xPRt, yPRt)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 우측 하단 샘플 위치 (xPRt, yPRt)는 (xP+nPSW, yP-1)이다.
현재 유닛의 좌측 하단 샘플 위치(540)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 좌측 하단 샘플 위치(540)를 (xPLb, yPLb)이라고 할 때, (refxP, refyP) = (xPLb, yPLb)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 우측 하단 샘플 위치 (xPLb, yPLb)는 (xP-1, yP+nPSH)이다.
현재 유닛의 우측 하단 샘플 위치(550)에 대응되는 참조 계층의 샘플 위치 (refxP, refyP)는, 향상 계층의 현재 유닛의 우측 하단 샘플 위치(550)를 (xPRb, yPRb)이라고 할 때, (refxP, refyP) = (xPRb, yPRb)/스캐일링 팩터(scaling factor)로 유도될 수 있다. 이때, 우측 하단 샘플 위치 (xPRb, yPRb)는 (xP+nPSW, yP+nPSH)이다.
이와 유사하게, 현재 유닛의 임의의 샘플 위치 (xPk, yPk)에 대응하는 참조 계층의 샘플 위치 (refxP, refyP)는 (xPk, yPk)/스캐일링 팩처(scaling factor)로 유도될 수 있다.
이때, 스케일링 팩터는 계층 간 입력 영상의 크기가 다른 경우에 향상 계층에 대응하는 참조 계층의 샘플 위치를 구하기 위해 향상 계층의 입력 영상과 참조 계층의 입력 영상 사이의 크기 비율이다.
따라서, 복호화 장치에서 사용하는 스케일링 팩터 sf_X의 값은 수식 4과 같이 결정될 수 있다.
<수식 4>
sf = 향상 계층 입력 영상의 크기 / 참조 계층 입력 영상의 크기
예컨대, 계층 간 입력 영상의 크기가 같은 경우에 스케일링 팩터의 값은 1일 수 있다. 향상 계층 입력 영상의 가로/세로의 크기가 참조 계층 입력 영상의 가로/세로 크기보다 각각 2배 큰 경우에는 스케일링 팩터의 값은 2일 수 있다.
앞서 설명한 샘플 위치를 스케일링 팩터로 나누는 것(예컨대, (xP, yP)/스케일링 팩터)는 샘플 위치의 x 성분과 y 성분을 각각 스케일링 팩터로 나누는 것을 의미할 수 있다. 이때, 입력 영상의 크기 비율에서 가로 성분의 크기 비율과 세로 성분의 크기 비율이 상이할 수 있다. 이 경우, 가로 성분의 크기 비율 sf_X와 세로 성분의 크기 비율 sf_Y는 수식 5와 같이 결정될 수 있다.
<수식 5>
sf_X = 향상 계층 입력 영상의 가로 크기 / 참조 계층 입력 영상의 가로 크기
sf_Y = 향상 계층 입력 영상의 세로 크기 / 참조 계층 입력 영상의 세로 크기
따라서, 향상 계층의 샘플 위치가 (xE, yE)라고 하면, 참조 계층에서 대응되는 샘플의 위치 (refxP, refyP)는 수식 3과 같다.
<수식 6>
(refxP, refyP) = (xE/sf_X, yE/sf_Y)
예컨대, 가로 성분의 스케일링 팩터 sf_X의 값이 2이고, 세로 성분의 스케일링 팩터 sf_Y의 값이 1.5라면, 향상 계층의 샘플 위치가 (xP, yP)일 때, 대응하는 참조 계층의 샘플 위치는 (xP/2, yP/1.5)가 된다.
향상 계층의 현재 유닛에 대한 기준 샘플 위치들은 도 5에서 설명한 것 외에 다양한 위치를 이용할 수 있다. 도 5에서는 기준 샘플의 일 예를 나타내었으나 본 발명은 이에 한정되지 않는다. 예컨대, 좌측 상단 샘플 위치로서 현재 유닛 내의 위치(510)가 아니라, B2 블록 내 우하단 위치의 샘플을 이용할 수 있다. 아울러, 우측 상단 샘플 위치로서 B0 내의 샘플 위치(530)이 아니라, 현재 유닛 내 우측 상단 위치 또는 B1 내 우측 하단 위치의 샘플을 이용할 수도 있다. 또한, 좌측 하단 샘플 위치로서 A0 내의 샘플 위치(540) 대신 현재 유닛 내 좌하단의 샘플 위치 또는 A1 내 우측 하단의 샘플 위치를 이용할 수도 있다. 마찬가지로, 우측 하단 샘플 위치로서 C0 내의 샘플 위치(550) 대신 현재 유닛 내 우하단의 샘플 위치를 이용할 수도 있다.
한편, 계층 간 영상의 크기가 다른 경우에는, 우선적으로 전체 영상 신호에 대해 스케일링하여 영상의 크기를 동일하게 하고, 현재 유닛의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 구할 수도 있다. 이 경우에는, 현재 유닛의 기준 샘플 위치와 동일한 위치에 있는 참조 계층의 샘플을 현재 유닛의 기준 샘플에 대응하는 참조 계층의 샘플로 이용할 수 있다.
상술한 바와 같은 방법(상술한 바와 같은 방법들 중 적어도 하나)를 이용하여 향상 계층의 현재 유닛(현재 복호화 대상 예측 유닛)의 기준 샘플 위치에 대응하는 참조 계층의 샘플 위치를 구할 수 있다.
다시 도 7로 돌아가서, 복호화 장치는 향상 계층에 대응되는 참조 계층의 샘플 위치를 포함하고 있는 유닛 및 주변 유닛 중 적어도 하나 이상에 대하여 복원 샘플 신호를 유도할 수 있다(S720).
참조 계층의 복호화에 있어서, 복원 샘플 신호에 적응적 디블록킹 필터(Adaptive Deblocking Filter: ADF, 이하 ‘ADF’라 함), SAO, ALF 등 필터링이 적용된 경우에는, 계층 간 텍스처 예측에 사용되는 참조 계층의 복원 샘플 신호가 다수의 위치로부터 선택될 수 있다. 여기서, 위치는 필터 또는 오프셋이 적용되기 전 또는 후를 의미할 수 있다. 즉, 계층 간 텍스처 예측에 사용되는 참조 계층의 복원 샘플은 복수의 샘플 중에서 선택될 수 있으며, 이때 복원 샘플은 인루프 필터가 적용된 샘플일 수도 있고 적용되지 않은 샘플일 수도 있다.
예컨대, ADF가 적용되기 전의 복원 샘플 신호가 참조 유닛의 복원 샘플 신호로 사용될 수도 있고, ADF가 적용된 후의 복원 샘플 신호가 참조 유닛의 복원 샘플 신호로 사용될 수 있다. 또한, SAO가 적용되기 전의 복원 샘플 신호가 참조 유닛의 복원 샘플 신호로 사용될 수도 있고, SAO가 적용된 후의 복원 샘플 신호가 참조 유닛의 복원 샘플 신호로 사용될 수도 있다. 또한, ALF가 적용되기 전의 복원 샘플 신호가 참조 유닛의 복원 샘플 신호로 사용될 수도 있고, ALF가 적용된 후의 복원 샘플 신호가 참조 유닛의 복원 샘플 신호로 사용될 수도 있다.
도 6은 인루프 필터의 적용 방법에 관한 일 예를 개략적으로 설명하는 순서도이다.
도 6을 참조하면, 인루프 필터는 ADF(적응적 디블록킹 필터)를 적용하는 단계(S610), SAO(샘플 적응적 오프셋)을 적용하는 단계(S620), ALF(적응적 루프 필터)를 적용하는 단계(630)를 포함한다. 이때 ADF, SAO, ALF는 선택적으로 적용될 수도 있고, 앞선 필터 또는 오프셋이 적용된 경우에만 적용 여부가 결정될 수도 있다.
복호화 장치는 부호화 장치로부터 전송된 인루프 필터의 적용에 관한 정보에 기반해서 인루프 필터를 적용할 수 있다.
도 6의 인루프 적용 방법의 예를 고려하면, 참조 유닛의 복원 샘플 신호는 (1) ADF 단계 전의 복원 샘플 신호, (2) ADF 단계 후 SAO 단계 전의 복원 샘플 신호, (3) ADF 단계 및 SAO 단계 후 ALF 단계 전의 복원 샘플 신호, (4) ADF 단계, SAO 단계 및 ALF 단계 후의 복원 샘플 신호 중 어느 하나로 결정될 수 있다. 다만, 도 6의 예는 본 발명의 일 실시예로서, 본 발명을 적용함에 있어서, ADF, SAO, ALF의 적용 순서는 도 6에 한정되지 않으며, 도 6에 도시된 ADF→SAO→ALF 뿐만 아니라 ADF→ALF→SAO, SAO→ADF→ALF, SAO→ALF→ADF, ALF→SAO→ADF, ALF→ADF→SAO 중 어느 하나 일 수 있다. 또한 ADF, SAO, ALF가 모두 적용될 수도 있는 경우에 각 단계의 전후에서 참조 유닛의 복원 샘플 신호가 결정될 수도 있고, ADF, SAO, ALF 중 적어도 하나가 적용되는 경우에도 적용되는 필터 또는 오프셋의 전후에서 참조 유닛의 복원 샘플 신호가 결정될 수도 있다.
복호화 장치는 참조 유닛의 복원 샘플 신호에 관한 정보(참조 유닛의 위치 및/또는 참조 유닛의 복원 샘플 신호에 관한 정보 등)가 부호화 장치로부터 전송되면, 해당 정보를 복호화하여 복원 샘플 신호를 결정하기 위한 정보를 획득할 수 있다. 복호화 장치는 부호화 장치로부터 수신한 정보에서 지시하는 위치의 참조 유닛으로부터 복원 샘플 신호를 유도할 수 있다. 즉, 복호화 장치는 현재 유닛의 샘플 신호를 복호화하기 위해 부호화 장치가 지시하는 참조 유닛의 복원 샘플 신호를 유도할 수 있다.
또한, 복호화 장치는, 부호화 장치로부터 참조 유닛을 지시하는 정보 대신, 기준 샘플을 지시하는 정보를 수신할 수도 있다. 복호화 장치는 기준 샘플을 지시하는 정보를 수신한 경우에는, 지시된 기준 샘플에 의해 특정되는 참조 유닛을 유도하고, 해당 참조 유닛의 샘플 신호를 복원할 수도 있다.
다시 도 4로 돌아가면, 복호화 장치는 참조 계층의 참조 복원 샘플 신호를 사용하여 향상 계층의 현재 유닛(현재 복호화 대상 예측 유닛)의 샘플 신호를 복호화할 수 있다(S730).
이때, 참조 복원 샘플 신호는 참조 유닛으로부터 얻어진다. 상술한 바와 같이, 참조 유닛은 S710, S720을 통해 구한 현재 유닛의 기준 샘플 위치에 대응되는 참조 계층의 샘플을 포함하고 있는 유닛 또는 그 주변 유닛을 의미한다. 계층 간에 영상의 크기가 다를 경우에는 계층 간 영상 크기의 비율(스케일링 팩터)에 따라서 참조 유닛의 크기를 스케일링 하여 현재 유닛의 복호화에 이용할 수도 있다.
복호화 장치는 참조 유닛의 복원 샘플 신호를 현재 유닛(현재 부호화 대상 예측 유닛)의 예측 샘플 신호로 사용할 수 있다. 복호화 장치는 부호화 장치로부터 전송되는 차분 신호와 참조 유닛의 복원 샘플 신호를 합하여 현재 유닛의 복원 샘플 신호를 생성할 수 있다.
또한, 복호화 장치는 부호화 장치로부터 차분 신호를 수신하지 않고 참조 유닛의 복원 샘플 신호를 현재 유닛의 복원 샘플 신호로 사용할 수도 있다. 이 경우, 복호화 장치는 참조 유닛의 복원 샘플 신호와 현재 유닛의 원본 샘플 신호가 동일하다는 지시 또는 정보를 부호화 장치로부터 수신할 수도 있다.
부호화 장치에 관한 설명에서 언급한 바와 같이, 참조 유닛의 복원 샘플 신호와 현재 유닛의 원본 샘플 신호 사이의 에러 또는 차이를 최소화하기 위해 최적의 필터 계수가 적용된다. 복호화 장치는 최적의 필터 계수를 이용하여 참조 유닛의 복원 샘플 신호를 필터링함으로써 현재 유닛에 대한 차분 신호를 최소화하는 예측 샘플 신호를 구할 수 있다.
복호화 장치는 차분 신호를 최소화하는 필터를 적용하여 획득한 참조 유닛의 복원 샘플 신호를 현재 유닛의 예측 신호로 사용할 수 있다. 복호화 장치는 현재 유닛의 예측 신호와 부호화 장치로부터 수신한 차분 신호를 합하여 현재 유닛의 샘플 신호를 복원할 수 있다. 이때, 상술한 바와 같이, 부호화 장치로부터 현재 유닛에 대한 차분 신호가 전송되지 않고, 복호화 장치가 참조 유닛의 복원 샘플 신호를 현재 유닛의 복원 샘플 신호로 사용할 수도 있다.
참조 유닛의 복원 샘플 신호에 대한 필터링에 이용되는 필터 계수로서 적응형 필터 계수가 이용될 수도 있고 고정형 필터 계수가 이용될 수도 있다. 적응형 필터 계수가 사용되는 경우에 복호화 장치는 참조 유닛의 샘플에 적용할 필터 계수에 관한 정보를 부호화 장치로부터 수신한다. 고정형 필터 계수가 사용되는 경우에 복호화 장치는 미리 정해진 필터 계수를 이용하여 참조 유닛의 샘플에 대한 필터링을 수행할 수 있다. 여기서 미리 정해진 필터 계수라 함은, 부호화 장치 및 복호화 장치 간에 내장되어 있는 필터 계수일 수도 있고, 적응적 필터 계수의 정보보다 더 긴 간격으로 전송되는 필터 계수일 수도 있다.
한편, 계층 간 영상의 크기가 상이하다면, 필터링이 적용되는 참조 유닛의 복원 샘플 신호는 스케일링을 적용하여 계층 간 영상의 크기를 조정한 후에 획득된 복원 샘플 신호일 수 있다.
또한, 계층 간 영상의 크기가 상이하다고 해도, 스케일링을 적용하지 않은 참조 유닛 또는 스케일링을 적용하지 않은 참조 계층의 복원 샘플 신호에 필터링을 적용할 수도 있다. 이 경우에 필터 계수는 스케일링을 고려한 필터 계수일 수 있으며, 참조 유닛의 복원 샘플 신호를 필터링하는 과정에서 스케일링이 반영된다.
상술한 필터링(예컨대, 디블록킹 필터링, ALF 등) 외에 샘플 오프셋(예컨대, SAO)이 적용될 수도 있다. 예컨대, 참조 유닛의 복원 샘플 신호에 샘플 오프셋을 더한 복원 샘플 신호가 현재 유닛의 예측 신호로 사용될 수 있다.
이 경우, 복호화 장치는 예측 신호와 부호화 장치로부터 수신한 차분 신호를 합하여 현재 유닛의 샘플 신호를 복원할 수 있다.
또한, 복호화 장치는 부호화 장치로부터 차분 신호를 수신하지 않고 참조 유닛의 복원 샘플 신호에 샘플 오프셋 값을 더한 복원 샘플 신호(예측 신호)를 현재 유닛의 복원 샘플 신호로 사용할 수도 있다. 이 경우, 복호화 장치는 예측 신호가 현재 유닛의 원본 샘플 신호와 동일하다는 것을 지시하는 정보를 부호화 장치로부터 수신할 수도 있다.
샘플 오프셋 값으로서 미리 정해진 오프셋 값이 적용될 수 있다. 또한, 샘플 오프셋 값으로서 적응적 오프셋 값이 적용될 수도 있다. 적응적 오프셋이 이용되는 경우, 복호화 장치는 부호화 장치로부터 오프셋 정보를 수신할 수 있다. 복호화 장치는 수신한 오프셋 정보를 복호화하여 참조 유닛의 샘플 신호에 적용할 오프값을 얻을 수 있다. 여기서 미리 정해진 오프셋 값이라 함은, 부호화 장치 및 복호화 장치 간에 내장되어 있는 오프셋 값일 수도 있고, 적응적 오프셋 값보다 더 긴 간격으로 전송되는 오프셋 값일 수도 있다.

본 명세서에서는 예측 신호, 예측 샘플, 예측 블록, 예측 샘플 신호 등을 혼용하고 있으나, 이는 설명의 편의를 위한 것으로서 본 명세서에서 예측 신호, 예측 샘플, 예측 블록, 예측 샘플 신호 등은 동일한 의미일 수 있다.
또한, 본 명세서에서는 (현재 부호화 대상) 예측 유닛과 현재 유닛, 현재 블록, 대상 블록 등을 혼용하고 있으나, 이는 설명의 편의를 위한 것으로서, 본 명세서에서 현재 부호화대상 예측 유닛과 현재 유닛, 현재 블록, 대상 블록 등은 동일하게 현재 부호화의 대상이 되는 블록/처리 단위 블록(유닛) 또는 현재 예측 대상 블록/처리 단위 블록(유닛)을 의미할 수 있다.

또한, 상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 참조 계층에서 대응 샘플의 위치를 결정하는 단계;
    상기 대응 샘플에 의해 특정되는 참조 계층 내 참조 유닛의 샘플을 복원하여 참조 샘플 신호를 생성하는 단계; 및
    향상 계층의 현재 유닛의 샘플 신호와 상기 참조 샘플 신호의 차분 신호를 부호화하는 단계를 포함하며,
    상기 대응 샘플은 상기 현재 유닛을 특정하는 기준 샘플에 대응하는 참조 계층의 샘플인 것을 특징으로 하는 영상 부호화 방법.
  2. 제1항에 있어서, 상기 대응 샘플 위치 결정 단계에서는,
    상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라 상기 대응 샘플의 위치를 스케일링하여 대응 샘플의 위치를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제2항에 있어서, 상기 대응 샘플 위치의 높이 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라 스케일링되고,
    상기 대응 샘플 위치의 너비 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라 스케일링되는 것을 특징으로 하는 영상 부호화 방법.
  4. 제1항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 상기 참조 유닛의 크기를 스케일링하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제4항에 있어서, 상기 참조 유닛의 높이는 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라서 스케일링되고,
    상기 참조 유닛의 너비는 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라서 스케일링되는 것을 특징으로 하는 영상 부호화 방법.
  6. 제1항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 계층과 상기 향상 계층의 형상 크기 비율에 따라서 상기 복원된 샘플을 스케일링하여 참조 샘플 신호를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제1항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 유닛의 샘플을 복원한 후 필터링을 적용하여 참조 샘플 신호를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제7항에 있어서, 상기 필터링에 사용되는 필터 계수는,
    상기 차분 신호를 최소화하는 필터 계수인 것을 특징으로 하는 영상 부호화 방법.
  9. 제1항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 유닛의 샘플을 복원한 후 오프셋을 적용하여 참조 샘플 신호를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제9항에 있어서, 상기 오프셋은 상기 차분 신호를 최소화하는 오프셋인 것을 특징으로 하는 영상 부호화 방법.
  11. 참조 계층에서 대응 샘플의 위치를 유도하는 단계;
    상기 대응 샘플에 의해 특정되는 참조 계층 내 참조 유닛의 샘플을 복원하여 참조 샘플 신호를 생성하는 단계; 및
    부호화기로부터 수신한 차분 신호와 상기 참조 샘플 신호를 기반으로 향상 계층 내 현재 유닛의 샘플 신호를 복원하는 단계를 포함하며,
    상기 대응 샘플은 상기 현재 유닛을 특정하는 기준 샘플에 대응하는 참조 계층의 샘플인 것을 특징으로 하는 영상 복호화 방법.
  12. 제11항에 있어서, 상기 대응 샘플 위치 유도 단계에서는,
    상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라 상기 대응 샘플의 위치를 스케일링하여 대응 샘플의 위치를 유도하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제12항에 있어서, 상기 대응 샘플 위치의 높이 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라 스케일링되고,
    상기 대응 샘플 위치의 너비 성분은 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라 스케일링되는 것을 특징으로 하는 영상 복호화 방법.
  14. 제11항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 상기 참조 유닛의 크기를 스케일링하는 것을 특징으로 하는 영상 복호화 방법.
  15. 제14항에 있어서, 상기 참조 유닛의 높이는 상기 참조 계층 영상과 상기 향상 계층 영상의 높이 비율에 따라서 스케일링되고,
    상기 참조 유닛의 너비는 상기 참조 계층 영상과 상기 향상 계층 영상의 너비 비율에 따라서 스케일링되는 것을 특징으로 하는 영상 복호화 방법.
  16. 제11항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 계층과 상기 향상 계층의 형상 크기 비율에 따라서 상기 복원된 샘플을 스케일링하여 참조 샘플 신호를 생성하는 것을 특징으로 하는 영상 복호화 방법.
  17. 제11항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 유닛의 샘플을 복원한 후 필터링을 적용하여 참조 샘플 신호를 생성하는 것을 특징으로 하는 영상 복호화 방법.
  18. 제17항에 있어서, 상기 필터링은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 기반하여 수행되며,
    상기 필터링된 복원 샘플은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 스케일링되는 것을 특징으로 하는 영상 복호화 방법.
  19. 제11항에 있어서, 상기 참조 샘플 신호 생성 단계에서는,
    상기 참조 유닛의 샘플을 복원한 후 오프셋을 적용하여 참조 샘플 신호를 생성하는 것을 특징으로 하는 영상 복호화 방법.
  20. 제19항에 있어서, 상기 오프셋은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 기반하여 가해지며,
    상기 오프셋이 가해진 복원 샘플은 상기 참조 계층과 상기 향상 계층의 영상 크기 비율에 따라서 스케일링되는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2012/008098 2011-10-05 2012-10-05 영상 부호화 방법과 영상 복호화 방법 WO2013051897A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/350,267 US20140286434A1 (en) 2011-10-05 2012-10-05 Image-encoding method and image-decoding method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2011-0101141 2011-10-05
KR20110101141 2011-10-05
KR1020120099969A KR20130037162A (ko) 2011-10-05 2012-09-10 스케일러블 비디오 코딩을 위한 계층간 텍스처 예측 방법 및 그 장치
KR10-2012-0099969 2012-09-10
KR1020120110573A KR20130037188A (ko) 2011-10-05 2012-10-05 영상 부호화 방법과 영상 복호화 방법
KR10-2012-0110573 2012-10-05

Publications (1)

Publication Number Publication Date
WO2013051897A1 true WO2013051897A1 (ko) 2013-04-11

Family

ID=48043952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/008098 WO2013051897A1 (ko) 2011-10-05 2012-10-05 영상 부호화 방법과 영상 복호화 방법

Country Status (1)

Country Link
WO (1) WO2013051897A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014189345A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
CN105247869A (zh) * 2013-05-24 2016-01-13 株式会社Kt 用于在多层结构中引出运动信息的方法以及使用该方法的设备
CN105247868A (zh) * 2013-05-31 2016-01-13 高通股份有限公司 使用缩放因数的再取样
WO2018155983A1 (ko) * 2017-02-24 2018-08-30 주식회사 케이티 비디오 신호 처리 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060110714A (ko) * 2005-04-19 2006-10-25 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR20070000022A (ko) * 2005-06-24 2007-01-02 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP2008544708A (ja) * 2005-06-24 2008-12-04 株式会社エヌ・ティ・ティ・ドコモ 適応補間を使用する映像符号化及び復号化の方法と装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060110714A (ko) * 2005-04-19 2006-10-25 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
KR20070000022A (ko) * 2005-06-24 2007-01-02 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP2008544708A (ja) * 2005-06-24 2008-12-04 株式会社エヌ・ティ・ティ・ドコモ 適応補間を使用する映像符号化及び復号化の方法と装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014189345A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
CN105247869A (zh) * 2013-05-24 2016-01-13 株式会社Kt 用于在多层结构中引出运动信息的方法以及使用该方法的设备
US10250902B2 (en) 2013-05-24 2019-04-02 Kt Corporation Method for inducing motion information in multilayer structure and apparatus using same
CN105247869B (zh) * 2013-05-24 2019-05-10 株式会社Kt 解码多层视频的方法和设备
CN105247868A (zh) * 2013-05-31 2016-01-13 高通股份有限公司 使用缩放因数的再取样
CN105247868B (zh) * 2013-05-31 2018-07-03 高通股份有限公司 使用缩放因数的再取样
WO2018155983A1 (ko) * 2017-02-24 2018-08-30 주식회사 케이티 비디오 신호 처리 방법 및 장치

Similar Documents

Publication Publication Date Title
US10334258B2 (en) Scalable video coding method and apparatus using inter prediction mode
JP4999340B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
US9762923B2 (en) Scalable video coding method and apparatus using intra prediction mode
US9854262B2 (en) Method and apparatus for image encoding with intra prediction mode
US20140247883A1 (en) Scalable video encoding and decoding method and apparatus using same
KR102062821B1 (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
US20140219334A1 (en) Image decoding apparatus
KR102209109B1 (ko) 영상 부호화/복호화 방법 및 장치
JP2015065688A (ja) スケーラブルビデオコーディングのためのテクスチャ予想及びリサンプリングの方法及び装置
WO2013147557A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
KR20200128375A (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20160132857A (ko) 스케일러블 비디오 부호화/복호화 방법 및 장치
WO2013051899A2 (ko) 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치
KR20130037188A (ko) 영상 부호화 방법과 영상 복호화 방법
CN115104317A (zh) 图像编码装置和用于控制环路滤波的方法
CN115023954A (zh) 用于控制环路滤波的图像编码装置和方法
CN114982244A (zh) 图像编码装置和方法
WO2013051897A1 (ko) 영상 부호화 방법과 영상 복호화 방법
CN115136607A (zh) 基于滤波的图像编码装置和方法
KR101850152B1 (ko) 적응적 루프 필터 적용 방법 및 그를 이용한 스케일러블 비디오 부호화 장치
CN115088265A (zh) 用于控制环路滤波的图像编码装置和方法
KR102418524B1 (ko) 영상 부호화/복호화 방법 및 장치
KR102334374B1 (ko) 영상 부호화/복호화 방법 및 장치
US20150010083A1 (en) Video decoding method and apparatus using the same
WO2022146215A1 (en) Temporal filter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12838171

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14350267

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12838171

Country of ref document: EP

Kind code of ref document: A1