WO2012044093A2 - 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2012044093A2
WO2012044093A2 PCT/KR2011/007200 KR2011007200W WO2012044093A2 WO 2012044093 A2 WO2012044093 A2 WO 2012044093A2 KR 2011007200 W KR2011007200 W KR 2011007200W WO 2012044093 A2 WO2012044093 A2 WO 2012044093A2
Authority
WO
WIPO (PCT)
Prior art keywords
filter information
information
filter
filtering
image
Prior art date
Application number
PCT/KR2011/007200
Other languages
English (en)
French (fr)
Other versions
WO2012044093A3 (ko
Inventor
임성창
김휘용
정세윤
조숙희
김종호
이하현
이진호
최진수
김진웅
안치득
최해철
Original Assignee
한국전자통신연구원
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한밭대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US13/876,938 priority Critical patent/US9363533B2/en
Priority to US16/908,607 priority patent/USRE49308E1/en
Priority claimed from KR1020110099197A external-priority patent/KR102062821B1/ko
Publication of WO2012044093A2 publication Critical patent/WO2012044093A2/ko
Publication of WO2012044093A3 publication Critical patent/WO2012044093A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to image processing, and more particularly, to an image encoding / decoding method and apparatus.
  • an inter prediction technique for predicting pixel values included in a current picture from a previous and / or subsequent picture in time, and predicting pixel values included in a current picture using pixel information in the current picture.
  • Intra prediction technique entropy coding technique for assigning short codes to symbols with high appearance and long codes for symbols with low appearance, distortion, error, and blocking in reconstructed images
  • Filtering techniques for reducing blocking artifacts and the like may be used.
  • Video compression technology is a technology that provides a constant network bandwidth under a limited operating environment of hardware without considering a fluid network environment.
  • a new compression technique is required to compress video data applied to a network environment in which bandwidth changes frequently, and a scalable video encoding / decoding method may be used for this purpose.
  • a multiview image encoding / decoding method may be used to provide a 3D image.
  • images of two or more views are displayed on a spatially divided display panel, and images of each individual viewpoint are reproduced simultaneously.
  • the viewpoints of the images reproduced at the same time are separated by a driving method such as a polarizing film, a lenticular sheet, and a parallax barrier. Therefore, images of different viewpoints are provided to the human eyes, and the reproduced images are recognized as 3D images.
  • An object of the present invention is to provide a scalable image encoding method and apparatus capable of reducing the amount of transmitted information and improving image compression performance.
  • Another object of the present invention is to provide a scalable image decoding method and apparatus capable of reducing the amount of transmitted information and improving image compression performance.
  • Another technical problem of the present invention is to provide a multi-view image encoding method and apparatus capable of reducing the amount of information to be transmitted and improving image compression performance.
  • Another technical problem of the present invention is to provide a multi-view image decoding method and apparatus capable of reducing the amount of transmitted information and improving image compression performance.
  • Another technical problem of the present invention is to provide a filtering method and apparatus that can reduce the amount of transmitted information and improve image compression performance.
  • Another technical problem of the present invention is to provide a method and apparatus for predicting filter information that can reduce the amount of transmitted information and improve image compression performance.
  • An embodiment of the present invention is a multi-layer scalable image decoding method.
  • the method may further include generating second filter information including a prediction value for first filter information by using at least one of information included in a target layer and information included in another layer, and generating the second filter information based on the second filter information. And filtering the filtering target image using the first filter information.
  • the target layer is a layer including the filtering target image
  • the other layer is a layer excluding the target layer and may be used for decoding in the target layer
  • the first filter information is the filtering target image.
  • Is information for filtering the second filter information, and the second filter information is prediction filter information generated for filtering the filtering target image.
  • the first filter information may be at least one of filter information in an adaptive loop, interpolation filter information, and deblocking filter information.
  • the method further includes receiving a filter information prediction indicator from an encoder, wherein the filter information prediction indicator includes information on which filter information of the first filter information is performed and the first filter information. At least one of information about which layer information is predicted using, information on which filter information the first filter information is predicted from, and information on how the second filter information is used. Can be.
  • the first filter information is generated by using information included in a layer indicated by the filter information prediction indicator among the target layer and the other layers. Prediction can be performed.
  • the method may further include receiving difference information between the first filter information and the second filter information from an encoder, and filtering the filtered image using the first filter information based on the second filter information.
  • the performing may include generating the first filter information by adding the second filter information and the difference information, and performing filtering on the filtering target image using the first filter information.
  • the method may further include generating second filter information including a prediction value for first filter information by using at least one of information included in a target layer and information included in another layer, and generating the second filter information based on the second filter information. And filtering the filtering target image using the first filter information.
  • the target layer is a layer including the filtering target image
  • the other layer is a layer excluding the target layer and may be used for decoding in the target layer
  • the first filter information is the filtering target image.
  • Is information for filtering the second filter information, and the second filter information is prediction filter information generated for filtering the filtering target image.
  • the first filter information may be at least one of filter information in an adaptive loop, interpolation filter information, and deblocking filter information.
  • the method further includes receiving a filter information prediction indicator from an encoder, wherein the filter information prediction indicator includes information on which filter information of the first filter information is performed and the first filter information. At least one of information about which layer information is predicted using, information on which filter information the first filter information is predicted from, and information on how the second filter information is used. Can be.
  • the first filter information is generated by using information included in a layer indicated by the filter information prediction indicator among the target layer and the other layers. Prediction can be performed.
  • the method may further include receiving difference information between the first filter information and the second filter information from an encoder, and filtering the filtered image using the first filter information based on the second filter information.
  • the performing may include generating the first filter information by adding the second filter information and the difference information, and performing filtering on the filtering target image using the first filter information.
  • Another embodiment of the present invention is a multi-view image decoding method based on images acquired at a plurality of views.
  • the method may further include generating second filter information including a prediction value for first filter information by using at least one of information included in a target time point and information included in another time point, and generating the second filter information based on the second filter information.
  • filtering the filtering target image using first filter information wherein the target viewpoint is a viewpoint in which the filtering target image is included, and the other viewpoint is a viewpoint other than the target viewpoint.
  • the first filter information is information for filtering the filtering target image
  • the second filter information is prediction filter information generated for filtering the filtering target image.
  • the first filter information may be at least one of filter information in an adaptive loop, interpolation filter information, and deblocking filter information.
  • the method further includes receiving a filter information prediction indicator from an encoder, wherein the filter information prediction indicator includes information on which filter information of the first filter information is performed and the first filter information. At least one of information about when the prediction is performed using information, information about which filter information the first filter information is predicted from, and information about how the second filter information is used. Can be.
  • the first filter information is generated by using information included in a time point indicated by the filter information prediction indicator among the target time point and the other time point. Prediction can be performed.
  • the method may further include receiving difference information between the first filter information and the second filter information from an encoder, and filtering the filtered image using the first filter information based on the second filter information.
  • the performing may include generating the first filter information by adding the second filter information and the difference information, and performing filtering on the filtering target image using the first filter information.
  • Another embodiment of the present invention is a filtering method for decoding a multiview image based on images acquired at a plurality of views.
  • the target viewpoint is a viewpoint in which the filtering target image is included, and the other viewpoint is a viewpoint other than the target viewpoint
  • decoding is performed at the target viewpoint.
  • the first filter information is information for filtering the filtering target image
  • the second filter information is side filter information generated for filtering the filtering target image.
  • the first filter information may be at least one of filter information in an adaptive loop, interpolation filter information, and deblocking filter information.
  • the method further includes receiving a filter information prediction indicator from an encoder, wherein the filter information prediction indicator includes information on which filter information of the first filter information is performed and the first filter information. At least one of information about when the prediction is performed using information, information about which filter information the first filter information is predicted from, and information about how the second filter information is used. Can be.
  • the first filter information is generated by using information included in a time point indicated by the filter information prediction indicator among the target time point and the other time point. Prediction can be performed.
  • the method may further include receiving difference information between the first filter information and the second filter information from an encoder, and filtering the filtered image using the first filter information based on the second filter information.
  • the performing may include generating the first filter information by adding the second filter information and the difference information, and performing filtering on the filtering target image using the first filter information.
  • the amount of information transmitted is reduced and the video compression performance is improved.
  • the amount of transmitted information is reduced and the image compression performance is improved.
  • the amount of information transmitted is reduced and the image compression performance is improved.
  • the amount of information transmitted is reduced and the image compression performance is improved.
  • the filtering method according to the present invention the amount of information transmitted is reduced and the image compression performance is improved.
  • the filter information prediction method According to the filter information prediction method according to the present invention, the amount of information transmitted is reduced and the image compression performance is improved.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable image coding structure using multiple layers to which the present invention is applied.
  • FIG. 4 is a conceptual diagram schematically illustrating an embodiment of a prediction method in a multiview image encoding / decoding process to which the present invention may be applied.
  • FIG. 5 is a flowchart schematically illustrating an embodiment of a filtering method for scalable image encoding / decoding.
  • FIG. 6 is a conceptual diagram schematically illustrating a method for predicting inter-layer filter information according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram schematically illustrating a method for predicting inter-layer time filter information according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram schematically illustrating a method for predicting filter information between image quality layers according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram schematically illustrating a method for predicting inter-layer filter information according to an embodiment of the present invention.
  • FIG. 10 is a flowchart schematically illustrating an embodiment of a filtering method for multiview image encoding / decoding.
  • FIG. 11 is a conceptual diagram schematically illustrating a method for predicting inter-view filter information according to an embodiment of the present invention.
  • FIG. 12 is a conceptual diagram schematically illustrating a method of predicting inter-view filter information according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • the image encoding apparatus 100 may include a motion predictor 111, a motion compensator 112, an intra predictor 120, a switch 115, a subtractor 125, and a converter 130.
  • the quantizer 140, the entropy encoder 150, the inverse quantizer 160, the inverse transformer 170, the adder 175, the filter 180, and the reference picture buffer 190 are stored. Include.
  • the reference picture buffer 190 may be referred to as a decoded picture buffer.
  • the reference picture buffer 190 has the same meaning as a decoded picture buffer.
  • the following picture may have the same meaning as an image according to a context or need.
  • the image encoding apparatus 100 may encode an input encoding target image in an intra mode or an inter mode and output a bit stream.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the switch 115 In the intra mode, the switch 115 is switched to intra, and in the inter mode, the switch 115 is switched to inter.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a difference between the input block and the prediction block.
  • the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the motion predictor 111 may obtain a motion vector by searching for a region that best matches an input block in the reference image stored in the reference image buffer 190 during the motion prediction process.
  • the motion compensator 112 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the reference image buffer 190.
  • the motion predictor 111 and the motion compensator 112 when the motion predictor 111 and the motion compensator 112 perform prediction to generate a prediction block, the motion predictor 111 and the motion compensator 112 predict pixel values in units of a sub-sample of the reconstructed image or the reconstructed block.
  • an interpolation filter can be used.
  • the interpolation filter may be applied before or after the reconstructed image or the reconstructed block is stored in the reference image buffer 190.
  • the interpolation filter may be based on a Wiener filter or a filter having fixed filter coefficients.
  • the interpolation filter when used, since the pixel values in the prediction target block may be predicted in units of integer pixels or less, distortion or difference between the encoding target image and the previous reconstructed image may be minimized. Therefore, when the interpolation filter is used, image coding efficiency may be improved.
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing transform on the residual block.
  • the quantization unit 140 may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
  • the entropy encoder 150 may output a bit stream by performing entropy encoding based on the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process.
  • entropy encoder 150 may store a table for performing entropy encoding, such as a variable length coding (VLC) table, and the entropy encoder 150 may store the stored variable length encoding. Entropy encoding may be performed using the (VLC) table.
  • the entropy encoding unit 150 binarizes a symbol, converts the symbol into a bin, predicts the occurrence probability of the bin according to a context model, and performs arithmetic encoding of the bin.
  • a CABAC entropy encoding method for generating a bitstream may be used.
  • a bin means a value (0 or 1) of each binary number when the symbol is represented as a binary column through binarization.
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstruction block can be generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction image. can do.
  • a deblocking filter e.g., a sample adaptive offset (SAO), and an adaptive loop filter (ALF)
  • the deblocking filter may include ringing artifacts in which echoes of boundaries occur around strong edges, and blocking distortions in boundaries between blocks, based on a reconstructed image or a signal of a reconstructed block. Quantization errors such as blocking artifacts can be reduced.
  • the deblocking filter may be applied before the reconstructed image or the reconstructed block is stored in the reference image buffer 190. Through the deblocking filter, image coding efficiency and subjective quality of an image may be improved.
  • the following processes may be performed as an example.
  • the deblocking filter may determine an object boundary to be filtered. Basically, an encoding and decoding unit obtained by dividing an image used in an image encoding and decoding process may be determined as an object boundary to be filtered. For example, any one of a boundary of a coding unit, a boundary of a prediction unit, and a boundary of a transform unit may be an object boundary to be filtered.
  • the deblocking filter may determine whether to perform filtering using one or more of the filter intensity of the boundary of the filtering target and the result value of the calculation formula using the pixel values around the boundary.
  • the filter strength is the tap size that represents the number of input samples of the low pass filter, the coefficient of the low pass filter, when filtering is performed on the reconstructed samples that exist around the boundary. coefficients) and the like.
  • an encoding parameter may be used to determine the filter strength. For example, one or more of an intra prediction mode, an inter prediction mode, a motion vector, a reference picture index, and coding block flags may be used as an encoding parameter.
  • the result of the calculation using the pixel values around the boundary may determine whether the boundary to be filtered is a blocking artifact due to transform and quantization or an actual edge present in the image. It may be the result of the calculation. Therefore, the deblocking filter may determine whether the filter is applied to the filtering target boundary and the type of the filter using the filter strength of the filtering boundary and the result value of the calculation formula using the pixel values around the boundary.
  • the deblocking filter may perform filtering on the filtering target boundary by using the above-determined boundary and information on whether to perform the filtering. At this time, as a method to make the boundary less visible to the human eye, to smooth the pixel value around the boundary, a low pass filter according to the amount of change of the pixel value around the boundary, and a Wiener for minimizing distortion with the original image. ) Filters and the like can be used. In addition, a one-dimensional filter or a two-dimensional or multidimensional filter may be used according to the filtering target boundary.
  • a two-dimensional or more multidimensional filter may have a structure of filter coefficients such as a shape of a filter such as a rectangle, a circle, a rectangle, a horizontal symmetry, a vertical symmetry, a diagonal symmetry, and the like.
  • filter coefficients such as a shape of a filter such as a rectangle, a circle, a rectangle, a horizontal symmetry, a vertical symmetry, a diagonal symmetry, and the like.
  • the various filters listed above may be used in the filtering process according to the filter strength determined in the filtering process.
  • SAO may add an appropriate offset value to pixel values to compensate for coding errors.
  • the ALF may perform filtering on the reconstructed image based on the original image.
  • ALF can be called a filter in the adaptive loop.
  • the filter in the adaptive loop and the ALF have the same meaning.
  • the filter in the adaptive loop may be applied before the reconstructed picture or the reconstructed block is stored in the reference picture buffer 190.
  • the filter in the adaptive loop may filter the reconstructed picture or the reconstructed block by obtaining filter coefficients in the adaptive loop that reduce distortion between the reconstructed picture and the original picture based on the Wiener filter.
  • the following processes may be performed as an example.
  • a filter in the adaptive loop signals whether to perform adaptive loop filtering. For example, information about whether to perform adaptive loop filtering may be included in the bitstream and signaled to the decoder.
  • the encoder may signal whether to perform filtering in units of coding units by including information, such as a flag for performing filtering in units of coding units, in the bitstream, and signal whether or not to perform filtering in units of images.
  • the encoder may insert information about the maximum depth at which the filtering is performed into the bitstream so that the adaptive loop filtering is performed only from the coding unit to the coding unit having a specific depth.
  • the coder may determine and signal one of the filter shapes for performing adaptive loop filtering, and perform adaptive loop filtering. To determine and signal the filter coefficients used to For example, filter coefficients may be calculated at the encoder. In this case, the number of filter coefficients may be one or more.
  • RA region-based adaptation
  • BA block-based adaptation
  • the encoder may select a filter differently when performing adaptive loop filtering using the filter classification method.
  • region-based adaptation any one of a plurality of filters per segmented image region may be selected.
  • block-based adaptation any one of a plurality of filters may be selected in consideration of the change amount and the direction of pixels. Can be.
  • the encoder may perform adaptive loop filtering on the pixels of the reconstructed image by using the determined adaptive loop filtering or not and the determined filter parameter.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference image buffer 190.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, and a filter. 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may generate a reconstructed block, that is, a reconstructed block by obtaining a residual block reconstructed from the received bitstream, generating a prediction block, and adding the reconstructed residual block and the prediction block.
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
  • the entropy decoding method is similar to the entropy coding method described above.
  • the entropy decoding method When the entropy decoding method is applied, a small number of bits are allocated to a symbol having a high probability of occurrence and a large number of bits are allocated to a symbol having a low probability of occurrence, whereby the size of the bit string for each symbol is increased. Can be reduced. Therefore, the compression performance of image decoding can be improved through an entropy decoding method.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficients, a reconstructed residual block may be generated.
  • the intra predictor 240 may generate a predictive block by performing spatial prediction using pixel values of an already encoded block around the current block.
  • the motion compensator 250 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the reference image buffer 270.
  • an interpolation filter may be used to predict the pixel value of the prediction block on a subsample basis, and details of the interpolation filter are as described above in the embodiment of FIG. 1.
  • the reconstructed residual block and the prediction block are added through the adder 255, and the added block passes through the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a reconstructed image, that is, a reconstructed image.
  • the details of the deblocking filter, SAO may be as described above in the embodiment of FIG. 1.
  • the following processes may be performed as an example.
  • the decoder may determine whether to perform adaptive loop filtering by parsing adaptive_loop_filter_flag included in the bitstream.
  • the decoder may determine whether to perform filtering in units of coding units by parsing information such as whether to perform filtering in units of coding units, and may determine whether to perform filtering in units of images.
  • the decoder may parse information about the maximum depth at which filtering is performed so that adaptive loop filtering may be performed only from the coding unit to the coding unit having a specific depth.
  • Filter Shape and Filter Coefficient Determination Process If it is determined that adaptive loop filtering is to be performed, the decoder determines the shape of one of the filter shapes for performing adaptive loop filtering, and is used to perform adaptive loop filtering. Filter coefficients can be determined. In this case, the number of filter coefficients may be one or more.
  • RA region-based adaptation
  • BA block-based adaptation
  • the decoder may select a filter differently when performing adaptive loop filtering using the filter classification method.
  • region-based adaptation any one of a plurality of filters per segmented image region may be selected.
  • block-based adaptation any one of a plurality of filters may be selected in consideration of the change amount and the direction of pixels. Can be.
  • the decoder may perform adaptive loop filtering on the pixels of the reconstructed image by using the determined adaptive loop filtering and the determined filter parameter.
  • the reconstructed picture may be stored in the reference picture buffer 270 to be used for inter prediction.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable image coding structure using multiple layers to which the present invention is applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies according to various transmission media according to a network environment.
  • a scalable image coding method may be provided for application to such various transmission media or network environments.
  • a scalable image encoding / decoding method may be implemented by an extension of a general image encoding / decoding method that does not provide scalability, and the image encoding apparatus and FIG.
  • the image decoding apparatus according to the second embodiment may be the basis of the scalable image encoding / decoding apparatus.
  • the scalable video encoding apparatus may include a plurality of encoders having a similar form to the video encoding apparatus according to the embodiment of FIG. 1.
  • the scalable video encoding apparatus may have a structure in which an encoder similar to the video encoding apparatus according to the embodiment of FIG. 1 is added to the video encoding apparatus according to the embodiment of FIG. 1.
  • the added image encoder may encode an image using a bitstream and a reconstructed image generated by the image encoding apparatus of FIG. 1, and encode the image according to the embodiment of FIG. 1 in a scalable image encoding apparatus. It can be device dependent.
  • the scalable video decoding apparatus may include a plurality of decoders having a form similar to the video decoding apparatus according to the embodiment of FIG. 2.
  • the scalable video decoding apparatus may have a structure in which an image decoder having a form similar to the video decoding apparatus according to the embodiment of FIG. 2 is added to the video decoding apparatus according to the embodiment of FIG. 2.
  • the added image decoder may decode an image using a bitstream generated by the image encoding apparatus according to the embodiment of FIG. 1 and a reconstructed image generated by the image decoding apparatus according to the embodiment of FIG.
  • the decoding apparatus may operate dependently on the image decoding apparatus according to the embodiment of FIG. 2.
  • a scalable video coding method is a coding method that improves encoding / decoding performance by removing redundancy between layers by using texture information, motion information, and residual signals between layers.
  • the scalable image coding method may provide various scalability in terms of spatial, temporal, and image quality according to ambient conditions such as a transmission bit rate, a transmission error rate, and a system resource.
  • Scalable image coding may be performed using a multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable image coding structure may include a base layer that compresses and processes image data by using a general image encoding method, and uses the base layer encoding information and a general image encoding method together. It may include an enhanced layer for compressing the image data.
  • the plurality of hierarchical structures may include a plurality of spatial layers, a plurality of time layers, a plurality of image quality layers, and the like. Images included in different spatial layers may have different spatial resolutions, and images included in different temporal layers may have different temporal resolutions (frame rates). Also, images included in different image quality layers may have different image quality, for example, different signal-to-noise ratio (SNR).
  • SNR signal-to-noise ratio
  • the layer may be a set of images and bitstreams classified based on space (eg, image size), time (eg, encoding order, image output order), image quality, complexity, and the like. it means.
  • the plurality of layers may have a dependency between each other.
  • the base layer may be defined as a Quarter Common Intermediate Format (QCIF), a frame rate of 15 Hz, and a 3 Mbps bit rate
  • the first enhanced layer may be a Common Intermediate Format (CIF) and a frame rate of 30 Hz. It may be defined as a 0.7Mbps bit rate
  • the second enhanced layer may be defined as a standard definition (SD), a frame rate of 60 Hz, and a 0.19 Mbps bit rate.
  • SD standard definition
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation.
  • the scalable image coding method may provide temporal, spatial and image quality scalability by the method described above in the embodiment of FIG. 3.
  • the target layer, the target image, the target slice, the target unit, and the target block mean a layer, an image, a slice, a unit, and a block currently encoded or decoded.
  • the target layer may be a layer including a current encoding / decoding target image.
  • the other layer is a layer excluding the target layer, and means a layer available in the target layer. That is, another layer may be used to perform decoding in the target layer.
  • Layers available in the target layer may include, for example, temporal, spatial and image quality sublayers.
  • a slice indicating a unit in which an image is divided is used to mean a division unit such as a tile or an entropy slice. Independent image encoding and decoding are possible between the divided units.
  • a block means a unit of image encoding and decoding.
  • a coding or decoding unit refers to a divided unit when an image is divided and encoded or decoded. Therefore, a macroblock, a coding unit (CU), a prediction unit (PU), and a transform are used. It may be called a unit (Transform Unit), a transform block, or the like.
  • One block may be further divided into smaller sub-blocks.
  • FIG. 4 is a conceptual diagram schematically illustrating an embodiment of a prediction method in a multiview image encoding / decoding process to which the present invention may be applied.
  • the 3D image since the same scene may be simultaneously shot using two or more cameras, a plurality of views may exist.
  • one viewpoint means a viewpoint of an image acquired from one camera.
  • T0 to T8 represent time.
  • an image of three views may be provided, such as view 0, view 1, and view 2.
  • the number of viewpoints is not limited to three, but two or four viewpoints may exist.
  • the prediction from another image within the target viewpoint may be referred to as temporal prediction, and the prediction from the image within another viewpoint may be referred to as inter-view prediction.
  • the target viewpoint, the target image, the target slice, the target unit, and the target block mean a viewpoint, an image, a slice, a unit, and a block that are currently encoded or decoded, respectively.
  • the target viewpoint may be a viewpoint including a current encoding / decoding target image.
  • another viewpoint is a viewpoint except a target viewpoint and means a viewpoint which can be used from a target viewpoint.
  • images acquired at various viewpoints may be used for encoding / decoding, and thus, inter-view prediction and temporal prediction are performed together in encoding / decoding of a current prediction target unit.
  • coding efficiency may be improved by removing redundancy in an image between views through inter-view prediction.
  • an adaptive in-loop filter As described above, in the image encoding / decoding process, an adaptive in-loop filter, an interpolation filter, a deblocking filter, or the like may be used.
  • the filters may also be used in scalable image coding according to the embodiment of FIG. 3 and multi-view image encoding / decoding according to the embodiment of FIG. 4.
  • respective filter informations including the filter coefficients may be predicted in images of one layer or one viewpoint, and pre-calculated filter coefficients may be used for filtering.
  • images may be divided into several layers and then used for encoding / decoding.
  • images acquired at a plurality of viewpoints may be encoded / decoded. Can be used for If not only the images in the target layer or the target viewpoint but also the images in the other layer or the other viewpoint can be used for the prediction of the filter information, the redundancy of the information transmitted from the encoder to the decoder can be removed, so that the transmitted or signaled signals are transmitted. The bit amount can be reduced.
  • the filter information may be efficiently reused, not only the image encoding / decoding efficiency may be improved, but also the computational complexity of the encoder and the decoder may be reduced.
  • an inter-layer prediction method for predicting filter information from another layer may be provided.
  • a time point for predicting filter information from another view may be provided.
  • An inter-view prediction method may be provided.
  • Filter information to which the present invention can be applied include, for example, adaptive loop filter information, interpolation filter information, and deblocking filter information.
  • adaptive loop filter information for example, adaptive loop filter information, interpolation filter information, and deblocking filter information.
  • deblocking filter information there may be various types of information in the filter information, interpolation filter information, and deblocking filter information in the adaptive loop.
  • Filter information in the adaptive loop may include, for example, control information indicating whether filtering is performed.
  • the information indicating whether filtering is performed may be a filtering map in units or blocks.
  • the filtering map may be used for filtering each layer or each viewpoint image.
  • the information indicating whether filtering is performed may be a decision rule on whether to perform filtering on a unit, block, or pixel basis.
  • Filter information in the adaptive loop may include, for example, control information indicating which filter is performed using the filter.
  • the information indicating whether filtering is performed using a filter may be a filtering map on a unit or block basis.
  • the filtering map may be used for filtering each layer or each viewpoint image.
  • the information indicating whether the filtering is performed using a filter may be a decision rule on whether to perform filtering on a unit, block, or pixel basis.
  • the filter information in the adaptive loop may be index information indicating which filter among various filters is used.
  • the filter information in the adaptive loop also includes the filter's geometry, filter tap size or length, predictive coding method of the intra- and inter-image filters, the number of filters used, and the quantization step size when the filter information is quantized.
  • the bit depth of the filter information a filtering operation method, and the like may be included.
  • the filtering operation method may include a 1D separable filter, a 2D non-separable filter, and the like.
  • Filter information in the adaptive loop may also include filter coefficient information.
  • the filter coefficient information may include fixed filter coefficients or adaptive filter coefficients.
  • the adaptive filter coefficient may mean a Wiener filter coefficient or a filter coefficient calculated to reduce an error between the original image and the reconstructed image.
  • the filter coefficient information may include filter coefficients according to each color component, that is, filter coefficients according to a luma component and a chroma component.
  • the filter coefficient information may include filter offset information.
  • the filter information in the adaptive loop may include at least one or more of the above-described information, and each information may have a form of a value or syntax element of the information.
  • the interpolation filter information may include, for example, control information indicating whether filtering is performed.
  • the information indicating whether filtering is performed may be a filtering map in units or blocks.
  • the filtering map may be used for filtering each layer or each viewpoint image.
  • the information indicating whether filtering is performed may be a decision rule on whether to perform filtering on a unit, block, or pixel basis.
  • the interpolation filter information may include, for example, control information indicating which filter is performed using filtering.
  • the information indicating whether filtering is performed using a filter may be a filtering map on a unit or block basis.
  • the filtering map may be used for filtering each layer or each viewpoint image.
  • the information indicating whether the filtering is performed using a filter may be a decision rule on whether to perform filtering on a unit, block, or pixel basis.
  • the interpolation filter information may be index information indicating which filter among various filters is used.
  • the interpolation filter information may also include filter geometry, filter tap size or length, predictive encoding method of intra- and inter-image filters, number of filters used, quantization step size or filter information when filter information is quantized. Bit depth, filtering operation method, and the like.
  • the filtering operation method may include a 1D separable filter, a 2D non-separable filter, and the like.
  • the interpolation filter information may also include filter coefficient information.
  • the filter coefficient information may include fixed filter coefficients or adaptive filter coefficients.
  • the adaptive filter coefficient may mean a Wiener filter coefficient or a filter coefficient calculated to reduce an error between the original image and the reconstructed image.
  • the filter coefficient information may include filter coefficients according to each color component, that is, filter coefficients according to a luma component and a chroma component.
  • the filter coefficient information may include filter offset information.
  • the interpolation filter information may include at least one or more of the above-described information, and each information may have a form of a value or syntax element of the information.
  • the deblocking filter information may include, for example, control information indicating whether filtering is performed.
  • the information indicating whether filtering is performed may be a filtering map in units or blocks.
  • the filtering map may be used for filtering each layer or each viewpoint image.
  • the information indicating whether filtering is performed may be a decision rule on whether to perform filtering on a unit, block, or pixel basis.
  • the deblocking filter information may include, for example, control information indicating which filter is performed using which filter.
  • the information indicating whether filtering is performed using a filter may be a filtering map on a unit or block basis.
  • the filtering map may be used for filtering each layer or each viewpoint image.
  • the information indicating whether the filtering is performed using a filter may be a decision rule on whether to perform filtering on a unit, block, or pixel basis.
  • the deblocking filter information may also include a filtering execution condition, a filter strength, a filter geometry, a filter tap size or length, a filtering operation method, and the like.
  • the filtering operation method may include a 1D separable filter, a 2D non-separable filter, and the like.
  • the deblocking filter information may also include filter coefficient information.
  • the filter coefficient information may include coefficients of a low pass filter or coefficients of a high pass filter.
  • the filter coefficient information may also include fixed filter coefficients or adaptive filter coefficients.
  • the adaptive filter coefficient may mean a Wiener filter coefficient or a filter coefficient calculated to reduce an error between the original image and the reconstructed image.
  • the filter coefficient information may include filter coefficients according to each color component, that is, filter coefficients according to a luma component and a chroma component.
  • the filter coefficient information may include filter offset information.
  • the deblocking filter information may include at least one or more of the above-described information, and each of the information may have a form of a value or syntax element of the information.
  • FIG. 5 is a flowchart schematically illustrating an embodiment of a filtering method for scalable image encoding / decoding.
  • the filtering method according to the embodiment of FIG. 5 may be applied to both an encoder and a decoder.
  • the filter to which the filtering method according to the embodiment of FIG. 5 is applied may include, for example, an adaptive in-loop filter, an interpolation filter, and a deblocking filter.
  • the encoder and the decoder predict filter information used for a target reconstructed image from a predetermined layer (S510).
  • the target reconstructed image refers to a reconstructed image to be filtered.
  • the filter information used in the target reconstructed image may include calculated filter information and / or predetermined filter information.
  • the encoder and the decoder may use information included in an image, a slice, a unit, and / or a block in the predetermined layer.
  • an image, a slice, a unit, and a block in the predetermined layer may be an image, a slice, a unit, or a block of a target layer, and include a reconstructed image to be filtered, an image of a position corresponding to a spatial and temporal relationship with the slice, a unit, and a block, It may be a slice, a unit, or a block.
  • the image, slice, unit, and block in the predetermined layer may be an image, slice, unit, or block of another layer, and the image, slice, It may be a unit or a block.
  • the image, slice, unit, and block in the predetermined layer are an image, slice, unit, and block of the target layer, and the image, slice, unit, and block having the same or similar encoding parameters as the filtered target reconstructed image, slice, unit, and block. It may be.
  • an image, a slice, a unit, and a block in the predetermined layer may be an image, a slice, a unit, or a block of another layer, and have an image, slice, or unit having encoding parameters identical or similar to those of the reconstructed image, slice, unit, or block to be filtered. May be a block.
  • the encoding parameter is a parameter necessary for encoding and decoding, and means information necessary for encoding or decoding an image.
  • the encoding parameter may include information that may be inferred in the encoding or decoding process, as well as information encoded by the encoder and transmitted to the decoder, such as a syntax element.
  • Coding parameters may be, for example, intra / inter prediction modes, moving / motion vectors, reference picture indexes, coding block patterns, residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block partitioning information, or the like. May include statistics.
  • Images, slices, units, and blocks in the predetermined layer are images, slices, units, and blocks of the target layer, and images, slices, units, and blocks having the same or similar pixel values as the reconstructed images, slices, units, and blocks to be filtered. It may be.
  • an image, a slice, a unit, and a block in the predetermined layer may be an image, a slice, a unit, or a block of another layer, and have an image value, a slice, a unit having the same or similar pixel values as the filtered target reconstructed image, the slice, the unit, or the block. May be a block.
  • the predetermined layer may be at least one layer of a target layer and another layer.
  • filter information may be predicted from a plurality of layers.
  • FIG. 6 is a conceptual diagram schematically illustrating a method for predicting inter-layer filter information according to an embodiment of the present invention.
  • the filter information for the image of the spatial layer 1 may be predicted from the image of the spatial layer 0.
  • the filter information may be predicted according to spatial layer identification information such as spatial_id in the bitstream.
  • FIG. 7 is a conceptual diagram schematically illustrating a method for predicting inter-layer time filter information according to an embodiment of the present invention.
  • filter information for an image of temporal layer 1 may be predicted from an image of temporal layer 0.
  • the filter information may be predicted according to temporal layer identification information such as temporal_id in the bitstream.
  • FIG. 8 is a conceptual diagram schematically illustrating a method for predicting filter information between image quality layers according to an embodiment of the present invention.
  • the filter information for the image of the image quality layer 1 may be predicted from the image of the image quality layer 0.
  • the filter information may be predicted according to quality layer identification information such as quality_id in the bitstream.
  • Information on which filter information of the filter information is predicted may be generated in the encoder and transmitted or signaled to the decoder.
  • a filter information candidate list may be used, where index information indicating which filter information is predicted in the list may be transmitted or signaled from the encoder to the decoder.
  • flag information indicating whether filter information is predicted for each filter information may be transmitted or signaled from the encoder to the decoder.
  • the decoder may receive the index information and / or the flag information to determine whether filter information is predicted and / or what filter information is predicted and to perform filter information prediction.
  • Information on which filter information of the filter information is predicted may be obtained using an encoding parameter.
  • the decoder may obtain information on whether the filter information is predicted or what filter information is predicted using the encoding parameter in the layer used to predict the filter information.
  • the encoding parameter may be generated by the encoder and transmitted to the decoder.
  • Information on which of the plurality of layers is predicted from the filter information may be generated in the encoder and transmitted or signaled to the decoder.
  • the decoder may receive the information to determine from which layer the filter information is predicted and to perform filter information prediction.
  • information on which of the plurality of layers is predicted from the filter information may be obtained by using an encoding parameter.
  • the decoder may determine from which layer filter information is predicted using the encoding parameter and perform filter information prediction.
  • the filter information of the target reconstructed image may be predicted from other filter information included in the target layer and / or another layer.
  • Information on which filter information of the plurality of filter informations predicts the filter information of the target reconstructed image may be generated by the encoder and transmitted or signaled to the decoder.
  • the decoder may receive the information, determine from which filter information filter information of the target reconstructed image is predicted, and perform filter information prediction. Further, information on which filter information of the plurality of filter informations predicts the filter information of the target reconstructed video may be obtained using an encoding parameter. In this case, the decoder may determine from which filter information filter information of the target reconstructed image is predicted using the encoding parameter and perform filter information prediction.
  • the decoder may predict the filter information of the target reconstructed image using the information of the target layer based on the value of the filter information prediction indicator, or may predict the filter information of the target reconstructed image using the information of another layer.
  • the filter information prediction indicator is an indicator indicating which filter information is predicted, in which layer the filter information is predicted, and / or whether the predicted value is used as it is.
  • Examples of the filter information prediction indicator may include Filter_base_mode, Filter_use_filter_information, and Filter_pred_filter_information.
  • Filter_base_mode may indicate that filter information in another layer is scaled according to spatial and temporal resolution of an image and used for performing filter information prediction.
  • Filter_use_filter_information may indicate that the predicted value is used as the filter information of the target reconstructed image after the filter information is predicted in another layer.
  • Filter_pred_filter_information may indicate that a difference value between the predicted filter information and the filter information of the target reconstructed image is transmitted from the encoder to the decoder after the filter information is predicted in another layer.
  • the filter information prediction indicator is not limited to the above embodiment, and other types of filter information prediction indicators may be used according to a method, a prediction method, etc. indicating the target layer and the other layers. After receiving the information, the decoder may perform filter information prediction based on the information.
  • the encoder and the decoder may use the filter information predicted by using the information of the target layer and / or another layer as the filter information of the target reconstructed image.
  • the encoder may transmit a difference value between the filter information used for the target reconstructed image and the predicted filter information to the decoder.
  • the decoder may receive the difference value, and use the received difference value as the filter information of the target reconstructed image by adding the predicted filter information.
  • the filter information predictor 910 may predict filter information of a target reconstructed image by using filter information of a target layer or filter information of another layer based on the filter information prediction indicator. In addition, the filter information predictor 910 may predict the filter information of the target reconstructed image by using the filter information of the target layer together with the filter information of another layer.
  • the encoder and the decoder perform filtering using the predicted filter information (S520).
  • the encoder and the decoder may perform filtering on the entire image using the predicted filter information.
  • the filtering may be performed in units of slices, units, or blocks.
  • the encoder and the decoder may use the predicted filter information as prediction information of the filter information used in the target reconstructed image.
  • the filter information used for the target reconstructed image may be information for filtering the target reconstructed image and may include calculated filter information and / or predetermined filter information.
  • the encoder may transmit or signal information related to the filter information used for the target reconstructed image to the encoder using the predicted filter information as prediction information of the filter information used for the target reconstructed image. For example, a difference value between the filter information used in the target reconstructed image and the predicted filter information may be transmitted to the decoder. In this case, the decoder may use the received difference value as the filter information of the target reconstructed image by adding the predicted filter information. The encoder and the decoder may use the predicted filter information as filter information of the target reconstructed image as it is.
  • the encoder and the decoder may filter the target reconstructed image by using the filter information of the obtained target reconstructed image.
  • the encoder and the decoder may perform filtering on the target reconstructed image using only the predicted filter information.
  • the encoder and the decoder may perform filtering on the target reconstructed image by using the filter information used in the target reconstructed image and the predicted filter information together. In this case, only predicted filter information may be used for a specific slice, unit, or block, and filter information used in a target reconstruction image may be used for another specific slice, unit, or block.
  • the encoder and the decoder may filter the target reconstructed image by using only the filter information used for the target reconstructed image, without using the predicted filter information.
  • the encoder and the decoder may be one of various layers including other layers. Filter information may be predicted from the selected predetermined layer, and filtering may be performed using the filter information. At this time, since the encoder and the decoder may predict the filter information between layers, the amount of filter information transmitted from the encoder to the decoder may be reduced. In addition, image encoding efficiency may be improved, and computational complexity of the encoder and the decoder may be reduced.
  • FIG. 10 is a flowchart schematically illustrating an embodiment of a filtering method for multiview image encoding / decoding.
  • the filtering method according to the embodiment of FIG. 10 may be applied to both an encoder and a decoder.
  • the filter to which the filtering method according to the embodiment of FIG. 10 is applied may include, for example, an adaptive in-loop filter, an interpolation filter, a deblocking filter, and the like.
  • the encoder and the decoder predict filter information used for the target reconstructed image from a predetermined time point (S1010).
  • the encoder and the decoder may use information included in an image, a slice, a unit, and / or a block within the predetermined view.
  • an image, a slice, a unit, and a block within the predetermined view may be an image, a slice, a unit, or a block of the target view, and include an image to be spatially and temporally corresponding to the reconstructed image to be filtered, the slice, the unit, and the block, It may be a slice, a unit, or a block.
  • an image, a slice, a unit, and a block within the predetermined viewpoint may be an image, a slice, a unit, or a block of another viewpoint, and include an image, a slice, It may be a unit or a block.
  • An image, a slice, a unit, and a block within the predetermined viewpoint are an image, a slice, a unit, and a block of the target viewpoint, and have an image, slice, unit, and block having the same or similar encoding parameters as the filtered target reconstructed image, slice, unit, and block. It may be.
  • an image, a slice, a unit, and a block within the predetermined view may be an image, a slice, a unit, or a block of another view, and have an image, slice, or unit having the same or similar encoding parameters as the reconstructed image, slice, unit, or block to be filtered. May be a block.
  • the image, slice, unit, and block within the predetermined viewpoint are an image, slice, unit, and block of the target viewpoint, and the image, slice, unit, or block having the same or similar pixel value as the reconstructed image, slice, unit, or block to be filtered. It may be.
  • an image, a slice, a unit, and a block within the predetermined view may be an image, a slice, a unit, or a block of another view, and have an image, slice, or unit having the same or similar pixel values as the filtered target reconstructed image, slice, unit, or block. May be a block.
  • the predetermined time point may be at least one or more of a target time point and another time point.
  • filter information may be predicted from a plurality of viewpoints.
  • FIG. 11 is a conceptual diagram schematically illustrating a method for predicting inter-view filter information according to an embodiment of the present invention.
  • the filter information for the image of the viewpoint 1 may be predicted from the images of the viewpoint 0 and the viewpoint 2.
  • the filter information may be predicted according to view identification information such as view_id in the bitstream.
  • Information on which filter information of the filter information is predicted may be generated in the encoder and transmitted or signaled to the decoder.
  • a filter information candidate list may be used, where index information indicating which filter information is predicted in the list may be transmitted or signaled from the encoder to the decoder.
  • flag information indicating whether filter information is predicted for each filter information may be transmitted or signaled from the encoder to the decoder.
  • the decoder may receive the index information and / or flag information to determine whether filter information is predicted and / or what filter information is predicted and to perform filter information prediction.
  • Information on which filter information of the filter information is predicted may be obtained using an encoding parameter.
  • the decoder may obtain information on whether the filter information is predicted or what filter information is predicted by using an encoding parameter at a time point used to predict the filter information.
  • the encoding parameter may be generated by the encoder and transmitted to the decoder.
  • Information about which of the plurality of viewpoints is predicted from the filter information may be generated by the encoder and transmitted or signaled to the decoder.
  • the decoder may receive the information to determine from what point the filter information is predicted and to perform filter information prediction.
  • information on which of the plurality of viewpoints is predicted from the filter information may be obtained using an encoding parameter.
  • the decoder may determine from which point filter information is predicted using the encoding parameter and perform filter information prediction.
  • Filter information of the target reconstructed image may be predicted by other filter information included in the target layer and / or another layer.
  • Information on which filter information of the plurality of filter informations predicts the filter information of the target reconstructed image may be generated by the encoder and transmitted or signaled to the decoder.
  • the decoder may receive the information, determine from which filter information filter information of the target reconstructed image is predicted, and perform filter information prediction. Further, information on which filter information of the plurality of filter informations predicts the filter information of the target reconstructed video may be obtained using an encoding parameter. In this case, the decoder may determine from which filter information filter information of the target reconstructed image is predicted using the encoding parameter and perform filter information prediction.
  • the decoder may predict the filter information of the target reconstructed image using the information of the target view based on the value of the filter information prediction indicator, or may predict the filter information of the target reconstructed image using the information of another viewpoint.
  • the filter information prediction indicator is an indicator indicating what filter information is predicted, at what time the filter information is predicted, and / or whether the predicted value is used as it is.
  • Examples of the filter information prediction indicator may include Filter_base_mode, Filter_use_filter_information, and Filter_pred_filter_information. The meaning of each indicator is similar to that described above in the embodiment of FIG.
  • Filter_base_mode may indicate that filter information at different views is scaled according to spatial and temporal resolution of an image and used for performing filter information prediction.
  • Filter_use_filter_information may indicate that the predicted value is used as the filter information of the target reconstructed image after the filter information is predicted at another point in time.
  • Filter_pred_filter_information may indicate that a difference value between the predicted filter information and the filter information of the target reconstructed image is transmitted from the encoder to the decoder after the filter information is predicted at another time.
  • the filter information prediction indicator is not limited to the above embodiments, and other types of filter information prediction indicators may be used according to a method, a prediction method, etc. indicating the target viewpoint and other viewpoints. After receiving the information, the decoder may perform filter information prediction based on the information.
  • the encoder and the decoder may use the filter information predicted by using the information of the target view and / or another view as the filter information of the target reconstructed image.
  • the encoder may transmit a difference value between the filter information used for the target reconstructed image and the predicted filter information to the decoder.
  • the decoder may receive the difference value, and use the received difference value as the filter information of the target reconstructed image by adding the predicted filter information.
  • the filter information predictor 1210 may predict filter information of a target reconstructed image by using filter information of a target viewpoint or filter information of another viewpoint based on the filter information prediction indicator. Also, the filter information predictor 1210 may predict the filter information of the target reconstructed image by using the filter information of the target viewpoint and the filter information of the different viewpoint.
  • the encoder and the decoder perform filtering using the predicted filter information (S1020).
  • the encoder and the decoder may perform filtering on the entire image using the predicted filter information.
  • the filtering may be performed in units of slices, units, or blocks.
  • the encoder and the decoder may use the predicted filter information as prediction information of the filter information used in the target reconstructed image.
  • the filter information used for the target reconstructed image may be information for filtering the target reconstructed image and may include calculated filter information and / or predetermined filter information.
  • the encoder may transmit or signal information related to the filter information used for the target reconstructed image to the encoder using the predicted filter information as prediction information of the filter information used for the target reconstructed image. For example, a difference value between the filter information used in the target reconstructed image and the predicted filter information may be transmitted to the decoder. In this case, the decoder may use the received difference value as the filter information of the target reconstructed image by adding the predicted filter information. The encoder and the decoder may use the predicted filter information as filter information of the target reconstructed image as it is.
  • the encoder and the decoder may filter the target reconstructed image by using filter information of the obtained target reconstructed image.
  • the encoder and the decoder may perform filtering on the target reconstructed image using only the predicted filter information.
  • the encoder and the decoder may perform filtering on the target reconstructed image by using the filter information used in the target reconstructed image and the predicted filter information together. In this case, only predicted filter information may be used for a specific slice, unit, or block, and filter information used in a target reconstruction image may be used for another specific slice, unit, or block.
  • the encoder and the decoder may filter the target reconstructed image by using only the filter information used for the target reconstructed image, without using the predicted filter information.
  • the encoder and the decoder may be configured to perform a multi-view including various views.
  • Filter information may be predicted from the selected predetermined time point, and filtering may be performed using the filter information.
  • the encoder and the decoder may predict the filter information from time to time, the amount of filter information transmitted from the encoder to the decoder may be reduced.
  • image encoding efficiency may be improved, and computational complexity of the encoder and the decoder may be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수 계층 기반의 스케일러블 영상 복호화 방법이 제공된다. 본 발명에 따른 스케일러블 영상 복호화 방법은 대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여 필터링 대상 영상의 제1 필터 정보에 대한 예측을 수행하여 제2 필터 정보를 생성하는 단계 및 제2 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함한다. 본 발명에 따르면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.

Description

필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 영상 부호화/복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술, 복원 영상에서 발생되는 왜곡, 오차(error), 블록킹 현상(blocking artifact) 등을 감소시키기 위한 필터링(filtering) 기술 등이 사용될 수 있다.
영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 영상 부호화/복호화 방법이 사용될 수 있다.
또한 3차원 영상을 제공하기 위해, 다시점 영상 부호화/복호화 방법이 사용될 수도 있다. 현재 출시되는 3차원 영상 부호화/복호화 방법에서는, 공간적으로 분할된 디스플레이 패널(display panel)에 두 시점 (視點; view) 이상의 영상이 표시되며, 각각의 개별 시점의 영상들은 동시에 재생된다. 동시에 재생되는 영상들의 시점은 편광 필름, 렌티큘러 시트(lenticular sheet), 패럴랙스 배리어(parallax barrier) 등의 구동방식에 의해 분리된다. 따라서, 사람의 두 눈에 각각 서로 다른 시점의 영상이 제공되고, 재생되는 영상들은 3차원 영상으로 인식된다.
본 발명의 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 스케일러블 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 스케일러블 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 다시점 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 다시점 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 필터링 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 전송되는 정보량을 감소시키고 영상 압축 성능을 향상시킬 수 있는 필터 정보 예측 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태는 복수 계층(layer) 기반의 스케일러블(scalable) 영상 복호화 방법이다. 상기 방법은 대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함한다. 상기 대상 계층은 상기 필터링 대상 영상이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보이다.
상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나일 수 있다.
상기 방법은 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고, 상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 계층의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시할 수 있다.
상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는, 상기 대상 계층 및 상기 다른 계층 중 상기 필터 정보 예측 지시자가 지시하는 계층에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행할 수 있다.
상기 방법은 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고, 상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는, 상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계 및 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.
본 발명의 다른 실시 형태는 복수 계층(layer) 기반의 스케일러블(scalable) 영상 복호화를 위한 필터링 방법이다. 상기 방법은 대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함한다. 상기 대상 계층은 상기 필터링 대상 영상이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보이다.
상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나일 수 있다.
상기 방법은 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고, 상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 계층의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시할 수 있다.
상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는, 상기 대상 계층 및 상기 다른 계층 중 상기 필터 정보 예측 지시자가 지시하는 계층에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행할 수 있다.
상기 방법은 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고, 상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는, 상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계 및 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 복수의 시점(view)에서 획득된 영상을 기반으로 한 다시점 영상 복호화 방법이다. 상기 방법은 대상 시점에 포함된 정보 및 다른 시점에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고, 상기 대상 시점은 상기 필터링 대상 영상이 포함된 시점이고, 상기 다른 시점은 상기 대상 시점을 제외한 시점으로서 상기 대상 시점에서의 복호화 수행에 이용될 수 있는 시점이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보이다.
상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나일 수 있다.
상기 방법은 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고, 상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 시점의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시할 수 있다.
상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는, 상기 대상 시점 및 상기 다른 시점 중 상기 필터 정보 예측 지시자가 지시하는 시점에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행할 수 있다.
상기 방법은 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고, 상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는, 상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계 및 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시 형태는 복수의 시점(view)에서 획득된 영상을 기반으로 한 다시점 영상 복호화를 위한 필터링 방법이다. 대상 시점에 포함된 정보 및 다른 시점에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계 및 상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고, 상기 대상 시점은 상기 필터링 대상 영상이 포함된 시점이고, 상기 다른 시점은 상기 대상 시점을 제외한 시점으로서 상기 대상 시점에서의 복호화 수행에 이용될 수 있는 시점이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 에측 필터 정보이다.
상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나일 수 있다.
상기 방법은 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고, 상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 시점의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시할 수 있다.
상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는, 상기 대상 시점 및 상기 다른 시점 중 상기 필터 정보 예측 지시자가 지시하는 시점에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행할 수 있다.
상기 방법은 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고, 상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는, 상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계 및 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.
본 발명에 따른 스케일러블 영상 부호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.
본 발명에 따른 스케일러블 영상 복호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.
본 발명에 따른 다시점 영상 부호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.
본 발명에 따른 다시점 영상 복호화 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.
본 발명에 따른 필터링 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.
본 발명에 따른 필터 정보 예측 방법에 의하면 전송되는 정보량이 감소되고 영상 압축 성능이 향상된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용되는, 복수 계층을 이용한 스케일러블 영상 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명이 적용될 수 있는 다시점 영상 부호화/복호화 과정에서의 예측 방법의 실시예를 개략적으로 나타내는 개념도이다.
도 5는 스케일러블 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 본 발명의 실시예에 따른 공간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 7은 본 발명의 실시예에 따른 시간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 8은 본 발명의 실시예에 따른 화질 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 9는 본 발명의 일 실시예에 따른 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 10은 다시점 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 11은 본 발명의 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 12는 본 발명의 일 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 영상 버퍼(reference picture buffer)(190)를 포함한다. 참조 영상 버퍼(190)는 복호화된 영상 버퍼(decoded picture buffer)라 불릴 수도 있으며, 이하, 참조 영상 버퍼(190)는 복호화된 영상 버퍼와 동일한 의미를 가진다. 또한 이하 픽쳐는 문맥 또는 필요에 따라 영상과 동일한 의미를 가질 수 있다.
영상 부호화 장치(100)는 입력 부호화 대상 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
인터 모드에서 움직임 예측부(111) 및 움직임 보상부(112)는 예측을 수행하여 예측 블록을 생성할 때, 복원 영상 또는 복원 블록의 서브 샘플(sub-sample) 단위로 화소(pixel) 값을 예측하기 위하여 보간 필터(interpolation filter)를 사용할 수 있다. 보간 필터는 복원 영상 또는 복원 블록이 참조 영상 버퍼(190)에 저장되기 전이나 저장된 후에 적용될 수 있다. 보간 필터는 위너 필터(Wiener filter) 또는 고정 필터 계수를 가지는 필터에 기반할 수 있다.
보간 필터가 사용되는 경우, 예측 대상 블록 내의 화소값들이 정수 화소 이하의 단위로 예측될 수 있으므로, 부호화 대상 영상과 이전 복원 영상 간의 왜곡이나 차이가 최소화될 수 있다. 따라서 보간 필터가 사용되는 경우, 영상 부호화 효율이 향상될 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골롬(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 다른 예를 들면 엔트로피 부호화부(150)는, 심볼을 이진화하여 빈(bin)으로 변환하고 문맥 모델(context model)에 따라 빈의 발생 확률을 예측하여 빈의 산술 부호화(arithmetic encoding)를 수행하여 비트스트림을 생성하는 CABAC 엔트로피 부호화 방법을 사용할 수도 있다. 여기서, 빈(bin)은 심볼이 이진화를 통해 2진수의 열로 표현될 때, 각각의 2진수의 값(0 또는 1)을 의미한다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 영상에 적용할 수 있다.
디블록킹 필터는, 복원 영상 또는 복원 블록의 신호에 기반하여, 강한 경계(edge)의 주변에 경계의 에코(echo)가 생기는 링잉 현상(ringing artifact), 블록 간의 경계에 블록 왜곡이 생기는 블록킹 현상(blocking artifact) 등의 양자화 오차(quantization error)를 감소시킬 수 있다. 디블록킹 필터는 복원 영상 또는 복원 블록이 참조 영상 버퍼(190)에 저장되기에 앞서 적용될 수 있다. 디블록킹 필터를 통해서 영상 부호화 효율 및 영상의 주관적 화질이 향상될 수 있다.
디블록킹 필터에서는 일 실시예로 아래와 같은 과정들이 수행될 수 있다.
1. 필터링 경계 판별 과정: 디블록킹 필터는 필터링을 수행할 대상 경계를 판별할 수 있다. 기본적으로 영상 부호화 및 복호화 과정에서 사용되는 영상이 분할된 부호화 및 복호화 단위가 필터링을 수행할 대상 경계로 판단될 수 있다. 예를 들어, 부호화 유닛(coding unit)의 경계, 예측 유닛(prediction unit)의 경계, 변환 유닛(transform unit)의 경계 중 어느 하나의 경계는 필터링을 수행할 대상 경계가 될 수 있다.
2. 필터링 수행 여부 결정 과정: 디블록킹 필터는 필터링 대상 경계의 필터 강도와 경계 주변 화소값을 이용한 계산식의 결과값 중 하나 이상을 이용하여 필터링 수행 여부를 결정할 수 있다. 예를 들어, 필터 강도는 경계 주변에 존재하는 복원된 샘플에 대해 필터링이 수행될 때, 저역 통과 필터(low pass filter)의 입력 샘플 수를 나타내는 탭 크기(tap size), 저역 통과 필터의 계수(coefficient) 등을 나타낼 수 있다. 이때, 필터 강도를 결정하기 위하여 부호화 파라미터가 사용될 수 있다. 예를 들어, 화면내 예측 모드, 화면간 예측 모드, 움직임 벡터, 참조 영상 인덱스, 부호화 블록 플래그 들 중 하나 이상이 부호화 파라미터로 사용될 수 있다. 예를 들어, 경계 주변 화소값을 이용한 계산식의 결과값은 필터링 대상 경계가 변환(transform) 및 양자화(quantization)로 인한 블록킹 현상(blocking artifact)인지 영상 내에 존재하는 실제 에지(edge)인지를 판별하는 계산식의 결과값일 수 있다. 따라서, 디블록킹 필터는 필터링 대상 경계의 필터 강도와 경계 주변 화소값을 이용한 계산식의 결과값을 이용해서 필터링 대상 경계에 대한 필터 적용 여부와 필터 종류를 결정할 수 있다.
3. 필터링 수행 과정: 디블록킹 필터는 상기에서 결정된 경계 및 수행 여부의 정보를 이용하여 필터링 대상 경계에 대한 필터링을 수행할 수 있다. 이때, 경계가 사람의 눈에 잘 보이지 않게 하기 위한 방법으로, 경계 주변의 화소값을 부드럽게 하기 위해, 경계 주변의 화소값의 변화량 등에 따라 저역 통과 필터, 원영상과 왜곡을 최소화하기 위한 위너(Wiener) 필터 등이 사용될 수 있다. 또한, 필터링 대상 경계에 따라 1차원 필터 혹은 2차원 이상의 다차원 필터가 사용될 수 있다. 예를 들어, 2차원 이상의 다차원 필터는 사각형, 원형, 직사각형 등의 필터의 모양(shape), 수평 대칭, 수직 대칭, 대각선 대칭 등의 필터 계수의 구조(structure)를 가질 수 있다. 또한, 상기 필터링 수행 여부 결정 과정에서 결정된 필터 강도 등에 따라 상기 나열된 다양한 필터가 필터링 수행 과정에서 사용될 수 있다.
SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다.
ALF는 원래의 영상을 기초로 복원된 영상에 필터링을 수행할 수 있다. ALF는 적응적 루프 내 필터로 불릴 수 있다. 이하, 적응적 루프 내 필터와 ALF는 동일한 의미를 가진다.
적응적 루프 내 필터는 복원 영상 또는 복원 블록이 참조 영상 버퍼(190)에 저장되기에 앞서 적용될 수 있다. 적응적 루프 내 필터는 위너 필터(Wiener filter)에 기반하여 복원된 영상과 원래의 영상 간의 왜곡을 감소시키는 적응적 루프 내 필터 계수를 구하여 복원 영상 또는 복원 블록을 필터링할 수 있다. 적응적 루프 내 필터를 통해서 영상 부호화 효율 및 영상의 주관적 화질이 향상될 수 있다.
부호화기의 적응적 루프 내 필터에서는 일 실시예로 아래와 같은 과정들이 수행될 수 있다.
1. 적응적 루프 필터링 수행 여부 결정 과정: 적응적 루프 내 필터는 적응적 루프 필터링 수행 여부를 시그널링한다. 예를 들어, 적응적 루프 필터링 수행 여부에 관한 정보는 비트스트림 내에 포함되어 복호화기로 시그널링될 수 있다. 부호화기는, 부호화 유닛(coding unit) 단위의 필터링 수행 여부 플래그와 같은 정보를 비트스트림에 포함하여, 부호화 유닛 단위로 필터링 수행 여부를 시그널링할 수 있으며, 영상 단위로 필터링 수행 여부를 시그널링할 수 있다. 또한, 부호화기는 필터링이 수행되는 최대 깊이에 대한 정보를 비트스트림에 삽입하여 부호화 유닛에서 특정 깊이의 부호화 유닛까지만 적응적 루프 필터링이 수행되게 할 수 있다.
2. 적응적 루프 필터 파라미터 결정 과정:
2-1. 필터 모양 및 필터 계수 결정 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 부호화기는 적응적 루프 필터링을 수행하기 위한 필터 모양들 중에 하나의 모양을 결정하여 시그널링할 수 있고, 적응적 루프 필터링을 수행하기 위해 사용되는 필터 계수를 결정하고 시그널링 할 수 있다. 예를 들어, 필터 계수는 부호화기에서 계산될 수 있다. 이때 필터 계수의 개수는 하나 이상이 될 수 있다.
2-2. 필터 분류 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 필터 분류 방법으로서 영역 기반 적응 (RA: Region-based adaptation)과 블록 기반 적응(BA: Block-based adaptation) 중 하나의 방법이 이용될 수 있다. 부호화기는 상기 필터 분류 방법을 이용하여 적응적 루프 필터링을 수행할 때 필터를 달리 선택할 수 있다. 영역 기반 적응이 사용될 경우 분할된 영상 영역 당 다수의 필터 중 어느 하나의 필터가 선택될 수 있으며, 블록 기반 적응이 사용될 경우 화소들의 변화량 및 방향성을 고려하여 다수의 필터 중 어느 하나의 필터가 선택될 수 있다.
3. 적응적 루프 필터링 수행 과정: 부호화기는, 상기 결정된 적응적 루프 필터링 수행 여부 및 결정된 필터 파라미터를 이용하여, 복원된 영상의 화소에 적응적 루프 필터링을 수행할 수 있다.

필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.

도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 이 때, 서브 샘플 단위로 예측 블록의 화소값을 예측하기 위하여 보간 필터가 사용될 수 있으며, 보간 필터의 상세는 도 1의 실시예에서 상술된 바와 같다.
복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 디블록킹 필터, SAO의 상세는 도 1의 실시예에서 상술된 바와 같을 수 있다.
복호화기의 적응적 루프 내 필터(ALF: adaptive loop filter)에서는 일 실시예로 아래와 같은 과정들이 수행될 수 있다.
1. 적응적 루프 필터링 수행 여부 결정 과정: 복호화기는, 적응적 루프 필터링 수행 여부를 결정함에 있어, 비트스트림에 포함된 adaptive_loop_filter_flag를 파싱함으로써 적응적 루프 필터링 수행 여부를 결정할 수 있다. 복호화기는 부호화 유닛(coding unit) 단위의 필터링 수행 여부 플래그와 같은 정보를 파싱하여 부호화 유닛 단위로 필터링 수행 여부를 결정할 수 있으며, 영상 단위로 필터링 수행 여부를 결정할 수 있다. 또한, 복호화기는 필터링이 수행되는 최대 깊이에 대한 정보를 파싱하여 부호화 유닛에서 특정 깊이의 부호화 유닛까지만 적응적 루프 필터링이 수행되게 할 수 있다.
2. 적응적 루프 필터 파라미터 결정 과정:
2-1. 필터 모양 및 필터 계수 결정 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 복호화기는 적응적 루프 필터링을 수행하기 위한 필터 모양들 중에 하나의 모양을 결정하고, 적응적 루프 필터링을 수행하기 위해 사용되는 필터 계수를 결정할 수 있다. 이때 필터 계수의 개수는 하나 이상이 될 수 있다.
2-2. 필터 분류 과정: 적응적 루프 필터링이 수행되는 것으로 결정된 경우, 필터 분류 방법으로 영역 기반 적응 (RA: Region-based adaptation)과 블록 기반 적응(BA: Block-based adaptation) 중 하나의 방법이 이용될 수 있다. 복호화기는 상기 필터 분류 방법을 이용하여, 적응적 루프 필터링을 수행할 때, 필터를 달리 선택할 수 있다. 영역 기반 적응이 사용될 경우 분할된 영상 영역 당 다수의 필터 중 어느 하나의 필터가 선택될 수 있으며, 블록 기반 적응이 사용될 경우 화소들의 변화량 및 방향성을 고려하여 다수의 필터 중 어느 하나의 필터가 선택될 수 있다.
3. 적응적 루프 필터링 수행 과정: 복호화기는, 상기 결정된 적응적 루프 필터링 수행 여부 및 결정된 필터 파라미터를 이용하여, 복원된 영상의 화소에 적응적 루프 필터링을 수행할 수 있다.

복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

도 3은 본 발명이 적용되는, 복수 계층을 이용한 스케일러블 영상 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽쳐의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 네트워크 환경에 따라 다양한 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 영상 코딩 방법이 제공될 수 있다.
스케일러블(scalable) 영상 부호화/복호화 방법은 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법의 확장(extension)에 의해 구현될 수 있으며, 도 1의 실시예에 따른 영상 부호화 장치 및 도 2의 실시예에 따른 영상 복호화 장치는 스케일러블 영상 부호화/복호화 장치의 기초가 될 수 있다. 예를 들어, 스케일러블 영상 부호화 장치는 도 1의 실시예에 따른 영상 부호화 장치와 유사한 형태를 가진 복수의 부호화기를 포함할 수 있다. 일 실시예로 스케일러블 영상 부호화 장치의 구조는, 도 1의 실시예에 따른 영상 부호화 장치에, 도 1의 실시예에 따른 영상 부호화 장치와 유사한 형태의 부호화기가 추가된 구조일 수 있다. 상기 추가된 영상 부호화기는 도 1의 실시예에 따른 영상 부호화 장치에서 생성되는 비트스트림 및 복원 영상을 이용하여 영상을 부호화할 수 있으며, 스케일러블 영상 부호화 장치 내에서 도 1의 실시예에 따른 영상 부호화 장치에 종속적으로 동작할 수 있다. 스케일러블 영상 복호화 장치는 도 2의 실시예에 따른 영상 복호화 장치와 유사한 형태를 가진 복수의 복호화기를 포함할 수 있다. 일 실시예로 스케일러블 영상 복호화 장치의 구조는, 도 2의 실시예에 따른 영상 복호화 장치에, 도 2의 실시예에 따른 영상 복호화 장치와 유사한 형태의 영상 복호화기가 추가된 구조일 수 있다. 상기 추가된 영상 복호화기는 도 1의 실시예에 따른 영상 부호화 장치에서 생성된 비트스트림 및 도 2의 실시예에 따른 영상 복호화 장치에서 생성된 복원 영상을 이용하여 영상을 복호화할 수 있으며, 스케일러블 영상 복호화 장치 내에서 도 2의 실시예에 따른 영상 복호화 장치에 종속적으로 동작할 수 있다.

스케일러블 영상 코딩(scalable video coding) 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 영상 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 영상 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 영상 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 베이스 계층(base layer)을 포함할 수 있고, 베이스 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 인핸스드 계층(enhanced layer)을 포함할 수 있다. 복수 계층 구조는 복수의 공간 계층, 복수의 시간 계층, 복수의 화질 계층 등을 포함할 수 있다. 서로 다른 공간 계층에 포함된 영상들은 서로 다른 공간적 해상도를 가질 수 있으며, 서로 다른 시간 계층에 포함된 영상들은 서로 다른 시간적 해상도(프레임율)를 가질 수 있다. 또한 서로 다른 화질 계층에 포함된 영상들은 서로 다른 화질, 예를 들어 서로 다른 SNR(signal-to-noise ratio)을 가질 수 있다.
여기서, 계층(layer)은 공간(예를 들어, 영상 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
도 3을 참조하면, 예를 들어 베이스 계층은 QCIF(Quarter Common Intermediate Format), 15Hz의 프레임율, 3Mbps 비트율로 정의될 수 있고, 제1 인핸스드 계층은 CIF(Common Intermediate Format), 30Hz의 프레임율, 0.7Mbps 비트율로 정의될 수 있으며, 제2 인핸스드 계층은 SD(Standard Definition), 60Hz의 프레임율, 0.19Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
이 때, 만일 CIF 0.5Mbps 비트스트림(bit stream)이 필요하다면, 제1 인핸스드 계층에서 비트율이 0.5Mbps가 되도록 비트스트림이 잘려서 전송될 수 있다. 스케일러블 영상 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.

이하, 대상 계층, 대상 영상, 대상 슬라이스, 대상 유닛 및 대상 블록은 각각 현재 부호화 또는 복호화되는 계층, 영상, 슬라이스, 유닛 및 블록을 의미한다. 예를 들어, 대상 계층은 현재 부호화/복호화 대상 영상을 포함하는 계층일 수 있다. 또한 다른 계층은 대상 계층을 제외한 계층으로서, 대상 계층에서 이용 가능한 계층을 의미한다. 즉, 다른 계층은 대상 계층에서의 복호화 수행에 이용될 수 있다. 대상 계층에서 이용 가능한 계층에는 예를 들어, 시간적, 공간적, 화질적 하위 계층이 있을 수 있다.
또한 이하, 영상이 분할되는 단위를 나타내는 슬라이스는 타일(tile), 엔트로피 슬라이스(entropy slice) 등의 분할 단위를 통칭하는 의미로 사용된다. 각 분할된 단위 간에는 독립적인 영상 부호화 및 복호화가 가능하다.
또한 이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말하므로, 매크로 블록, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.

도 4는 본 발명이 적용될 수 있는 다시점 영상 부호화/복호화 과정에서의 예측 방법의 실시예를 개략적으로 나타내는 개념도이다. 3차원 영상에서는, 동일한 장면이 두 대 이상의 카메라를 이용하여 동시에 촬영될 수 있으므로, 복수의 시점(視點; view)이 존재할 수 있다. 여기서, 하나의 시점은, 하나의 카메라로부터 획득된 영상의 시점을 의미한다. 도 4의 실시예에서 T0 내지 T8은 시간을 나타낸다.
도 4의 실시예를 참조하면, 시점 0(view 0), 시점 1(view 1), 시점 2(view 2) 이렇게 3개 시점의 영상이 제공될 수 있다. 시점의 수는 세 개에 한정되는 것이 아니고, 2개 또는 4개 이상의 시점이 존재할 수도 있다. 대상 시점 내의 다른 영상으로부터의 예측은 시간 예측(temporal prediction), 다른 시점 내의 영상으로부터의 예측은 시점 간 예측(inter-view prediction)이라 할 수 있다. 여기서, 대상 시점, 대상 영상, 대상 슬라이스, 대상 유닛, 대상 블록은 각각 현재 부호화 또는 복호화되는 시점, 영상, 슬라이스, 유닛, 블록을 의미한다. 예를 들어, 대상 시점은 현재 부호화/복호화 대상 영상을 포함하는 시점일 수 있다. 또한 다른 시점은 대상 시점을 제외한 시점으로서, 대상 시점에서 이용 가능한 시점을 의미한다.
도 4의 실시예를 참조하면, 다시점 영상에서는, 여러 시점에서 획득된 영상들이 부호화/복호화에 사용될 수 있으므로, 현재 예측 대상 유닛에 대한 부호화/복호화를 수행함에 있어 시점 간 예측과 시간적 예측이 함께 사용될 수 있다. 다시점 영상 부호화(multi-view video coding)에서는, 시점 간 예측을 통해 시점 간의 영상 내 중복성을 제거함으로써, 부호화 효율이 향상될 수 있다.

상술한 바와 같이 영상 부호화/복호화 과정에서는 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 사용될 수 있다. 또한 도 3의 실시예에 따른 스케일러블 영상 코딩 및 도 4의 실시예에 따른 다시점 영상 부호화/복호화에서도 상기 필터들이 사용될 수 있다. 이 때, 필터 계수를 포함한 각각의 필터 정보들은 하나의 계층 또는 하나의 시점 내의 영상들에서 예측될 수 있고, 미리 계산된 필터 계수들이 필터링에 이용될 수도 있다.
그러나, 상술한 바와 같이 스케일러블 영상 부호화/복호화 방법에서는 영상들이 여러 개의 계층으로 나누어진 후 부호화/복호화에 사용될 수 있고, 다시점 영상 부호화/복호화 방법에서는 복수의 시점에서 획득된 영상들이 부호화/복호화에 사용될 수 있다. 만일 대상 계층 또는 대상 시점 내의 영상들 뿐만 아니라 다른 계층 또는 다른 시점 내의 영상들이 필터 정보의 예측에 사용될 수 있다면, 부호화기에서 복호화기로 전송되는 정보의 중복성이 제거될 수 있으므로, 전송 또는 시그널링(signaling)되는 비트량이 감소될 수 있다. 또한 이 때, 필터 정보가 효율적으로 재사용될 수 있으므로 영상 부호화/복호화 효율이 향상될 뿐 아니라 부호화기 및 복호화기의 계산 복잡도도 감소될 수 있다.
따라서, 스케일러블 영상 부호화/복호화 방법에서는 다른 계층으로부터 필터 정보를 예측하는 계층 간(inter-layer) 예측 방법이 제공될 수 있고, 다시점 영상 부호화/복호화 방법에서는 다른 시점으로부터 필터 정보를 예측하는 시점 간(inter-view) 예측 방법이 제공될 수 있다.
본 발명이 적용될 수 있는 필터 정보에는 예를 들어, 적응적 루프 내 필터 정보, 보간 필터 정보, 디블록킹 필터 정보 등이 있다. 또한 적응적 루프 내 필터 정보, 보간 필터 정보, 디블록킹 필터 정보 등에는 다양한 유형의 정보들이 있을 수 있다.

적응적 루프 내 필터 정보는, 예를 들어, 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수 있다. 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.
적응적 루프 내 필터 정보는, 예를 들어, 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수도 있다. 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 어떤 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다. 적응적 루프 내 필터 정보는 여러 가지 필터 중 어떤 필터가 사용되는지 여부를 지시하는 인덱스(index) 정보일 수도 있다.
적응적 루프 내 필터 정보는 또한 필터의 기하학적 모양, 필터 탭 크기 혹은 길이, 영상 내/영상 간 필터의 예측 부호화 방법, 사용되는 필터의 개수, 필터 정보들이 양자화되는 경우의 양자화 스텝(quantization step) 사이즈 혹은 필터 정보의 비트 심도, 필터링 연산 방법 등을 포함할 수 있다. 필터링 연산 방법에는 1차원의 분리 가능한 필터(1D separable filter), 2차원의 분리 불가능한 필터(2D non-separable filter) 등이 있을 수 있다.
적응적 루프 내 필터 정보에는 필터 계수 정보도 포함될 수 있다. 필터 계수 정보는 고정된 필터 계수 또는 적응적 필터 계수를 포함할 수 있다. 적응적 필터 계수는 위너 필터(Wiener filter) 계수 또는 원래의 영상과 복원된 영상 간의 오차를 줄이기 위해서 계산된 필터 계수를 의미할 수 있다. 또한 필터 계수 정보는 각각의 색 성분에 따른 필터 계수, 즉 휘도(luma) 성분과 색차(chroma) 성분에 따른 필터 계수를 포함할 수 있다. 필터 계수 정보는 필터 오프셋(offset) 정보를 포함할 수도 있다.
적응적 루프 내 필터 정보는 상술한 정보들 중 적어도 하나 이상의 정보를 포함할 수 있으며, 각각의 정보는 정보의 값 또는 구문 요소의 형태를 가질 수 있다.

보간 필터 정보는, 예를 들어, 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수 있다. 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.
보간 필터 정보는, 예를 들어, 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수도 있다. 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 어떤 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다. 보간 필터 정보는 여러 가지 필터 중 어떤 필터가 사용되는지 여부를 지시하는 인덱스(index) 정보일 수도 있다.
보간 필터 정보는 또한 필터의 기하학적 모양, 필터 탭 크기 혹은 길이, 영상 내/영상 간 필터의 예측 부호화 방법, 사용되는 필터의 개수, 필터 정보들이 양자화되는 경우의 양자화 스텝(quantization step) 사이즈 혹은 필터 정보의 비트 심도, 필터링 연산 방법 등을 포함할 수 있다. 필터링 연산 방법에는 1차원의 분리 가능한 필터(1D separable filter), 2차원의 분리 불가능한 필터(2D non-separable filter) 등이 있을 수 있다.
보간 필터 정보에는 필터 계수 정보도 포함될 수 있다. 필터 계수 정보는 고정된 필터 계수 또는 적응적 필터 계수를 포함할 수 있다. 적응적 필터 계수는 위너 필터(Wiener filter) 계수 또는 원래의 영상과 복원된 영상 간의 오차를 줄이기 위해서 계산된 필터 계수를 의미할 수 있다. 또한 필터 계수 정보는 각각의 색 성분에 따른 필터 계수, 즉 휘도(luma) 성분과 색차(chroma) 성분에 따른 필터 계수를 포함할 수 있다. 필터 계수 정보는 필터 오프셋(offset) 정보를 포함할 수도 있다.
보간 필터 정보는 상술한 정보들 중 적어도 하나 이상의 정보를 포함할 수 있으며, 각각의 정보는 정보의 값 또는 구문 요소의 형태를 가질 수 있다.

디블록킹 필터 정보는, 예를 들어, 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수 있다. 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.
디블록킹 필터 정보는, 예를 들어, 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 제어 정보를 포함할 수도 있다. 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛 또는 블록 단위의 필터링 맵일 수 있다. 필터링 맵이 필터링에 사용되는 경우, 특정 유닛이나 블록 단위로 어떤 필터가 사용되는지 여부를 지시하는 필터링 맵이 생성된 후 그 필터링 맵이 각 계층 또는 각 시점 영상들의 필터링에 활용될 수 있다. 또한 어떤 필터를 이용하여 필터링이 수행되는지 여부를 지시하는 정보는 유닛, 블록 또는 화소 단위의 필터링 수행 여부 결정 규칙(decision rule)일 수 있다.
디블록킹 필터 정보는 또한 필터링 수행 조건, 필터의 강도(strength), 필터의 기하학적 모양, 필터 탭 크기 혹은 길이, 필터링 연산 방법 등을 포함할 수 있다. 필터링 연산 방법에는 1차원의 분리 가능한 필터(1D separable filter), 2차원의 분리 불가능한 필터(2D non-separable filter) 등이 있을 수 있다.
디블록킹 필터 정보에는 필터 계수 정보도 포함될 수 있다. 필터 계수 정보는 저주파 통과 필터의 계수 또는 고주파 통과 필터의 계수를 포함할 수 있다. 또한 필터 계수 정보는 고정된 필터 계수 또는 적응적 필터 계수를 포함할 수 있다. 적응적 필터 계수는 위너 필터(Wiener filter) 계수 또는 원래의 영상과 복원된 영상 간의 오차를 줄이기 위해서 계산된 필터 계수를 의미할 수 있다. 또한 필터 계수 정보는 각각의 색 성분에 따른 필터 계수, 즉 휘도(luma) 성분과 색차(chroma) 성분에 따른 필터 계수를 포함할 수 있다. 필터 계수 정보는 필터 오프셋(offset) 정보를 포함할 수도 있다.
디블록킹 필터 정보는 상술한 정보들 중 적어도 하나 이상의 정보를 포함할 수 있으며, 각각의 정보는 정보의 값 또는 구문 요소의 형태를 가질 수 있다.

도 5는 스케일러블 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 5의 실시예에 따른 필터링 방법은 부호화기 및 복호화기에 모두 적용될 수 있다. 또한 도 5의 실시예에 따른 필터링 방법이 적용되는 필터에는, 예를 들어 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 있을 수 있다.
도 5를 참조하면, 부호화기 및 복호화기는 소정의 계층으로부터 대상 복원 영상에 사용되는 필터 정보를 예측한다(S510). 대상 복원 영상은 필터링 대상이 되는 복원 영상을 의미한다. 대상 복원 영상에 사용되는 필터 정보는 계산된 필터 정보 및/또는 미리 정해진 필터 정보 등을 포함할 수 있다.

대상 복원 영상에 사용되는 필터 정보를 예측함에 있어, 부호화기 및 복호화기는 상기 소정의 계층 내의 영상, 슬라이스, 유닛 및/또는 블록에 포함된 정보를 이용할 수 있다.
상기 소정의 계층, 영상, 슬라이스, 유닛, 블록에는 다양한 유형이 있을 수 있다. 예를 들어, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 대상 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.
또한, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 다른 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.
상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 대상 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
또한, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 다른 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
여기서, 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 인덱스, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.
상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 대상 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
또한, 상기 소정의 계층 내의 영상, 슬라이스, 유닛, 블록은 다른 계층의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
상기 소정의 계층은 대상 계층 및 다른 계층 중 적어도 하나 이상의 계층일수 있다.
또한 도 5의 실시예에 따른 필터링 방법에서는, 다수의 계층으로부터 필터 정보가 예측될 수 있다.

도 6은 본 발명의 실시예에 따른 공간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 6의 실시예에서는 2개의 공간 계층이 존재한다. 공간 계층의 개수는 2개에 한정되지 않으며, 3 이상일 수도 있다. 도 6의 실시예를 참조하면, 공간 계층1의 영상에 대한 필터 정보는, 공간 계층0의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 spatial_id와 같은 공간 계층 식별 정보에 따라 예측될 수도 있다.
도 7은 본 발명의 실시예에 따른 시간 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 7의 실시예에서는 2개의 시간 계층이 존재한다. 시간 계층의 개수는 2개에 한정되지 않으며, 3 이상일 수도 있다. 도 7의 실시예를 참조하면, 시간 계층1의 영상에 대한 필터 정보는, 시간 계층0의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 temporal_id와 같은 시간 계층 식별 정보에 따라 예측될 수도 있다.
도 8은 본 발명의 실시예에 따른 화질 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다.
도 8의 실시예에서는 2개의 화질 계층이 존재한다. 화질 계층의 개수는 2개에 한정되지 않으며, 3 이상일 수도 있다. 도 8의 실시예를 참조하면, 화질 계층1의 영상에 대한 필터 정보는, 화질 계층0의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 quality_id와 같은 화질 계층 식별 정보에 따라 예측될 수도 있다.

필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 예를 들어, 필터 정보 후보(candidate) 리스트가 사용될 수 있고, 이 때 상기 리스트에서 어떤 필터 정보가 예측되는지를 지시하는 인덱스(index) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 또한, 각 필터 정보에 대해 필터 정보가 예측되는지 여부를 지시하는 플래그(flag) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 복호화기는 상기 인덱스 정보 및/또는 상기 플래그 정보를 수신하여 필터 정보가 예측되는지 및/또는 어떤 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.
필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용하여 얻어질 수도 있다. 이 때, 복호화기는 필터 정보를 예측하기 위해 사용되는 계층에서의 부호화 파라미터를 이용하여, 필터 정보가 예측되는지 또는 어떤 필터 정보가 예측되는지 여부에 대한 정보를 얻을 수 있다. 상기 부호화 파라미터는 부호화기에서 생성되어 복호화기로 전송될 수 있다.
복수의 계층들 중 어떤 계층으로부터 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 복호화기는 상기 정보를 수신하여 어떤 계층으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 계층들 중 어떤 계층으로부터 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용해서 얻어질 수도 있다. 복호화기는 상기 부호화 파라미터를 이용하여 어떤 계층으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.
대상 복원 영상의 필터 정보는 대상 계층 및/또는 다른 계층에 포함된 다른 필터 정보로부터 예측될 수도 있다. 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 이 때, 복호화기는 상기 정보를 수신하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용해서 얻어질 수도 있다. 이 때, 복호화기는 상기 부호화 파라미터를 이용하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

복호화기는, 필터 정보 예측 지시자의 값에 기초하여, 대상 계층의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있고 다른 계층의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.
필터 정보 예측 지시자는 어떤 필터 정보가 예측되는지, 필터 정보가 어떤 계층에서 예측되는지 및/또는 예측된 값이 그대로 이용되는지 여부를 지시하는 지시자이다. 필터 정보 예측 지시자의 실시예로서, Filter_base_mode, Filter_use_filter_information, Filter_pred_filter_information 등이 있을 수 있다.
Filter_base_mode는 다른 계층에서의 필터 정보가 영상의 공간적 및 시간적 해상도에 맞게 스케일링되어 필터 정보 예측 수행에 이용됨을 지시할 수 있다. Filter_use_filter_information은 다른 계층에서 필터 정보가 예측된 후 예측된 값이 그대로 대상 복원 영상의 필터 정보로 이용됨을 지시할 수 있다. Filter_pred_filter_information은 다른 계층에서 필터 정보가 예측된 후 예측된 필터 정보와 대상 복원 영상의 필터 정보의 차이값이 부호화기에서 복호화기로 전송됨을 지시할 수 있다. 필터 정보 예측 지시자는 상기의 실시예에 한정되는 것이 아니고, 대상 계층 및 다른 계층을 지시하는 방법, 예측 방법 등에 따라 다른 종류의 필터 정보 예측 지시자가 사용될 수도 있다. 복호화기는 상기 정보들을 수신한 후, 상기 정보에 기초하여 필터 정보 예측을 수행할 수 있다.

부호화기 및 복호화기는 대상 계층 및/또는 다른 계층의 정보를 이용하여 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수 있다.
부호화기는 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보의 차이값을 복호화기로 전송할 수도 있다. 이 때, 복호화기는 그 차이값을 수신하고, 수신된 차이값을 예측된 필터 정보와 합하여 대상 복원 영상의 필터 정보로 사용할 수 있다.

도 9는 본 발명의 일 실시예에 따른 계층 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다. 도 9를 참조하면, 필터 정보 예측기(910)는 필터 정보 예측 지시자에 기초하여 대상 계층의 필터 정보 또는 다른 계층의 필터 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수 있다. 또한 필터 정보 예측기(910)는 대상 계층의 필터 정보와 다른 계층의 필터 정보를 함께 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.

다시 도 5를 참조하면, 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 필터링을 수행한다(S520). 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 영상 전체에 대한 필터링을 수행할 수 있다. 이 때, 필터링은 슬라이스, 유닛 또는 블록 등의 단위로 수행될 수 있다.

부호화기 및 복호화기는 예측된 필터 정보를 대상 복원 영상에 사용되는 필터 정보의 예측 정보로 이용할 수 있다. 대상 복원 영상에 사용되는 필터 정보는, 대상 복원 영상의 필터링을 위한 정보로서, 계산된 필터 정보 및/또는 미리 정해진 필터 정보 등을 포함할 수 있다.
부호화기는, 상기 예측된 필터 정보를 상기 대상 복원 영상에 사용되는 필터 정보의 예측 정보로 이용하여, 상기 대상 복원 영상에 사용되는 필터 정보에 관련되는 정보들을 부호화기로 전송 또는 시그널링할 수 있다. 예를 들어, 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보의 차이값이 복호화기로 전송될 수 있다. 이 때, 복호화기는 수신한 차이값을 예측된 필터 정보와 합하여 대상 복원 영상의 필터 정보로 사용할 수 있다. 부호화기 및 복호화기는 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수도 있다.
부호화기 및 복호화기는 얻어진 대상 복원 영상의 필터 정보를 이용하여 대상 복원 영상을 필터링할 수 있다.

부호화기 및 복호화기는 예측된 필터 정보만을 이용하여 대상 복원 영상에 대한 필터링을 수행할 수 있다. 다른 예로 부호화기 및 복호화기는 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보를 함께 이용하여 대상 복원 영상에 대한 필터링을 수행할 수도 있다. 이 때, 특정 슬라이스, 유닛, 블록에 대해서는 예측된 필터 정보만이 이용되고, 다른 특정 슬라이스, 유닛, 블록에 대해서는 대상 복원 영상에 사용되는 필터 정보가 이용될 수 있다. 또 다른 예로 부호화기 및 복호화기는 예측된 필터 정보를 이용하지 않고, 대상 복원 영상에 사용되는 필터 정보만으로 대상 복원 영상을 필터링할 수도 있다.

도 5 내지 도 9의 실시예를 참조하면, 스케일러블 영상 부호화/복호화 과정에서 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 사용되는 경우, 부호화기 및 복호화기는 다른 계층을 포함한 다양한 계층들 중 선택된 소정의 계층으로부터 필터 정보를 예측할 수 있고, 상기 필터 정보를 이용하여 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 계층 간으로 필터 정보를 예측할 수 있으므로, 부호화기에서 복호화기로 전송되는 필터 정보의 양이 감소될 수 있다. 또한 영상 부호화 효율이 향상될 수 있고, 부호화기와 복호화기의 계산 복잡도도 감소될 수 있다.

도 10은 다시점 영상 부호화/복호화를 위한 필터링 방법의 일 실시예를 개략적으로 나타내는 흐름도이다. 도 10의 실시예에 따른 필터링 방법은 부호화기 및 복호화기에 모두 적용될 수 있다. 또한 도 10의 실시예에 따른 필터링 방법이 적용되는 필터에는, 예를 들어 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 있을 수 있다.
도 10을 참조하면, 부호화기 및 복호화기는 소정의 시점으로부터 대상 복원 영상에 사용되는 필터 정보를 예측한다(S1010).

대상 복원 영상에 사용되는 필터 정보를 예측함에 있어, 부호화기 및 복호화기는 상기 소정의 시점 내의 영상, 슬라이스, 유닛 및/또는 블록에 포함된 정보를 이용할 수 있다.
상기 소정의 시점, 영상, 슬라이스, 유닛, 블록에는 다양한 유형이 있을 수 있다. 예를 들어, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 대상 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.
또한, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 다른 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 공간적 및 시간적으로 대응되는 위치의 영상, 슬라이스, 유닛, 블록일 수 있다.
상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 대상 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
또한, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 다른 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 부호화 파라미터를 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 대상 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
또한, 상기 소정의 시점 내의 영상, 슬라이스, 유닛, 블록은 다른 시점의 영상, 슬라이스, 유닛, 블록으로서, 필터링 대상 복원 영상, 슬라이스, 유닛, 블록과 동일하거나 유사한 화소값을 갖는 영상, 슬라이스, 유닛, 블록일 수도 있다.
상기 소정의 시점은 대상 시점 및 다른 시점 중 적어도 하나 이상의 시점일수 있다.
또한 도 10의 실시예에 따른 필터링 방법에서는, 다수의 시점으로부터 필터 정보가 예측될 수 있다.

도 11은 본 발명의 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다. 도 11의 실시예에서는 3개의 시점이 존재한다. 시점의 개수는 3개에 한정되지 않으며, 2 또는 4 이상일 수도 있다. 도 11의 실시예를 참조하면, 시점1의 영상에 대한 필터 정보는, 시점0, 시점2의 영상으로부터 예측될 수도 있다. 이때, 필터 정보는 비트스트림 내의 view_id와 같은 시점 식별 정보에 따라 예측될 수도 있다.

필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 예를 들어, 필터 정보 후보(candidate) 리스트가 사용될 수 있고, 이 때 상기 리스트에서 어떤 필터 정보가 예측되는지를 지시하는 인덱스(index) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 또한, 각 필터 정보에 대해 필터 정보가 예측되는지 여부를 지시하는 플래그(flag) 정보가 부호화기로부터 복호화기로 전송 또는 시그널링될 수 있다. 복호화기는 상기 인덱스 정보 및/또는 플래그 정보를 수신하여 필터 정보가 예측되는지 및/또는 어떤 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.
필터 정보들 중 어떤 필터 정보가 예측되는지에 대한 정보는 부호화 파라미터를 이용하여 얻어질 수도 있다. 이 때, 복호화기는 필터 정보를 예측하기 위해 사용되는 시점에서의 부호화 파라미터를 이용하여, 필터 정보가 예측되는지 또는 어떤 필터 정보가 예측되는지 여부에 대한 정보를 얻을 수 있다. 상기 부호화 파라미터는 부호화기에서 생성되어 복호화기로 전송될 수 있다.
복수의 시점들 중 어떤 시점으로부터 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 복호화기는 상기 정보를 수신하여 어떤 시점으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 시점들 중 어떤 시점으로부터 필터 정보가 예측되는지에 대한 정보는 부호화 파라미터를 이용하여 얻어질 수도 있다. 복호화기는 상기 부호화 파라미터를 이용하여 어떤 시점으로부터 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.
대상 복원 영상의 필터 정보는 대상 계층 및/또는 다른 계층에 포함된 다른 필터 정보에 의해 예측될 수도 있다. 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는 부호화기에서 생성되어 복호화기로 전송 또는 시그널링(signaling)될 수 있다. 이 때, 복호화기는 상기 정보를 수신하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다. 또한 복수의 필터 정보 중 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대한 정보는, 부호화 파라미터를 이용해서 얻어질 수도 있다. 이 때, 복호화기는 상기 부호화 파라미터를 이용하여 어떤 필터 정보로부터 대상 복원 영상의 필터 정보가 예측되는지에 대해 결정하고 필터 정보 예측을 수행할 수 있다.

복호화기는, 필터 정보 예측 지시자의 값에 기초하여, 대상 시점의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있고 다른 시점의 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.
필터 정보 예측 지시자는 어떤 필터 정보가 예측되는지, 필터 정보가 어떤 시점에서 예측되는지 및/또는 예측된 값이 그대로 이용되는지 여부를 지시하는 지시자이다. 필터 정보 예측 지시자의 실시예로서, Filter_base_mode, Filter_use_filter_information, Filter_pred_filter_information 등이 있을 수 있다. 각 지시자의 의미는 도 5의 실시예에서 상술한 바와 유사하다.
Filter_base_mode는 다른 시점에서의 필터 정보가 영상의 공간적 및 시간적 해상도에 맞게 스케일링되어 필터 정보 예측 수행에 이용됨을 지시할 수 있다. Filter_use_filter_information은 다른 시점에서 필터 정보가 예측된 후 예측된 값이 그대로 대상 복원 영상의 필터 정보로 이용됨을 지시할 수 있다. Filter_pred_filter_information은 다른 시점에서 필터 정보가 예측된 후 예측된 필터 정보와 대상 복원 영상의 필터 정보의 차이값이 부호화기에서 복호화기로 전송됨을 지시할 수 있다. 필터 정보 예측 지시자는 상기의 실시예에 한정되는 것이 아니고, 대상 시점 및 다른 시점을 지시하는 방법, 예측 방법 등에 따라 다른 종류의 필터 정보 예측 지시자가 사용될 수도 있다. 복호화기는 상기 정보들을 수신한 후, 상기 정보에 기초하여 필터 정보 예측을 수행할 수 있다.

부호화기 및 복호화기는 대상 시점 및/또는 다른 시점의 정보를 이용하여 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수 있다.
부호화기는 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보의 차이값을 복호화기로 전송할 수도 있다. 이 때, 복호화기는 그 차이값을 수신하고, 수신된 차이값을 예측된 필터 정보와 합하여 대상 복원 영상의 필터 정보로 사용할 수 있다.

도 12는 본 발명의 일 실시예에 따른 시점 간 필터 정보 예측 방법을 개략적으로 나타내는 개념도이다. 도 12를 참조하면, 필터 정보 예측기(1210)는 필터 정보 예측 지시자에 기초하여 대상 시점의 필터 정보 또는 다른 시점의 필터 정보를 이용하여 대상 복원 영상의 필터 정보를 예측할 수 있다. 또한 필터 정보 예측기(1210)는 대상 시점의 필터 정보와 다른 시점의 필터 정보를 함께 이용하여 대상 복원 영상의 필터 정보를 예측할 수도 있다.

다시 도 10을 참조하면, 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 필터링을 수행한다(S1020). 부호화기 및 복호화기는 예측된 필터 정보를 이용하여 영상 전체에 대한 필터링을 수행할 수 있다. 이 때, 필터링은 슬라이스, 유닛 또는 블록 등의 단위로 수행될 수 있다.

부호화기 및 복호화기는 예측된 필터 정보를 대상 복원 영상에 사용되는 필터 정보의 예측 정보로 이용할 수 있다. 대상 복원 영상에 사용되는 필터 정보는, 대상 복원 영상의 필터링을 위한 정보로서, 계산된 필터 정보 및/또는 미리 정해진 필터 정보 등을 포함할 수 있다.
부호화기는, 상기 예측된 필터 정보를 상기 대상 복원 영상에 사용되는 필터 정보의 예측 정보로 이용하여, 상기 대상 복원 영상에 사용되는 필터 정보에 관련되는 정보들을 부호화기로 전송 또는 시그널링할 수 있다. 예를 들어, 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보의 차이값이 복호화기로 전송될 수 있다. 이 때, 복호화기는 수신한 차이값을 예측된 필터 정보와 합하여 대상 복원 영상의 필터 정보로 사용할 수 있다. 부호화기 및 복호화기는 예측된 필터 정보를 그대로 대상 복원 영상의 필터 정보로 사용할 수도 있다.
부호화기 및 복호화기는 얻어진 대상 복원 영상의 필터 정보를 이용하여 대상 복원 영상을 필터링할 수 있다.

부호화기 및 복호화기는 예측된 필터 정보만을 이용하여 대상 복원 영상에 대한 필터링을 수행할 수 있다. 다른 예로 부호화기 및 복호화기는 대상 복원 영상에 사용되는 필터 정보와 예측된 필터 정보를 함께 이용하여 대상 복원 영상에 대한 필터링을 수행할 수도 있다. 이 때, 특정 슬라이스, 유닛, 블록에 대해서는 예측된 필터 정보만이 이용되고, 다른 특정 슬라이스, 유닛, 블록에 대해서는 대상 복원 영상에 사용되는 필터 정보가 이용될 수 있다. 또 다른 예로 부호화기 및 복호화기는 예측된 필터 정보를 이용하지 않고, 대상 복원 영상에 사용되는 필터 정보만으로 대상 복원 영상을 필터링할 수도 있다.

도 10 내지 도 12의 실시예를 참조하면, 다시점 영상 부호화/복호화 과정에서 적응적 루프 내 필터, 보간 필터, 디블록킹 필터 등이 사용되는 경우, 부호화기 및 복호화기는 다른 시점을 포함한 다양한 시점들 중 선택된 소정의 시점으로부터 필터 정보를 예측할 수 있고, 상기 필터 정보를 이용하여 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 시점 간으로 필터 정보를 예측할 수 있으므로, 부호화기에서 복호화기로 전송되는 필터 정보의 양이 감소될 수 있다. 또한 영상 부호화 효율이 향상될 수 있고, 부호화기와 복호화기의 계산 복잡도도 감소될 수 있다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 복수 계층(layer) 기반의 스케일러블(scalable) 영상 복호화 방법으로서,
    대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계; 및
    상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고,
    상기 대상 계층은 상기 필터링 대상 영상이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보인 스케일러블 영상 복호화 방법.
  2. 청구항 1에 있어서, 상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나인 스케일러블 영상 복호화 방법.
  3. 청구항 1에 있어서, 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고,
    상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 계층의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시하는 스케일러블 영상 복호화 방법.
  4. 청구항 3에 있어서, 상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는,
    상기 대상 계층 및 상기 다른 계층 중 상기 필터 정보 예측 지시자가 지시하는 계층에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행하는 스케일러블 영상 복호화 방법.
  5. 청구항 1에 있어서, 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고,
    상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는,
    상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계; 및
    상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하는 스케일러블 영상 복호화 방법.
  6. 복수 계층(layer) 기반의 스케일러블(scalable) 영상 복호화를 위한 필터링 방법으로서,
    대상 계층에 포함된 정보 및 다른 계층에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계; 및
    상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고,
    상기 대상 계층은 상기 필터링 대상 영상이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보인 필터링 방법.
  7. 청구항 6에 있어서, 상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나인 필터링 방법.
  8. 청구항 6에 있어서, 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고,
    상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 계층의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시하는 필터링 방법.
  9. 청구항 8에 있어서, 상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는,
    상기 대상 계층 및 상기 다른 계층 중 상기 필터 정보 예측 지시자가 지시하는 계층에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행하는 필터링 방법.
  10. 청구항 6에 있어서, 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고,
    상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는,
    상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계; 및
    상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하는 필터링 방법.
  11. 복수의 시점(view)에서 획득된 영상을 기반으로 한 다시점 영상 복호화 방법으로서,
    대상 시점에 포함된 정보 및 다른 시점에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계; 및
    상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고,
    상기 대상 시점은 상기 필터링 대상 영상이 포함된 시점이고, 상기 다른 시점은 상기 대상 시점을 제외한 시점으로서 상기 대상 시점에서의 복호화 수행에 이용될 수 있는 시점이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보인 다시점 영상 복호화 방법.
  12. 청구항 11에 있어서, 상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나인 다시점 영상 복호화 방법.
  13. 청구항 11에 있어서, 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고,
    상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 시점의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시하는 다시점 영상 복호화 방법.
  14. 청구항 13에 있어서, 상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는,
    상기 대상 시점 및 상기 다른 시점 중 상기 필터 정보 예측 지시자가 지시하는 시점에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행하는 다시점 영상 복호화 방법.
  15. 청구항 11에 있어서, 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고,
    상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는,
    상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계; 및
    상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하는 다시점 영상 복호화 방법.
  16. 복수의 시점(view)에서 획득된 영상을 기반으로 한 다시점 영상 복호화를 위한 필터링 방법으로서,
    대상 시점에 포함된 정보 및 다른 시점에 포함된 정보 중 적어도 하나를 이용하여, 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계; 및
    상기 제2 필터 정보에 기반한 상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하고,
    상기 대상 시점은 상기 필터링 대상 영상이 포함된 시점이고, 상기 다른 시점은 상기 대상 시점을 제외한 시점으로서 상기 대상 시점에서의 복호화 수행에 이용될 수 있는 시점이고, 상기 제1 필터 정보는 상기 필터링 대상 영상의 필터링을 위한 정보이고, 상기 제2 필터 정보는 상기 필터링 대상 영상의 필터링을 위해 생성된 예측 필터 정보인 필터링 방법.
  17. 청구항 16에 있어서, 상기 제1 필터 정보는 적응적 루프 내 필터 정보, 보간(interpolation) 필터 정보, 디블록킹(deblocking) 필터 정보 중 적어도 하나인 필터링 방법.
  18. 청구항 16에 있어서, 부호화기로부터 필터 정보 예측 지시자를 수신하는 단계를 추가로 포함하고,
    상기 필터 정보 예측 지시자는 상기 제1 필터 정보 중 어떤 필터 정보에 대한 예측이 수행되는지에 관한 정보, 상기 제1 필터 정보에 대한 예측이 어떤 시점의 정보를 이용하여 수행되는지에 관한 정보, 상기 제1 필터 정보가 어떤 필터 정보로부터 예측되는지에 관한 정보 및 상기 제2 필터 정보가 이용되는 방법에 관한 정보 중 적어도 하나를 지시하는 필터링 방법.
  19. 청구항 18에 있어서, 상기 제1 필터 정보에 대한 예측값을 포함하는 제2 필터 정보를 생성하는 단계에서는,
    상기 대상 시점 및 상기 다른 시점 중 상기 필터 정보 예측 지시자가 지시하는 시점에 포함된 정보를 이용하여 상기 제1 필터 정보에 대한 예측을 수행하는 필터링 방법.
  20. 청구항 16에 있어서, 부호화기로부터 상기 제1 필터 정보와 상기 제2 필터 정보의 차분 정보를 수신하는 단계를 추가로 포함하고,
    상기 제2 필터 정보에 기반한 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계는,
    상기 제2 필터 정보와 상기 차분 정보를 합하여 상기 제1 필터 정보를 생성하는 단계; 및
    상기 제1 필터 정보를 이용하여 필터링 대상 영상에 대한 필터링을 수행하는 단계를 포함하는 필터링 방법.
PCT/KR2011/007200 2010-09-29 2011-09-29 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치 WO2012044093A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/876,938 US9363533B2 (en) 2010-09-29 2011-09-29 Method and apparatus for video-encoding/decoding using filter information prediction
US16/908,607 USRE49308E1 (en) 2010-09-29 2011-09-29 Method and apparatus for video-encoding/decoding using filter information prediction

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2010-0094543 2010-09-29
KR20100094543 2010-09-29
KR1020110099197A KR102062821B1 (ko) 2010-09-29 2011-09-29 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR10-2011-0099197 2011-09-29

Publications (2)

Publication Number Publication Date
WO2012044093A2 true WO2012044093A2 (ko) 2012-04-05
WO2012044093A3 WO2012044093A3 (ko) 2012-05-31

Family

ID=45893672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/007200 WO2012044093A2 (ko) 2010-09-29 2011-09-29 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치

Country Status (2)

Country Link
US (1) USRE49308E1 (ko)
WO (1) WO2012044093A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014109594A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN104641641A (zh) * 2012-09-28 2015-05-20 索尼公司 编码装置、编码方法、解码装置和解码方法
US20150312545A1 (en) * 2012-07-04 2015-10-29 Lidong Xu Inter-view filter parameters re-use for three dimensional video coding
WO2016140439A1 (ko) * 2015-03-02 2016-09-09 엘지전자(주) 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN108600752A (zh) * 2012-06-11 2018-09-28 三星电子株式会社 视频编码方法和设备以及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060080107A (ko) * 2005-01-04 2006-07-07 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR100759870B1 (ko) * 2006-03-24 2007-09-18 경희대학교 산학협력단 Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR20090079939A (ko) * 2006-10-13 2009-07-22 퀄컴 인코포레이티드 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
CN104954789A (zh) * 2009-04-20 2015-09-30 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9083974B2 (en) 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060080107A (ko) * 2005-01-04 2006-07-07 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR100759870B1 (ko) * 2006-03-24 2007-09-18 경희대학교 산학협력단 Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR20090079939A (ko) * 2006-10-13 2009-07-22 퀄컴 인코포레이티드 모션 보상 예측을 위해 적응 필터링을 이용하는 비디오 코딩

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600752A (zh) * 2012-06-11 2018-09-28 三星电子株式会社 视频编码方法和设备以及计算机可读存储介质
CN108965876A (zh) * 2012-06-11 2018-12-07 三星电子株式会社 视频解码方法
CN108965875A (zh) * 2012-06-11 2018-12-07 三星电子株式会社 视频解码设备
CN108965874A (zh) * 2012-06-11 2018-12-07 三星电子株式会社 视频解码方法
US20150312545A1 (en) * 2012-07-04 2015-10-29 Lidong Xu Inter-view filter parameters re-use for three dimensional video coding
US9769450B2 (en) * 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
CN104641641A (zh) * 2012-09-28 2015-05-20 索尼公司 编码装置、编码方法、解码装置和解码方法
WO2014109594A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9877020B2 (en) 2013-01-10 2018-01-23 Samsung Electronics Co., Ltd. Method for encoding inter-layer video for compensating luminance difference and device therefor, and method for decoding video and device therefor
WO2016140439A1 (ko) * 2015-03-02 2016-09-09 엘지전자(주) 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치

Also Published As

Publication number Publication date
USRE49308E1 (en) 2022-11-22
WO2012044093A3 (ko) 2012-05-31

Similar Documents

Publication Publication Date Title
KR102442894B1 (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN106170092B (zh) 用于无损编码的快速编码方法
KR101572535B1 (ko) 합성 비디오에서의 무손실 코딩 및 관련 시그널링 방법
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
US9800884B2 (en) Device and method for scalable coding of video information
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
KR102324462B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
CN110754091B (zh) 用于360度视频编码的解块滤波
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법
KR20140019221A (ko) 인루프 필터링 방법 및 이를 이용하는 장치
WO2015051011A1 (en) Modified hevc transform tree syntax
CN113196745B (zh) 视频编解码的方法和装置
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
JP7459347B2 (ja) クロマ量子化パラメータオフセット関連情報をコーディングする画像デコード方法及びその装置
WO2012044093A2 (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20210103572A (ko) 타일 구성 시그널링을 위한 인코더, 디코더 및 대응 방법
KR20220065880A (ko) 아핀 모션 보상에서 dct 기반 보간 필터 및 향상된 쌍선형 보간 필터의 사용
KR20130085088A (ko) 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
KR101850152B1 (ko) 적응적 루프 필터 적용 방법 및 그를 이용한 스케일러블 비디오 부호화 장치
US20130188740A1 (en) Method and apparatus for entropy encoding/decoding
KR102400485B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
RU2809192C2 (ru) Кодер, декодер и соответствующие способы межкадрового предсказания
KR20220163403A (ko) Dpb 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11829599

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13876938

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11829599

Country of ref document: EP

Kind code of ref document: A2