WO2011155714A2 - 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법 - Google Patents

엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법 Download PDF

Info

Publication number
WO2011155714A2
WO2011155714A2 PCT/KR2011/003665 KR2011003665W WO2011155714A2 WO 2011155714 A2 WO2011155714 A2 WO 2011155714A2 KR 2011003665 W KR2011003665 W KR 2011003665W WO 2011155714 A2 WO2011155714 A2 WO 2011155714A2
Authority
WO
WIPO (PCT)
Prior art keywords
edge
transform
adaptive
graph
pixels
Prior art date
Application number
PCT/KR2011/003665
Other languages
English (en)
French (fr)
Other versions
WO2011155714A3 (ko
Inventor
이재준
위호천
고드윈센
김우식
안토니오오르테가
써닐나랑
박두식
Original Assignee
삼성전자주식회사
유니버시티 오브 써던 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 유니버시티 오브 써던 캘리포니아 filed Critical 삼성전자주식회사
Priority to US13/703,229 priority Critical patent/US20130272422A1/en
Priority to EP11792625.3A priority patent/EP2582140A4/en
Publication of WO2011155714A2 publication Critical patent/WO2011155714A2/ko
Publication of WO2011155714A3 publication Critical patent/WO2011155714A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Definitions

  • Embodiments of the present invention relate to an image encoding / decoding system and method using edge-adaptive transformation.
  • DCT discrete cosine transform
  • Discrete cosine transform is an orthogonal transform coding method that uses a discrete cosine function as a coefficient for transforming an image signal on a time axis to a frequency axis. It was adopted by ITU-T as the video compression technology of H.261 encoding method for teleconferencing telephony, and adopted by MPEG, the international standard for moving picture compression. Discrete cosine transforms the time-based image signal by transforming it into a frequency region with a large number of signal powers and a small region. Since the power of the image signal is concentrated in the low-frequency region, the total number of bits is reduced by quantizing with an appropriate bit allocation. To compress the data.
  • DCT discrete cosine transform
  • a predictive encoding unit which predictively encodes pixels of the input image, an edge map generator which generates information indicating edge positions in the input image, a graph generator which generates a graph based on the generated information, and a prediction based on the graph
  • an encoding system including a transform unit for converting encoded pixels and an edge map encoder for encoding the generated information.
  • the transform unit may transform the prediction-coded pixel through the edge-adaptive transformation generated based on the Laplacian eigen matrix of the graph.
  • the transform unit generates an edge adaptive transform based on a pre-calculated and stored transform for a pixel for a fixed set of common edge structures among the predictively encoded pixels, and predictively encodes the generated edge adaptive transform. Pixels can be converted.
  • the transform unit may generate an edge adaptive transform based on the transform of each of the connected elements of the graph, and may transform the predictively encoded pixel using the generated edge adaptive transform.
  • an optimal mode determiner for selecting an optimal mode, and an optimal mode, edge-adaptive transformation is performed on the predictively encoded pixels.
  • An encoding system including an edge adaptive transform, wherein an optimal mode is selected based on the rate-distortion cost of each of the edge-adaptive transform and the discrete cosine transform.
  • An entropy decoder which decodes the input bitstream by entropy decoding, an information decoder which decodes information indicating the position of an edge in the input bitstream, a graph generator which generates a graph based on the decoded information, and a graph.
  • a decoding system including an inverse transform unit for inversely transforming an entropy decoded pixel is provided.
  • the edge-adaptive inverse transform unit for performing an edge-adaptive inverse transform on the entropy decoded pixel, A mode is provided, wherein the mode is determined in the coding system based on the rate-distortion cost of each of the edge-adaptive transform and the discrete cosine transform.
  • An edge-adaptive transform may be used to encode and decode an image.
  • the bit rate and / or distortion can be reduced.
  • FIG. 1 is a block diagram illustrating an internal configuration of an encoding system according to an embodiment of the present invention.
  • FIG. 2 illustrates an example of a plurality of pixels according to an exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an internal configuration of an encoding system according to another embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating an internal configuration of a decoding system according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating an internal configuration of a decoding system according to another embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an encoding method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a coding method according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a decoding method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a decoding method according to another embodiment of the present invention.
  • Edge-Adaptive Transform may be used independently but may be used in combination with a Discrete Cosine Transform (DCT).
  • DCT Discrete Cosine Transform
  • information indicating the position of the edge may be generated for at least one block of the input image.
  • an edge map may be generated as information representing the position of the edge.
  • a graph may be generated based on the edge map, and the transform may be constructed using the generated graph.
  • the rate-distortion (RD) cost for the edge-adaptive transform coefficients is discrete. If less than the rate-distortion cost for the cosine transform coefficients, an edge-adaptive transform may be used.
  • the edge map may be encoded and transmitted to the decoding system as additional information.
  • the decoding system may decode the bitstream by receiving the transform coefficient and the edge map for at least one block of the image. In this case, the decoding system may perform inverse transform, inverse quantization, and prediction compensation.
  • FIG. 1 is a block diagram illustrating an internal configuration of an encoding system according to an embodiment of the present invention.
  • the encoding system 100 uses edge-adaptive transform independently.
  • the encoding system 100 includes a prediction encoder 110, an edge-adapter 120, a quantizer 130, an entropy encoder 140, an inverse quantizer 150, and the like.
  • the inverse transform unit 160 may be included.
  • the predictive encoding unit 110 predictively encodes a pixel of an input image.
  • the predictive encoding unit 110 may predict each block of pixels in an input image such as an image or a video frame through reconstructed pixels obtained from pre-coded blocks, and at this time, the blocks of the predictively encoded pixels A residual block can be generated from the.
  • the reconstructed pixel may be obtained through the inverse quantization unit 150 and the inverse transform unit 160.
  • the inverse quantization unit 150 and the inverse transform unit 160 will be described in more detail later.
  • a block may be configured as, for example, an N ⁇ N sized pixel set.
  • the edge-adaptive converter 120 performs edge-adaptive transformation on the predictively coded pixel.
  • the edge-adaptive converter 120 includes an edge map generator 121, a graph generator 122, a converter 123, and an edge map encoder 124, as shown in FIG. 1. do.
  • the edge map generator 121 generates information indicating the position of the edge in the input image.
  • the edge map generator 121 may generate a binary edge map indicating the position of the edge by finding the position of the edge in the above-described residual block.
  • the graph generator 122 generates a graph based on the generated information.
  • the graph generator 122 may generate a graph by connecting pixels without edges between pixels adjacent to each other among the pixels included in the remaining block.
  • the graph may be generated by four or eight connected neighboring pixels.
  • Such a graph may be represented by an adjacency matrix A.
  • a value of 1 for the connected pixels in the adjacent matrix A may be replaced with a value according to the distance between the connected pixels. Since pixels adjacent in the horizontal or vertical direction are closer to each other than pixels adjacent in the diagonal direction, a predetermined value may be used instead of 1 according to the distance between these pixels.
  • a degree matrix D can be calculated from the neighbor matrix A.
  • the order matrix D may satisfy the condition that D (i, j) has the number of items whose value is not '0' in the i-th column of the adjacent matrix A as a value.
  • the converter 123 transforms the predictively coded pixel based on the graph.
  • the converter 123 may configure an edge-adaptive transform in the graph by using eigenvectors of Laplacian of the graph.
  • the matrix L representing the Laplacian of the graph may be calculated as the difference value between the order matrix and the adjacent matrix.
  • the Laplacian of the graph may be calculated as in Equation 1 below.
  • the eigenvectors of the matrix L can be computed using the well-known cyclic Jacobi method.
  • FIG. 2 illustrates an example of a plurality of pixels according to an exemplary embodiment of the present invention.
  • four circles 210 to 240 each represent four pixels.
  • Line 250 also represents an edge across pixels 1 and 2 (210 and 220) and pixels 3 and 4 (230 and 240).
  • the matrix L for the adjacent matrix A , the order matrix D, and the Laplacian may be expressed as in Equations 2 to 4 below.
  • Laplacian's eigen matrix can be calculated through the cyclic recovey method, and coefficients for edge-adaptive transformation can be configured using Equation 5 below using the calculated eigen matrix.
  • ' E t ' may mean a coefficient for edge-adaptive conversion.
  • a set of pre-computed transforms may be stored according to the most famous edge configuration.
  • simpler alternative transforms eg, Harr wavelet transform
  • the graph for a 4x4 block may consist of two connected elements, each with eight pixels.
  • the edge adaptive transformation for a 2x2 image block can be obtained by multiplying ' E t ' by making a 2x2 block into 4x1 vectors by connecting each column.
  • a three-level down wavelet transform may be performed on the pixels in each element.
  • the edge map encoder 124 encodes the generated information. That is, the information generated by the edge map generator 121 may be included in the bitstream generated for the input image encoded by the edge map encoder 124 and transmitted to the system for decoding together with the bitstream. have. In this case, as described above, the information generated by the edge map generator 121 may include, for example, an edge map.
  • the quantization unit 130 quantizes the converted pixels, and the entropy encoder 140 generates entropy encoding of the quantized pixels to generate a bitstream.
  • the generated bitstream may include an edge map encoded through the edge map encoder 124 and encoded transform coefficients, or may be transmitted to a system for decoding together with the bitstream.
  • the quantized pixels may be reconstructed through the inverse quantizer 150 and the inverse transform unit 160, and may be used to predictively encode pixels of an image input by the predictive encoder 110.
  • FIG. 3 is a block diagram illustrating an internal configuration of an encoding system according to another embodiment of the present invention.
  • the encoding system 300 may perform hybrid transformation.
  • the encoding system 300 may be configured to select one of an edge-adaptive transform and a discrete cosine transform based on the rate-distortion cost.
  • the encoding system 300 includes a predictive encoder 310, an optimal mode determiner 320, a DCT 330, an EAT 340, a quantizer 350, and an entropy encoder 360. ), And an inverse quantization unit 370 and an inverse transform unit 380.
  • the EAT 340 may correspond to the edge-adaptive converter 120 described with reference to FIG.
  • the DCT 330 may correspond to a block for performing discrete cosine transform.
  • the predictive encoder 310, the quantizer 350, the entropy encoder 360, the inverse quantizer 370, and the inverse transformer 380 may include the predictive encoder 110 and the quantizer ( 130, the entropy encoder 140, the inverse quantizer 150, and the inverse transformer 160, respectively. Repeated description thereof will be omitted.
  • the input image may be predictively encoded through the predictive encoder 310, and a residual block may be generated from the block of the predictively encoded pixel.
  • the optimum mode determiner 320 selects one of a mode for discrete cosine transform and a mode for edge-adaptive transform. To this end, the optimum mode determiner 320 may calculate the bit rate and distortion of each of the discrete cosine transform and the edge-adaptive transform. In addition, the optimum mode determiner 320 may calculate the rate-distortion cost of each of the discrete cosine transform and the edge-adaptive transform through the calculated bit rate and distortion.
  • the transform coefficients can be quantized using Q, and the ratio for the quantized transform coefficients.
  • R (bit rate) and distortion D can be calculated.
  • the rate-distortion cost for the discrete cosine transform can be calculated as 'D dct + ⁇ (Q) R dct '.
  • 'D dct ' may mean a distortion for the discrete cosine transform
  • 'R dct ' may mean a ratio for the quantized transform coefficients of the discrete cosine transform.
  • the lambda value may be determined according to a given Q.
  • the edge map can be coded and the ratio 'R edges ' can be calculated.
  • the rate-distortion cost for the edge-adaptive conversion may be calculated as 'D eat + (Q) (R eat + R edges )'.
  • 'Deat' may mean distortion for the edge-adaptive transform
  • 'Reat' may mean a ratio for the quantized transform coefficients of the edge-adaptive transform.
  • the EAT 340 may operate, and the rate-distortion ratio for the edge-adaptive conversion is the discrete cosine transform. If not less than the rate-distortion ratio for the DCT 330 may operate. That is, the optimum mode determiner 320 may select an optimal mode among a mode for edge-adaptive conversion and a mode for discrete cosine transform, and one of the EAT 340 and the DCT 330 is selectively selected according to the selected optimal mode.
  • information about the edge map may be encoded and included in the bitstream or further transmitted to the system for decoding together with the bitstream.
  • information about the edge is not encoded or transmitted.
  • the information on the optimal mode selected by the optimal mode determiner 320 may also be encoded and transmitted to the system for decoding.
  • the pixel converted through the DCT 330 or the EAT 340 may be transferred to the quantization unit 350 and quantized.
  • the decoding system 400 may receive a bitstream from the encoding system 100 described with reference to FIG. 1.
  • the decoding system 400 includes an entropy decoder 410, an inverse quantizer 420, an inverse transform unit 430, an edge map decoder 440, a graphic generator 450, and a prediction.
  • the correction unit 460 may be included.
  • the entropy decoder 410 decodes the pixel by entropy decoding the input bitstream. That is, in the encoding system 100, the bitstream may be generated by entropy encoding a pixel. When the bitstream is transmitted to the decoding system 400, the entropy decoding unit 410 entropy decodes the input bitstream. The pixels can be decoded.
  • the inverse quantization unit 420 inverse quantizes the entropy decoded pixel.
  • the inverse quantizer 420 receives an output of the entropy decoder 410 as an input, but may receive an output of the inverse transformer 430 as an input.
  • the output of the inverse quantizer 420 may be transmitted as an input of the inverse transformer 430, and in the latter case, the output of the inverse quantizer 420 may be transmitted to the prediction corrector 460.
  • the inverse transform unit 430 inversely transforms the decoded pixel.
  • the inverse transform unit 430 may inversely transform the decoded pixel based on the graphics generated by the edge map decoder 440 and the graphic generator 450.
  • the inverse transform unit 430 may generate an edge-adaptive transform generated based on the Laplacian eigen matrix of the graph, and inversely transform the decoded pixel through the generated edge-adaptive transform.
  • the edge map decoder 440 decodes information indicating the position of the edge in the input bitstream.
  • the information indicating the position of the edge may include an edge map included in the bitstream.
  • the graph generator 450 generates a graph based on the decoded information. That is, the inverse transform unit 430 may inversely transform the decoded pixel based on the graph generated by the graph generator 450. In this case, the method of generating the graph may be the same as the method described with reference to FIG. 1.
  • the prediction corrector 460 reconstructs the pixel of the image by compensating the pixel value of the currently converted pixel through the prediction value of the previous pixel.
  • the decoding system 500 may receive a bitstream from the encoding system 300 described with reference to FIG. 3.
  • the decoding system 500 includes an entropy decoding unit 510, an inverse quantization unit 520, an inverse DCT 530, an inverse EAT 540, and an edge map decoding unit 550. 560 and the prediction corrector 570.
  • the entropy decoder 510, the inverse quantizer 520, the edge map decoder 550, the graphic generator 560, and the prediction corrector 570 are the entropy decoder 410 described with reference to FIG.
  • the inverse quantizer 420, the edge map decoder 440, the graphic generator 450, and the prediction corrector 460 may correspond to each other. Therefore, repetitive description is omitted.
  • the inverse quantization unit 520 in another embodiment may be configured to receive the outputs of the inverse DCT 530 and the inverse EAT 540 as inputs.
  • the entropy decoded pixels may be input to the inverse DCT 530 or the inverse EAT 540.
  • whether the entropy decoded pixel is input into the inverse DCT 530 or the inverse EAT 540 may be determined according to a conversion mode included in the bitstream or received with the bitstream.
  • the conversion mode may correspond to the optimum mode described with reference to FIG. 3. That is, the inverse EAT 540 and inverse discrete cosine transform using inverse edge-adaptive transform are performed according to which of the edge-adaptive transform and the discrete cosine transform are transformed in the encoding system 300 described with reference to FIG. 3.
  • One of the reverse DCTs 530 to use may be selected.
  • the EAT 540 may inversely transform the entropy decoded pixel based on the graphic generated by the graphic generator 560.
  • each step may be performed by the encoding system 100 described with reference to FIG. 1.
  • the encoding system 100 predictively encodes a pixel of an input image. For example, the encoding system 100 may predict each block of pixels in an input image, such as an image or a video frame, through a reconstructed pixel obtained from pre-coded blocks, wherein the blocks of pixels of the predictively coded pixel are predicted. Residual blocks may be generated.
  • the encoding system 100 generates information indicating the position of the edge in the input image.
  • the encoding system 100 may generate a binary edge map indicating the position of the edge by finding the position of the edge in the above-described residual block.
  • the encoding system 100 generates a graph based on the generated information.
  • the encoding system 100 may generate a graph by connecting pixels without edges among the pixels included in the remaining blocks described above.
  • the encoding system 100 transforms the predictively encoded pixel based on the graph.
  • the encoding system 100 may construct an edge-adaptive transform in the graph by using the Laplacian eigenvectors of the graph.
  • the matrix L representing the Laplacian of the graph may be calculated as the difference value between the order matrix and the adjacent matrix.
  • the encoding system 100 may generate an edge adaptive transform based on a pre-computed and stored transform for a pixel for a fixed set of common edge structures among the predictively coded pixels or an edge based on a transform for each connected element of the graph. Adaptive transformations can be generated.
  • the encoding system 100 quantizes the converted pixel.
  • the encoding system 100 entropy encodes the quantized pixels.
  • a bitstream may be generated as a result of entropy encoding.
  • the encoding system 100 encodes the generated information. That is, the encoding system 100 may encode the edge map.
  • the encoded edge map may be included in the bitstream or transmitted with the bitstream.
  • each step may be performed by the encoding system 300 described with reference to FIG. 3.
  • the encoding system 300 predictively encodes a pixel of an input image.
  • the encoding system 100 may predict each block of pixels in an input image, such as an image or a video frame, through a reconstructed pixel obtained from pre-coded blocks, wherein the blocks of pixels of the predictively coded pixel are predicted. Residual blocks may be generated.
  • the encoding system 300 may select an optimal mode.
  • the encoding system 300 may select one of a mode for discrete cosine transform and a mode for edge-adaptive transform.
  • the encoding system 300 may calculate the bit rate and distortion of each of the discrete cosine transform and the edge-adaptive transform.
  • the encoding system 300 may calculate the rate-distortion cost of each of the discrete cosine transform and the edge-adaptive transform through the calculated bit rate and distortion.
  • the mode for the edge-adaptive transform may be selected as the optimal mode, and the rate- for the edge-adaptive transform If the distortion ratio is not smaller than the rate-distortion ratio for the discrete cosine transform, the mode for the discrete cosine transform may be selected as the optimal mode.
  • the encoding system 300 performs operation 741 when the optimal mode is a mode for edge-adaptive transformation, and performs the operation when the mode is not an edge-adaptive transformation mode, that is, a mode for discrete cosine transformation. Perform 750.
  • the encoding system 300 generates information indicating the position of the edge in the input image.
  • the encoding system 300 may generate a binary edge map indicating the position of the edge by finding the position of the edge in the above-described residual block.
  • the encoding system 300 generates a graph based on the generated information.
  • the encoding system 300 may generate a graph by connecting pixels having no edge between pixels adjacent to each other among the pixels included in the residual block.
  • the encoding system 300 converts the predictively encoded pixel based on the graph.
  • the encoding system 300 may construct an edge-adaptive transform in the graph by using the Laplacian eigenvectors of the graph.
  • the matrix L representing the Laplacian of the graph may be calculated as the difference value between the order matrix and the adjacent matrix.
  • the encoding system 300 may generate an edge adaptive transform based on a precomputed and stored transform for a pixel for a fixed set of common edge structures among the predictively coded pixels, or an edge based on a transform for each connected element of the graph. Adaptive transformations can be generated.
  • the encoding system 300 encodes the generated information. That is, the encoding system 300 may encode the edge map.
  • the encoded edge map may be included in the bitstream or transmitted with the bitstream.
  • the encoding system 300 performs discrete cosine transform on the predictively encoded pixel.
  • the encoding system 300 quantizes the converted pixels.
  • step 770 the encoding system 300 entropy encodes the quantized pixels.
  • a bitstream may be generated as a result of entropy encoding.
  • the generated bitstream may include information about an optimal mode and information about an encoded edge map.
  • each step may be performed by the decoding system 400 described with reference to FIG. 4.
  • the encoding system 400 entropy-decodes the input bitstream to decode the pixel. That is, in the encoding system 100, a bitstream may be generated by entropy encoding a pixel, and when the bitstream is transmitted to the decoding system 400, the decoding system 400 entropy decodes the input bitstream, thereby Can be decoded.
  • the encoding system 400 decodes information indicating the position of the edge in the input bitstream.
  • the information indicating the position of the edge may include an edge map included in the bitstream.
  • the encoding system 400 generates a graph based on the decoded information.
  • the encoding system 400 may generate a graph by connecting pixels having no edge between neighboring pixels among pixels included in the residual block for the decoded pixel.
  • the encoding system 400 inversely transforms the decoded pixel based on the graph.
  • the encoding system 400 may generate an edge-adaptive transform generated based on the Laplacian eigen matrix of the graph, and inversely transform the decoded pixel through the generated edge-adaptive transform.
  • the encoding system 400 generates an edge adaptive transform based on a transform that is precomputed and stored for a pixel of a fixed set of common edge structures among the predictively coded pixels, or based on a transform for each connected element of the graph. It is also possible to create edge adaptive transformations.
  • the encoding system 400 inverse quantizes the inversely transformed pixel.
  • the encoding system 400 predictively compensates the quantized pixels.
  • the encoding system 400 may reconstruct the pixel of the image by compensating the pixel value of the currently converted pixel through the prediction value of the previous pixel.
  • each step may be performed by the decoding system 500 described with reference to FIG. 5.
  • the encoding system 500 entropy-decodes the input bitstream to decode the pixel.
  • the encoding system 500 dequantizes the entropy decoded pixel.
  • the encoding system 500 performs operation 941 when the transformation mode is a mode for edge-adaptive transformation, and performs operation 950 when the transformation mode is a mode for discrete cosine transformation.
  • the encoding system 500 decodes information indicating the position of an edge in the input bitstream. For example, the encoding system 500 may generate a binary edge map indicating the position of the edge by finding the position of the edge in the residual block for the entropy decoded pixel.
  • the encoding system 500 generates a graph based on the generated information.
  • the encoding system 500 may generate a graph by connecting pixels having no edge between pixels adjacent to each other among the pixels included in the residual block.
  • the encoding system 500 converts the predictively encoded pixel based on the graph.
  • the encoding system 500 may generate an edge-adaptive transform generated based on the Laplacian eigen matrix of the graph, and inversely transform the decoded pixel through the generated edge-adaptive transform.
  • the encoding system 500 generates an edge adaptive transform based on a transform that is precomputed and stored for a pixel of a fixed set of common edge structures among the predictively coded pixels, or based on a transform for each connected element of the graph. It is also possible to create edge adaptive transformations.
  • the encoding system 500 inverse discrete cosine transforms the decoded pixel.
  • the encoding system 500 predictively compensates the converted pixel.
  • the encoding system 500 may reconstruct the pixel of the image by compensating the pixel value of the currently converted pixel through the prediction value for the previous pixel.
  • FIGS. 6 to 9 may refer to the contents of FIGS. 1 to 5.
  • an image may be encoded and decoded by using an edge-adaptive transformation. Also, by selectively using one of an edge-adaptive transform and a discrete cosine transform, the bit rate and / or distortion can be reduced.
  • embodiments of the present invention can be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • Examples of program instructions such as magneto-optical and ROM, RAM, flash memory, etc.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of one embodiment of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법이 개시된다. 부호화 시스템은 엣지-적응 변환을 이용하여 입력된 영상을 부호화하거나 또는 엣지-적응 변환 및 이산 코사인 변환 중 하나를 선택적으로 이용하여 입력된 영상을 부호화한다.

Description

엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
본 발명의 실시예들은 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법에 관한 것이다.
종래의 부호화 방법에 대한 일례로, 이산 코사인 변환(Discrete Cosine Transform, DCT)을 들 수 있다. 이산 코사인 변환은 시간축의 화상 신호를 주파수축으로 변환하는 계수로서 이산적 코사인 함수를 사용하는 직교 변환 부호화 방식이다. ITU-T에서 원격 화상 회의 전화용 부호화 방식 H.261의 화상 압축 기술로 채택되었으며, 동화상 압축의 국제 표준인 MPEG에 채용되어 현재는 영상의 고능률 부호화와 압축 기술의 주류가 되었다. 이산 코사인 변환에서는 시간축의 화상 신호를 몇 개의 신호 전력이 큰 주파수 영역과 작은 영역으로 분해하여 변환하는데, 화상 신호의 전력은 저주파수 영역에 집중되어 있기 때문에 적절한 비트 배분으로 양자화하면 전체의 비트 수를 적게 하여 데이터를 압축할 수 있다.
본 명세서에서는 보다 효율적으로 영상을 부호화/복호화할 수 있는 시스템 및 방법이 제안된다.
입력된 영상의 화소를 예측 부호화하는 예측 부호화부, 입력된 영상에서 엣지의 위치를 나타내는 정보를 생성하는 엣지 맵 생성부, 생성된 정보에 기초하여 그래프를 생성하는 그래프 생성부, 그래프에 기초하여 예측 부호화된 화소를 변환하는 변환부 및 생성된 정보를 부호화하는 엣지 맵 부호화부를 포함하는 부호화 시스템 이 제공된다.
일측에 따르면, 변환부는 그래프의 라플라시안의 고유 행렬에 기초하여 생성된 엣지-적응 변환을 통해 예측 부호화된 화소를 변환할 수 있다.
다른 측면에 따르면, 변환부는 예측 부호화된 화소 중 공통된 엣지 구조의 고정된 집합에 대한 화소에 대해 미리 계산되어 저장된 변환에 기초하여 엣지 적응 변환을 생성하고, 생성된 엣지 적응 변환을 이용하여 예측 부호화된 화소를 변환할 수 있다.
또 다른 측면에 따르면, 변환부는 그래프의 연결된 요소 각각에 대한 변환에 기초하여 엣지 적응 변환을 생성하고, 생성된 엣지 적응 변환을 이용하여 예측 부호화된 화소를 변환할 수 있다.
입력된 영상의 화소를 예측 부호화하는 예측 부호화부, 최적 모드를 선택하는 최적 모드 결정부 및 최적 모드로 엣지-적응 변환에 대한 모드가 선택된 경우, 예측 부호화된 화소에 대해 엣지-적응 변환을 수행하는 엣지 적응 변환부를 포함하고, 최적 모드는 엣지-적응 변환 및 이산 코사인 변환 각각의 율-왜곡 비용에 기초하여 선택되는, 부호화 시스템이 제공된다.
입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화하는 엔트로피 복호화부, 입력된 비트스트림에서 엣지의 위치를 나타내는 정보를 복호화하는 정보 복호화부, 복호화된 정보에 기초하여 그래프를 생성하는 그래프 생성부 및 그래프에 기초하여 엔트로피 복호화된 화소를 역변환하는 역변환부를 포함하는 복호화 시스템이 제공된다.
입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화하는 엔트로피 복호화부 및 변환 모드가 엣지-적응 변환에 대한 모드인 경우, 엔트로피 복호화된 화소를 엣지-적응 역변환을 수행하는 엣지-적응 역변환부를 포함하고, 변환 모드는 엣지-적응 변환 및 이산 코사인 변환 각각의 율-왜곡 비용에 기초하여 부호화 시스템에서 결정되는, 복호화 시스템이 제공된다.
엣지-적응 변환을 이용하여 영상을 부호화 및 복호화할 수 있다.
엣지-적응 변환 및 이산 코사인 변환 중 하나를 선택적으로 이용함으로써, 비트율 및/또는 왜곡을 줄일 수 있다.
도 1은 본 발명의 일실시예에 있어서, 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 복수의 화소를 나타낸 일례이다.
도 3은 본 발명의 다른 실시예에 있어서, 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 다른 실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 부호화 방법을 도시한 흐름도이다.
도 7은 본 발명의 다른 실시예에 있어서, 부호화 방법을 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 복호화 방법을 도시한 흐름도이다.
도 9는 본 발명의 다른 실시예에 있어서, 복호화 방법을 도시한 흐름도이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들에 따른 엣지-적응 변환(Edge-Adaptive Transform, EAT)은 독립적으로 이용될 수도 있으나 이산 코사인 변환(Discrete Cosine Transform, DCT)과 결합되어 이용될 수도 있다. 이때, 엣지-적응 변환에서는, 입력된 영상에 대한 적어도 하나의 블록을 위해, 엣지의 위치를 나타내는 정보가 생성될 수 있다. 일례로, 엣지의 위치를 나타내는 정보로서 엣지 맵이 생성될 수 있다. 또한, 엣지 맵에 기초하여 그래프가 생성될 수 있고, 생성된 그래프를 이용하여 변환이 구성(construct)될 수 있다.
엣지-적응 변환과 이산 코사인 변환을 결합하여 이용하는 실시예에서, 만약 엣지-적응 변환 계수(엣지 맵을 부호화하기 위해 필요한 비트율을 포함하는)를 위한 율-왜곡(Rate-Distortion, RD) 비용이 이산 코사인 변환 계수를 위한 율-왜곡 비용보다 작다면, 엣지-적응 변환이 이용될 수 있다. 이때, 엣지 맵이 부호화되어 부가 정보로서 복호화 시스템으로 전송될 수 있다. 이 경우, 복호화 시스템은 영상에 대한 적어도 하나의 블록을 위해, 변환 계수와 엣지 맵을 수신하여 비트스트림을 복호화할 수 있다. 이때, 복호화 시스템은 역변환, 역양자화 및 예측 보상을 수행할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 부호화 시스템(100)은 엣지-적응 변환을 독립적으로 이용한다. 이때, 도 1에 나타난 바와 같이 부호화 시스템(100)은 예측 부호화부(110), 엣지-적응 변환부(120), 양자화부(130), 엔트로피 부호화부(140), 역양자화부(150) 및 역변환부(160)를 포함할 수 있다.
예측 부호화부(110)는 입력된 영상의 화소를 예측 부호화한다. 예를 들어, 예측 부호화부(110)는 사전에 부호화된 블록들로부터 얻어지는 재구성된 화소를 통해 이미지나 비디오 프레임과 같은 입력된 영상에서 화소의 블록 각각을 예측할 수 있고, 이때 예측 부호화된 화소의 블록으로부터 잔여(residual) 블록이 생성될 수 있다. 재구성된 화소는 역양자화부(150) 및 역변환부(160)를 통해 얻어질 수 있다. 역양자화부(150) 및 역변환부(160)에 대해서는 이후 더욱 자세히 설명한다. 본 명세서에서 블록은 일례로, N x N 크기의 화소 집합으로 구성될 수 있다.
엣지-적응 변환부(120)는 예측 부호화된 화소에 엣지-적응 변환을 수행한다. 이를 위해, 엣지-적응 변환부(120)는 도 1에 도시된 바와 같이, 엣지 맵 생성부(121), 그래프 생성부(122), 변환부(123) 및 엣지 맵 부호화부(124)를 포함한다.
엣지 맵 생성부(121)는 입력된 영상에서 엣지의 위치를 나타내는 정보를 생성한다. 일례로, 엣지 맵 생성부(121)는 상술한 잔여 블록에서 엣지의 위치를 찾아 엣지의 위치를 나타내는 이진 엣지 맵을 생성할 수 있다.
그래프 생성부(122)는 생성된 정보에 기초하여 그래프를 생성한다. 이때, 그래프 생성부(122)는 상술한 잔여 블록에 포함된 화소들 중 서로 이웃한 화소간에 엣지가 없는 화소들의 연결하여 그래프를 생성할 수 있다.
예를 들어, 4개 또는 8개의 서로 연결된 이웃 화소들에 의해 그래프가 생성될 수 있다. 이러한 그래프는 인접 행렬(adjacency matrix) A를 통해 나타낼 수 있다. 여기서, 만약 화소 'i' 및 'j'가 서로 이웃한 화소이고, 엣지에 의해 분리되지 않는다면, 인접 행렬 A는 'A(i, j) = A(j, i) = 1'의 조건을 만족할 수 있다. 만약, 화소 'i' 및 'j'가 서로 이웃한 화소가 아니거나 엣지에 의해 분리된다면, 인접 행렬 A는 A(i, j) = A(j, i) = 0의 조건을 만족할 수 있다.
다른 예로, 인접 행렬 A에서 연결된 화소를 위한 1의 값은 연결된 화소간 거리에 따른 값으로 대체될 수도 있다. 수평 또는 수직 방향으로 인접한 화소들이 대각 방향으로 인접한 화소들보다 서로 더 가깝기 때문에 이러한 화소간 거리에 따라 기선정된 값이 1 대신 이용될 수도 있다.
인접 행렬 A로부터 차수 행렬(degree matrix) D가 계산될 수 있다. 여기서, 차수 행렬 D는 D(i, j)가 인접 행렬 A의 i-번째 열에서 값이 '0'이 아닌 항목의 수를 값으로 갖는 조건을 만족할 수 있다. 또한, 모든 'i≠j'에 대해 'D(i, j) = 0'의 조건을 만족할 수 있다.
변환부(123)는 그래프에 기초하여 예측 부호화된 화소를 변환한다. 예를 들어, 변환부(123)는 그래프의 라플라시안(Laplacian)의 고유 벡터(eigenvectors)를 이용함으로써, 그래프에 엣지-적응 변환을 구성할 수 있다. 그래프의 라플라시안을 나타내는 행렬 L은 차수 행렬과 인접 행렬간의 차이값으로서 계산될 수 있다. 예를 들어, 그래프의 라플라시안은 아래 수학식 1과 같이 계산될 수 있다.
Figure PCTKR2011003665-appb-I000001
행렬 L은 대칭 행렬(symmetric matrix)이기 때문에, 행렬 L의 고유 벡터는 잘 알려진 사이클릭 재코비 방법(cyclic Jacobi method)을 이용하여 계산될 수 있다.
도 2는 본 발명의 일실시예에 있어서, 복수의 화소를 나타낸 일례이다. 도 2에서 네 개의 원(210 내지 240)은 각각 4개의 화소를 나타낸다. 또한, 선(250)은 화소 1, 2(210, 220) 와 화소 3, 4(230, 240)를 가로지르는 엣지를 나타낸다. 이 경우, 인접 행렬 A, 차수 행렬 D 및 라플라시안에 대한 행렬 L은 아래 수학식 2 내지 수학식 4와 같이 표현될 수 있다.
Figure PCTKR2011003665-appb-I000002
Figure PCTKR2011003665-appb-I000003
이 경우, 사이클릭 재코비 방법을 통해 라플라시안의 고유 행렬이 계산될 수 있고, 계산된 고유 행렬을 이용하여 엣지-적응 변환을 위한 계수가 아래 수학식 5와 같이 구성될 수 있다.
Figure PCTKR2011003665-appb-I000004
여기서, 'E t '는 엣지-적응 변환을 위한 계수를 의미할 수 있다.
다시 도 1을 참조하면, 계산 복잡성을 피하기 위해, 가장 유명한 엣지 배치(edge configuration)에 따라 미리 계산된(pre-computed) 변환의 집합이 저장될 수 있다. 또한, 더 간단한 대체 변환(예를 들어, 하 웨이블렛 변환(Harr wavelet transform))이 그래프를 연결된 요소들로 나누어 각각의 연결된 요소에서 서로 다른 변환이 지원되도록 하는데 이용될 수도 있다. 예를 들어, 4x4 크기의 블록을 위한 그래프는 각각 8개의 화소를 갖는, 2개의 연결된 요소들로 구성될 수 있다. 2x2 영상 블록에 대한 엣지 적응 변환은 2x2블록을 각 열을 연결하여 4x1 벡터로 만들어서 위의 'E t '와의 곱셈으로 얻을 수 있다. 이때, 각각의 요소에서 화소들에 3-레벨 하 웨이블렛 변환이 수행될 수 있다.
엣지 맵 부호화부(124)는 생성된 정보를 부호화한다. 즉, 엣지 맵 생성부(121)에서 생성된 정보가 엣지 맵 부호화부(124)에서 부호화되어 입력된 영상에 대해 생성되는 비트스트림에 포함될 수 있고, 비트스트림과 함께 복호화를 위한 시스템으로 전송될 수 있다. 이때, 상술한 바와 같이 엣지 맵 생성부(121)에서 생성된 정보는 일례로, 엣지 맵을 포함할 수 있다.
양자화부(130)는 변환된 화소를 양자화하고, 엔트로피 부호화부(140)는 양자화된 화소를 엔트로피 부호화하여 비트스트림을 생성한다. 이때, 생성된 비트스트림에 엣지 맵 부호화부(124)를 통해 부호화된 엣지 맵과 부호화된 변환 계수가 포함되거나 또는 비트스트림과 함께 복호화를 위한 시스템으로 전송될 수 있다.
또한, 양자화된 화소는 역양자화부(150) 및 역변환부(160)를 통해 재구성될 수 있고, 예측 부호화부(110)에서 입력된 영상의 화소를 예측 부호화하는데 이용될 수 있다.
도 3은 본 발명의 다른 실시예에 있어서, 부호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 부호화 시스템(300)은 하이브리드 변환을 수행할 수 있다. 예를 들어, 부호화 시스템(300)은 율-왜곡 비용에 기초하여 엣지-적응 변환과 이산 코사인 변환 중 하나를 선택하도록 구성될 수 있다. 이러한 부호화 시스템(300)은 도 3에 도시된 바와 같이 예측 부호화부(310), 최적 모드 결정부(320), DCT(330), EAT(340), 양자화부(350), 엔트로피 부호화부(360), 역양자화부(370) 및 역변환부(380)를 포함할 수 있다. 여기서, EAT(340)는 도 1을 통해 설명한 엣지-적응 변환부(120)에 대응될 수 있고, DCT(330)는 이산 코사인 변환을 수행하는 블록에 대응될 수 있다. 또한, 예측 부호화부(310), 양자화부(350), 엔트로피 부호화부(360), 역양자화부(370) 및 역변환부(380)는 도 1을 통해 설명한 예측 부호화부(110), 양자화부(130), 엔트로피 부호화부(140), 역양자화부(150) 및 역변환부(160)에 각각 대응될 수 있다. 이에 반복적인 설명은 생략한다.
입력된 영상은 예측 부호화부(310)를 통해 예측 부호화될 수 있고, 예측 부호화된 화소의 블록으로부터 잔여 블록이 생성될 수 있다.
최적 모드 결정부(320)는 이산 코사인 변환에 대한 모드와 엣지-적응 변환에 대한 모드 중 하나의 모드를 선택한다. 이를 위해, 최적 모드 결정부(320)는 이산 코사인 변환과 엣지-적응 변환 각각의 비트율과 왜곡을 계산할 수 있다. 또한, 최적 모드 결정부(320)는 각각 계산된 비트율과 왜곡을 통해 이산 코사인 변환과 엣지-적응 변환 각각의 율-왜곡 비용을 계산할 수 있다.
예를 들어, 이산 코사인 변환을 이용하는 경우와 엣지-적응 변환을 이용하는 경우 각각을 위해, 그리고 정해진 양자화 단계 크기 Q를 위해, Q를 이용하여 변환 계수가 양자화될 수 있고, 양자화된 변환 계수를 위한 비율 R(비트율) 및 왜곡 D가 계산될 수 있다. 이산 코사인 변환을 위한 율-왜곡 비용은 'Ddct + λ(Q) Rdct'로서 계산될 수 있다. 여기서, 'Ddct'는 이산 코사인 변환을 위한 왜곡을, 'Rdct'는 이산 코사인 변환의 양자화된 변환 계수를 위한 비율을 각각 의미할 수 있다. 또한, 람다 값은 정해진 Q에 따라 정해질 수 있다. 엣지-적응 변환을 위해, 엣지 맵이 부호화될 수 있고, 비율 'Redges'가 계산될 수 있다. 이때, 엣지-적응 변환을 위한 율-왜곡 비용은 'Deat + (Q) (Reat + Redges)'로서 계산될 수 있다. 여기서, 'Deat'는 엣지-적응 변환을 위한 왜곡을, 'Reat'는 엣지-적응 변환의 양자화된 변환 계수를 위한 비율을 각각 의미할 수 있다.
이때, 엣지-적응 변환을 위한 율-왜곡 비율이 이산 코사인 변환을 위한 율-왜곡 비율보다 작은 경우, EAT(340)가 동작할 수 있고, 엣지-적응 변환을 위한 율-왜곡 비율이 이산 코사인 변환을 위한 율-왜곡 비율보다 작지 않은 경우에는 DCT(330)가 동작할 수 있다. 즉, 최적 모드 결정부(320)는 엣지-적응 변환에 대한 모드 및 이산 코사인 변환에 대한 모드 중 최적 모드를 선택할 수 있고, 선택된 최적 모드에 따라 EAT(340) 및 DCT(330) 중 하나가 선택적으로 동작할 수 있다. EAT(340)를 통해 예측 부호화된 화소를 변환하는 경우에는 엣지 맵에 대한 정보가 부호화되어 비트스트림에 포함되거나 비트스트림과 함께 복호화를 위한 시스템으로 더 전송될 수 있다. 반면, DCT(330)를 통해 예측 부호화된 화소를 변환하는 경우에는 엣지 맵이 이용되지 않기 때문에 엣지에 대한 정보는 부호화되거나 전송되지 않는다. 또한, 최적 모드 결정부(320)에서 선택된 최적 모드에 대한 정보 역시 부호화되어 복호화를 위한 시스템으로 전송될 수 있다. DCT(330)나 EAT(340)를 통해 변환된 화소는 양자화부(350)로 전달되어 양자화될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 복호화 시스템(400)은 도 1을 통해 설명한 부호화 시스템(100)으로부터 비트스트림을 수신할 수 있다. 복호화 시스템(400)은 도 4에 도시된 바와 같이, 엔트로피 복호화부(410), 역양자화부(420), 역변환부(430), 엣지 맵 복호화부(440), 그래픽 생성부(450) 및 예측 보정부(460)를 포함할 수 있다.
엔트로피 복호화부(410)는 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화한다. 즉, 부호화 시스템(100)에서 화소를 엔트로피 부호화하여 비트스트림이 생성될 수 있고, 비트스트림이 복호화 시스템(400)으로 전송되는 경우, 엔트로피 복호화부(410)는 입력되는 비트스트림을 엔트로피 복호화함으로써, 화소를 복호화할 수 있다.
역양자화부(420)는 엔트로피 복호화된 화소를 역양자화한다. 도 4에 따른 실시예에서 역양자화부(420)는 엔트로피 복호화부(410)의 출력을 입력으로 받지만, 필요에 따라 역변환부(430)의 출력을 입력으로 받을 수 있다. 전자의 경우 역양자화부(420)의 출력은 역변환부(430)의 입력으로서 전달되고, 후자의 경우 역양자화부(420)의 출력은 예측 보정부(460)로 전달될 수 있다.
역변환부(430)는 복호화된 화소를 역변환한다. 이때, 역변환부(430)는 엣지 맵 복호화부(440) 및 그래픽 생성부(450)를 통해 생성된 그래픽에 기초하여 복호화된 화소를 역변환할 수 있다. 예를 들어, 역변환부(430)는 그래프의 라플라시안의 고유 행렬에 기초하여 생성된 엣지-적응 변환을 생성할 수 있고, 생성된 엣지-적응 변환을 통해 복호화된 화소를 역변환할 수 있다.
엣지 맵 복호화부(440)는 입력된 비트스트림에서 엣지의 위치를 나타내는 정보를 복호화한다. 여기서, 엣지의 위치를 나타내는 정보는 비트스트림에 포함된 엣지 맵을 포함할 수 있다.
그래프 생성부(450)는 복호화된 정보에 기초하여 그래프를 생성한다. 즉, 역변환부(430)는 그래프 생성부(450)를 통해 생성된 그래프에 기초하여 복호화된 화소를 역변환할 수 있다. 이때, 그래프를 생성하는 방법은 도 1을 통해 설명한 방법과 동일할 수 있다.
예측 보정부(460)는 이전 화소에 대한 예측값을 통해 현재 입력되는 변환된 화소의 화소값을 보상하여 영상의 화소를 재구성한다.
도 5는 본 발명의 다른 실시예에 있어서, 복호화 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 복호화 시스템(500)은 도 3을 통해 설명한 부호화 시스템(300)으로부터 비트스트림을 수신할 수 있다. 복호화 시스템(500)은 도 5에 도시된 바와 같이, 엔트로피 복호화부(510), 역양자화부(520), 역 DCT(530), 역 EAT(540), 엣지 맵 복호화부(550) 그래픽 생성부(560) 및 예측 보정부(570)를 포함할 수 있다. 여기서, 엔트로피 복호화부(510), 역양자화부(520), 엣지 맵 복호화부(550), 그래픽 생성부(560) 및 예측 보정부(570)는 도 4를 통해 설명한 엔트로피 복호화부(410), 역양자화부(420), 엣지 맵 복호화부(440), 그래픽 생성부(450) 및 예측 보정부(460)에 각각 대응될 수 있다. 따라서, 반복적인 설명은 생략한다. 또한, 도 4를 통해 설명한 바와 대응되도록, 다른 실시예에서의 역양자화부(520)는 역 DCT(530) 및 역 EAT(540)의 출력을 입력으로 받도록 구성될 수도 있다.
엔트로피 복호화된 화소는 역 DCT(530) 또는 역 EAT(540)로 입력될 수 있다. 이때, 엔트로피 복호화된 화소가 역 DCT(530) 및 역 EAT(540) 중 어디로 입력되는 가는 비트스트림에 포함된 또는 비트스트림과 함께 수신되는 변환 모드에 따라 결정될 수 있다. 여기서 변환 모드는 도 3을 통해 설명한 최적 모드에 대응될 수 있다. 즉, 도 3을 통해 설명한 부호화 시스템(300)에서 엣지-적응 변환 및 이산 코사인 변환 중 어느 변환을 통해 화소를 변환하였는가에 따라 역 엣지-적응 변환을 이용하는 역 EAT(540) 및 역 이산 코사인 변환을 이용하는 역 DCT(530) 중 하나가 선택될 수 있다.
이때, EAT(540)는 그래픽 생성부(560)를 통해 생성된 그래픽에 기초하여 엔트로피 복호화된 화소를 역변환할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 부호화 방법을 도시한 흐름도이다. 본 실시예에 따른 부호화 방법은 도 1을 통해 설명한 부호화 시스템(100)에 의해 각각의 단계가 수행될 수 있다.
단계(610)에서 부호화 시스템(100)은 입력된 영상의 화소를 예측 부호화 한다. 예를 들어, 부호화 시스템(100)은 사전에 부호화된 블록들로부터 얻어지는 재구성된 화소를 통해 이미지나 비디오 프레임과 같은 입력된 영상에서 화소의 블록 각각을 예측할 수 있고, 이때 예측 부호화된 화소의 블록으로부터 잔여 블록이 생성될 수 있다.
단계(620)에서 부호화 시스템(100)은 입력된 영상에서 엣지의 위치를 나타내는 정보를 생성한다. 일례로, 부호화 시스템(100)은 상술한 잔여 블록에서 엣지의 위치를 찾아 엣지의 위치를 나타내는 이진 엣지 맵을 생성할 수 있다.
단계(630)에서 부호화 시스템(100)은 생성된 정보에 기초하여 그래프를 생성한다. 이때, 부호화 시스템(100)은 상술한 잔여 블록에 포함된 화소들 중 서로 이웃한 화소간에 엣지가 없는 화소들의 연결하여 그래프를 생성할 수 있다.
단계(640)에서 부호화 시스템(100)은 그래프에 기초하여 예측 부호화된 화소를 변환한다. 예를 들어, 부호화 시스템(100)은 그래프의 라플라시안의 고유 벡터를 이용함으로써, 그래프에 엣지-적응 변환을 구성할 수 있다. 그래프의 라플라시안을 나타내는 행렬 L은 차수 행렬과 인접 행렬간의 차이값으로서 계산될 수 있다. 또는 부호화 시스템(100)은 예측 부호화된 화소 중 공통된 엣지 구조의 고정된 집합에 대한 화소에 대해 미리 계산되어 저장된 변환에 기초하여 엣지 적응 변환을 생성하거나 그래프의 연결된 요소 각각에 대한 변환에 기초하여 엣지 적응 변환을 생성할 수 있다.
단계(650)에서 부호화 시스템(100)은 변환된 화소를 양자화한다.
단계(660)에서 부호화 시스템(100)은 양자화된 화소를 엔트로피 부호화한다. 이때, 엔트로피 부호화의 결과로 비트스트림이 생성될 수 있다.
단계(670)에서 부호화 시스템(100)은 생성된 정보를 부호화한다. 즉, 부호화 시스템(100)은 엣지 맵을 부호화할 수 있다. 부호화된 엣지 맵은 비트스트림에 포함되거나 비트스트림과 함께 전송될 수 있다.
도 7은 본 발명의 다른 실시예에 있어서, 부호화 방법을 도시한 흐름도이다. 본 실시예에 따른 부호화 방법은 도 3을 통해 설명한 부호화 시스템(300)에 의해 각각의 단계가 수행될 수 있다.
단계(710)에서 부호화 시스템(300)은 입력된 영상의 화소를 예측 부호화 한다. 예를 들어, 부호화 시스템(100)은 사전에 부호화된 블록들로부터 얻어지는 재구성된 화소를 통해 이미지나 비디오 프레임과 같은 입력된 영상에서 화소의 블록 각각을 예측할 수 있고, 이때 예측 부호화된 화소의 블록으로부터 잔여 블록이 생성될 수 있다.
단계(720)에서 부호화 시스템(300)은 최적 모드를 선택할 수 있다. 이때, 부호화 시스템(300)은 이산 코사인 변환에 대한 모드와 엣지-적응 변환에 대한 모드 중 하나의 모드를 선택할 수 있다. 이를 위해, 부호화 시스템(300)은 이산 코사인 변환과 엣지-적응 변환 각각의 비트율과 왜곡을 계산할 수 있다. 또한, 부호화 시스템(300)은 각각 계산된 비트율과 왜곡을 통해 이산 코사인 변환과 엣지-적응 변환 각각의 율-왜곡 비용을 계산할 수 있다. 이때, 엣지-적응 변환을 위한 율-왜곡 비율이 이산 코사인 변환을 위한 율-왜곡 비율보다 작은 경우, 엣지-적응 변환에 대한 모드가 최적 모드로 선택될 수 있고, 엣지-적응 변환을 위한 율-왜곡 비율이 이산 코사인 변환을 위한 율-왜곡 비율보다 작지 않은 경우에는 이산 코사인 변환을 위한 모드가 최적 모드로 선택될 수 있다.
단계(730)에서 부호화 시스템(300)은 최적 모드가 엣지-적응 변환을 위한 모드인 경우 단계(741)을 수행하고, 엣지-적응 변환 모드가 아닌 경우 즉, 이산 코사인 변환을 위한 모드인 경우 단계(750)를 수행한다.
단계(741)에서 부호화 시스템(300)은 입력된 영상에서 엣지의 위치를 나타내는 정보 생성한다. 일례로, 부호화 시스템(300)은 상술한 잔여 블록에서 엣지의 위치를 찾아 엣지의 위치를 나타내는 이진 엣지 맵을 생성할 수 있다.
단계(742)에서 부호화 시스템(300)은 생성된 정보에 기초하여 그래프를 생성한다. 이때, 부호화 시스템(300)은 잔여 블록에 포함된 화소들 중 서로 이웃한 화소간에 엣지가 없는 화소들의 연결하여 그래프를 생성할 수 있다.
단계(743)에서 부호화 시스템(300)은 그래프에 기초하여 예측 부호화된 화소를 변환한다. 예를 들어, 부호화 시스템(300)은 그래프의 라플라시안의 고유 벡터를 이용함으로써, 그래프에 엣지-적응 변환을 구성할 수 있다. 그래프의 라플라시안을 나타내는 행렬 L은 차수 행렬과 인접 행렬간의 차이값으로서 계산될 수 있다. 또는 부호화 시스템(300)은 예측 부호화된 화소 중 공통된 엣지 구조의 고정된 집합에 대한 화소에 대해 미리 계산되어 저장된 변환에 기초하여 엣지 적응 변환을 생성하거나 그래프의 연결된 요소 각각에 대한 변환에 기초하여 엣지 적응 변환을 생성할 수 있다.
단계(744)에서 부호화 시스템(300)은 생성된 정보를 부호화한다. 즉, 부호화 시스템(300)은 엣지 맵을 부호화할 수 있다. 부호화된 엣지 맵은 비트스트림에 포함되거나 비트스트림과 함께 전송될 수 있다.
단계(750)에서 부호화 시스템(300)은 예측 부호화된 화소를 이산 코사인 변환한다.
단계(760)에서 부호화 시스템(300)은 변환된 화소를 양자화한다.
단계(770)에서 부호화 시스템(300)은 양자화된 화소를 엔트로피 부호화한다. 이때, 엔트로피 부호화의 결과로서 비트스트림이 생성될 수 있다. 생성된 비트스트림에는 최적 모드에 대한 정보와 부호화된 엣지 맵에 대한 정보가 포함될 수 있다.
도 8은 본 발명의 일실시예에 있어서, 복호화 방법을 도시한 흐름도이다. 본 실시예에 따른 복호화 방법은 도 4를 통해 설명한 복호화 시스템(400)에 의해 각각의 단계가 수행될 수 있다.
단계(810)에서 부호화 시스템(400)은 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화한다. 즉, 부호화 시스템(100)에서 화소를 엔트로피 부호화하여 비트스트림이 생성될 수 있고, 비트스트림이 복호화 시스템(400)으로 전송되는 경우, 복호화 시스템(400)은 입력되는 비트스트림을 엔트로피 복호화함으로써, 화소를 복호화할 수 있다.
단계(820)에서 부호화 시스템(400)은 입력된 비트스트림에서 엣지의 위치를 나타내는 정보를 복호화한다. 여기서, 엣지의 위치를 나타내는 정보는 비트스트림에 포함된 엣지 맵을 포함할 수 있다.
단계(830)에서 부호화 시스템(400)은 복호화된 정보에 기초하여 그래프를 생성한다. 이때, 부호화 시스템(400)은 복호화된 화소에 대한 잔여 블록에 포함된 화소들 중 서로 이웃한 화소간에 엣지가 없는 화소들의 연결하여 그래프를 생성할 수 있다.
단계(840)에서 부호화 시스템(400)은 그래프에 기초하여 복호화된 화소를 역변환한다. 이때, 부호화 시스템(400)은 그래프의 라플라시안의 고유 행렬에 기초하여 생성된 엣지-적응 변환을 생성할 수 있고, 생성된 엣지-적응 변환을 통해 복호화된 화소를 역변환할 수 있다. 이때, 부호화 시스템(400)은 예측 부호화된 화소 중 공통된 엣지 구조의 고정된 집합에 대한 화소에 대해 미리 계산되어 저장된 변환에 기초하여 엣지 적응 변환을 생성하거나 그래프의 연결된 요소 각각에 대한 변환에 기초하여 엣지 적응 변환을 생성할 수도 있다.
단계(850)에서 부호화 시스템(400)은 역변환된 화소를 역양자화한다.
단계(860)에서 부호화 시스템(400)은 양자화된 화소를 예측 보상한다. 이때, 부호화 시스템(400)은 이전 화소에 대한 예측값을 통해 현재 입력되는 변환된 화소의 화소값을 보상하여 영상의 화소를 재구성할 수 있다.
도 9는 본 발명의 다른 실시예에 있어서, 복호화 방법을 도시한 흐름도이다. 본 실시예에 따른 복호화 방법은 도 5를 통해 설명한 복호화 시스템(500)에 의해 각각의 단계가 수행될 수 있다.
단계(910)에서 부호화 시스템(500)은 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화한다.
단계(920)에서 부호화 시스템(500)은 엔트로피 복호화된 화소를 역양자화한다.
단계(930)에서 부호화 시스템(500)은 변환 모드가 엣지-적응 변환을 위한 모드인 경우 단계(941)을 수행하고, 변환 모드가 이산 코사인 변환을 위한 모드인 경우 단계(950)를 수행한다.
단계(941)에서 부호화 시스템(500)은 입력된 비트스트림에서 엣지의 위치를 나타내는 정보를 복호화한다. 일례로, 부호화 시스템(500)은 엔트로피 복호화된 화소에 대한 잔여 블록에서 엣지의 위치를 찾아 엣지의 위치를 나타내는 이진 엣지 맵을 생성할 수 있다.
단계(942)에서 부호화 시스템(500)은 생성된 정보에 기초하여 그래프를 생성한다. 이때, 부호화 시스템(500)은 잔여 블록에 포함된 화소들 중 서로 이웃한 화소간에 엣지가 없는 화소들의 연결하여 그래프를 생성할 수 있다.
단계(943)에서 부호화 시스템(500)은 그래프에 기초하여 예측 부호화된 화소를 변환한다. 이때, 부호화 시스템(500)은 그래프의 라플라시안의 고유 행렬에 기초하여 생성된 엣지-적응 변환을 생성할 수 있고, 생성된 엣지-적응 변환을 통해 복호화된 화소를 역변환할 수 있다. 이때, 부호화 시스템(500)은 예측 부호화된 화소 중 공통된 엣지 구조의 고정된 집합에 대한 화소에 대해 미리 계산되어 저장된 변환에 기초하여 엣지 적응 변환을 생성하거나 그래프의 연결된 요소 각각에 대한 변환에 기초하여 엣지 적응 변환을 생성할 수도 있다.
단계(950)에서 부호화 시스템(500)은 복호화된 화소를 역 이산 코사인 변환한다.
단계(960)에서 부호화 시스템(500)은 변환된 화소를 예측 보상한다. 이때, 부호화 시스템(500)은 이전 화소에 대한 예측값을 통해 현재 입력되는 변환된 화소의 화소값을 보상하여 영상의 화소를 재구성할 수 있다.
도 6 내지 도 9에서 생략된 내용은 도 1 내지 도 5의 내용을 참조할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 엣지-적응 변환을 이용하여 영상을 부호화 및 복호화할 수 있다. 또한, 엣지-적응 변환 및 이산 코사인 변환 중 하나를 선택적으로 이용함으로써, 비트율 및/또는 왜곡을 줄일 수 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 입력된 영상의 화소를 예측 부호화하는 예측 부호화부;
    상기 입력된 영상에서 엣지의 위치를 나타내는 정보를 생성하는 엣지 맵 생성부;
    상기 생성된 정보에 기초하여 그래프를 생성하는 그래프 생성부;
    상기 그래프에 기초하여 상기 예측 부호화된 화소를 변환하는 변환부; 및
    상기 생성된 정보를 부호화하는 엣지 맵 부호화부
    를 포함하는 부호화 시스템.
  2. 제1항에 있어서,
    상기 변환부는,
    상기 그래프의 라플라시안의 고유 행렬에 기초하여 생성된 엣지-적응 변환을 통해 상기 예측 부호화된 화소를 변환하는, 부호화 시스템.
  3. 제1항에 있어서,
    상기 변환부는,
    상기 예측 부호화된 화소 중 공통된 엣지 구조의 고정된 집합에 대한 화소에 대해 미리 계산되어 저장된 변환에 기초하여 엣지 적응 변환을 생성하고, 생성된 엣지 적응 변환을 이용하여 상기 예측 부호화된 화소를 변환하는, 부호화 시스템.
  4. 제3항에 있어서,
    상기 변환부는,
    상기 그래프의 연결된 요소 각각에 대한 변환에 기초하여 엣지 적응 변환을 생성하고, 생성된 엣지 적응 변환을 이용하여 상기 예측 부호화된 화소를 변환하는, 부호화 시스템.
  5. 제1항에 있어서,
    상기 엣지 맵 생성부는,
    상기 예측 부호화된 화소에 대한 잔여(residual) 블록에서 엣지의 위치를 찾아 엣지의 위치를 나타내는 엣지 맵을 생성하는, 부호화 시스템.
  6. 제1항에 있어서,
    상기 그래프 생성부는,
    상기 예측 부호화된 화소에 대한 잔여 블록에 포함된 화소 중 서로 이웃한 화소간에 엣지가 존재하지 않는 화소를 연결하여 상기 그래프를 생성하는, 부호화 시스템.
  7. 제1항에 있어서,
    상기 그래프 생성부는,
    상기 예측 부호화된 화소에 대한 잔여 블록에 포함된 화소 중 서로 이웃한 화소간에 엣지가 존재하지 않는 화소에 대한 정보를 나타내는 인접 행렬에 기초하여 상기 그래프를 생성하는, 부호화 시스템.
  8. 입력된 영상의 화소를 예측 부호화하는 예측 부호화부;
    최적 모드를 선택하는 최적 모드 결정부; 및
    상기 최적 모드로 엣지-적응 변환에 대한 모드가 선택된 경우, 상기 예측 부호화된 화소에 대해 엣지-적응 변환을 수행하는 엣지 적응 변환부
    를 포함하고,
    상기 최적 모드는 상기 엣지-적응 변환 및 이산 코사인 변환 각각의 율-왜곡 비용에 기초하여 선택되는, 부호화 시스템.
  9. 제8항에 있어서,
    상기 최적 모드는 상기 엣지-적응 변환에 대한 모드 및 이산 코사인 변환(Discrete Cosine Transform)에 대한 모드 중 하나의 모드를 포함하는, 부호화 시스템.
  10. 제8항에 있어서,
    상기 엣지 적응 변환부는,
    상기 입력된 영상에서 엣지의 위치를 나타내는 정보를 생성하는 엣지 맵 생성부;
    상기 생성된 정보에 기초하여 그래프를 생성하는 그래프 생성부;
    상기 그래프에 기초하여 상기 예측 부호화된 화소를 변환하는 변환부; 및
    상기 생성된 정보를 부호화하는 엣지 맵 부호화부
    를 포함하는, 부호화 시스템.
  11. 제8항에 있어서,
    상기 엣지-적응 변환의 율-왜곡 비용은 엣지-적응 변환을 위한 왜곡, 엣지-적응 변환을 위한 비트율 및 상기 엣지-적응 변환에 이용되는 부호화된 엣지 맵을 위한 비트율에 기초하여 계산되는, 부호화 시스템.
  12. 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화하는 엔트로피 복호화부;
    상기 입력된 비트스트림에서 엣지의 위치를 나타내는 정보를 복호화하는 정보 복호화부;
    상기 복호화된 정보에 기초하여 그래프를 생성하는 그래프 생성부; 및
    상기 그래프에 기초하여 엔트로피 복호화된 화소를 역변환하는 역변환부
    를 포함하는 복호화 시스템.
  13. 제12항에 있어서,
    상기 그래프 생성부는,
    상기 예측 부호화된 화소에 대한 잔여 블록에 포함된 화소 중 서로 이웃한 화소간에 엣지가 존재하지 않는 화소를 연결하여 상기 그래프를 생성하는, 복호화 시스템.
  14. 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화하는 엔트로피 복호화부; 및
    변환 모드가 엣지-적응 변환에 대한 모드인 경우, 상기 엔트로피 복호화된 화소를 엣지-적응 역변환을 수행하는 엣지-적응 역변환부
    를 포함하고,
    상기 변환 모드는 상기 엣지-적응 변환 및 이산 코사인 변환 각각의 율-왜곡 비용에 기초하여 부호화 시스템에서 결정되는, 복호화 시스템.
  15. 제14항에 있어서,
    상기 엣지-적응 변환의 율-왜곡 비용은 상기 엣지-적응 변환을 위한 왜곡, 상기 엣지-적응 변환을 위한 비트율 및 상기 엣지-적응 변환에 이용되는 부호화된 엣지 맵을 위한 비트율에 기초하여 상기 부호화 시스템에서 계산되는, 복호화 시스템.
  16. 입력된 영상의 화소를 예측 부호화하는 단계;
    상기 입력된 영상에서 엣지의 위치를 나타내는 정보를 생성하는 단계;
    상기 생성된 정보에 기초하여 그래프를 생성하는 단계;
    상기 그래프에 기초하여 상기 예측 부호화된 화소를 변환하는 단계; 및
    상기 생성된 정보를 부호화하는 단계
    를 포함하는 부호화 방법.
  17. 입력된 영상의 화소를 예측 부호화하는 단계;
    최적 모드를 선택하는 단계; 및
    상기 최적 모드로 엣지-적응 변환에 대한 모드가 선택된 경우, 상기 예측 부호화된 화소에 대해 엣지-적응 변환을 수행하는 단계
    를 포함하고,
    상기 최적 모드는 상기 엣지-적응 변환 및 이산 코사인 변환 각각의 율-왜곡 비용에 기초하여 선택되는, 부호화 방법.
  18. 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화하는 단계;
    상기 입력된 비트스트림에서 엣지의 위치를 나타내는 정보를 복호화하는 단계;
    상기 복호화된 정보에 기초하여 그래프를 생성하는 단계; 및
    상기 그래프에 기초하여 엔트로피 복호화된 화소를 역변환하는 단계
    를 포함하는 복호화 방법.
  19. 입력된 비트스트림을 엔트로피 복호화하여 화소를 복호화하는 단계; 및
    변환 모드가 엣지-적응 변환에 대한 모드인 경우, 상기 엔트로피 복호화된 화소를 엣지-적응 역변환을 수행하는 단계
    를 포함하고,
    상기 변환 모드는 상기 엣지-적응 변환 및 이산 코사인 변환 각각의 율-왜곡 비용에 기초하여 부호화 시스템에서 결정되는, 복호화 방법.
  20. 제16항 내지 제19항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
PCT/KR2011/003665 2010-06-11 2011-05-18 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법 WO2011155714A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/703,229 US20130272422A1 (en) 2010-06-11 2011-05-18 System and method for encoding/decoding videos using edge-adaptive transform
EP11792625.3A EP2582140A4 (en) 2010-06-11 2011-05-18 SYSTEM AND METHOD FOR CODING / DECODING VIDEO CONTENT WITH EDGE ADAPTIVE TRANSFORMATION

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35383010P 2010-06-11 2010-06-11
US61/353,830 2010-06-11
KR1020100077254A KR20110135787A (ko) 2010-06-11 2010-08-11 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
KR10-2010-0077254 2010-08-11

Publications (2)

Publication Number Publication Date
WO2011155714A2 true WO2011155714A2 (ko) 2011-12-15
WO2011155714A3 WO2011155714A3 (ko) 2012-03-15

Family

ID=45502645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/003665 WO2011155714A2 (ko) 2010-06-11 2011-05-18 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법

Country Status (4)

Country Link
US (1) US20130272422A1 (ko)
EP (1) EP2582140A4 (ko)
KR (1) KR20110135787A (ko)
WO (1) WO2011155714A2 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106933B1 (en) 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
US9219915B1 (en) 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
EP2951999A4 (en) 2013-01-30 2016-07-20 Intel Corp CONTENT PARAMETRIC TRANSFORMATIONS FOR CODING VIDEOS OF THE NEXT GENERATION
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
JP6033725B2 (ja) * 2013-03-28 2016-11-30 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
JP6392453B2 (ja) * 2014-09-26 2018-09-19 エルジー エレクトロニクス インコーポレイティド 幾何要素を用いてグラフに基づく信号を処理する方法及び装置
KR101901355B1 (ko) * 2014-10-21 2018-09-21 엘지전자 주식회사 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
JP6356913B2 (ja) * 2014-10-24 2018-07-11 エルジー エレクトロニクス インコーポレイティド グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
EP3220640A4 (en) * 2014-11-14 2018-05-09 LG Electronics Inc. Method and device for performing graph-based transform using generalized graph parameter
US10356420B2 (en) 2014-11-16 2019-07-16 Lg Electronics Inc. Video signal processing method using graph based transform and device therefor
KR20170116043A (ko) * 2015-02-12 2017-10-18 엘지전자 주식회사 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10567763B2 (en) 2015-05-26 2020-02-18 Lg Electronics Inc. Method and device for processing a video signal by using an adaptive separable graph-based transform
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20180021101A (ko) * 2015-07-15 2018-02-28 엘지전자 주식회사 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017014585A1 (ko) * 2015-07-21 2017-01-26 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
KR102605285B1 (ko) * 2015-08-19 2023-11-24 엘지전자 주식회사 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
ITUB20153724A1 (it) * 2015-09-18 2017-03-18 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini o flussi video digitali
US10715802B2 (en) 2015-09-29 2020-07-14 Lg Electronics Inc. Method for encoding/decoding video signal by using single optimized graph
WO2017057922A1 (ko) * 2015-09-29 2017-04-06 엘지전자 주식회사 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US11695958B2 (en) 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
US11503292B2 (en) 2016-02-01 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using graph-based separable transform
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359819B1 (ko) * 2000-01-19 2002-11-07 엘지전자 주식회사 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법
JP3846851B2 (ja) * 2001-02-01 2006-11-15 松下電器産業株式会社 画像のマッチング処理方法及びその装置
KR20070076337A (ko) * 2006-01-18 2007-07-24 삼성전자주식회사 에지영역 판단장치 및 에지영역 판단방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2582140A4

Also Published As

Publication number Publication date
EP2582140A4 (en) 2016-03-30
WO2011155714A3 (ko) 2012-03-15
US20130272422A1 (en) 2013-10-17
KR20110135787A (ko) 2011-12-19
EP2582140A2 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
WO2011155714A2 (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US10225551B2 (en) Method and apparatus for encoding and decoding image by using large transform unit
WO2012057528A2 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2011034380A2 (en) Method and apparatus for encoding and decoding image based on skip mode
US7970219B2 (en) Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR100362863B1 (ko) 화상 부호화 장치 및 화상 복호 장치
WO2013062192A1 (ko) 인트라 예측 정보 부호화 방법 및 장치
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2009113791A2 (ko) 영상 부호화장치 및 영상 복호화장치
WO2012008790A2 (en) Method and apparatus for encoding and decoding image through intra prediction
WO2011142645A2 (en) Method and apparatus for encoding video signal and method and apparatus for decoding video signal
WO2010002122A2 (en) Method and apparatus for encoding and decoding image using image separation based on bit location
WO2011052897A2 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010087620A2 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2011096662A2 (ko) 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
JP2009543423A (ja) 映像の符号化／復号化方法及び装置
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012011714A2 (ko) 다중 예측 필터를 이용하는 경쟁기반 인트라 예측 부호화/복호화 장치 및 방법
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792625

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2011792625

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011792625

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13703229

Country of ref document: US