WO2010047499A2 - 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 - Google Patents

동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 Download PDF

Info

Publication number
WO2010047499A2
WO2010047499A2 PCT/KR2009/005965 KR2009005965W WO2010047499A2 WO 2010047499 A2 WO2010047499 A2 WO 2010047499A2 KR 2009005965 W KR2009005965 W KR 2009005965W WO 2010047499 A2 WO2010047499 A2 WO 2010047499A2
Authority
WO
WIPO (PCT)
Prior art keywords
boundary
block
filtering
horizontal
vertical
Prior art date
Application number
PCT/KR2009/005965
Other languages
English (en)
French (fr)
Other versions
WO2010047499A3 (ko
Inventor
김하윤
최윤식
김용구
최영호
정진우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/125,946 priority Critical patent/US9264721B2/en
Publication of WO2010047499A2 publication Critical patent/WO2010047499A2/ko
Publication of WO2010047499A3 publication Critical patent/WO2010047499A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an image enhancement technology for video encoding / decoding, and more particularly to a video encoding / decoding device and an intra prediction direction for a video encoding / decoding device for effectively removing a blocking effect generated during video encoding / decoding.
  • the basic unit for compressing an image in a video codec such as MPEG and H.264 is a macroblock, and each macroblock has 16 pixels horizontally and vertically, respectively.
  • Each macroblock compensates for the current macroblock by performing intra or inter prediction using information of neighboring pixels or previous frames of the current macroblock, and then converts, quantizes, and converts the difference between the compensated picture and the picture of the current macroblock. Compression is performed by entropy encoding.
  • different blocks are referred to different blocks. Blocking artifacts appear. This phenomenon is more pronounced with stronger quantization intensities, and degrades video quality significantly.
  • the deblocking filter performs filtering by determining whether to filter at the boundary of the 4x4 block which is the minimum processing unit. In other words, if it is determined as an edge, no filtering is performed, and if it is determined that the blocking artifact is not an edge, filtering is performed.
  • the filtering method takes a deblocking filter in a horizontal direction along a block boundary in the vertical direction with respect to one macroblock as shown in FIG. 1, and then takes a deblocking filter in a vertical direction with respect to a horizontal block boundary as shown in FIG. 2. Eliminate blocking.
  • the existing deblocking filter filters only in the vertical and horizontal directions, and does not perform the deblocking filtering when the boundary between blocks is determined to be an edge of the actual image.
  • the existing deblocking filter filters only in the vertical and horizontal directions, and does not perform the deblocking filtering when the boundary between blocks is determined to be an edge of the actual image.
  • blocking artifacts in diagonal edges cannot be removed at the boundary between blocks.
  • An object of the present invention is to provide a deblocking filtering apparatus and filtering method based on an intra prediction direction, and a recording medium.
  • the boundary strength determination unit for determining the strength of the boundary of the current block;
  • An intra block checking unit which determines whether a sub block to which a first pixel exists at a specific position based on the boundary is an intra block;
  • An intra prediction direction confirming unit that checks an intra prediction direction for the sub block if the sub block is an intra block;
  • a filtering pixel selector which selects pixels to filter based on the first pixel and the identified intra prediction direction;
  • a deblocking filtering device based on an intra prediction direction includes a filtering unit configured to perform filtering in a horizontal direction, a vertical direction, or an oblique direction according to a relationship between the intra prediction direction and pixel values between the selected pixels.
  • the filtering unit When the identified intra prediction direction is an oblique line, the filtering unit performs filtering with an oblique diagonal line that is an intra prediction direction when a relationship between pixel values between the selected pixels satisfies a preset first condition.
  • the first predetermined condition is BS> 0 &&
  • the filtering unit When the identified intra prediction direction is not an oblique line, the filtering unit performs filtering in a horizontal or vertical direction when a relationship between pixel values between the selected pixels satisfies a preset second condition.
  • the preset second condition is BS> 0 &&
  • the filtering unit does not perform filtering unless the second condition is satisfied.
  • the boundary strength determination step of determining the strength of the boundary of the current block;
  • An intra block checking step of confirming whether a sub block to which a first pixel existing at a specific position is based on the boundary is an intra block;
  • An intra prediction direction confirming step of confirming an intra prediction direction for the sub block if the sub block is an intra block;
  • a filtering pixel selection step of selecting pixels to filter based on the first pixel and the identified intra prediction direction;
  • a deblocking filtering method based on an intra prediction direction including a filtering step of performing filtering in a horizontal direction, a vertical direction, or an oblique direction according to the relationship between the intra prediction direction and pixel values between the selected pixels.
  • a prediction unit for predicting the current block of the image to generate a prediction block;
  • a subtraction unit for generating a residual block by subtracting the prediction block from the current block;
  • a transformer for converting the residual block into a frequency domain;
  • a quantizer for quantizing the transformed residual block;
  • An encoder which encodes the quantized residual block;
  • An inverse quantizer for inversely quantizing the residual block;
  • An inverse transform unit for inversely transforming the inverse quantized residual block into a residual block having a pixel signal on a time axis;
  • An adder configured to add the prediction block to the inverse transformed residual block to restore a current block;
  • deblocking and filtering the reconstructed current block selecting pixels to be filtered based on an intra prediction direction of a sub-block of the reconstructed current block, and depending on a relationship between the intra prediction direction and pixel values between the selected pixels.
  • a decoding unit for decoding the bitstream to extract the residual block;
  • An inverse quantizer for inversely quantizing the residual block;
  • An inverse transform unit for inversely transforming the inverse quantized residual block;
  • a prediction unit for predicting a current block to generate a prediction block;
  • An adder configured to add the inverse transformed residual block and the prediction block to restore the current block;
  • deblocking filtering the current block reconstructed by the adder to reduce an error that may occur during quantization, and selecting pixels to be filtered based on an intra prediction direction of a subblock of the current block.
  • a deblocking filter unit configured to perform filtering in a horizontal direction, a vertical direction, or an oblique direction according to the relationship between the intra prediction direction and the pixel value between the selected pixels.
  • a boundary strength determination function for determining the strength of the boundary of the current block;
  • An intra block checking function of checking whether a sub block to which a first pixel existing at a specific position belongs to the intra block is based on the boundary;
  • An intra prediction direction checking function for checking an intra prediction direction for the sub block when the sub block is an intra block;
  • a filtering pixel selection function for selecting pixels to filter based on the first pixel and the identified intra prediction direction;
  • a computer-readable recording medium having recorded thereon a program including a filtering function for performing filtering in a horizontal direction, a vertical direction or an oblique direction according to the relationship between the intra prediction direction and the pixel value between the selected pixels.
  • the deblocking artifacts in the diagonal edges at the boundary between blocks can be removed by performing deblocking filtering in the intra prediction direction.
  • the effect may occur.
  • 1 and 2 are views showing the boundaries of the macro block in the vertical and horizontal directions
  • FIG. 3 is a block diagram of a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a deblocking filtering apparatus based on an intra prediction direction, according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating an example of pixels to be horizontally filtered in the case of a vertical block boundary
  • FIG. 6 is a diagram illustrating an example of pixels to be vertically filtered in the case of a horizontal block boundary
  • FIG. 7 is a diagram illustrating an example of a prediction direction according to an intra prediction mode.
  • FIGS. 8 to 11 are diagrams for describing a deblocking filtering method based on an intra prediction direction according to an embodiment of the present invention.
  • FIG. 12 is a flowchart of a deblocking filtering method based on an intra prediction direction according to an embodiment of the present invention.
  • FIG. 13 is a block diagram of a video decoding apparatus according to an embodiment of the present invention.
  • the video screen is composed of 30 frames in one second, the difference is small between one frame and neighboring frames, and thus cannot be distinguished by the human eye. For this reason, when 30 frames are sprayed in one second, the human eye recognizes the frames as continuous.
  • the pixel value of the next frame can be predicted from the known pixel values constituting the previous frame (this is called inter-prediction).
  • the encoding and decoding of such video data is performed based on a motion prediction technique.
  • the motion prediction is performed by referring to past frames or referring to both past and future frames based on the time axis.
  • the frame referred to to encode or decode the current frame is called a reference frame.
  • block-based video encoding one still image (frame) constituting a video is divided into macroblocks and subblocks constituting the macroblock, and motion is predicted in units of blocks and encoding is performed.
  • FIG. 3 is a block diagram of a video encoding apparatus according to an embodiment of the present invention.
  • the video encoding apparatus 300 includes a predictor 310, a subtractor 320, a transformer 330, a quantizer 340, an encoder 350, and an inverse quantizer 360. ), An inverse transform unit 370, an adder 380, and a deblocking filter unit 390.
  • the video encoding apparatus 300 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding an image, and executing a program.
  • the prediction unit 310 currently uses one or a combination of intra prediction based on motion prediction or intra prediction that predicts the next pixel using a correlation of pixel signals within the same frame.
  • a block (or macroblock) can be predicted.
  • the predictor 310 may be divided into a motion estimator (not shown) and a motion compensator (not shown).
  • the motion estimator finds the motion prediction value of the macroblock of the current frame in the reference frame and outputs the difference of the motion as a motion vector. That is, the macroblock to be searched is searched within a predetermined search area of the reference frame to find the most similar macroblock and the degree of movement thereof is output as a motion vector.
  • the motion compensation unit obtains a prediction macro block corresponding to the obtained motion vector from the reference frame.
  • the predictor 310 is an intra predictor that predicts a current macroblock of a current frame using a neighboring macroblock of a current macroblock in an image, and at least one pixel value of at least one neighboring macroblock.
  • the predicted macroblock is predicted by calculating a predicted pixel value of each pixel of the current macroblock using.
  • the peripheral macroblock may be one or more peripheral macroblocks that are compressed before the current macroblock and located around the current macroblock.
  • the subtraction unit 320 generates a residual block by subtracting the prediction block from the current block. That is, the subtractor 320 generates a residual block having a residual signal by calculating a difference value between an original pixel value of each pixel of the current block and a predicted pixel value of each pixel of the prediction block. do.
  • the transformer 330 transforms the residual block into the frequency domain. That is, the converter 330 converts the residual block into a frequency domain to generate a residual block having a frequency coefficient.
  • the transform unit 330 transforms the residual block, and various transformations for transforming the image signal of the time axis to the frequency axis, such as a Hadamard transform, a discrete cosine transform based transform, or the like.
  • the residual signal can be converted into a frequency domain using a technique, and the residual signal converted into the frequency domain becomes a frequency coefficient.
  • the quantizer 340 quantizes the residual block transformed by the transformer 330. That is, the quantization unit 340 quantizes the frequency coefficients of the residual block to generate quantization frequency coefficients.
  • the quantization unit 340 uses Dead Zone Uniform Threshold Quantization (DZUTQ), Quantization Weighted Matrix, or the quantization method to quantize the frequency coefficient of the residual block. Etc. can be used.
  • DZUTQ Dead Zone Uniform Threshold Quantization
  • Etc. can be used.
  • the encoder 350 generates a bitstream by encoding the frequency coefficients of the residual block quantized by the quantizer 340.
  • the encoder 350 may encode the quantized frequency coefficients of the residual block to output a bitstream.
  • an entropy encoding technique may be used, but various encoding techniques may be used without being limited thereto.
  • the inverse quantization unit 360 inverse quantizes the residual block quantized by the quantization unit 330. That is, the inverse quantizer 360 inverse quantizes the quantized frequency coefficients of the quantized residual block to generate frequency coefficients.
  • the inverse transform unit 370 inverse transforms the residual block inversely quantized by the inverse quantizer 360. That is, the inverse transform unit 370 inversely transforms the frequency coefficients of the inverse quantized residual block to restore the residual block having the pixel signal on the time axis.
  • the adder 380 reconstructs the current block by adding the prediction block predicted by the predictor 310 to the residual block inversely transformed by the inverse transformer 370.
  • the deblocking filter unit 390 deblocking filtering the current block restored by the adder 380.
  • the deblocking filtering refers to an operation of reducing block distortion generated by encoding an image in block units, and applying a deblocking filter to a block boundary and a macroblock boundary, or applying a deblocking filter only to a macroblock boundary or a deblocking filter. You can optionally use one of the methods that does not use.
  • the current block reconstructed by the adder 380 and deblocked and filtered by the deblocking filter 390 may be input to the predictor 310 and stored as a reference picture used when predicting the next picture. .
  • the deblocking filter unit 390 deblocks and filters the current block, in particular, selecting pixels to be filtered based on the intra prediction direction of the subblock of the current block, and selecting the intra prediction direction and the selected The filtering is performed in the horizontal direction, the vertical direction, or the diagonal direction according to the relationship between the pixel values between the pixels.
  • Such a deblocking filter 390 will be described in more detail with reference to FIG. 4.
  • FIG. 4 is a block diagram of a deblocking filtering apparatus based on an intra prediction direction, according to an embodiment of the present invention, and corresponds to the deblocking filter unit 390 of FIG. 3.
  • the deblocking filtering apparatus 390 based on the intra prediction direction includes a boundary strength determiner 391, an intra block checker 393, and an intra prediction direction checker. 395, a filtering pixel selection unit 397, and a filtering unit 399.
  • the boundary strength determiner 391 determines the strength of the boundary of the current block. That is, the boundary strength determiner 391 determines the boundary strength (BS) according to the characteristics of the block to which the pixels belong at the block boundary of the current position.
  • the BS has a value between 0 and 4 and the method of determining is specified in the H.264 / AVC standardization document, for example.
  • the intra block check unit 393 checks whether the sub block to which the first pixel exists at the specific position is an intra block based on the boundary of the current block. For example, when the intra block check unit 393 is a block boundary in the vertical direction as shown in FIG. 5, the intra block check unit 393 checks whether or not the sub block to which the pixel of q0 belonging to the right of the block boundary belongs is an intra block. In the case of a block boundary in the horizontal direction, it is checked whether or not the sub block to which the pixel of q0 under the block boundary belongs is an intra block.
  • the intra prediction direction checking unit 395 checks the intra prediction direction for the sub block when the sub block identified by the intra block checking unit 393 is an intra block.
  • 7 shows eight prediction methods and directions of intra 4x4 mode of H.264. In addition to the eight prediction methods of FIG. 7, there are nine prediction methods / directions in total by adding the second mode (DC) that predicts the current block as an average of neighboring pixels, except for the second mode. It can be seen that the current block is predicted in the direction. Accordingly, the intra prediction direction confirming unit 395 determines which intra prediction direction is one of the eight intra prediction directions of FIG. 7.
  • the filtering pixel selector 397 selects pixels to filter based on the pixel of q0 and the identified intra prediction direction.
  • pixels dp3, dp2, dp1, dp0, q0, dq1, dq2, and dq3 are selected as the pixels to be filtered according to the pixel of q0 and the intra prediction direction of mode 4.
  • the intra prediction direction of the intra block is the intra prediction direction of mode 4 of FIG. 7
  • the pixels of dp3, dp2, dp1, dp0, q0, dq1, dq2, and dq3 are selected as the pixels to be filtered according to the pixel of q0 and the intra prediction direction of mode 4.
  • pixels dp3, dp2, dp1, dp0, q0, dq1, dq2, and dq3 are selected as the pixels to be filtered according to the pixel of q0 and the intra prediction direction of mode 3.
  • pixels dp3, dp2, dp1, dp0, q0, dq1, dq2, and dq3 are selected as the pixels to be filtered according to the pixel of q0 and the intra prediction direction of mode 3.
  • the filtering unit 399 performs filtering in the horizontal direction, the vertical direction, or the diagonal direction according to the relationship between the intra prediction direction confirmed by the intra prediction direction checker 395 and the pixel values between the pixels selected by the filtering pixel selector 397. Perform. That is, when the identified intra prediction direction is an oblique line, the filtering unit 399 performs filtering in the oblique direction when the relationship between pixel values between the selected pixels satisfies a first predetermined condition as described below.
  • ⁇ and ⁇ are quantization parameter functions
  • q0 and dq1 are the first and the right of (or below) the right (or bottom) of the vertical (or horizontal) boundary in the corresponding diagonal direction if the boundary is a vertical (or horizontal) boundary, respectively.
  • dp0 and dp1 are the first and second pixels to the left (or above) of the vertical (or horizontal) boundary in the diagonal direction when the boundary is a vertical (or horizontal) boundary, respectively
  • k is a constant
  • q0 represents the first pixel.
  • the filtering unit 399 performs filtering in the horizontal or vertical direction as before.
  • the filtering unit 399 may filter the pixels when the intra prediction direction determined by the intra prediction direction checking unit 395 is not diagonal, that is, when the intra prediction direction is vertical and horizontal as in the first and second modes of FIG. 7. If the relationship between the pixel values between the pixels selected by the selector 397 satisfies the preset second condition as described below, filtering is performed in the horizontal or vertical direction.
  • ⁇ and ⁇ are quantization parameter functions
  • q0 and q1 are respectively the right (or below) the vertical (or horizontal) boundary in the horizontal (or vertical) direction when the boundary is a vertical (or horizontal) boundary.
  • p0 and p1 are the first and second pixels to the left (or above) of their vertical (or horizontal) boundaries, respectively
  • q0 represents the first pixel.
  • the filtering unit 399 ends without performing filtering.
  • FIG. 12 is a flowchart of a deblocking filtering method based on an intra prediction direction, according to an embodiment of the present invention. Since it is applied to the apparatus of FIG. 4, it will be described together with an operation of the apparatus.
  • Embodiments of the present invention may use the direction of the intra prediction technique of H.264.
  • H.264 introduces an intra prediction technique to remove the spatial correlation between blocks.
  • the intra prediction technique predicts pixel values of the current block by using neighboring pixels of the block for current encoding.
  • 7 shows eight prediction methods of intra 4x4 mode of H.264.
  • the current block is predicted in the direction of the edge.
  • the prediction mode having the direction most similar to the edge of the current block is selected as the optimal mode, and prediction is performed in the direction, and the predicted value and the difference value are transformed, quantized, and entropy encoded.
  • the deblocking filtering is performed in the edge direction selected in the intra mode using the edge direction used in intra prediction without finding the edge direction at each boundary of each block. Therefore, the embodiment of the present invention can be applied when the current macro block is in the intra mode.
  • filtering is performed using the same method as the conventional vertical and horizontal filtering method.
  • deblocking filtering is performed in two macroblocks in one macroblock unit.
  • the first process is to perform deblocking filtering on the vertical block boundary as shown in FIG. 1
  • the second process is to perform horizontal deblocking filtering on the vertical block boundary as shown in FIG.
  • This is a process of performing deblocking filtering on a boundary. In the present invention is carried out through the above two processes.
  • FIG. 12 illustrates a process of performing deblocking filtering on one pixel according to the present invention.
  • the entire process of FIG. 12 is applied to all boundary blocks in the vertical direction of one macroblock and then to all boundary blocks in the horizontal direction. Looking at the process of Figure 12 in detail as follows.
  • boundary strength is determined by the boundary strength determiner 391 according to a characteristic of a block to which pixels belong to a block boundary of a current position (S1210).
  • S1210 a characteristic of a block to which pixels belong to a block boundary of a current position
  • the intra block check unit 393 checks whether the block to which the pixel existing to the right or below the block boundary belongs is an intra block (when the block boundary is vertical, the right pixel and the block boundary are horizontal). In this case, the bottom pixel is checked) (S1220).
  • the filtering unit 399 performs filtering on the current pixel using a conventional deblocking filtering method (S1310 and S1320).
  • the intra prediction direction checking unit 395 checks the intra prediction direction of the intra block (S1230).
  • the reason for determining the prediction direction in the intra mode of the block to which the right or the lower pixel belongs to the block boundary is because the current block is predicted by the pixels on the left and top of the current block.
  • step S1230 if the intra prediction direction is not the diagonal direction (S1240), for example, in the intra 4x4 mode of FIG. 7, mode 0 (vertical direction), mode 1 (horizontal direction), mode 2 ( In the average mode, the filtering unit 399 performs filtering using an existing deblocking filtering method (S1310 and S1320).
  • the filtering pixel selector 397 selects a pixel to be filtered in the diagonal intra prediction direction (S1250). For example, the filtering pixel selector 397 may select the pixels dp3, dp2, dp1, dp0, q0, dq1, dq2, and dq3 to be filtered as shown in FIG. 8 when the intra 4x4 mode is the fourth mode of FIG. 7. Choose. These pixels are selected with an intra prediction direction around q0. After selecting these eight pixels, it is checked whether condition 1 described above is satisfied (S1260), and if not satisfied, existing filtering methods are used (S1310 and S1320).
  • the filtering unit 399 performs deblocking filtering using dp3, dp2, dp1, dp0, q0, dq1, dq2, and dq3.
  • the filtering method by the filtering coefficient or the threshold may be the same as the method disclosed in the existing H.264 / AVC standardization document.
  • the existing filtering method performed in steps S1310 and S1320 is as follows. If the filtering unit 399 satisfies the condition 2 described above, the filtering unit 399 performs filtering (S1310 and S1320). Otherwise, the filtering unit 399 determines the current pixel as the actual edge and does not perform the filtering.
  • steps S1310 and S1320 The existing filtering method performed in steps S1310 and S1320 is performed only in the vertical and horizontal directions, and the pixels to be filtered at that time are p3, p2, p1, p0, q0, q1, q2 and q3 as shown in FIGS. 5 and 6. Is displayed. Filtering is performed using these pixels in the manner disclosed in the H.264 / AVC standardized document.
  • FIGS. 8 to 11 show examples of pixels to be filtered in the intra prediction direction.
  • FIG. 8 illustrates an example in which there is a block boundary in the vertical direction, the right pixel is an intra 4x4 mode between the block boundaries, and the mode is the fourth mode.
  • the filtering direction and the intra prediction direction are the same.
  • dp3, dp2, dp1, dp0, dq1, dq2, and dq3 are sequentially arranged in the same direction as the intra prediction direction. Is filtered.
  • the lower pixel is an intra 4x4 mode between the block boundaries, and the mode is the fourth mode.
  • the lower pixel is an intra 4x4 mode between the block boundaries, and the mode is the third mode.
  • FIG. 13 is a block diagram of a video decoding apparatus according to an embodiment of the present invention.
  • the video decoding apparatus 1400 may include a decoder 1410, an inverse quantizer 1420, an inverse transform unit 1430, a predictor 1440, an adder 1450, and a deblocking filter unit. 1460.
  • the video decoding apparatus 1400 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP). ),
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for decoding an image, and executing a program.
  • the decoder 1410 decodes the bitstream to extract the residual block. That is, the decoder 1410 decodes a bitstream, which is an image encoded by the image encoding apparatus 200, to extract a residual block, motion vector, and rotation information including pixel information of a current block of the image.
  • the inverse quantization unit 1420 inverse quantizes the residual block extracted by the decoder 1410, and the inverse transformer 1430 inversely transforms the inverse quantized residual block.
  • the inverse quantization and the inverse transform may be inversely transformed with the inverse quantization in the same manner as the inverse quantization and inverse transformation described above with reference to FIG. 2.
  • the prediction unit 1440 generates a prediction block by predicting the current block by compensating for the motion including the rotation motion of the current block of the image by using the motion vector and the rotation information extracted by the decoder 1410.
  • the adder 1450 reconstructs the current block by adding the predicted block predicted by the predictor 1440 to the residual block inversely transformed by the inverse transformer 1430.
  • the deblocking filter 1460 deblocks the current block reconstructed by the adder 1450 to reduce block distortion by reducing an error that may occur in the quantization process.
  • the deblocking filter unit 1460 selects pixels to be filtered based on the intra prediction direction of the sub block of the current block, and according to the relationship between the intra prediction direction and pixel values between the selected pixels. The filtering is performed in the horizontal direction, vertical direction, or diagonal direction.
  • the deblocking filter 1460 is configured in the same way as the deblocking filtering device 390 of FIG. 4.
  • the current block reconstructed by the adder 1450 is combined in picture units and output as a reconstructed image, and the current block deblocked and filtered by the deblocking filter 1460 when the predictor 1440 predicts the next picture. It may be stored as a reference picture used.
  • the deblocking filtering method based on the intra prediction direction may be implemented as computer readable codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • the present invention is applied to the field of video encoding and decoding technology, and even when there are edges in the diagonal direction as well as in the vertical and horizontal directions, the deblocking filtering is performed in the intra prediction direction to perform at the boundary between blocks. It is a very useful invention that produces the effect of removing deblocking artifacts in diagonal edges.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체에 관한 것으로, 본 발명의 실시예에 따른 디블록킹 필터링 장치는, 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정부; 상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인부; 상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인부; 상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택부; 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링부를 포함하여 구성되어, 블록 간의 경계 부분에서 사선 에지 안의 디블록킹 아티팩트를 인트라 예측 방향으로 디블록킹 필터링을 수행함으로써 제거할 수 있다.

Description

동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
본 발명은 영상 부호화/복호화 시의 영상 개선 기술에 관한 것으로, 특히 영상 부호화/복호화 시 발생되는 블로킹 효과를 효과적으로 제거하기 위한, 동영상 부호화/복호화 장치와, 그 동영상 부호화/복호화 장치를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체에 관한 것이다.
일반적으로, MPEG 및 H.264등의 비디오 코덱에서 영상을 압축하는 기본 단위는 매크로블록이며, 각각의 매크로 블록은 가로와 세로로 각각 16 화소를 갖는다. 각각의 매크로블록은 현재 매크로블록의 인접 화소나 이전 프레임의 정보를 이용하여 인트라 또는 인터 예측을 수행하여 현재 매크로블록을 보상한 뒤, 보상된 영상과 현재 매크로블록의 영상의 차이를 변환, 양자화, 엔트로피 부호화를 수행하여 압축을 수행한다. 이 중 양자화 과정에서 영상의 손실이 생기고, 이전 영상이나 현 영상의 이웃 블록을 참조하는 과정에서 블록마다 서로 다른 영상을 참조하는 경우가 있기 때문에, 변환 단위나 움직임 보상 단위마다 블록의 경계가 보이는 블록킹 아티팩트(blocking artifact)현상이 나타난다. 이런 현상은 양자화 강도가 강할수록 더욱 크게 나타나고 비디오 화질을 크게 떨어뜨린다.
따라서 블록 인코딩 시, 움직임 보상 및 변환에 의해 발생하는 블록킹 아티팩트를 감소시킬 필요가 있고, 그것을 위해 블록간의 경계를 스무스하게(smooth) 하는 필터링을 수행하여 블로킹 현상을 제거하는 것을 디블로킹 필터라 한다.
H.264 비디오 코덱의 경우 디블로킹 필터는 최소 처리 단위인 4x4 블록의 경계마다 필터링 여부를 판명하여 필터링을 수행한다. 즉 에지라고 판단되면 필터링을 취하지 않고, 에지가 아니고 블로킹 아티팩트라고 판단되면 필터링을 취한다. 필터링 방법은 도 1과 같이 한 매크로블록에 대하여 수직 방향의 블록 경계를 따라 수평 방향으로 디블록킹 필터를 취하고, 그 다음 다시 도 2와 같이 수평 방향의 블록 경계에 대하여 수직 방향으로 디블록킹 필터를 취하여 블록킹 현상을 제거한다.
위와 같이 기존의 디블록킹 필터는 수직 및 수평 방향으로만 필터링을 취하고, 블록간의 경계가 실제 영상의 에지라고 판명되면 디블록킹 필터링을 수행하지 않는다. 그러나 수직 또는 수평 방향의 에지가 아닌 대각선 에지와 같은 경우에는 블록 간의 경계 부분에서 대각선 에지 안의 블록킹 아티팩트는 제거할 수 없는 문제가 있다.
전술한 문제점을 해결하기 위해 본 발명은, 수직 및 수평 방향의 에지에서 발생하는 블록킹 아티팩트 뿐만 아니라 대각선 에지와 같이 사선의 에지에서 생기는 블록킹 아티팩트를 제거할 수 있도록 된, 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체를 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위하여 본 발명의 실시예의 일 측면에 따르면, 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정부; 상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인부; 상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인부; 상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택부; 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링부를 포함하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치가 제공된다.
상기 필터링부는 상기 확인된 인트라 예측 방향이 사선인 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 1 조건을 만족하면, 상기 인트라 예측 방향인 사선으로 필터링을 수행한다. 상기 기 설정된 제 1 조건은 BS>0 && |dp0-q0|<α && |dp1-dp0|<kβ && |dq1-q0|<kβ이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 dq1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, dp0 및 dp1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이고, k는 상수이며, 상기 q0는 상기 제 1 화소를 나타낸다. 상기 필터링부는 상기 제 1 조건을 만족하지 않으면 수평 또는 수직 방향으로 필터링을 수행한다.
상기 필터링부는 상기 확인된 인트라 예측 방향이 사선이 아닌 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 2 조건을 만족하면, 수평 또는 수직 방향으로 필터링을 수행한다. 상기 기 설정된 제 2 조건은 BS>0 && |p0-q0|<α && |p1-p0|<β && |q1-q0|<β이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 q1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 수평(또는 수직) 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, p0 및 p1은 각각 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이며, 상기 q0는 상기 제 1 화소를 나타낸다. 상기 필터링부는 상기 제 2 조건을 만족하지 않으면 필터링을 수행하지 않는다.
전술한 목적을 달성하기 위하여 본 발명의 실시예의 다른 측면에 따르면, 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정 단계; 상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인 단계; 상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인 단계; 상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택 단계; 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링 단계를 포함하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법이 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 실시예의 또 다른 측면에 따르면, 영상의 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산부; 상기 잔차 블록을 주파수 영역으로 변환하는 변환부; 상기 변환된 잔차 블록을 양자화하는 양자화부; 상기 양자화된 잔차 블록을 부호화하는 부호화부; 상기 잔차 블록을 역 양자화하는 역양자화부; 상기 역 양자화된 잔차 블록을 시간축상의 화소 신호를 갖는 잔차 블록으로 역변환하는 역변환부; 상기 역변환된 잔차 블록에 상기 예측 블록을 가산하여 현재 블록을 복원하는 가산부; 및 상기 복원된 현재 블록을 디블로킹 필터링하되, 상기 복원된 현재 블록의 서브 블록의 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하고, 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 디블로킹 필터부를 포함하는 동영상 부호화 장치가 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 실시예의 또 다른 측면에 따르면, 비트스트림을 복호화하여 잔차 블록을 추출하는 복호화부; 상기 잔차 블록을 역 양자화하는 역양자화부; 상기 역 양자화된 잔차 블록을 역 변환하는 역변환부; 현재 블록을 예측하여 예측 블록을 생성하는 예측부; 상기 역 변환된 잔차 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부; 및 양자화 과정에서 발생할 수 있는 오차를 줄여 블록 왜곡을 감소시키기 위해, 상기 가산부 의해 복원된 상기 현재 블록을 디블로킹 필터링하되, 상기 현재 블록의 서브 블록의 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하고, 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 디블로킹 필터부를 포함하는 동영상 부호화 장치가 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 실시예의 또 다른 측면에 따르면, 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정 기능; 상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인 기능; 상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인 기능; 상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택 기능; 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링 기능을 포함하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 실시예에 의하면, 수직 및 수평 방향의 에지 뿐만 아니라 가 사선 방향으로 에지가 있는 경우에도, 블록 간의 경계 부분에서 사선 에지 안의 디블록킹 아티팩트를 인트라 예측 방향으로 디블록킹 필터링을 수행함으로써 제거할 수 있는 효과가 발생한다.
도 1 및 도 2는 매크로 블록의 수직 및 수평 방향의 경계를 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 동영상 부호화 장치의 블록도,
도 4는 본 발명의 일 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 장치의 블록도,
도 5 는 수직 방향 블록 경계인 경우에 수평 방향 필터링할 화소의 예를 나타낸 도면,
도 6은 수평 방향 블록 경계인 경우에 수직 방향 필터링할 화소의 예를 나타낸 도면,
도 7은 인트라 예측 모드에 따른 예측 방향의 예를 나타낸 도면,
도 8 내지 도 11은 본 발명의 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 방법을 설명하기 위한 도면,
도 12는 본 발명의 일 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 방법의 흐름도
도 13은 본 발명의 일 실시예에 따른 동영상 복호화 장치의 블록도.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
동영상 화면은 1초 동안에 30장의 프레임으로 구성되므로 한 프레임과 이웃한 프레임 사이에는 그 차이가 작기 때문에, 인간의 눈으로 구분하지 못한다. 이 때문에, 1초 동안에 30장의 프레임을 뿌리면 인간의 눈은 프레임이 연속적인 것으로 인식한다.
이와 같이, 이전 프레임과 현재 프레임이 비슷하다면, 이전 프레임을 구성하고 있는 이미 알고 있는 화소값으로부터 다음 프레임의 화소값을 예측할 수 있다(이를 화면간 예측(inter-prediction)이라 함).
이러한 동영상 데이터의 부호화 및 복호화는 움직임 예측(motion prediction) 기술을 기반으로 이루어진다. 움직임 예측은 시간 축을 기준으로 과거 프레임을 참조하거나 과거 프레임과 미래 프레임을 모두 참조하는 방식으로 수행된다. 현재 프레임을 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임이라고 한다. 그리고, 블록 기반 동영상 부호화에서 동영상을 구성하는 하나의 정지영상(프레임)은 매크로블록과 매크로블록을 구성하는 서브블록으로 나누어져, 블록단위로 움직임이 예측되고 부호화가 수행된다.
또한 동일한 프레임 내에서 화소신호의 상관관계를 사용해 다음 화소를 예측하고 그 예측오차를 부호화할 수도 있다(이를 화면 내 예측(intra-prediction)이라 함).
도 3은 본 발명의 일 실시예에 따른 동영상 부호화 장치의 블록 구성도이다.
본 발명의 일 실시예에 따른 동영상 부호화 장치(300)는 예측부(310), 감산부(320), 변환부(330), 양자화부(340), 부호화부(350), 역 양자화부(360), 역 변환부(370), 가산부(380) 및 디블로킹 필터부(390)를 포함하여 구성될 수 있다.
이러한 동영상 부호화 장치(300)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
예측부(310)는 위에서 설명한 바와 같이 움직임 예측을 기반으로 하는 화면간 예측이나 동일한 프레임 내에서 화소신호의 상관관계를 사용해 다음 화소를 예측하는 화면 내 예측 중 어느 하나 또는 둘의 조합을 이용하여 현재 블록(또는 매크로블록)을 예측할 수 있다.
예를 들어, 예측부(310)는 움직임 추정부(미도시)와 움직임 보상부(미도시)로 나누어 구성될 수 있다. 움직임 추정부는 현재 프레임의 매크로 블록의 움직임 예측치를 참조 프레임에서 찾아 그 움직임의 차이를 움직임 벡터로써 출력한다. 즉, 찾고자 하는 매크로 블록을 참조 프레임의 소정의 탐색영역 내에서 탐색하여, 가장 유사한 매크로 블록을 찾아 그 이동 정도를 움직임 벡터로써 출력한다. 움직임 보상부는 구해진 움직임 벡터에 해당하는 예측 매크로 블록을 참조 프레임으로부터 얻는다.
또 다른 예로, 예측부(310)는 현재 프레임의 현재 매크로 블록을 영상 내에서 현재 매크로 블록의 주변 매크로 블록을 이용하여 예측하는 인트라예측부로, 하나 이상의 주변 매크로 블록의 하나 이상의 화소값(Pixel Value)을 이용하여 현재 매크로 블록의 각 화소의 예측 화소값(Predicted Pixel Value)을 계산함으로써 예측 매크로 블록을 예측한다. 여기서, 주변 매크로 블록은 현재 매크로 블록 이전에 압축되고 현재 매크로 블록의 주변에 위치한 하나 이상의 주변 매크로 블록일 수 있다.
감산부(320)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(320)는 현재 블록의 각 화소의 원 화소값(Original Pixel Value)과 예측 블록의 각 화소의 예측 화소값의 차이값을 계산하여 잔차 신호(Residual Signal)를 갖는 잔차 블록을 생성한다.
변환부(330)는 잔차 블록을 주파수 영역으로 변환(Transform)한다. 즉, 변환부(330)는 잔차 블록을 주파수 영역(Frequency Domain)으로 변환하여 주파수 계수(Frequency Coefficient)를 갖는 잔차 블록을 생성한다. 여기서, 변환부(330)는 잔차 블록을 변환하는 데 있어서, 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(Discrete Cosine Transform Based Transform) 등과 같은 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.
양자화부(340)는 변환부(330)에서 변환된 잔차 블록을 양자화(Quantization)한다. 즉, 양자화부(340)는 잔차 블록의 주파수 계수를 양자화하여 양자화 주파수 계수를 생성한다. 여기서, 양자화부(340)는 잔차 블록의 주파수 계수를 양자화하는 데 있어서, 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization), 양자화 가중치 매트릭스(Quantization Weighted Matrix)를 이용하거나 그를 계량한 양자화 방법 등을 이용할 수 있다.
부호화부(350)는 양자화부(340)에 의해 양자화된 잔차 블록의 주파수 계수들을 부호화하여 비트스트림을 생성한다. 또한, 부호화부(350)는 예측부(310)로부터 움직임 벡터 및 회전 정보가 전달되면, 잔차 블록의 양자화된 주파수 계수와 함께 부호화하여 비트스트림을 출력할 수 있다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.
역양자화부(360)는 양자화부(330)에 의해 양자화된 잔차 블록을 역 양자화(Inverse Quantization)한다. 즉, 역 양자화부(360)는 양자화된 잔차 블록의 양자화 주파수 계수를 역 양자화하여 주파수 계수를 생성한다.
역변환부(370)는 역 양자화부(360)에 의해 역 양자화된 잔차 블록을 역 변환(Inverse Transform)한다. 즉, 역변환부(370)는 역 양자화된 잔차 블록의 주파수 계수를 역 변환하여 시간축상의 화소 신호를 갖는 잔차 블록을 복원한다.
가산부(380)는 역 변환부(370)에 의해 역 변환된 잔차 블록에 예측부(310)에서 예측한 예측 블록을 가산하여 현재 블록을 복원한다.
디블로킹 필터부(390)는 가산부(380)에 의해 복원된 현재 블록을 디블로킹 필터링(Deblcking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다. 이와 같이, 가산부(380)에 의해 복원되고 디블로킹 필터부(390)에 의해 디블로킹 필터링된 현재 블록은 예측부(310)에 입력되어 다음 픽처를 예측할 때 사용되는 참조 픽처로서 저장될 수 있다.
본 발명의 실시예에 따른 디블록킹 필터부(390)는 현재 블록을 디블로킹 필터링하되, 특히 그 현재 블록의 서브 블록의 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하고, 그 인트라 예측 방향 및 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행한다. 이와 같은 디블록킹 필터부(390)에 대해 도 4를 참조하여 더욱 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 장치의 블록도로서, 도 3의 디블록킹 필터부(390)에 대응하므로 동일 부호를 부가하여 설명한다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 장치(390)는 경계 세기 결정부(391), 인트라 블록 확인부(393), 인트라 예측 방향 확인부(395), 필터링 화소 선택부(397), 및 필터링부(399)를 포함한다.
경계 세기 결정부(391)는 현재 블록의 경계에 대한 세기를 결정한다. 즉, 경계 세기 결정부(391)는 현재 위치의 블록 경계에서 화소들이 속하는 블록의 특성에 따라 경계 세기(Boundary Strength: BS)가 결정된다. BS는 0과 4사이의 값을 갖고 결정하는 방법은 예를 들어 H.264/AVC 표준화 문서에 명시되어 있다.
인트라 블록 확인부(393)는 현재 블록의 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가의 여부를 확인한다. 예를 들어, 인트라 블록 확인부(393)는 도 5와 같이 수직 방향의 블록 경계인 경우 그 블록 경계의 우측에 있는 q0의 화소가 속한 서브 블록이 인트라 블록인가의 여부를 확인하고, 도 6과 같이 수평 방향의 블록 경계의 경우 그 블록 경계의 아래에 있는 q0의 화소가 속한 서브 블록이 인트라 블록인가의 여부를 확인한다.
인트라 예측 방향 확인부(395)는 인트라 블록 확인부(393)에서 확인된 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인한다. 도 7은 H.264의 인트라 4x4 모드의 8가지 예측 방법 및 방향을 나타낸다. 도 7의 8가지 예측 방법에 주변 화소의 평균으로 현재 블록을 예측하는 2번 모드(DC)를 추가하여 총 9가지의 예측 방법/방향이 있을 수 있고, 여기서 2번 모드를 제외하면 각각 에지의 방향으로 현재 블록을 예측함을 알 수 있다. 따라서, 인트라 예측 방향 확인부(395)는 해당 서브 블록이 도 7의 8가지 인트라 예측 방향 중 어느 인트라 예측 방향인지 확인한다.
필터링 화소 선택부(397)는 q0의 화소 및 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택한다.
예를 들어, 도 8에 도시된 바와 같이, 수직 방향의 블록 경계에서 q0의 화소가 속한 4x4 서브 블록이 인트라 블록이고, 그 인트라 블록의 인트라 예측 방향이 도 7의 4번 모드의 인트라 예측 방향이면, q0의 화소 및 4번 모드의 인트라 예측 방향에 따라 dp3, dp2, dp1, dp0, q0, dq1, dq2, 및 dq3의 화소가 필터링할 화소로 선택된다.
다른 예로, 도 9에 도시된 바와 같이, 수평 방향의 블록 경계에서 q0의 화소가 속한 4x4 서브 블록이 인트라 블록이고, 그 인트라 블록의 인트라 예측 방향이 도 7의 4번 모드의 인트라 예측 방향이면, q0의 화소 및 4번 모드의 인트라 예측 방향에 따라 dp3, dp2, dp1, dp0, q0, dq1, dq2, 및 dq3의 화소가 필터링할 화소로 선택된다.
또 다른 예로, 도 10에 도시된 바와 같이, 수직 방향의 블록 경계에서 q0의 화소가 속한 4x4 서브 블록이 인트라 블록이고, 그 인트라 블록의 인트라 예측 방향이 도 7의 3번 모드의 인트라 예측 방향이면, q0의 화소 및 3번 모드의 인트라 예측 방향에 따라 dp3, dp2, dp1, dp0, q0, dq1, dq2, 및 dq3의 화소가 필터링할 화소로 선택된다.
또 다른 예로, 도 11에 도시된 바와 같이, 수평 방향의 블록 경계에서 q0의 화소가 속한 4x4 서브 블록이 인트라 블록이고, 그 인트라 블록의 인트라 예측 방향이 도 7의 3번 모드의 인트라 예측 방향이면, q0의 화소 및 3번 모드의 인트라 예측 방향에 따라 dp3, dp2, dp1, dp0, q0, dq1, dq2, 및 dq3의 화소가 필터링할 화소로 선택된다.
필터링부(399)는 인트라 예측 방향 확인부(395)에서 확인된 인트라 예측 방향 및 필터링 화소 선택부(397)에서 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행한다. 즉, 필터링부(399)는 확인된 인트라 예측 방향이 사선인 경우, 선택된 화소들간의 화소값의 관계가 하기와 같이 기 설정된 제 1 조건을 만족하면, 해당 사선 방향으로 필터링을 수행한다.
[제 1 조건]
BS>0 && |dp0-q0|<α && |dp1-dp0|<kβ && |dq1-q0|<kβ
제 1 조건에서, α와β는 양자화 파라미터 함수이고, q0 및 dq1은 각각 경계가 수직(또는 수평) 경계일 경우 해당 사선 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, dp0 및 dp1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이고, k는 상수이며, q0는 제 1 화소를 나타낸다.
또한, 필터링부(399)는 선택된 화소들간의 화소값의 관계가 제 1 조건을 만족하지 않으면 기존과 같이 수평 또는 수직 방향으로 필터링을 수행한다.
또한, 필터링부(399)는 인트라 예측 방향 확인부(395)를 통해 확인된 인트라 예측 방향이 사선이 아닌 경우, 즉 도 7의 1번 및 2번 모드와 같이 수직 및 수평 방향인 경우, 필터링 화소 선택부(397)에 의해 선택된 화소들간의 화소값의 관계가 하기와 같이 기 설정된 제 2 조건을 만족하면, 해당 수평 또는 수직 방향으로 필터링을 수행한다.
[제 2 조건]
BS>0 && |p0-q0|<α && |p1-p0|<β && |q1-q0|<β
제 2 조건에서, α와β는 양자화 파라미터 함수이고, q0 및 q1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 수평(또는 수직) 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, p0 및 p1은 각각 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이며, 상기 q0는 상기 제 1 화소를 나타낸다.
또한, 필터링부(399)는 선택된 화소들간의 화소값의 관계가 제 2 조건을 만족하지 않으면 필터링을 수행하지 않고 종료한다.
도 12는 본 발명의 일 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 방법의 흐름도로서, 도 4의 장치에 적용되므로 그 장치의 동작과 함께 설명한다.
본 발명의 실시예는 H.264의 인트라 예측 기법의 방향을 이용할 수 있다. H.264는 블록간의 공간적인 상관관계를 제거하기 위하여 인트라 예측 기법을 도입하였다. 인트라 예측 기법은 현재 부호화하기 위한 블록의 주변 화소를 이용하여 현재 블록의 화소 값들을 예측한다. 도 7는 H.264의 인트라 4x4 모드의 8가지 예측 방법을 보여준다. 여기에 주변 화소의 평균으로 현재 블록을 예측하는 2번 모드(DC)을 추가하여 총 9가지의 예측 방법이 있으며 DC 모드를 제외하면 각각 에지의 방향으로 현재 블록을 예측함을 알 수 있다. 이 중 현재 블록의 에지와 가장 비슷한 방향을 가지고 있는 예측 모드가 최적의 모드로 선택되어 그 방향으로 예측이 이루어지고, 예측된 값과 그 차이 값을 변환, 양자화, 엔트로피 부호화를 수행한다.
본 발명의 실시예에서는 각 블록의 경계마다 에지 방향을 찾지 않고 인트라 예측에서 사용된 에지 방향을 이용하여 인트라 모드에서 선택된 에지 방향으로 디블록킹 필터링을 수행한다. 따라서 본 발명의 실시예는 현재 매크로 블록이 인트라 모드일 경우에 적용될 수 있다. 또한 DC 모드와 수직, 수평 방향 모드에서는 종전의 수직과 수평으로만 필터링 하는 방법과 동일한 방법을 사용하여 필터링을 수행한다.
기본적으로 디블로킹 필터링은 한 매크로블록 단위로 다음의 두 단계를 거쳐서 수행된다. 첫 번째 과정은 도 1에서 보는 것과 같이 수직 방향 블록 경계에 대하여 디블록킹 필터링을 수행하는 과정이고, 두 번째 과정은 도 2에서 보는 것과 같이 수직 방향 블록 경계에서 디블로킹 필터링을 모두 취한 후 수평 방향 블록 경계로 디블록킹 필터링을 수행하는 과정이다. 본 발명에서도 위의 두 과정을 거쳐 수행된다.
도 12는 본 발명에 따라 한 화소에 대하여 디블록킹 필터링을 수행하는 과정을 보여준다. 도 12의 전 과정은 한 매크로블록의 수직 방향의 모든 경계 블록에 적용된 후에 다시 수평 방향의 모든 경계 블록에 적용된다. 도 12의 과정을 자세히 살펴보면 다음과 같다.
먼저, 경계 세기 결정부(391)를 통해 현재 위치의 블록 경계에서 화소들이 속하는 블록의 특성에 따라 경계 세기(Boundary Strength: BS)가 결정된다(S1210). BS는 0과 4사이의 값을 갖고 결정하는 방법의 일 예는 H.264/AVC 표준화 문서에 명시되어 있다.
다음, 인트라 블록 확인부(393)를 통해 블록 경계에서 오른쪽 또는 아래에 존재하는 화소가 속하는 블록이 인트라 블록인지 아닌지를 확인한다(블록 경계가 수직 방향일 경우는 오른쪽 화소, 블록 경계가 수평 방향일 경우는 아래쪽 화소를 확인한다)(S1220).
단계 S1220의 확인 결과, 확인된 블록이 만약 인트라 블록이 아니라면 필터링부(399)는 기존의 디블로킹 필터링 방법으로 현재 화소에 필터링을 수행한다(S1310, S1320).
단계 S1220의 확인 결과, 확인된 블록이 인트라 블록이라면 인트라 예측 방향 확인부(395)는 그 인트라 블록의 인트라 예측 방향을 확인한다(S1230). 블록 경계를 중심으로 오른쪽 또는 아래 화소가 속하는 블록의 인트라 모드로 예측 방향을 결정하는 것은 현재 블록의 왼쪽과 상단의 화소로 현재 블록을 예측하기 때문이다.
단계 S1230의 확인 결과, 만약 인트라 예측 방향이 사선 방향이 아닐 경우(S1240), 예를 들어 도 7의 인트라 4x4 모드에서 0번 모드(수직 방향), 1번 모드(수평 방향), 2번 모드(평균)인 모드일 경우, 필터링부(399)는 기존의 디블록킹 필터링 방법을 사용하여 필터링을 수행한다(S1310, S1320).
단계 S1230의 확인 결과, 만약 인트라 예측 방향이 사선 방향일 경우(S124), 필터링 화소 선택부(397)는 그 사선의 인트라 예측 방향으로 필터링할 화소를 선택한다(S1250). 예를 들어, 필터링 화소 선택부(397)는 현재 화소에서 인트라 4x4모드가 도 7의 4번 모드이면 도 8과 같이 필터링할 화소들 dp3, dp2, dp1, dp0, q0, dq1, dq2, dq3을 선택한다. 이 화소들은 q0를 중심으로 인트라 예측 방향을 가지고 선택된다. 이 8개의 화소들을 선택한 후 상술된 조건 1이 만족하는지를 확인하고(S1260), 만약 만족하지 않는다면 기존 필터링 방법을 사용한다(S1310, S1320).
만약 조건 1을 만족한다면 필터링부(399)는 dp3, dp2, dp1, dp0, q0, dq1, dq2, dq3을 이용하여 디블로킹 필터링을 수행한다. 필터링 계수나 임계값에 의한 필터링 방법은 기존의 H.264/AVC 표준화 문서에 개시되어 있는 방법과 같을 수 있다.
단계 S1310 및 S1320에서 수행되는 기존의 필터링 방법은 다음과 같다. 만약 필터링부(399)는 상술된 조건 2를 만족한다면 필터링을 수행하고(S1310, S1320)), 그렇지 않다면 현재 화소를 실제 에지로 판단하고 필터링을 수행하지 않는다.
단계 S1310 및 S1320에서 수행되는 기존의 필터링 방법은 수직 및 수평 방향으로만 수행하고 그 때의 필터링할 화소들은 p3, p2, p1, p0, q0, q1, q2, q3로 도 5 및 도 6과 같이 표시된다. 이 화소들을 이용하여 H.264/AVC 표준화 문서에 개시되어 있는 방법으로 필터링을 수행한다.
위와 같은 방법으로 본 발명의 실시예에 따른 디블록킹 필터링 방법은 수행되며, 상술된 바와 같이 도 8부터 도 11은 인트라 예측 방향으로 선택된 필터링될 화소들의 예를 보여준다.
도 8의 경우 수직 방향으로 블록 경계가 있고 블록 경계 사이로 오른쪽 화소가 인트라 4x4 모드이고, 그 모드가 4번 모드일 때의 경우를 예를 들었다. 도 8의 경우와 같이 필터링 방향과 인트라 예측 방향이 같음을 알 수 있으며, q0가 결정되면 인트라 예측 방향과 같은 방향으로 dp3, dp2, dp1, dp0, dq1, dq2, dq3이 순차 배열되고 그 방향으로 필터링된다.
도 9의 경우는 수평 방향으로 블록 경계가 있고 블록 경계사이로 아래쪽 화소가 인트라 4x4 모드이고, 그 모드가 4번 모드일 때의 경우를 예를 들었다.
도 10의 경우 수직 방향으로 블록 경계가 있고 블록 경계사이로 오른쪽 화소가 인트라 4x4 모드이고, 그 모드가 3번 모드일 때의 경우를 예를 들었다.
도 11의 경우는 수평 방향으로 블록 경계가 있고 블록 경계사이로 아래쪽 화소가 인트라 4x4 모드이고, 그 모드가 3번 모드일 때의 경우를 예를 들었다.
도 13은 본 발명의 일 실시예에 따른 동영상 복호화 장치의 블록도이다.
본 발명의 일 실시예에 따른 동영상 복호화 장치(1400)는 복호화부(1410), 역양자화부(1420), 역변환부(1430), 예측부(1440), 가산부(1450) 및 디블로킹 필터부(1460)를 포함하여 구성될 수 있다.
이러한 동영상 복호화 장치(1400)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
복호화부(1410)는 비트스트림을 복호화하여 잔차 블록을 추출한다. 즉, 복호화부(1410)는 영상 부호화 장치(200)에 의해 부호화된 영상인 비트스트림을 복호화하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 잔차 블록과 움직임 벡터 및 회전 정보를 추출한다.
역양자화부(1420)는 복호화부(1410)에 의해 추출된 잔차 블록을 역 양자화하고, 역변환부(1430)는 역 양자화된 잔차 블록을 역 변환한다. 여기서, 역 양자화와 역 변환은 각각 도 2를 통해 전술한 역 양자화와 역 변환과 같은 방식으로 역 양자와 역 변환될 수 있다.
예측부(1440)는 복호화부(1410)에서 추출한 움직임 벡터 및 회전 정보를 이용하여 영상의 현재 블록의 회전 움직임을 포함하는 움직임을 보상함으로써 현재 블록을 예측하여 예측 블록을 생성한다.
가산부(1450)는 역변환부(1430)에서 역 변환된 잔차 블록에 예측부(1440)에 의해 예측된 예측 블록을 가산하여 현재 블록을 복원한다.
디블로킹 필터부(1460)는 양자화 과정에서 발생할 수 있는 오차를 줄여 블록 왜곡을 감소시키기 위해, 가산부(1450)에 의해 복원된 현재 블록을 디블로킹 필터링한다. 본 발명의 실시예에 따른 디블로킹 필터부(1460)는 특히 현재 블록의 서브 블록의 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하고, 그 인트라 예측 방향 및 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행한다. 이와 같은 디블록킹 필터부(1460)는 일 예로 도 4의 디블록킹 필터링 장치(390)와 동일하게 구성된다.
가산부(1450)에 의해 복원된 현재 블록은 픽처 단위로 결합되어 복원 영상으로 출력되고, 디블로킹 필터부(1460)에 의해 디블로킹 필터링된 현재 블록은 예측부(1440)에서 다음 픽처를 예측할 때 사용되는 참조 픽처로서 저장될 수 있다.
본 발명의 실시예에 따른 인트라 예측 방향에 기반한 디블록킹 필터링 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로써 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것이다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와 같이, 본 발명은 동영상 부호화 및 복호화 기술 분야에 적용되어, 수직 및 수평 방향의 에지 뿐만 아니라 사선 방향으로 에지가 있는 경우에도, 인트라 예측 방향으로 디블록킹 필터링을 수행하여 블록 간의 경계 부분에서 사선 에지 안의 디블록킹 아티팩트를 제거하는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2008년 10월 23일 한국에 출원한 특허출원번호 제 10-2008-0104021 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (25)

  1. 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정부;
    상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인부;
    상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인부;
    상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택부; 및
    상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링부
    를 포함하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  2. 제 1 항에 있어서,
    상기 필터링부는 상기 확인된 인트라 예측 방향이 사선인 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 1 조건을 만족하면, 상기 사선 방향으로 필터링을 수행하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  3. 제 2 항에 있어서,
    상기 기 설정된 제 1 조건은 BS>0 && |dp0-q0|<α && |dp1-dp0|<kβ && |dq1-q0|<kβ이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 dq1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, dp0 및 dp1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이고, k는 상수이며, 상기 q0는 상기 제 1 화소를 나타내는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  4. 제 2 항에 있어서,
    상기 필터링부는 상기 제 1 조건을 만족하지 않으면 수평 또는 수직 방향으로 필터링을 수행하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  5. 제 1 항에 있어서,
    상기 필터링부는 상기 확인된 인트라 예측 방향이 사선이 아닌 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 2 조건을 만족하면, 수평 또는 수직 방향으로 필터링을 수행하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  6. 제 5 항에 있어서,
    상기 기 설정된 제 2 조건은 BS>0 && |p0-q0|<α && |p1-p0|<β && |q1-q0|<β이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 q1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 수평(또는 수직) 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, p0 및 p1은 각각 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이며, 상기 q0는 상기 제 1 화소를 나타내는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  7. 제 5 항에 있어서,
    상기 필터링부는 상기 제 2 조건을 만족하지 않으면 필터링을 수행하지 않는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 장치.
  8. 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정 단계;
    상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인 단계;
    상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인 단계;
    상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택 단계; 및
    상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링 단계
    를 포함하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  9. 제 8 항에 있어서,
    상기 필터링 단계는 상기 확인된 인트라 예측 방향이 사선인 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 1 조건을 만족하면, 상기 사선 방향으로 필터링을 수행하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  10. 제 9 항에 있어서,
    상기 기 설정된 제 1 조건은 BS>0 && |dp0-q0|<α && |dp1-dp0|<kβ && |dq1-q0|<kβ이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 dq1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, dp0 및 dp1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이고, k는 상수이며, 상기 q0는 상기 제 1 화소를 나타내는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  11. 제 9 항에 있어서,
    상기 필터링 단계는 상기 제 1 조건을 만족하지 않으면 수평 또는 수직 방향으로 필터링을 수행하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  12. 제 8 항에 있어서,
    상기 필터링 단계는 상기 인트라 예측 방향 확인 단계에서 확인된 인트라 예측 방향이 사선이 아닌 경우, 상기 필터링 화소 선택 단계에서 선택된 화소들간의 화소값의 관계가 기 설정된 제 2 조건을 만족하면, 수평 또는 수직 방향으로 필터링을 수행하는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  13. 제 12 항에 있어서,
    상기 기 설정된 제 2 조건은 BS>0 && |p0-q0|<α && |p1-p0|<β && |q1-q0|<β이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 q1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 수평(또는 수직) 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, p0 및 p1은 각각 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이며, 상기 q0는 상기 제 1 화소를 나타내는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  14. 제 12 항에 있어서,
    상기 필터링 단계는 상기 제 2 조건을 만족하지 않으면 필터링을 수행하지 않는 것을 특징으로 하는 인트라 예측 방향에 기반한 디블록킹 필터링 방법.
  15. 영상의 현재 블록을 예측하여 예측 블록을 생성하는 예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔차 블록을 생성하는 감산부;
    상기 잔차 블록을 주파수 영역으로 변환하는 변환부;
    상기 변환된 잔차 블록을 양자화하는 양자화부;
    상기 양자화된 잔차 블록을 부호화하는 부호화부;
    상기 잔차 블록을 역 양자화하는 역양자화부;
    상기 역 양자화된 잔차 블록을 시간축상의 화소 신호를 갖는 잔차 블록으로 역변환하는 역변환부;
    상기 역변환된 잔차 블록에 상기 예측 블록을 가산하여 현재 블록을 복원하는 가산부;
    상기 복원된 현재 블록을 디블로킹 필터링하되, 상기 복원된 현재 블록의 서브 블록의 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하고, 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 디블로킹 필터부
    를 포함하는 것을 특징으로 하는 동영상 부호화 장치.
  16. 제 15 항에 있어서,
    상기 디블로킹 필터부는 상기 인트라 예측 방향이 사선인 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 1 조건을 만족하면 상기 사선 방향으로 필터링을 수행하고, 상기 제 1 조건을 만족하지 않으면 수평 또는 수직 방향으로 필터링을 수행하는 것을 특징으로 하는 동영상 부호화 장치.
  17. 제 16 항에 있어서,
    상기 기 설정된 제 1 조건은 BS>0 && |dp0-q0|<α && |dp1-dp0|<kβ && |dq1-q0|<kβ이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 dq1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, dp0 및 dp1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이고, k는 상수인 것을 특징으로 하는 동영상 부호화 장치.
  18. 제 15 항에 있어서,
    상기 디블로킹 필터부는 상기 인트라 예측 방향이 사선이 아닌 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 2 조건을 만족하면 수평 또는 수직 방향으로 필터링을 수행하고, 상기 제 2 조건을 만족하지 않으면 필터링을 수행하지 않는 것을 특징으로 하는 동영상 부호화 장치.
  19. 제 18 항에 있어서,
    상기 기 설정된 제 2 조건은 BS>0 && |p0-q0|<α && |p1-p0|<β && |q1-q0|<β이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 q1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 수평(또는 수직) 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, p0 및 p1은 각각 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소인 것을 특징으로 하는 동영상 부호화 장치.
  20. 비트스트림을 복호화하여 잔차 블록을 추출하는 복호화부;
    상기 잔차 블록을 역 양자화하는 역양자화부;
    상기 역 양자화된 잔차 블록을 역 변환하는 역변환부;
    현재 블록을 예측하여 예측 블록을 생성하는 예측부;
    상기 역 변환된 잔차 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부; 및
    양자화 과정에서 발생할 수 있는 오차를 줄여 블록 왜곡을 감소시키기 위해, 상기 가산부 의해 복원된 상기 현재 블록을 디블로킹 필터링하되, 상기 현재 블록의 서브 블록의 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하고, 상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 디블로킹 필터부
    를 포함하는 것을 특징으로 하는 동영상 복호화 장치.
  21. 제 20 항에 있어서,
    상기 디블로킹 필터부는 상기 인트라 예측 방향이 사선인 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 1 조건을 만족하면 상기 인트라 예측 방향으로 필터링을 수행하고, 상기 제 1 조건을 만족하지 않으면 수평 또는 수직 방향으로 필터링을 수행하는 것을 특징으로 하는 동영상 복호화 장치.
  22. 제 21 항에 있어서,
    상기 기 설정된 제 1 조건은 BS>0 && |dp0-q0|<α && |dp1-dp0|<kβ && |dq1-q0|<kβ이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 dq1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, dp0 및 dp1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 사선 방향에서 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소이고, k는 상수인 것을 특징으로 하는 동영상 복호화 장치.
  23. 제 20 항에 있어서,
    상기 디블로킹 필터부는 상기 인트라 예측 방향이 사선이 아닌 경우, 상기 선택된 화소들간의 화소값의 관계가 기 설정된 제 2 조건을 만족하면 수평 또는 수직 방향으로 필터링을 수행하고, 상기 제 2 조건을 만족하지 않으면 필터링을 수행하지 않는 것을 특징으로 하는 동영상 복호화 장치.
  24. 제 23 항에 있어서,
    상기 기 설정된 제 2 조건은 BS>0 && |p0-q0|<α && |p1-p0|<β && |q1-q0|<β이며, 여기서 α와β는 양자화 파라미터 함수이고, q0 및 q1은 각각 상기 경계가 수직(또는 수평) 경계일 경우 상기 수평(또는 수직) 방향에서 그 수직(또는 수평) 경계의 우측(또는 아래)의 첫 번째 및 두 번째 화소이고, p0 및 p1은 각각 그 수직(또는 수평) 경계의 좌측(또는 위)의 첫 번째 및 두 번째 화소인 것을 특징으로 하는 동영상 복호화 장치.
  25. 현재 블록의 경계에 대한 세기를 결정하는 경계 세기 결정 기능;
    상기 경계를 기준으로 특정 위치에 존재하는 제 1 화소가 속한 서브 블록이 인트라 블록인가를 확인하는 인트라 블록 확인 기능;
    상기 서브 블록이 인트라 블록일 경우 그 서브 블록에 대한 인트라 예측 방향을 확인하는 인트라 예측 방향 확인 기능;
    상기 제 1 화소 및 상기 확인된 인트라 예측 방향에 근거하여 필터링할 화소들을 선택하는 필터링 화소 선택 기능; 및
    상기 인트라 예측 방향 및 상기 선택된 화소들간의 화소값의 관계에 따라 수평 방향, 수직 방향 또는 사선 방향으로 필터링을 수행하는 필터링 기능
    을 포함하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2009/005965 2008-10-23 2009-10-16 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 WO2010047499A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/125,946 US9264721B2 (en) 2008-10-23 2009-10-16 Video encoding/decoding apparatus, de-blocking filter and filtering method based on intra-prediction directions for same, and recording media

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0104021 2008-10-23
KR1020080104021A KR101590500B1 (ko) 2008-10-23 2008-10-23 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체

Publications (2)

Publication Number Publication Date
WO2010047499A2 true WO2010047499A2 (ko) 2010-04-29
WO2010047499A3 WO2010047499A3 (ko) 2010-07-29

Family

ID=42119813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005965 WO2010047499A2 (ko) 2008-10-23 2009-10-16 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체

Country Status (3)

Country Link
US (1) US9264721B2 (ko)
KR (1) KR101590500B1 (ko)
WO (1) WO2010047499A2 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142603A3 (ko) * 2010-05-12 2012-04-19 에스케이텔레콤 주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
CN103119937A (zh) * 2010-07-20 2013-05-22 Sk电信有限公司 用于解块滤波的方法和装置以及利用该方法和装置进行编码和解码的方法和装置
CN103141096A (zh) * 2010-09-28 2013-06-05 三星电子株式会社 自适应滤波方法和设备
CN103339943A (zh) * 2010-12-08 2013-10-02 Lg电子株式会社 内预测方法及使用该方法的编码装置和解码装置
CN106797466A (zh) * 2014-10-07 2017-05-31 高通股份有限公司 用于帧内块复制的解块滤波
CN106851270A (zh) * 2011-04-25 2017-06-13 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
US10237550B2 (en) 2010-09-30 2019-03-19 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR101663762B1 (ko) 2010-07-20 2016-10-07 에스케이 텔레콤주식회사 다중 예측 필터를 이용하는 경쟁기반 인트라 예측 부호화/복호화 장치 및 방법
KR101826353B1 (ko) * 2010-07-20 2018-02-09 에스케이텔레콤 주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
KR101673025B1 (ko) * 2010-07-22 2016-11-04 에스케이 텔레콤주식회사 전 방위 기반의 인트라 예측 부호화/복호화 장치 및 방법
KR20120012385A (ko) 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
KR101681301B1 (ko) * 2010-08-12 2016-12-01 에스케이 텔레콤주식회사 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101663764B1 (ko) 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
WO2012034113A2 (en) * 2010-09-10 2012-03-15 Stereonics, Inc. Stereoscopic three dimensional projection and display
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
KR101772046B1 (ko) 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
WO2012060663A2 (ko) * 2010-11-04 2012-05-10 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US9432699B2 (en) * 2011-05-18 2016-08-30 Nokia Technologies Oy Methods, apparatuses and computer programs for video coding
CN108391135B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
CN107295341B (zh) * 2011-07-22 2020-02-28 Sk电信有限公司 视频编码方法
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
EP2737704B1 (en) * 2011-09-13 2020-02-19 HFI Innovation Inc. Method and apparatus for reduction of deblocking filter
US9854252B2 (en) * 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
CN105791865B (zh) * 2014-12-22 2020-01-17 江苏省电力公司南京供电公司 帧内预测及去块滤波方法
WO2016129980A1 (ko) * 2015-02-13 2016-08-18 엘지전자(주) 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US20200288146A1 (en) * 2015-08-17 2020-09-10 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017204387A1 (ko) * 2016-05-27 2017-11-30 엘지전자(주) 원본 블록과 예측 블록 내 각 주파수 성분의 상관성을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2018012660A1 (ko) * 2016-07-15 2018-01-18 엘지전자(주) 예측 유닛 분할을 위한 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US10735725B2 (en) * 2016-09-14 2020-08-04 Microsoft Technology Licensing, Llc Boundary-intersection-based deblock filtering
TW201842782A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
TW202423115A (zh) * 2017-04-06 2024-06-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、電腦可讀取之非暫時性的媒體
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
TW201842781A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
KR102351029B1 (ko) * 2017-05-16 2022-01-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
MX2020006500A (es) * 2017-12-29 2020-09-17 Ericsson Telefon Ab L M Metodos que proporcionan codificacion y/o decodificacion de video usando valores de referencia y dispositivos relacionados.
JPWO2019225459A1 (ja) 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
WO2019243498A1 (en) * 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking of video picture boundaries
BR112020026818A2 (pt) 2018-12-07 2021-07-27 Huawei Technologies Co., Ltd. codificador, decodificador e métodos correspondentes de derivação de resistência de limite de filtro de desbloqueio
CN118042169A (zh) 2018-12-13 2024-05-14 Sk电信有限公司 视频编码方法、视频解码方法和发送方法
KR20200073124A (ko) * 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
US11019359B2 (en) * 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation
CN109862371A (zh) 2019-03-12 2019-06-07 北京大学深圳研究生院 一种基于帧内预测的编解码方法、装置及滤波器
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
KR20220049520A (ko) * 2019-08-23 2022-04-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록 또는 서브블록 경계에서의 디블로킹 필터링
CN114125445B (zh) * 2021-06-30 2023-03-24 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050102805A (ko) * 2004-04-23 2005-10-27 엠텍비젼 주식회사 에지 방향성을 고려하여 이미지의 노이즈를 제거하는 방법 및 장치
US20060002476A1 (en) * 2004-07-02 2006-01-05 Samsung Electronics Co., Ltd. Filter for eliminating discontinuity of block-based encoded image, and method thereof
KR20070077955A (ko) * 2006-01-25 2007-07-30 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
JP4559811B2 (ja) * 2004-09-30 2010-10-13 株式会社東芝 情報処理装置及び情報処理方法
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
WO2008056931A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding based on intra prediction
JPWO2009001793A1 (ja) * 2007-06-26 2010-08-26 株式会社東芝 画像符号化と画像復号化の方法及び装置
KR101375664B1 (ko) * 2007-10-29 2014-03-20 삼성전자주식회사 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
KR101051871B1 (ko) * 2009-08-24 2011-07-25 성균관대학교산학협력단 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050102805A (ko) * 2004-04-23 2005-10-27 엠텍비젼 주식회사 에지 방향성을 고려하여 이미지의 노이즈를 제거하는 방법 및 장치
US20060002476A1 (en) * 2004-07-02 2006-01-05 Samsung Electronics Co., Ltd. Filter for eliminating discontinuity of block-based encoded image, and method thereof
KR20070077955A (ko) * 2006-01-25 2007-07-30 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787988B2 (en) 2010-05-12 2017-10-10 Sk Telecom Co., Ltd. Image-filtering method and apparatus, and encoding/decoding method and apparatus using same
US9479791B2 (en) 2010-05-12 2016-10-25 Sk Telecom Co., Ltd. Image-filtering method and apparatus, and encoding/decoding method and apparatus using same
US9532065B2 (en) 2010-05-12 2016-12-27 Sk Telecom Co., Ltd. Image-filtering method and apparatus, and encoding/decoding method and apparatus using same
WO2011142603A3 (ko) * 2010-05-12 2012-04-19 에스케이텔레콤 주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
CN103119937A (zh) * 2010-07-20 2013-05-22 Sk电信有限公司 用于解块滤波的方法和装置以及利用该方法和装置进行编码和解码的方法和装置
US10327011B2 (en) 2010-07-20 2019-06-18 Sk Telecom Co., Ltd. Method and device for deblocking-filtering, and method and device for encoding and decoding using same
CN105163118A (zh) * 2010-07-20 2015-12-16 Sk电信有限公司 用于解码视频信号的解码方法
CN105227958A (zh) * 2010-07-20 2016-01-06 Sk电信有限公司 用于解码视频信号的解码装置
CN103119937B (zh) * 2010-07-20 2016-02-10 Sk电信有限公司 用于解块滤波的方法和装置以及利用该方法和装置进行编码和解码的方法和装置
US9872019B2 (en) 2010-07-20 2018-01-16 Sk Telecom Co., Ltd. Method and device for deblocking-filtering, and method and device for encoding and decoding using same
CN103141096A (zh) * 2010-09-28 2013-06-05 三星电子株式会社 自适应滤波方法和设备
US9344716B2 (en) 2010-09-28 2016-05-17 Samsung Electronics Co., Ltd. Adaptive filtering method and apparatus
US10237550B2 (en) 2010-09-30 2019-03-19 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US10237551B2 (en) 2010-09-30 2019-03-19 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US10291939B2 (en) 2010-09-30 2019-05-14 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US10244264B2 (en) 2010-09-30 2019-03-26 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US10244233B2 (en) 2010-09-30 2019-03-26 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US10785487B2 (en) 2010-12-08 2020-09-22 Lg Electronics Inc. Intra prediction in image processing
CN107197257B (zh) * 2010-12-08 2020-09-08 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法
US11677961B2 (en) 2010-12-08 2023-06-13 Lg Electronics Inc. Intra prediction method and encoding apparatus and decoding apparatus using same
US9832472B2 (en) 2010-12-08 2017-11-28 Lg Electronics, Inc. Intra prediction in image processing
US11102491B2 (en) 2010-12-08 2021-08-24 Lg Electronics Inc. Intra prediction in image processing
US10812808B2 (en) 2010-12-08 2020-10-20 Lg Electronics Inc. Intra prediction method and encoding apparatus and decoding apparatus using same
CN107197257A (zh) * 2010-12-08 2017-09-22 Lg 电子株式会社 内预测方法及使用该方法的编码装置和解码装置
CN103339943A (zh) * 2010-12-08 2013-10-02 Lg电子株式会社 内预测方法及使用该方法的编码装置和解码装置
US9661332B2 (en) 2010-12-08 2017-05-23 Lg Electronics Inc. Intra prediction in image processing
US10469844B2 (en) 2010-12-08 2019-11-05 Lg Electronics Inc. Intra prediction in image processing
US10645415B2 (en) 2011-04-25 2020-05-05 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
CN106851270B (zh) * 2011-04-25 2020-08-28 Lg电子株式会社 执行帧内预测的编码设备和解码设备
CN107071412B (zh) * 2011-04-25 2020-08-28 Lg电子株式会社 由编码设备和解码设备执行的帧内预测方法
US10368090B2 (en) 2011-04-25 2019-07-30 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
CN107071412A (zh) * 2011-04-25 2017-08-18 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
US11006146B2 (en) 2011-04-25 2021-05-11 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
CN106851270A (zh) * 2011-04-25 2017-06-13 Lg电子株式会社 帧内预测方法以及使用该方法的编码器和解码器
US11910010B2 (en) 2011-04-25 2024-02-20 Lg Electronics Inc. Intra-prediction method, and encoder and decoder using same
CN106797466B (zh) * 2014-10-07 2019-04-23 高通股份有限公司 一种处理视频数据的方法及装置
CN106797466A (zh) * 2014-10-07 2017-05-31 高通股份有限公司 用于帧内块复制的解块滤波

Also Published As

Publication number Publication date
KR20100045007A (ko) 2010-05-03
US20110200103A1 (en) 2011-08-18
KR101590500B1 (ko) 2016-02-01
WO2010047499A3 (ko) 2010-07-29
US9264721B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
WO2010047499A2 (ko) 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에 기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
WO2011145836A2 (ko) 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011016678A2 (en) Apparatus and method for deblocking filtering image data and video decoding apparatus and method using the same
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012074248A2 (ko) 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2012091461A2 (ko) 주변블록의 특징벡터를 이용한 영상 부호화/복호화 방법 및 장치
WO2010087620A2 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2015047039A1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
WO2012011744A2 (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
WO2018070556A1 (ko) 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
WO2012011683A2 (ko) 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
WO2010093146A2 (ko) 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09822175

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13125946

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16/08/11)

122 Ep: pct application non-entry in european phase

Ref document number: 09822175

Country of ref document: EP

Kind code of ref document: A2