WO2014065624A1 - 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치 - Google Patents

스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치 Download PDF

Info

Publication number
WO2014065624A1
WO2014065624A1 PCT/KR2013/009557 KR2013009557W WO2014065624A1 WO 2014065624 A1 WO2014065624 A1 WO 2014065624A1 KR 2013009557 W KR2013009557 W KR 2013009557W WO 2014065624 A1 WO2014065624 A1 WO 2014065624A1
Authority
WO
WIPO (PCT)
Prior art keywords
filtering
block
image
boundary
strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/009557
Other languages
English (en)
French (fr)
Inventor
신승호
김기문
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN201380055803.0A priority Critical patent/CN104756492A/zh
Publication of WO2014065624A1 publication Critical patent/WO2014065624A1/ko
Anticipated expiration legal-status Critical
Priority to US14/697,554 priority patent/US20150245024A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • Embodiments of the present invention relate to a method and apparatus for deblocking filtering a second image from encoding information of a first image in stereoscopic video. More specifically, the present invention relates to a deblocking filtering method and apparatus for efficiently removing a blocking phenomenon of a stereoscopic video image in a low specification or low band video transmission environment.
  • the technique of the existing deblocking filter is applied to the edges of all 4x4 block boundaries of the frame. It is executed based on the macroblock, and uses the pixel values of the top and left of the current macroblock, and separates the luminance and chrominance components. Filtering is first performed at the vertical boundary of each macroblock, and then filtering is performed from top to bottom on the horizontal edge. In general, the luminance component is done at four 16 pixel edges and the chrominance component is done at two eight pixel edges.
  • Deblocking filtering techniques can significantly improve the subjective quality of the video and thus increase the compression efficiency.
  • due to its high complexity it is becoming a bottleneck for video compression.
  • the larger the resolution the more difficult the real-time processing is.
  • the computational speed can hardly be expected. For this reason, there are cases where deliberate deblocking is not used, which leads to a very fatal deterioration over time.
  • left and right images and two images constitute one frame, which requires theoretically twice the amount of data and encoding operations compared to general 2D video.
  • an efficient encoding method is required to prevent the degradation of image quality while simultaneously reducing the complexity of implementation.
  • an embodiment of the present invention has a main object to efficiently remove a blocking phenomenon of a stereoscopic video image in a low specification or low band video transmission environment.
  • different filtering is applied to the left and right images based on human visual characteristics according to the temporal / spatial complexity of the image, thereby improving the filtering speed by reducing the complexity and calculation amount, and subjective / objective more than equivalent to existing methods.
  • the purpose is to preserve image quality.
  • An embodiment of the present invention to achieve the above object, in an apparatus for deblocking filtering the second image from the encoding information for the first image in stereoscopic video, the current block for the first image from the bitstream And an encoding information obtaining unit obtaining encoding information about an adjacent block.
  • a block mode determination unit that determines a block mode pair that is a block mode of a current block of the first image and a block mode of an adjacent block from the encoded information;
  • a boundary condition determination unit that determines a boundary condition between the current block and the adjacent block from the encoded information;
  • a filtering strength determiner for determining a filtering strength according to the block mode pair and the boundary condition;
  • a filtering unit which filters a boundary pixel adjacent to a boundary between a current block and an adjacent block with respect to the second image according to the filtering strength.
  • the deblocking filtering device may further include a filtering pixel determining unit configured to determine the number of boundary pixels to be filtered according to the filtering intensity, and the filtering unit may filter the number of boundary pixels according to the filtering intensity.
  • the deblocking filtering device may further include a filtering pixel determining unit configured to determine the number of input pixels participating in the filtering according to the filtering strength, and the filtering unit may filter the boundary pixels according to the filtering strength and the number. .
  • the deblocking filtering device may further include a filtering pixel determining unit configured to determine the number of input pixels participating in the filtering and the number of boundary pixels to be filtered according to the filtering strength, and the filtering unit may include the filtering strength and the number of the input pixels. And the boundary pixel according to the number of the boundary pixels.
  • the filtering strength may have the maximum filtering strength when the length of the boundary between the current block and the neighboring block for the first image is equal to the length of one side of the maximum block size.
  • the filtering strength may have the minimum filtering strength when the length of the boundary between the current block and the neighboring block for the first image is equal to the length of one side of the minimum block size.
  • an embodiment of the present invention is a method for deblocking and filtering a second image from encoding information of a first image in stereoscopic video, the current block for the first image from a bitstream And encoding information obtaining coded information about the adjacent block.
  • the deblocking filtering method may further include a filtering pixel determining process of determining the number of input pixels participating in the filtering and the number of boundary pixels to be filtered according to the filtering intensity, wherein the filtering step includes the filtering intensity and the input pixel.
  • the boundary pixels may be filtered according to the number of and the number of boundary pixels.
  • the filtering strength has the maximum filtering strength, and the current block and the neighboring block for the first image have the adjacent length.
  • the filtering strength may have the minimum filtering strength.
  • the deblocking filtering method of the right image is simplified compared to the deblocking filtering method of the left image based on human visual characteristics according to the temporal / spatial complexity of the image.
  • the speed of deblocking filtering can be improved and subjective / objective picture quality more than comparable with the existing method can be preserved.
  • FIG. 1 is a block diagram schematically illustrating a deblocking filtering device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating various examples of block mode pairs of a current block and an adjacent block.
  • 3 is a diagram illustrating an example of deblocking filtering for a current block.
  • FIG. 4 is a flowchart illustrating a deblocking filtering method according to an embodiment of the present invention.
  • FIG. 1 is a block diagram schematically illustrating a deblocking filtering device according to an embodiment of the present invention.
  • the deblocking filtering device 100 includes the encoding information obtaining unit 110, the block mode determining unit 120, the boundary condition determining unit 130, the filtering strength determining unit 140, and the filtering pixel. It may be configured to include a determiner 150 and the filtering unit 160. In the present embodiment, the deblocking filtering device 100 may include the encoding information obtaining unit 110, the block mode determining unit 120, the boundary condition determining unit 130, the filtering strength determining unit 140, and the filtering pixel determining unit 150. ) And the filtering unit 160, but the present invention is merely illustrative of the technical idea of the present embodiment, and a person having ordinary knowledge in the technical field to which the present embodiment belongs is essential to the present embodiment. Various modifications and variations to the components included in the deblocking filtering device 100 may be applied without departing from the characteristics.
  • the deblocking filtering device 100 is a device for deblocking and filtering a second image from encoding information of a first image in a stereoscopic image.
  • the deblocking filtering apparatus 100 assumes that the first image is a left-view image and the second image. This is assumed to be a right-view image.
  • An encoding stage eg, a broadcasting station encoding apparatus
  • An encoding stage that generates a stereoscopic image encodes the stereoscopic image and transmits it in the form of a bitstream
  • a decoding apparatus of the receiving end that receives the transmitted bitstream through a wired / wireless medium is left from the bitstream.
  • the video and the right video are decoded and output as the video.
  • the decoder reconstructs the residual block through inverse quantization and inverse transformation from the received bitstream, obtains information about the prediction from the bitstream, generates a prediction block, and then sums the reconstructed residual block and the prediction block to restore the original block.
  • deblocking filtering is performed to remove many blocking phenomena included in the restored original block.
  • the stereoscopic image is composed of a left image and a right image.
  • the encoded bitstream also includes encoding information about the left image and encoding information about the right image, and the decoding apparatus decodes the left image and the right image, respectively, using the transmitted bitstream.
  • the filtering process is performed in three stages: determination of boundary strength, filter decision, and filter implementation.
  • the boundary strength determination is to determine the strength of filtering
  • the filter determination is a step of determining boundary sampling by examining adjacent pixels. After the filtering step, the pixel value from which the final block distortion is removed is output.
  • the filtering of the left image is performed according to the conventional art, and the filtering of the right image is performed by the following process.
  • the conventional process used for filtering the left image includes boundary strength according to various criteria such as whether the encoding mode of the current block and the neighboring block uses intra prediction, whether it is a boundary of a macroblock, whether or not it has a transform coefficient, etc.
  • Deblocking parameter of is determined to mean that the filtering according to the method. Since the conventional deblocking filtering method is well known, a detailed description thereof will be omitted.
  • the encoding information obtaining unit 110 obtains encoding information of the current block and the neighboring block for the left image from the bitstream.
  • the meaning of the current block for the left image means a block of the left image at the same position in time as the current block of the right image to be decoded. Therefore, unless otherwise stated, the meaning of the current block of the left image means a block having the same position in time as the current block of the right image to be decoded.
  • the data transmitted in the bitstream includes encoding information of the left image and encoding information of the right image constituting the stereoscopic image. Since the deblocking filtering occurs between the current block and the left block, and between the current block and the upper block, the encoding information obtained by the encoding information obtaining unit 110 is determined by the size and position of the adjacent left adjacent image of the current block of the left image. The size and position of the adjacent upper neighboring image of the current block of the left image are included.
  • FIG. 2 is a diagram illustrating various examples of block mode pairs of a current block and an adjacent block.
  • FIG. 2 illustrates various examples according to changes in the size of an adjacent block of a left image when the block mode of the current block of the left image is 16 ⁇ 16.
  • a small square represents a 4 ⁇ 4 size.
  • the block mode determination unit 120 determines a block mode pair that is a block mode of a current block of the left image and a block mode of an adjacent block from the obtained encoding information.
  • the block mode means a unit of a block to be decoded.
  • the block mode has various modes such as 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, and 4x4.
  • an adjacent block means an adjacent block in a direction to deblock kill filtering. Therefore, it becomes a left image or an upper image of the current block.
  • the boundary condition determination unit 130 determines the boundary condition of the current block and the adjacent block of the left image from the encoding information. That is, it is determined how many pixels are in the boundary area between the current block and the adjacent block of the left image.
  • the filtering strength determiner 140 determines the filtering strength of the right image according to the block mode pair and the boundary condition of the left image.
  • Table 1 is a table illustrating the filtering strength determined according to the block mode pairs and boundary conditions.
  • p denotes an adjacent block of the left image current block
  • q denotes a current block of the left image.
  • Table 1 divides the boundary between blocks into four categories, Flat, Simple, Normal, and Complex, based on the types of adjacent blocks and human visual characteristics. Gives filter strength.
  • the current block and the neighboring block for the left image may vary according to the block mode indicating the length of the boundary adjacent to each other and the block size.
  • the filtering intensity of the right image has the maximum filtering strength
  • the current block and the adjacent block for the left image are If the length of the border adjacent to each other is equal to the length of one side of the minimum block size, the filtering strength of the right image can be configured to have the minimum filtering strength. If the length of one side of the size and the length of one side of the minimum block size, the filtering strength of the right image is configured so that the current block and the adjacent block for the left image depend on the length of the boundary adjacent to each other and the block mode indicating the block size. You may.
  • the filtering mode is defined. Becomes 4 (maximum filtering strength).
  • the MB mode means that the block mode is one of 16x16, 16x8, 8x16, and 8x8. That is, it means that the size of the block is more than the predetermined size.
  • 2B illustrates an example in which the filtering strength is three. That is, as shown in the condition that the filtering intensity of Table 1 is 3, it can be seen that both blocks are MB mode and the number of pixels placed on adjacent block boundaries is eight.
  • FIG. 2C illustrates an example in which the filtering strength is two. That is, as shown in the condition that the filtering strength of Table 1 is 2, it can be seen that at least one of the two blocks is not MB mode, but the number of pixels placed on adjacent block boundaries is eight.
  • FIG. 2D illustrates an example in which the filtering strength becomes 1.
  • FIG. 2 illustrates some examples of possible cases, and the block mode of the current block of the left image may be various sizes, not necessarily 16 ⁇ 16.
  • the larger the size of the current block or the adjacent block for the left image the greater the filtering strength.
  • the visual characteristics of the human according to the complexity of the image are more sensitive to the block discontinuity of the flat and simple area than the complex area. According to the human visual characteristics, the larger the size of the coding block, the smaller the complexity of the image. Therefore, the filtering intensity is increased to remove discontinuities as much as possible.
  • 3 is a diagram illustrating an example of deblocking filtering for a current block.
  • the filtering pixel determiner 150 determines the number of input pixels participating in the filtering and the number of boundary pixels to be filtered according to the determined filtering strength.
  • the number of input pixels participating in the filtering means the number of pixels used for filtering.
  • the FIR filter Finite Impulse Response Filter
  • q0, p0, p1, and q1 are used to generate q0 'which is a result of deblocking filtering of q0.
  • the number of boundary pixels to be filtered means how many pixels are filtered inside the block around the boundary, that is, whether to filter only p0 and q0 or to p0, p1, q0 and q1 in FIG. do.
  • the filtering pixel determining unit 150 may use a method of determining the number of input pixels participating in the filtering according to the filtering strength while the number of boundary pixels to be filtered is determined, and the input pixels participating in the filtering. The number of times may be used to determine the number of boundary pixels to be filtered according to the filtering strength in a predetermined state.
  • the filtering pixel determination unit 150 may be filtered by the filtering unit 160 which will be described later by using the preset number of boundary pixels to be filtered and the number of input pixels participating in the filtering.
  • the filtering unit 160 filters the boundary pixels adjacent to the boundary between the current block of the right image and the adjacent block of the right image according to the filtering strength. As described above, the deblocking filtering is performed using the number of boundary pixels to be filtered or the number of input pixels participating in the filtering, which are determined according to predetermined or filtering strengths.
  • the residual signal of the left image is restored from the bitstream transmitted from the encoding apparatus, the prediction block is added to generate a prefiltered image, and the generated prefiltered image is filtered to complete decoding of the left image.
  • the deblocking filtering is performed by using the encoding information of the left image (referred to as encoding information but may be referred to as decoding information since decoding is performed using the encoding information).
  • restoration of the right image is completed.
  • the subjective image quality of the image is basically secured as much as possible using the existing deblocking filtering method in the left image, and the simple and complex regions are determined in the variable block unit in the right image. Determining the filter mode by dividing, applying the strong filtering in the simple and low-movement area to reduce the block distortion as much as possible, and applying the weak filtering in the moving and complex area to protect the edge of the real object, thereby making the subjective picture quality of the image. Further improve.
  • FIG. 4 is a flowchart illustrating a deblocking filtering method according to an embodiment of the present invention.
  • an encoding information obtaining process (S410) of obtaining encoding information about a current block and an adjacent block for the left image from a bitstream, and encoding
  • a block mode determination process of determining a block mode pair that is a block mode of a current block and a neighboring block of a left image from information (S420), and a boundary condition determination process of determining a boundary condition between a current block and the adjacent block from encoded information (S430), the filtering strength determination process for determining the filtering strength according to the block mode pair and the boundary condition (S440), the filtering pixel to determine the number of input pixels participating in the filtering and the number of boundary pixels to be filtered according to the filtering strength And a filtering process (S460) for filtering the boundary pixels according to the filtering strength, the number of input pixels, and the number of boundary pixels.
  • S410 a block mode determination process of determining a block mode pair that is a block mode of a current block and a neighboring block of a left image from information
  • the process S440, the filtering pixel determination process S450, and the filtering process S460 for filtering the boundary pixels may include encoding information acquisition unit 110, block mode determination unit 120, boundary condition determination unit 130, Since the filtering strength determiner 140, the filtering pixel determiner 150, and the filter 160 correspond to the operations of the filter, the detailed description thereof will be omitted.
  • the present invention is useful because it has the effect of efficiently removing the blocking phenomenon of the stereoscopic video image in a low specification or low band video transmission environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치에 관한 것이다. 본 발명의 실시예는, 비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정; 상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정; 상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정; 상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정; 및 상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링과정을 포함하는 디블록킹 필터링방법 및 그 장치를 제공한다.

Description

스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
본 발명의 실시예는 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹 현상을 효율적으로 제거하고자 하는 디블록킹 필터링 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
기존 디블록킹 필터의 기술은 프레임의 모든 4×4 블록 경계의 에지(Edge)에 적용된다. 매크로블록 기반으로 실행되고, 현재 매크로블록의 위와 왼쪽의 화소값을 이용하며, 휘도와 색차 성분을 분리해서 처리한다. 각 매크로블록의 수직 경계면에서 먼저 필터링이 수행되고 수평적인 에지에 대해 위에서 아래로 필터링이 수행된다. 일반적으로 휘도 성분은 4개의 16화소 에지들에 행해지고 색차성분은 2개의 8화소 에지들에 행해진다.
디블록킹 필터링 기술은 비디오의 주관적 품질을 상당히 개선시켜 압축 효율을 증대시킬 수 있다. 하지만 구현복잡도가 높아 비디오 압축 시 바틀넥(Bottle-neck)이 되고 있다. 영상의 해상도(Resolution)가 커질수록 실시간 처리에 어려움이 있으며, 스테레오스코픽 비디오 영상과 같이 좌, 우 2장의 영상을 동시에 처리하는 경우에는 연산고속화를 거의 기대할 수 없다. 이런 이유로, 일부러 디블록킹을 사용하지 않는 경우도 있는데 이는 시간이 지날수록 매우 치명적인 화질열화를 가져온다.
스테레오스코픽 비디오는 좌영상과 우영상, 2장의 영상이 하나의 프레임을 구성하기 때문에 일반적인 2D 비디오에 비해 이론적으로 2배의 데이터량과 부호화 연산이 필요하다. Mobile Phone과 같은 저사양/저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 전송을 위해서는 구현 복잡도를 줄이면서 화질저하를 동시에 막을 수 있는 효율적인 부호화 방법이 필요하다.
이러한 문제점을 해결하기 위해 본 발명의 실시예는, 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹 현상을 효율적으로 제거하고자 하는 데에 주된 목적이 있다.
또한, 영상의 시간적/공간적 복잡도에 따라 인간의 시각특성을 기반으로 좌영상과 우영상에 서로 다른 필터링을 적용함으로써 구현복잡도 및 연산량 감소를 통해 필터링의 속도를 향상시키고 기존방법 대비 동등 이상의 주관적/객관적 화질을 보존하는 데에도 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 장치에 있어서, 비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득부; 상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단부; 상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단부; 상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정부; 및 상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링부를 포함하는 것을 특징으로 하는 디블록킹 필터링장치를 제공한다.
상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고, 상기 필터링부는 상기 필터링세기에 따라 상기 갯수의 경계화소를 필터링할 수 있다.
상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고, 상기 필터링부는 상기 필터링세기 및 상기 갯수에 따라 상기 경계화소를 필터링할 수 있다.
상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고, 상기 필터링부는 상기 필터링세기, 상기 입력화소의 갯수 및 상기 경계화소의 갯수에 따라 상기 경계화소를 필터링할 수 있다.
상기 제1영상에 대한 현재블록 또는 인접블록의 크기가 클수록 상기 필터링세기는 큰 값을 가질 수 있다.
상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 가질 수 있다.
상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 가질 수 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법에 있어서, 비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정; 상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정; 상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정; 상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정; 및 상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링과정을 포함하는 것을 특징으로 하는 디블록킹 필터링방법을 제공한다.
상기 디블록킹 필터링방법은, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정과정을 더 포함하고, 상기 필터링단계에서는 상기 필터링세기, 상기 입력화소의 갯수 및 상기 경계화소의 갯수에 따라 상기 경계화소를 필터링할 수 있다.
상기 제1영상에 대한 현재블록과 인접블록 사이의 복잡도가 클수록 상기 필터링세기는 큰 값을 가질 수 있다.
상기 제1영상에 대한 현재블록 및 인접블록이 인접한 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 갖고, 상기 제1영상에 대한 현재블록 및 인접블록이 인접한 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 가질 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹 현상을 효율적으로 제거하고자 하는 효과가 있다.
또한, 영상의 시간적/공간적 복잡도에 따라 인간의 시각특성을 기반으로 좌영상의 디블록킹 필터링 방법에 비해 우영상의 디블록킹 필터링 방법을 단순화함으로써 복호화장치에서 전체 디블록킹 필터링 연산의 구현복잡도 및 연산량 감소를 통해 디블록킹 필터링의 속도를 향상시키고 기존방법 대비 동등 이상의 주관적/객관적 화질을 보존할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디블록킹 필터링장치를 간략하게 나타낸 블럭도이다.
도 2는 현재블록과 인접블록의 블록모드쌍의 다양한 예를 도시한 도면이다.
도 3은 현재 블록에 대한 디블록킹 필터링의 예를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디블록킹 필터링 방법을 도시한 흐름도이다.
도 1은 본 발명의 일 실시예에 따른 디블록킹 필터링장치를 간략하게 나타낸 블럭도이다.
본 발명의 일 실시예에 따른 디블록킹 필터링장치(100)는 부호화정보 획득부(110), 블록모드 판단부(120), 경계조건 판단부(130), 필터링세기 결정부(140), 필터링화소 결정부(150) 및 필터링부(160)를 포함하여 구성될 수 있다. 본 실시예에서 디블록킹 필터링장치(100)가 부호화정보 획득부(110), 블록모드 판단부(120), 경계조건 판단부(130), 필터링세기 결정부(140), 필터링화소 결정부(150) 및 필터링부(160)를 포함하여 구성하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 디블록킹 필터링장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
디블록킹 필터링장치(100)는 스테레오스코픽 영상에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 장치로서, 여기서 제1영상을 좌영상(Left-view Image)이라 가정하고 제2영상을 우영상(Right-view Image)이라 가정하여 설명한다.
스테레오스코픽 영상을 생성하는 부호화단(예컨대, 방송국의 부호화장치)에서는 스테레오스코픽 영상을 부호화하여 비트스트림 형태로 전송하고, 전송된 비트스트림을 유무선 매체를 통하여 수신한 수신단의 복호화장치는 비트스트림으로부터 좌영상 및 우영상을 복호화하여 영상으로 출력한다.
복호화장치는 수신한 비트스트림으로부터 역양자화 및 역변환을 통하여 잔차블록을 복원하고 비트스트림으로부터 예측에 대한 정보를 획득하여 예측블록을 생성한 후 복원된 잔차블록과 예측블록을 합산하여 원본블록을 복원한다. 여기서 복원된 원본블록에 포함되는 많은 블록킹 현상을 제거하기 위하여 디블록킹 필터링을 수행한다. 여기서 스테레오스코픽 영상에는 좌영상과 우영상으로 구성된다. 따라서 부호화된 비트스트림에도 좌영상에 대한 부호화정보 및 우영상에 대한 부호화정보가 포함되며, 복호화장치에서는 전송된 비트스트림을 이용하여 좌영상과 우영상을 각각 복호화한다.
한편, 필터링의 처리는 경계세기(Boundary Strength) 결정, 필터결정(Filter Decision), 필터링수행(Filter Implementation)의 3단계로 진행된다.
여기서 경계세기 결정이란 필터링의 세기를 결정하는 것이고, 필터결정은 인접 화소들을 조사하여 경계 샘플링(Sampling)을 결정하는 단계이다. 그리고 필터링 수행 단계를 거쳐 최종 블록왜곡 현상이 제거된 화소값이 출력된다.
좌영상의 필터링은 기존 종래의 기술에 맞춰 진행되고, 우영상의 필터링은 아래의 과정으로 수행된다. 여기서 좌영상의 필터링에 사용되는 종래의 과정이란, 현재블록 및 인접블록의 부호화모드가 인트라 예측을 사용하는지 여부, 매크로블록의 경계인지 여부, 변환계수를 가지는 지여부 등 다양한 기준에 따라 경계세기 등의 디블록킹 파라미터가 결정되어 이에 따른 방법으로 필터링을 수행하는 것을 의미한다. 이러한 종래의 디블록킹 필터링 방법은 공지된 사항이므로 상세한 설명은 생략한다.
부호화정보 획득부(110)는 비트스트림으로부터 좌영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득한다. 여기서 좌영상에 대한 현재블록의 의미는 복호화하고자 하는 우영상의 현재블록과 시간적으로 동일한 위치의 좌영상의 블록을 의미한다. 따라서, 별도의 설명이 없는 한 좌영상의 현재블록의 의미는 복호화하고자 하는 우영상의 현재블록과 시간적으로 동일한 위치의 블록을 의미한다.
비트스트림으로 전송된 데이터에는 스테레오스코픽 영상을 구성하는 좌영상에 대한 부호화정보와 우영상에 대한 부호화정보가 포함된다. 디블록킹 필터링이 현재블록과 좌측블록 사이와, 현재블록과 상측블록 사이에 발생하므로, 부호화정보 획득부(110)에서 획득하는 부호화정보는 좌영상의 현재블록의 인접한 좌측 인접영상의 크기와 위치와, 좌영상의 현재블록의 인접한 상측 인접영상의 크기와 위치를 포함한다.
도 2는 현재블록과 인접블록의 블록모드쌍의 다양한 예를 도시한 도면이다. 도 2는 좌영상의 현재블록의 블록모드가 16×16인 경우, 좌영상의 인접블록의 크기의 변화에 따른 다양한 예를 도시한 것이다. 참고로, 도 2에서 작은 정사각형 하나가 4×4 크기를 나타낸다.
블록모드 판단부(120)는 획득한 부호화정보로부터 좌영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단한다. 여기서 블록모드라는 의미는 복호화되는 블록의 단위를 의미한다. 예를 들어, 블록모드에는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등의 다양한 모드가 있다. 또한, 인접블록이란 디블록킬 필터링하고자 하는 방향의 인접블록을 의미한다. 따라서 현재블록의 좌측영상 또는 상측 영상이 된다.
경계조건 판단부(130)는 부호화정보로부터 좌영상의 현재블록과 인접블록의 경계조건을 판단한다. 즉, 좌영상의 현재블록과 인접블록이 인접한 경계영역에 화소수가 몇개인지를 판단한다.
필터링세기 결정부(140)는 좌영상의 블록모드쌍 및 경계조건에 따라 우영상의 필터링세기를 결정한다.
표 1은 블록모드쌍 및 경계조건에 따라 결정되는 필터링세기를 예시한 표이다. 표 1에서 p는 좌영상 현재블록의 인접블록을 의미하고, q는 좌영상의 현재블록을 의미한다.
표 1은 인접블록의 유형, 인간의 시각특성에 기반하여 블록간 경계를 평탄(Flat), 단순(Simple), 보통(Normal), 복잡(Complex)등의 4가지로 구분한 것으로서 그에 따른 서로 다른 필터세기를 부여한다.
표 1에서 도시하듯이, 좌영상에 대한 현재블록(q)과 인접블록(p) 사이의 복잡도가 클수록 우영상의 필터링세기는 큰 값을 갖는다.
표 1
Figure PCTKR2013009557-appb-T000001
표 1에서 나타낸 바와 같이, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이, 및 블록 사이즈를 나타내는 블록모드에 따라 달라질 수 있다.
또한, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 우영상의 필터링세기는 최대 필터링세기를 갖고, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 우영상의 필터링세기는 최소 필터링세기를 갖도록 구성할 수 있으며, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 최소 블록사이즈의 한 변의 길이 사이인 경우 우영상의 필터링세기는 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이, 및 블록 사이즈를 나타내는 블록모드에 따라 달라지도록 구성할 수도 있다.
예컨대 표 1에서, p와 q의 블록모드가 모두 MB(MacroBlock)모드이고, 경계영역의 화소수(경계조건)가 16개(즉, 최대 블록사이즈의 한 변의 길이)이면 필터링세기(Filter Mode)는 4(최대 필터링세기)가 된다. 여기서 MB모드인 경우는 블록모드가 16×16, 16×8, 8×16, 8×8 중에서 하나인 경우를 의미한다. 즉, 블록의 크기가 기설정된 크기 이상인 것을 의미한다.
필터링세기가 4가 되는 경우의 예는 도 2의 (a)에 나타낸 바와 같다. 즉, p와 q의 블록모드가 모두 MB 모드이고 서로 인접한 경계화소의 개수가 16개임을 알 수 있다.
도 2의 (b)는 필터링세기가 3이 되는 경우의 예시한 것이다. 즉, 표 1의 필터링세기가 3인 조건과 같이, 두 블록이 모두 MB모드이고 서로 인접한 블록 경계에 놓인 화소수가 8개임을 알 수 있다.
도 2의 (c)는 필터링세기가 2가 되는 경우의 예시한 것이다. 즉, 표 1의 필터링세기가 2인 조건과 같이, 두 블록 중 최소 하나가 MB모드가 아니고 서로 인접한 블록 경계에 놓인 화소수가 8개임을 알 수 있다.
도 2의 (d)는 필터링세기가 1이 되는 경우의 예시한 것이다. 즉, 표 1의 필터링세기가 1인 조건과 같이, 두 블록 중 최소 하나가 MB모드가 아니고 서로 인접한 블록 경계에 놓인 화소수가 4개임을 알 수 있다.
도 2에 도시한 예는 발생가능한 경우 중 일부 예를 도시한 것이며, 좌영상의 현재블록의 블록모드가 반드시 16×16이 아니라 다양한 크기가 될 수 있다.
또한, 표 1 및 도 2에 도시되듯이, 좌영상에 대한 현재블록 또는 인접블록의 크기가 클수록 필터링세기는 큰 값을 갖는다. 영상의 복잡도에 따른 인간의 시각특성은 복잡한 영역보다 평탄하고 단순한 영역의 불록 불연속에 더욱 민감하게 작용한다. 이러한 인간의 시각 특성에 따라서 부호화블록의 크기가 클수록 영상은 복잡도가 적은 것을 의미하므로 필터링세기를 크게 하여 불연속을 가능한 한 제거하고, 부호화블록의 크기가 작을수록 영상의 복잡도가 큰 것이므로 필터링 세기를 작게 하여 불연속을 적게 제거하는 방식으로 필터링을 한다.
도 3은 현재 블록에 대한 디블록킹 필터링의 예를 예시한 도면이다.
필터링화소 결정부(150)는 결정된 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정한다. 여기서 필터링에 참여하는 입력화소의 갯수는 필터링을 위하여 사용되는 화소의 갯수를 의미한다. 예를 들어, 도 3에서 수직방향의 필터링을 수행하는 경우, q0의 디블록킹을 위하여 FIR필터(Finite Impulse Response Filter)를 사용하는 경우 탭의 수를 의미한다. 예를 들어, 4탭 FIR필터를 사용하는 경우, q0를 디블록킹 필터링한 결과인 q0'을 생성하는 경우 q0, p0, p1, q1을 사용한다.
필터링될 경계화소의 갯수는 경계면을 중심으로 블록내부로 몇화소까지 필터링하는 지를 의미한다, 즉, 도 3에서 p0, q0 만을 필터링할지, 또는 p0, p1, q0, q1까지 필터링할지 여부 등을 의미한다.
실시예에 따라서, 필터링화소 결정부(150)는 필터링될 경계화소의 갯수는 정해진 상태에서 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수를 결정하는 방법을 사용할 수도 있고, 필터링에 참여하는 입력화소의 갯수는 정해진 상태에서 필터링세기에 따라 필터링될 경계화소의 갯수를 결정하는 방법을 사용할 수도 있다.
또한, 필터링화소 결정부(150)가 사용되지 않는 경우에는 기설정된 필터링될 경계화소의 갯수 및 필터링에 참여하는 입력화소의 갯수를 이용하여 후술되는 필터링부(160)에 의해 필터링될 수 있다.
필터링부(160)는 필터링세기에 따라 우영상의 현재블록과 우영상의 인접블록 사이의 경계에 인접하는 경계화소를 필터링한다. 전술하였듯이, 기설정되거나 혹은 필터링세기에 따라 결정되는 필터링될 경계화소의 갯수 및 필터링에 참여하는 입력화소의 갯수를 이용하여 디블록킹 필터링을 수행한다.
이와 같이, 부호화장치로부터 전송된 비트스트림으로부터 좌영상의 잔차신호를 복원하고 예측블록을 가산하여 프리필터링 영상을 생성하고 생성된 프리필터링 영상에 필터링을 수행하여 좌영상의 복호화를 완료하고, 우영상에 프리필터링 영상을 복원한 후 좌영상의 부호화정보(부호화정보라 칭하였으나 부호화정보를 이용하여 복호화를 하므로 복호화정보라 칭해도 무방함)를 이용하여 디블록킬 필터링을 수행하면 복호화하고자 하는 좌영상 및 우영상의 복원이 완료된다. 좌영상 및 우영상에 대한 복원이 완료되면 이 두 영상을 시간적으로 합성함으로써 복원하고자 하는 스테레오스코픽 영상이 복원되어 디스플레이 된다.
전술하였듯이, 좌영상의 프리필터링 영상을 디블록킹 필터링을 하는 경우에는 좌영상의 현재블록 및 인접블록의 인트라예측인지 여부, 매트로블록의 경계인지 여부, 변환의 경계인지 여부, 변환계수의 존재여부 등 다양한 기준을 부호화정보로부터 획득해야 하므로 연산에 시간이 많이 걸린다. 반면에 우영상의 경우에는 우영상의 디블록킹 필터링에 참여하는 블록의 위치에 대응되는 좌영상의 현재블록과 인접블록의 블록 사이즈 및 위치만 파악하면 되므로 필터링 세기를 연산하는데 걸리는 시간이 대폭 단축된다.
이와 같이 좌영상과 우영상의 디블록킹 필터링 방법을 분리함으로써, 좌영상에서는 기존 디블록킹 필터링 방법을 이용하여 최대한 영상의 주관적 화질을 기본적으로 확보하고 우영상에서는 가변블록 단위로 단순영역과 복잡영역을 구분하여 필터모드를 결정하고, 단순하고 움직임이 적은 영역에서는 강한 필터링을 적용하여 블록왜곡 현상을 최대한 감소시키고, 움직임이 많고 복잡한 영역에서는 약한 필터링을 적용하여 실제 사물의 에지를 보호함으로써 영상의 주관적 화질을 추가적으로 향상시킨다.
도 4는 본 발명의 일 실시예에 따른 디블록킹 필터링 방법을 도시한 흐름도이다.
도 4에 도시한 바와 같이 본 발명의 일 실시예에 따른 디블록킹 필터링 방법은, 비트스트림으로부터 상기 좌영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정(S410), 부호화정보로부터 좌영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정(S420), 부호화정보로부터 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정(S430), 블록모드쌍 및 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정(S440), 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정과정(S450), 및 필터링세기, 입력화소의 갯수 및 경계화소의 갯수에 따라 경계화소를 필터링하는 필터링과정(S460)을 포함하여 구현될 수 있다.
여기서, 부호화정보를 획득하는 부호화정보 획득과정(S410), 블록모드쌍을 판단하는 블록모드 판단과정(S420), 경계조건을 판단하는 경계조건 판단과정(S430), 필터링세기를 결정하는 필터링세기 결정과정(S440), 필터링화소 결정과정(S450) 및 경계화소를 필터링하는 필터링과정(S460)은, 각각 부호화정보 획득부(110), 블록모드 판단부(120), 경계조건 판단부(130), 필터링세기 결정부(140), 필터링화소 결정부(150) 및 필터링부(160)의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이, 본 발명은 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹현상을 효율적으로 제거하고자 하는 효과가 있어 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 10월 25일 한국에 출원한 특허출원번호 제 10-2012-0119260 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (11)

  1. 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 장치에 있어서,
    비트스트림으로부터 상기 제1영상의 현재블록의 블록모드 및 상기 인접블록의 블록모드를 판단하는 블록모드 판단부;
    상기 비트스트림으로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단부;
    상기 제1영상의 현재블록의 블록모드, 상기 인접블록의 블록모드 및 상기 경계조건 중 적어도 하나에 따라 필터링세기를 결정하는 필터링세기 결정부; 및
    상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링부
    를 포함하는 것을 특징으로 하는 디블록킹 필터링장치.
  2. 제 1항에 있어서,
    상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하는 것을 특징으로 하는 디블록킹 필터링장치.
  3. 제 1항에 있어서,
    상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하는 것을 특징으로 하는 디블록킹 필터링장치.
  4. 제 1항에 있어서,
    상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하는 것을 특징으로 하는 디블록킹 필터링장치.
  5. 제 1항에 있어서,
    상기 제1영상에 대한 현재블록 또는 인접블록의 크기가 클수록 상기 필터링세기는 큰 값을 갖는 것을 특징으로 하는 디블록킹 필터링장치.
  6. 제 1항에 있어서,
    상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 갖는 것을 특징으로 하는 디블록킹 필터링장치.
  7. 제 1항에 있어서,
    상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 갖는 것을 특징으로 하는 디블록킹 필터링장치.
  8. 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법에 있어서,
    비트스트림으로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드를 판단하는 블록모드 판단과정;
    상기 비트스트림으로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정;
    상기 제1영상의 현재블록의 블록모드, 상기 인접블록의 블록모드 및 상기 경계조건 중 적어도 하나에 따라 필터링세기를 결정하는 필터링세기 결정과정; 및
    상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링과정
    을 포함하는 것을 특징으로 하는 디블록킹 필터링방법.
  9. 제 8항에 있어서,
    상기 디블록킹 필터링방법은, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정과정을 더 포함하는 것을 특징으로 하는 디블록킹 필터링방법.
  10. 제 8항에 있어서,
    상기 제1영상에 대한 현재블록과 인접블록 사이의 복잡도가 클수록 상기 필터링세기는 큰 값을 갖는 것을 특징으로 하는 디블록킹 필터링방법.
  11. 제 7항에 있어서,
    상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 갖고, 상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 갖는 것을 특징으로 하는 디블록킹 필터링방법.
PCT/KR2013/009557 2012-10-25 2013-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치 Ceased WO2014065624A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380055803.0A CN104756492A (zh) 2012-10-25 2013-10-25 根据关于立体视频中的第一图像的编码信息对第二图像解块滤波的方法和装置
US14/697,554 US20150245024A1 (en) 2012-10-25 2015-04-27 Method and apparatus for deblocking-filtering second image from encoding information on first image in stereoscopic video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120119260A KR20140053448A (ko) 2012-10-25 2012-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
KR10-2012-0119260 2012-10-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/697,554 Continuation US20150245024A1 (en) 2012-10-25 2015-04-27 Method and apparatus for deblocking-filtering second image from encoding information on first image in stereoscopic video

Publications (1)

Publication Number Publication Date
WO2014065624A1 true WO2014065624A1 (ko) 2014-05-01

Family

ID=50544924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009557 Ceased WO2014065624A1 (ko) 2012-10-25 2013-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치

Country Status (4)

Country Link
US (1) US20150245024A1 (ko)
KR (1) KR20140053448A (ko)
CN (1) CN104756492A (ko)
WO (1) WO2014065624A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
CN106170093B (zh) * 2016-08-25 2020-01-07 上海交通大学 一种帧内预测性能提升编码方法
US10735725B2 (en) 2016-09-14 2020-08-04 Microsoft Technology Licensing, Llc Boundary-intersection-based deblock filtering
US12034977B2 (en) * 2018-06-28 2024-07-09 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream
CN113302943B (zh) * 2019-02-11 2023-01-06 华为技术有限公司 用于环绕视图视频编解码的方法、设备、装置及存储介质
CN114584790B (zh) * 2022-01-21 2024-05-17 百果园技术(新加坡)有限公司 一种视频亮度滤波方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100013277A (ko) * 2008-07-30 2010-02-09 삼성전자주식회사 디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치
KR20110021445A (ko) * 2009-08-26 2011-03-04 성균관대학교산학협력단 디블럭킹 필터링 방법
KR20120010177A (ko) * 2010-07-20 2012-02-02 에스케이 텔레콤주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
WO2012118421A1 (en) * 2011-03-01 2012-09-07 Telefonaktiebolaget L M Ericsson (Publ) Deblocking filtering control

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628823B2 (en) * 2006-01-09 2017-04-18 Thomson Licensing Dtv Method and apparatus for providing reduced resolution update mode for multi-view video coding
WO2012012444A2 (en) * 2010-07-19 2012-01-26 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100013277A (ko) * 2008-07-30 2010-02-09 삼성전자주식회사 디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치
KR20110021445A (ko) * 2009-08-26 2011-03-04 성균관대학교산학협력단 디블럭킹 필터링 방법
KR20120010177A (ko) * 2010-07-20 2012-02-02 에스케이 텔레콤주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
WO2012118421A1 (en) * 2011-03-01 2012-09-07 Telefonaktiebolaget L M Ericsson (Publ) Deblocking filtering control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEUNGHO SHIN ET AL.: "Enhanced H.264/AVC Deblocking Filter for Steroscopic Video Coding in Mobile Broadcasting", IEEE INTERNATION CONFERENCE ON CONSUMER ELECTRONICS (ICCE), 2011, LAS VEGAS, pages 133 - 134 *

Also Published As

Publication number Publication date
US20150245024A1 (en) 2015-08-27
KR20140053448A (ko) 2014-05-08
CN104756492A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
TWI418218B (zh) 用於基於區塊之數位視訊之解塊及邊緣增強之方法、裝置、電子元件、電腦可讀媒體及處理器
CN101207817B (zh) 边界滤波强度的推导过程和使用其的去块滤波方法及装置
WO2011139121A2 (ko) 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US11153562B2 (en) Method and apparatus of advanced deblocking filter in video coding
JP6242385B2 (ja) サンプルアダプティブオフセット情報（ＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔＩｎｆｏｒｍａｔｉｏｎ）の符号化の方法と装置
EP1972151B1 (en) Method and apparatus for providing adaptation of deblocking filtering for multiview video coding
KR101433501B1 (ko) 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법
KR101238974B1 (ko) 비디오 코더 및 디코더 공동 최적화를 위한 방법 및 시스템
US11882276B2 (en) Method and apparatus for signaling adaptive loop filter parameters in video coding
WO2011016678A2 (en) Apparatus and method for deblocking filtering image data and video decoding apparatus and method using the same
CN114731419A (zh) 视频编解码中于画面和次画面边界的适应性环内滤波方法和装置
WO2011140960A1 (en) Method and apparatus for adaptive loop filtering
KR102758423B1 (ko) 적응형 교차 성분 필터링을 위한 방법 및 시스템
KR20140053448A (ko) 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
WO2013133627A1 (ko) 비디오 신호 처리 방법
WO2021137445A1 (ko) 비디오 신호 처리를 위한 변환 커널 결정 방법 및 이를 위한 장치
WO2014171709A1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
CN105141967B (zh) 基于恰可觉察失真模型的快速自适应环路滤波方法
CN105245905B (zh) 一种用于并行结构的多视点视频编码强滤波实现方法
WO2013162272A1 (ko) 비디오 신호 처리 방법 및 장치
AU2022386662A1 (en) Initialization processing for video coding
CN105847839B (zh) 一种用于阵列结构的多视点视频编码强滤波实现方法
Del Corso et al. MNR: A novel approach to correct MPEG temporal distortions
WO2021187855A1 (en) Method and apparatus for video encoding and decoding
AU2017202177B2 (en) Image Processing Device and Image Processing Method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13849175

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13849175

Country of ref document: EP

Kind code of ref document: A1