KR20130078320A - Method and device for encoding depth image - Google Patents
Method and device for encoding depth image Download PDFInfo
- Publication number
- KR20130078320A KR20130078320A KR1020110147191A KR20110147191A KR20130078320A KR 20130078320 A KR20130078320 A KR 20130078320A KR 1020110147191 A KR1020110147191 A KR 1020110147191A KR 20110147191 A KR20110147191 A KR 20110147191A KR 20130078320 A KR20130078320 A KR 20130078320A
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- screen
- prediction
- unit
- filtering
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 깊이 영상 부호화 방법 및 장치에 대한 것이다. 더욱 상세하게는 본 발명은, 깊이 영상의 특성을 고려한 인트라 예측과 필터링 구성에 의해 깊이 영상에 대한 효과적인 부호화가 가능한 깊이 영상 부호화 방법 및 장치에 대한 것이다.The present invention relates to a depth image encoding method and apparatus. More specifically, the present invention relates to a depth image encoding method and apparatus capable of effective encoding of a depth image by intra prediction and filtering schemes considering characteristics of the depth image.
최근 방송과 통신을 위한 정보처리 기술이 빠르게 발전함에 따라 차세대 방송 서비스에 대한 관심이 높아지고 있다. 이와 관련하여 기존의 2차원 영상과 차별되는 실감나는 3차원 입체 영상을 제공하기 위하여 스테레오 영상(stereoscopic video)과 다시점 영상(multi-view video, MVC) 등에 대한 연구가 진행되고 있다. 또한, 사용자가 원하는 임의의 시점에서의 영상을 제공하는 FTV(Free-viewpoint TV)에 대한 연구도 진행되고 있다. Recently, as information processing technology for broadcasting and communication is rapidly developed, interest in the next generation broadcasting service is increasing. In this regard, studies on stereoscopic video and multi-view video (MVC) have been conducted to provide realistic 3D stereoscopic images that are differentiated from existing 2D images. In addition, research on free-viewpoint TV (FTV), which provides an image at any point desired by a user, is also in progress.
이러한 기술들에 있어서 깊이 영상(depth image)은 영상의 합성이나 다시점 영상의 생성 또는 중간 시점에 대한 영상 생성시 효과적으로 이용될 수 있다. 깊이 영상은 컬러 영상과는 달리 텍스쳐 정보가 아닌 객체의 깊이 정보와 윤곽선 정보를 가지고 있다. 깊이 영상의 특징 중 하나는 대부분의 영역은 깊이 값이 완만하게 변화하며 경계 영역에서 깊이 값이 급격하게 변화한다는 것이다. In such techniques, a depth image may be effectively used when synthesizing an image, generating a multiview image, or generating an image for an intermediate view. Unlike a color image, a depth image has depth information and contour information of an object, not texture information. One of the characteristics of the depth image is that the depth value changes slowly in most areas, and the depth value changes abruptly in the boundary area.
한편, 최근 영상 부호화 기술로 HEVC(High Efficiency Video Coding) 기술이 개발되고 있다. HEVC는 압축 성능 측면에서 기존 H.264/AVC 표준 기술의 약 40% 정도의 부호화 효율 향상을 보이고 있으며 H.264/AVC 대비 2배 이상의 부호화 효율을 달성하는 것이 최종 목표로서 현재 표준화가 진행중이다. Meanwhile, HEVC (High Efficiency Video Coding) technology has recently been developed as an image coding technology. In terms of compression performance, HEVC shows about 40% improvement in coding efficiency compared to the existing H.264 / AVC standard technology, and standardization is currently underway as the final goal is to achieve coding efficiency more than twice that of H.264 / AVC.
그런데, 깊이 영상의 상기와 같은 특징으로 인해 컬러 영상에 대한 부호화 방법을 그대로 적용하는 경우 압축 성능에 문제가 발생하는바, 깊이 영상에 대한 효율적인 부호화 방법이 요구된다. However, when the encoding method for the color image is applied due to the above characteristics of the depth image, a problem occurs in compression performance. Therefore, an efficient encoding method for the depth image is required.
본 발명은 상기와 같은 문제점을 해결하기 위하여 깊이 영상에 대한 효율적인 부호화를 수행하는 깊이 영상 부호화 방법 및 장치를 제공하는 것을 그 목적으로 한다. An object of the present invention is to provide a depth image encoding method and apparatus for performing efficient encoding on a depth image in order to solve the above problems.
본 발명은 상기한 과제를 해결하기 위하여, 본 발명은 인트라 예측부, 인터 예측부, 변환부, 양자화부, 필터부, 및 엔트로피 코딩부를 포함하는 깊이 영상의 부호화 장치에 있어서, 상기 필터부는, 블록화 현상을 제거하는 디블록킹 필터와, 상기 디블록킹 필터를 통과한 화면과 상기 디블록킹 필터를 통과하지 않은 화면의 가중합 화면에 대한 비용과, 상기 디블록킹 필터를 통과한 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 필터 분류부와, 상기 필터 분류부에 의해 분류된 방식에 따라 필터링을 수행하는 복수의 분류 필터를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 장치를 제공한다. In order to solve the above problems, the present invention provides an intra prediction unit, an inter prediction unit, a transform unit, a quantization unit, a filter unit, and an entropy coding unit. The cost of the deblocking filter for removing the phenomenon, the weighted summation screen of the screen which passed the deblocking filter and the screen which did not pass the deblocking filter, and the cost of the screen which passed the deblocking filter were calculated. A filter classification unit for classifying a filtering scheme and a plurality of classification filters for performing filtering according to the classification classified by the filter classification unit are provided.
상기 필터 분류부는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류하도록 구성될 수 있다. The filter classifier may be configured to classify the filtering scheme in consideration of the number of coefficient sets for correcting errors occurring in the reconstructed screen.
바람직하게는, 상기 비용은 비트율 왜곡값을 기준으로 한다. Preferably, the cost is based on the bit rate distortion value.
또한, 상기 인트라 예측부는 평면 예측에 의해 예측을 수행하며, 상기 평면 예측은 수직 방향 및 수평 방향에 따른 방향성을 갖도록 설정될 수 있다. In addition, the intra prediction unit performs prediction by plane prediction, and the plane prediction may be set to have directionality in the vertical direction and the horizontal direction.
또한, 본 발명은, 인트라 예측 및 인터 예측을 포함하는 깊이 영상에 대한 부호화 방법에 있어서, 상기 인터 예측을 수행하기 위하여 변환 및 양자화된 화면을 복원한 후 필터링하는 단계는, (a) 입력된 화면에 대한 디블록킹 필터링을 수행하는 단계; (b) 상기 입력된 화면과 상기 디블록킹 필터링된 화면을 가중합하여 가중합 화면을 생성하는 단계; (c) 상기 입력된 화면과 상기 가중합된 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 단계; 및 (d) 분류된 상기 필터링 방식에 따라 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 방법을 제공한다. The present invention also provides a method for encoding a depth image including intra prediction and inter prediction, wherein reconstructing and transforming a transformed and quantized screen to perform the inter prediction comprises: (a) an input screen; Performing deblocking filtering for; generating a weighted sum screen by weighting the input screen and the deblocking filtered screen; (c) classifying a filtering method by calculating a cost for the input screen and the weighted screen; And (d) performing filtering according to the classified filtering schemes.
일 실시예에 있어서, 상기 (c) 단계는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류한다. In one embodiment, step (c) classifies the filtering scheme in consideration of the number of coefficient sets for correcting errors occurring in the reconstructed picture.
또한, 상기 인트라 예측은, 평면 예측에 의해 예측이 수행되며, 상기 평면 예측은 수직 방향 및 수평 방향에 따른 방향성을 갖도록 설정될 수 있다. In addition, the intra prediction may be performed by plane prediction, and the plane prediction may be set to have directionality in the vertical direction and the horizontal direction.
본 발명에 의하면, 깊이 영상의 특성에 맞는 인트라 예측 방법과 깊이 영상에 효율적인 필터 구성에 의하여 부호화 효율을 향상시킬 수 있다.According to the present invention, the coding efficiency can be improved by an intra prediction method that matches the characteristics of the depth image and an efficient filter configuration for the depth image.
도 1은 HEVC 부호화기의 구조를 도시한 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수직 방향 평면 예측 방법을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수평 방향 평면 예측 방법을 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서, 필터부의 구성을 도시한 블록도이다. 1 is a diagram illustrating the structure of an HEVC encoder.
2 is a diagram illustrating a vertical plane prediction method of an intra predictor in a depth image encoding apparatus according to an exemplary embodiment of the present invention.
3 is a diagram illustrating a horizontal plane prediction method of an intra predictor in a depth image encoding apparatus according to an exemplary embodiment of the present invention.
4 is a block diagram illustrating a configuration of a filter unit in a depth image encoding apparatus according to an exemplary embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
본 발명에 따른 깊이 영상의 부호화 방법을 설명함에 앞서, HEVC에 대하여 간략히 설명한다. Prior to describing a method of encoding a depth image according to the present invention, HEVC will be briefly described.
HEVC 부호화기는 기본 부호화 단위인 정사각형의 코딩 유닛(CU : Coding Unit)을 사용하여 부호화하며, 예측 기본 단위로는 예측 유닛(PU : Prediction Unit)을 이용하여 여러 개의 블록으로 분할되어 예측에 사용된다. 예측 후에는 변환 및 양자화를 위한 기본 단위인 변환 유닛(TU : Transform Unit)을 이용하여 부호화를 수행한다. 예측 방법으로는 화면간 상관도를 이용하는 인트라(intra) 모드와 화면간의 시간적 상관도를 기본으로 하는 인터(inter) 모드가 있다. HEVC에서는 정확도를 개선하기 위해 인트라 모드시 최대 34가지 방향성을 고려하는 것이 제안되었다. 또한, 기존의 디블록킹 필터(deblocking filter)의 성능을 보완하기 위해 적응적 루프 필터(ALF : Adaptive Loop Filter)를 사용하여 주관적 화질 향상을 고려하였다. The HEVC encoder is encoded using a square coding unit (CU) as a basic coding unit, and is divided into a plurality of blocks using a prediction unit (PU) as a prediction basic unit and used for prediction. After prediction, encoding is performed using a transform unit (TU), which is a basic unit for transform and quantization. Prediction methods include an intra mode using inter-screen correlations and an inter mode based on temporal correlations between screens. In HEVC, it is proposed to consider up to 34 orientations in intra mode to improve accuracy. In addition, in order to complement the performance of the existing deblocking filter, the subjective picture quality improvement is considered by using an adaptive loop filter (ALF).
도 1은 HEVC 부호화기의 구조를 도시한 도면이다. 1 is a diagram illustrating the structure of an HEVC encoder.
HEVC 부호화기(100)는 인트라 예측부(120), 인터 예측부(130), 변환부(140), 양자화부(150), 역양자화 및 역변환부(160), 필터부(180), 및 엔트로피 코딩부(190)를 포함한다. The
인트라 예측부(120)는 입력 영상의 블록을 부호화하기 위하여 공간적으로 인접한 픽셀 값을 이용하여 부호화하고자 하는 블록을 예측 부호화한다. HEVC에서는 부호화 효율을 향상시키기 위하여 다양한 기술들이 제안되었는데, 그 중에서도 인트라 예측에 관해서 많은 제안이 이루어졌다. HEVC에서는 평면 예측(planar prediction)과 각 예측(angular prediction)이 채용되었다. 방향성이 있는 블록을 부호화함에 있어서 각 예측은 매우 효과적이다. The
인터 예측부(130)는 이전 영상의 부호화 정보에 기초하여 입력 영상을 예측한다. 인터 예측부(130)는 움직임 예측부(132)와 움직임 보상부(134)를 포함한다. The
차분부(110)는 현재 블록에서 예측 블록을 감산하여 차분 블록을 생성한다. The
변환부(140)는 차분부(110)에서 생성된 차분 블록을 이산 코사인 변환(DCT : Discrete Cosine Transform)하고, 양자화부(150)는 이산 코사인 변환된 값을 양자화하여 양자화된 변환 계수를 생성한다. The
엔트로피 코딩부(190)는 양자화된 변환계수, 움직임 벡터 등의 부호화 정보를 엔트로피 부호화한다. 부호화된 정보는 비트스트림에 삽입되어 복호화 장치로 전송될 수 있다. The
역양자화 및 역변환부(160)는 양자화부(150)에서 양자화된 차분 블록을 다음에 부호화되는 영상의 예측에 이용하기 위해 역양양자화하고, 역이산 코사인 변환하여 부호화 이전의 차분 블록을 복원한다. The inverse quantization and
가산부(170)는 복원된 차분 블록과 인트라 예측부(120)에서 생성된 예측 블록을 가산하여 부호화 이전의 현재 블록을 복원한다. The
필터부(180)는 복원된 영상에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(deblocking filter) 및 적응적 루프 필터(ALF, Adaptive Loop Filter)로 구성될 수 있다. The
현재까지 제안된 HEVC에서는 기본 부호화 단위인 CU의 단위를 최대 64×64에서 최소 8×8까지 구분하고 있다. 각 CU는 split_flag를 이용하여 CU의 추가 여부를 판단한다. 부호화 과정에서는 다양한 크기의 CU 중에서 최적의 크기를 결정하기 위해 비트율 왜곡값(rate-distortion cost, RD cost)을 이용한다. 결정된 하나의 CU를 통해 예측을 위한 단위인 PU를 여러 개의 블록으로 분할하여 인트라와 인터 모드 예측을 수행한 후 TU를 이용하여 변환 및 양자화를 수행한다. In the HEVC proposed up to now, the unit of a CU, which is a basic coding unit, is divided from a maximum of 64 × 64 to a minimum of 8 × 8. Each CU determines whether to add a CU using split_flag. In the encoding process, a rate-distortion cost (RD cost) is used to determine an optimal size among CUs having various sizes. Intra and inter mode prediction is performed by dividing a PU, which is a unit for prediction, into a plurality of blocks through the determined CU, and then transform and quantization is performed using a TU.
필터부(180)와 관련하여, 디블록킹 필터와 적응적 루프 필터는 양자화 및 컴퓨터의 소수 계산 오차 등으로 발생하는 정보의 손실을 줄이기 위하여 복원된 영상에 적응적으로 필터링을 수행하는 기술이다. In relation to the
디블록킹 필터는 부호화 과정에서 DCT(discrete cosine transform) 적용 후 고주파 영역을 일부 제거함으로써 발생하는 블록화 현상(blocking artifact)의 효과를 제거하여 주관적 화질을 향상시킨다. 상세 정보를 유지하면서 블록화 현상의 효과를 제거하기 위하여, 두 개의 CU 사이에서 모든 경계에 대해 경계 강도(Boundary strength : Bs) 파라미터가 할당된다. 필터링 조건이 만족되면, 디블록킹 필터링이 수행된다. 만약 경계 강도가 0이면, 필터링 과정은 이루어지지 않는다. 그렇지 않으면 에지에 대한 필터링이 수행된다.The deblocking filter improves subjective picture quality by removing the effects of blocking artifacts caused by removing a part of the high frequency region after applying a discrete cosine transform (DCT) during the encoding process. In order to remove the effect of the blocking phenomenon while maintaining the detailed information, a boundary strength (Bs) parameter is assigned to every boundary between the two CUs. If the filtering condition is satisfied, deblocking filtering is performed. If the boundary strength is zero, no filtering is performed. Otherwise filtering on the edge is performed.
ALF는 디블록킹 필터링 과정 이후의 복원된 영상에 대해 적응적 필터를 적용하여 최종적인 복호된 영상을 출력한다. ALF는 원영상과 복원된 영상간의 차이를 최소화시키는 필터를 설계 및 적용하여 부호화 과정에서 손실되는 정보를 일부 복구할 수 있다. ALF에서 최적 필터를 설계함에 있어서는 Wiener 필터를 기반으로 하는 것이 종래 알려져 있다. The ALF applies an adaptive filter to the reconstructed image after the deblocking filtering process and outputs the final decoded image. The ALF can recover some information lost in the encoding process by designing and applying a filter that minimizes the difference between the original image and the reconstructed image. In designing an optimal filter in the ALF, it is conventionally known to be based on a Wiener filter.
그런데, 깊이 영상의 경우 화면의 대부분의 영역은 점진적으로 변화하거고 경계 영역을 제외하고는 균일하다는 특징이 있다. 경계 영역은 에지 부분에서 급격하게 변화한다. 디블록킹 필터는 주관적인 화질에 대해서는 이점이 있으나 RD 비용(RD cost)의 관점에서는 비효율적이다. 한편, 디블록킹 필터링 이후에 ALF는 프레임을 재구성하기 위해 적용되고, 각 과정은 CU에 대해 수행된다. 각각의 CU는 쿼드 트리 기반 구조(Quad tree-based structure)로 구성되고 각각에 대해 최적화를 수행한다. ALF 필터 플래그가 온(on)일 때, HEVC에서는 16개의 계수 세트를 지수 골롬 코드(exponential golomb code)로서 부호화한다. 그러나 16개의 계수 세트는, 하나의 계수 세트로도 깊이 영상의 부호화에 충분한 경우에는 과다하게 적용되는 결과가 된다. However, in the case of the depth image, most of the area of the screen is gradually changed and uniform except for the boundary area. The boundary region changes abruptly at the edge portion. Deblocking filters have advantages for subjective picture quality but are inefficient in terms of RD cost. On the other hand, after deblocking filtering, ALF is applied to reconstruct a frame, and each process is performed for a CU. Each CU consists of a quad tree-based structure and performs optimization for each. When the ALF filter flag is on, HEVC encodes 16 sets of coefficients as exponential golomb codes. However, the 16 coefficient sets are excessively applied when even one coefficient set is sufficient for encoding the depth image.
한편, 깊이 영상은 수평 방향이나 수직 방향으로 점진적인 값의 변화를 갖고 있다. 깊이 영상에 포함된 특정 객체의 경우, 그 객체에 해당하는 픽셀들은 같은 거리 정보를 갖고 있기 때문에 거의 변화가 없다. HEVC에서는 인트라 예측을 위해 다양한 각 예측(angular prediction) 모드를 제공하나 이는 텍스쳐 영상의 시퀀스에 최적화된 것으로서 깊이 영상의 시퀀스에 대해서는 비효율적이다. On the other hand, the depth image has a gradual change in the horizontal direction or the vertical direction. In the case of a specific object included in the depth image, the pixels corresponding to the object have almost the same distance because they have the same distance information. HEVC provides various angular prediction modes for intra prediction, but it is optimized for a sequence of texture images and is inefficient for a sequence of depth images.
본 발명은 상기와 같은 기존의 HEVC에서의 인트라 예측 방법과 필터링 방법을 깊이 영상에 대해 최적화하기 위한 것으로서, 본 발명에 따른 깊이 영상의 부호화 방법 및 장치를 이하에서 보다 구체적으로 설명한다. The present invention is to optimize the above-described intra prediction method and filtering method in the HEVC with respect to the depth image, a method and apparatus for encoding a depth image according to the present invention will be described in detail below.
본 발명에 따른 깊이 영상 부호화 장치는 도 1에 도시된 바와 같은 부호화기의 기본 구성을 그대로 채용하되, 인트라 예측부(120)의 인트라 예측 및 필터부(180)의 구성을 깊이 영상에 적절하게 개선한 것을 특징으로 한다. 다만, 도 1에 있어서는 HEVC 부호화기(100)를 예시하였으나, 본 발명은 HEVC 부호화기(100)뿐만 아니라 HEVC 부호화기(100)와 동등하거나 유사한 부호화기에 대해서도 적용될 수 있음은 물론이다. The depth image encoding apparatus according to the present invention adopts the basic configuration of the encoder as shown in FIG. 1, but improves the configuration of the intra prediction and
도 2는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수직 방향 평면 예측 방법을 도시한 도면이고, 도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수평 방향 평면 예측 방법을 도시한 도면이다. 2 is a diagram illustrating a vertical plane prediction method of an intra predictor in a depth image encoding apparatus according to a preferred embodiment of the present invention, and FIG. 3 is an intra prediction in a depth image encoding apparatus according to a preferred embodiment of the present invention. It is a figure which shows the negative horizontal direction prediction method.
본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서, 인트라 예측부(120)는 평면 예측, 보다 구체적으로는 방향성 평면 예측(directional planar prediction) 방법을 사용하는 것을 특징으로 한다. 바람직하게는, 방향성 평면 예측에 있어서의 방향성은 수직 및 수평 방향을 채택한다. 이는 깊이 영상의 CU에 있어서 각 픽셀은 수직 방향과 수평 방향에 대해 점진적인 변화를 나타내는 특징을 고려한 것이다. In the depth image encoding apparatus according to the preferred embodiment of the present invention, the
도 2와 도 3에 있어서, 블록의 크기를 n×n이라 하고, l번째 행의 k번째 열의 픽셀에 대한 값을 Pixel(l,k)로 표시하여 수직 방향 및 수평 방향에 대한 평면 예측 방법을 설명한다. In FIGS. 2 and 3, the size of the block is n × n, and the value for the pixel in the k-th column of the l-th row is expressed as Pixel (l, k) to provide a planar prediction method for the vertical direction and the horizontal direction. Explain.
도 2의 (a)를 참조하여 설명하면, 마지막 행, 즉 n번째 행에 속한 픽셀의 값은 해당 열의 첫 번째 행의 값과 마지막 행의 첫 번째 열의 값의 차를 이용하여 예측될 수 있으며, 수학식 1과 같이 표시될 수 있다. Referring to FIG. 2A, the value of a pixel belonging to the last row, that is, the nth row, may be predicted using a difference between the value of the first row of the corresponding column and the value of the first column of the last row. It may be represented as in
도 2의 (b)를 참조하여 설명하면, l번째 행과 k번째 열의 픽셀의 값은 다음의 수학식 2와 같이 예측될 수 있다.Referring to FIG. 2B, the pixel values of the l-th row and the k-th column may be predicted as in Equation 2 below.
도 3의 (a)를 참조하여 설명하면, 마지막 열, 즉 n번째 열에 속한 픽셀의 값은 해당 행의 첫 번째 열의 값과 마지막 열의 첫 번째 행의 값의 차를 이용하여 예측될 수 있으며, 수학식 3과 같이 표시될 수 있다. Referring to FIG. 3A, the value of a pixel belonging to the last column, that is, the nth column, may be predicted using a difference between the value of the first column of the corresponding row and the value of the first row of the last column. It can be expressed as Equation 3.
도 3의 (b)를 참조하여 설명하면, l번째 행과 k번째 열의 픽셀의 값은 다음의 수학식 3과 같이 예측될 수 있다.Referring to FIG. 3B, the pixel values of the l-th row and the k-th column may be predicted as in Equation 3 below.
HEVC를 일례로 들면, 도 1의 필터부(180)는 디블록킹 필터와 ALF가 재구성된 프레임을 필터링하기 위해 연결되어 있고, 두 개의 필터는 독립적으로 설계되었다. 이에 따라 몇몇 픽셀들은 2번에 걸쳐 필터링이 될 수 있고, 과도한 필터링은 필터의 성능을 저하시킬 수 있다. Taking HEVC as an example, the
본 발명은 상기와 같은 문제점을 해결하기 위하여 새로운 구조의 필터부(180) 구성을 제시한다. The present invention proposes a
도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서, 필터부의 구성을 도시한 블록도이다. 4 is a block diagram illustrating a configuration of a filter unit in a depth image encoding apparatus according to an exemplary embodiment of the present invention.
본 발명에 따른 깊이 영상 부호화 장치에 있어서, 필터부(180)는, 디블록킹 필터(200), 필터 분류부(210) 및 복수의 분류 필터(220, 222, 224, 226)를 포함한다. 또한 필터부(180)는 가중합기(230)를 포함할 수 있다.In the depth image encoding apparatus according to the present invention, the
디블록킹 필터(200)는 블록화 현상(blocking artifact)의 효과를 제거하는 필터이다.The
필터 분류부(210)는 디블록킹 필터(200)를 통과한 화면과, 디블록킹 필터(200)를 통과한 화면과 그렇지 않은 화면과의 가중합 화면에 대한 비용을 대비하여 가장 적절한 필터링 기법으로 분류하는 기능을 수행한다. 여기서 상기 비용은 RD 비용일 수 있다. The
도 4에 있어서, 디블로킹 필터(200)를 통과하기 전의 화면을 S라 하고, 디블록킹 필터(200)를 통과한 화면을 s′라 하며, 디블록킹 필터(200)를 통과하기 전의 화면(S)과 통과한 화면(s′)을 가중합하여 생성된 화면을 s″라 한다. 가중합기(230)는 가중합 인수(ω)를 적용하여 S와 s′를 가중합한다. 여기서 가중합 인수(ω)는 양자화 계수(QP : quantization parameter)를 고려하여 결정될 수 있다. 예컨대, Q. Chen 등은 양자화 계수가 25보다 작은 경우 가중합 인수(ω)를 0.9로 하고, 양자화 계수가 25 이상인 경우에는 가중합 인수(ω)를 0.5로 하는 것을 제안한 바 있다(Q. Chen, Y. Zheng, P. Yin, “Classified quadtree-based adaptive loop filter,” Multimedia and Expo (ICME), pp. 1-6, July 2011).In FIG. 4, the screen before passing through the
일 실시예에 있어서, 필터 분류부(210)는 다음의 표 1과 같은 방식으로 화면과 사용될 계수 세트의 수를 분류한다.In one embodiment, the
필터 분류부(210)는 제 1 내지 제 4 분류에 따른 비용(예컨대, RD 비용)을 산출하고 비용이 최소인 화면과 계수세트의 수에 따라 필터링이 이루어지도록 한다. 제 1 내지 제 4 분류에 따라 필터링은 제 1 내지 제 4 분류 필터(220, 222, 224, 226) 중 어느 하나에 의해 수행된다. The
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
100 : HEVC 부호화기 110 : 차분부
120 : 인트라 예측부 130 : 인터 예측부
140 : 변환부 150 : 양자화부
160 : 역양자화 및 역변환부 180 : 필터부
190 : 엔트로피 코딩부 200 : 디블록킹 필터
210 : 필터 분류부
220, 222, 224, 226 : 제 1 내지 제 4 분류 필터100: HEVC encoder 110: difference part
120: intra prediction unit 130: inter prediction unit
140: transformation unit 150: quantization unit
160: inverse quantization and inverse transform unit 180: filter unit
190: entropy coding unit 200: deblocking filter
210: filter classification unit
220, 222, 224, 226: first to fourth classification filters
Claims (8)
상기 필터부는,
블록화 현상을 제거하는 디블록킹 필터와,
상기 디블록킹 필터를 통과한 화면과 상기 디블록킹 필터를 통과하지 않은 화면의 가중합 화면에 대한 비용과, 상기 디블록킹 필터를 통과한 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 필터 분류부와,
상기 필터 분류부에 의해 분류된 방식에 따라 필터링을 수행하는 복수의 분류 필터
를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 장치.An apparatus for encoding a depth image including an intra predictor, an inter predictor, a transform unit, a quantization unit, a filter unit, and an entropy coding unit,
The filter unit includes:
A deblocking filter that removes blocking;
A filter classification unit for classifying a filtering method by calculating a cost for a weighted summation screen of a screen that has passed the deblocking filter and a screen that has not passed the deblocking filter, and a cost for a screen that has passed the deblocking filter; ,
A plurality of classification filters for performing filtering according to the method classified by the filter classification unit
Decoding apparatus for a depth image, characterized in that it comprises a.
상기 필터 분류부는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류하는 것을 특징으로 하는 깊이 영상의 부호화 장치.The method of claim 1,
And the filter classifier classifies the filtering scheme in consideration of the number of coefficient sets for correcting an error occurring in the reconstructed picture.
상기 비용은 비트율 왜곡값인 것을 특징으로 하는 깊이 영상의 부호화 장치.The method of claim 1,
And the cost is a bit rate distortion value.
상기 인트라 예측부는 평면 예측에 의해 예측을 수행하는 것을 특징으로 하는 깊이 영상의 부호화 장치.The method according to any one of claims 1 to 3,
And the intra prediction unit performs prediction by plane prediction.
상기 평면 예측은 수직 방향 및 수평 방향에 따른 방향성을 갖는 것을 특징으로 하는 깊이 영상의 부호화 장치.The method of claim 4, wherein
The planar prediction apparatus of the depth image, characterized in that the direction in the vertical direction and the horizontal direction.
상기 인터 예측을 수행하기 위하여 변환 및 양자화된 화면을 복원한 후 필터링하는 단계는,
(a) 입력된 화면에 대한 디블록킹 필터링을 수행하는 단계;
(b) 상기 입력된 화면과 상기 디블록킹 필터링된 화면을 가중합하여 가중합 화면을 생성하는 단계;
(c) 상기 입력된 화면과 상기 가중합된 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 단계; 및
(d) 분류된 상기 필터링 방식에 따라 필터링을 수행하는 단계
를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 방법.In the encoding method for a depth image including intra prediction and inter prediction,
Reconstructing the filtered and quantized picture to perform the inter prediction, and then filtering
(a) performing deblocking filtering on the input screen;
generating a weighted sum screen by weighting the input screen and the deblocking filtered screen;
(c) classifying a filtering method by calculating a cost for the input screen and the weighted screen; And
(d) performing filtering according to the classified filtering method
The encoding method of the depth image, characterized in that it comprises a.
상기 (c) 단계는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류하는 것을 특징으로 하는 깊이 영상의 부호화 방법.The method according to claim 6,
In the step (c), the filtering method is classified by considering the number of coefficient sets for correcting an error occurring in the reconstructed picture.
상기 인트라 예측은, 평면 예측에 의해 예측이 수행되는 것을 특징으로 하는 깊이 영상의 부호화 방법.The method according to claim 6 or 7,
The intra prediction is a method of encoding a depth image, characterized in that the prediction is performed by plane prediction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110147191A KR101647344B1 (en) | 2011-12-30 | 2011-12-30 | Method and Device for Encoding Depth Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110147191A KR101647344B1 (en) | 2011-12-30 | 2011-12-30 | Method and Device for Encoding Depth Image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130078320A true KR20130078320A (en) | 2013-07-10 |
KR101647344B1 KR101647344B1 (en) | 2016-08-10 |
Family
ID=48991316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110147191A KR101647344B1 (en) | 2011-12-30 | 2011-12-30 | Method and Device for Encoding Depth Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101647344B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015047039A1 (en) * | 2013-09-30 | 2015-04-02 | 연세대학교 산학협력단 | Method, device and system for encoding and decoding image |
CN105874788A (en) * | 2013-12-30 | 2016-08-17 | 高通股份有限公司 | Simplification of segment-wise DC coding of large prediction blocks in 3D video coding |
US11425419B2 (en) | 2013-12-03 | 2022-08-23 | Ideahub Inc. | Method, apparatus, and system for encoding and decoding image using LM chroma prediction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100136391A (en) * | 2009-06-18 | 2010-12-28 | 한국전자통신연구원 | Method and apparatus for encoding and decoding using flexible filter structures |
KR20110001990A (en) * | 2009-06-30 | 2011-01-06 | 삼성전자주식회사 | Apparatus and metohd of in loop filtering an image data and encoding/decoding apparatus using the same |
KR20110054244A (en) * | 2009-11-17 | 2011-05-25 | 삼성전자주식회사 | Intra prediction device for depth image coding using median filter and method thereof |
-
2011
- 2011-12-30 KR KR1020110147191A patent/KR101647344B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100136391A (en) * | 2009-06-18 | 2010-12-28 | 한국전자통신연구원 | Method and apparatus for encoding and decoding using flexible filter structures |
KR20110001990A (en) * | 2009-06-30 | 2011-01-06 | 삼성전자주식회사 | Apparatus and metohd of in loop filtering an image data and encoding/decoding apparatus using the same |
KR20110054244A (en) * | 2009-11-17 | 2011-05-25 | 삼성전자주식회사 | Intra prediction device for depth image coding using median filter and method thereof |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015047039A1 (en) * | 2013-09-30 | 2015-04-02 | 연세대학교 산학협력단 | Method, device and system for encoding and decoding image |
KR101530774B1 (en) * | 2013-09-30 | 2015-06-22 | 연세대학교 산학협력단 | Method, apparatus and system for image encoding and decoding |
US10904539B2 (en) | 2013-09-30 | 2021-01-26 | University-Industry Foundation(Uif), Yonsei University | Method, device and system for encoding and decoding image |
US11252421B2 (en) | 2013-09-30 | 2022-02-15 | Ideahub Inc. | Method, device and system for encoding and decoding image |
US11683506B2 (en) | 2013-09-30 | 2023-06-20 | Ideahub Inc. | Method, device and system for encoding and decoding image |
US11425419B2 (en) | 2013-12-03 | 2022-08-23 | Ideahub Inc. | Method, apparatus, and system for encoding and decoding image using LM chroma prediction |
CN105874788A (en) * | 2013-12-30 | 2016-08-17 | 高通股份有限公司 | Simplification of segment-wise DC coding of large prediction blocks in 3D video coding |
CN105874788B (en) * | 2013-12-30 | 2017-11-14 | 高通股份有限公司 | The simplification decoded to the piecewise DC of larger prediction block in 3D video codings |
US10306265B2 (en) | 2013-12-30 | 2019-05-28 | Qualcomm Incorporated | Simplification of segment-wise DC coding of large prediction blocks in 3D video coding |
Also Published As
Publication number | Publication date |
---|---|
KR101647344B1 (en) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11671630B2 (en) | Method for encoding and decoding image information | |
US11265535B2 (en) | Method and apparatus for harmonizing multiple sign bit hiding and residual sign prediction | |
JP5763210B2 (en) | Method and apparatus for improved loop-type filtering process | |
CN108886621B (en) | Non-local self-adaptive loop filtering method | |
CN106131552B (en) | Method and apparatus for encoding video using adaptive bias processing | |
KR101238974B1 (en) | Method and system for video coder and decoder joint optimization | |
KR102393180B1 (en) | Method and apparatus for generating reconstruction block | |
EP2477403B1 (en) | Filter adaptation with directional features for video/image coding | |
TW201813398A (en) | Image encoding apparatus | |
KR20130045155A (en) | Image decoding apparatus | |
KR101647344B1 (en) | Method and Device for Encoding Depth Image | |
KR20130027400A (en) | Method and apparatus for intra prediction in dc mode | |
CN115988202B (en) | Apparatus and method for intra prediction | |
WO2020063552A1 (en) | Method and apparatus for image filtering with adaptive multiplier coefficients, and terminal device | |
CN112352435B (en) | In-loop deblocking filter apparatus and method for video coding and decoding | |
WO2023086214A1 (en) | Generalized sample offset | |
Lai et al. | Adaptive loop filter with directional features and similarity mapping for video coding | |
WO2023091290A1 (en) | Adaptive application of generalized sample offset | |
KR20130090846A (en) | Method and apparatus for depth video decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190702 Year of fee payment: 4 |