KR20100136391A - Method and apparatus for encoding and decoding using flexible filter structures - Google Patents
Method and apparatus for encoding and decoding using flexible filter structures Download PDFInfo
- Publication number
- KR20100136391A KR20100136391A KR1020090103599A KR20090103599A KR20100136391A KR 20100136391 A KR20100136391 A KR 20100136391A KR 1020090103599 A KR1020090103599 A KR 1020090103599A KR 20090103599 A KR20090103599 A KR 20090103599A KR 20100136391 A KR20100136391 A KR 20100136391A
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- filter structure
- final
- reconstructed image
- filtering
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Abstract
Description
본 발명은 다수의 필터들을 이용하여 복원 영상을 필터링하는 방법 및 이를 적용한 부호화/복호화 장치에 관한 것으로, 보다 상세하게는 복수의 필터 중 최적의 필터를 선택하여 복원 영상을 필터링하는 방법 및 이를 적용한 부호화/복호화 장치에 관한 것이다. The present invention relates to a method for filtering a reconstructed image using a plurality of filters and an encoding / decoding device to which the same is applied. / Decryption apparatus.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT원천기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술 개발].The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development (Task Management Number: 2008-F-011-01, Task Name: Development of Next-Generation DTV Core Technology).
최근, 부호화 장치에서 복원 영상이 복호화된 영상 버퍼(decoded picture buffer)에 저장되기 앞서 위너 필터에 기반하여 루프내 필터를 설계한 후 영상마다 적응적인 필터 계수를 구하여 복원 영상을 필터링하는 방법에 대한 연구가 진행되고 있다. 이러한 방법에서는 부호화되는 필터 계수들의 정보량을 줄이기 위해 필터가 중앙 대칭 구조를 갖도록 하고 있다. 이러한 경우, 단일 필터 구조만을 이용하 여 필터를 설계하고 있기 때문에 영상마다의 특성을 반영하지 못하는 경우가 발생한다.Recently, a method for filtering a reconstructed image by obtaining an adaptive filter coefficient for each image after designing an in-loop filter based on a Wiener filter before the reconstructed image is stored in a decoded picture buffer in an encoding apparatus. Is going on. In this method, the filter has a central symmetric structure in order to reduce the amount of information of the filter coefficients to be encoded. In this case, since the filter is designed using only a single filter structure, the characteristics of each image may not be reflected.
본 발명은 다수의 필터를 이용하여 복원 영상을 필터링 하는 방법 및 이를 적용한 부호화/복호화 장치를 제공한다. The present invention provides a method of filtering a reconstructed image using a plurality of filters, and an encoding / decoding apparatus using the same.
본 발명의 일실시예에 따른 부호화 방법은, 복수의 필터구조 각각으로 복원영상을 필터링하는 단계, 및 필터링된 복수의 복원영상을 이용하여 복수의 필터구조 중 어느 하나를 최종 필터구조로 결정하는 단계를 포함한다. The encoding method according to an embodiment of the present invention comprises the steps of: filtering a reconstructed image by each of the plurality of filter structures, and determining one of the plurality of filter structures as the final filter structure by using the filtered plurality of reconstructed images. It includes.
여기서, 복수의 필터구조는, 적응형 필터구조, 고정형 필터구조 중 적어도 하나를 포함할 수 있다. 이때, 적응형 필터구조는 중앙, 수직, 수평, 및 사용자 정의 대칭구조 중 적어도 하나를 포함하고, 고정형 필터구조는 필터계수가 기설정된 필터구조를 나타낼 수 있다.Here, the plurality of filter structures may include at least one of an adaptive filter structure and a fixed filter structure. In this case, the adaptive filter structure may include at least one of a center, a vertical, a horizontal, and a user-defined symmetric structure, and the fixed filter structure may represent a filter structure having a predetermined filter coefficient.
또한, 필터링하는 단계는, 복수의 필터구조가 적응형 필터구조이면, 상기 복수의 필터구조 각각에 대응되는 필터계수를 산출하는 단계, 및 산출된 필터계수 각각을 이용하여 복원영상을 필터링하는 단계를 포함할 수 있다.The filtering may include calculating a filter coefficient corresponding to each of the plurality of filter structures when the plurality of filter structures are the adaptive filter structure, and filtering the reconstructed image using each of the calculated filter coefficients. It may include.
이때, 부호화 하는 단계는, 결정된 최종 필터구조가 적응형 필터구조이면, 결정된 최종 필터구조에 해당하는 최종 필터계수 및 필터구조정보를 부호화하고, 결정된 최종 필터구조가 고정형 필터구조이면, 결정된 최종 필터구조에 해당하는 필터구조정보를 부호화할 수 있다.In this case, the encoding may include encoding a final filter coefficient and filter structure information corresponding to the determined final filter structure if the determined final filter structure is an adaptive filter structure, and determining the determined final filter structure if the determined final filter structure is a fixed filter structure. Filter structure information corresponding to the encoding may be encoded.
또한, 본 발명의 일실시예에 따른 부호화 장치는, 복수의 필터구조 각각으로 복원영상을 필터링하고, 필터링된 복수의 복원영상을 이용하여 상기 복수의 필터구조 중 어느 하나를 최종 필터구조로 결정하는 루프필터, 및 결정된 최종 필터구조에 해당하는 필터구조정보를 부호화하는 엔트로피 부호화부를 포함할 수 있다.In addition, the encoding apparatus according to an embodiment of the present invention filters the reconstructed image by each of the plurality of filter structures and determines one of the plurality of filter structures as the final filter structure by using the filtered reconstructed images. It may include a loop filter, and an entropy encoding unit for encoding the filter structure information corresponding to the determined final filter structure.
또한, 루프필터는, 복수의 필터구조가 적응형 필터구조이면, 복수의 필터구조 각각에 대응되는 필터계수를 산출하는 산출부, 및 산출된 필터계수 각각을 이용하여 복원영상을 필터링하고, 필터링된 복수의 복원영상을 이용하여 복수의 필터구조 중 어느 하나를 최종 필터구조로 결정하는 결정부를 포함할 수 있다.In addition, if the plurality of filter structures are adaptive filter structures, the loop filter may include a calculating unit configured to calculate a filter coefficient corresponding to each of the plurality of filter structures, and the reconstructed image by using each of the calculated filter coefficients. The determining unit may determine one of the plurality of filter structures as the final filter structure by using the plurality of reconstructed images.
이때, 루프필터는, 복수의 필터구조가 고정형 필터구조이면, 기설정된 필터계수 각각으로 복원영상을 필터링하고, 필터링된 복수의 복원영상을 이용하여 복수의 필터구조 중 어느 하나를 최종 필터구조로 결정할 수 있다.In this case, if the plurality of filter structures are fixed filter structures, the loop filter filters the reconstructed images using predetermined filter coefficients, and determines one of the plurality of filter structures as the final filter structure using the filtered reconstructed images. Can be.
또한, 본 발명의 일실시예에 따른 복호화 방법은, 프레임마다 부호화된 필터구조정보를 수신하는 단계, 수신된 필터구조 정보로부터 부호화 시 이용된 최종 필터구조를 획득하는 단계, 및 획득된 최종 필터구조로 복원영상을 필터링하는 단계를 포함한다.In addition, the decoding method according to an embodiment of the present invention, receiving the encoded filter structure information for each frame, obtaining the final filter structure used during encoding from the received filter structure information, and the obtained final filter structure And filtering the reconstructed image.
또한, 수신하는 단계는, 최종 필터구조가 적응형 필터구조이면, 최종 필터구조에 해당되는 부호화된 최종 필터계수 및 상기 최종 필터구조에 해당되는 필터구조정보를 수신할 수 있다. 이때, 복호화하는 단계는, 수신된 최종 필터계수 및 필터구조정보를 복호화하고, 필터링하는 단계는, 복호화된 최종 필터계수를 이용하여 최종 필터구조로 복원영상을 필터링할 수 있다.In the receiving step, if the final filter structure is an adaptive filter structure, the encoded final filter coefficient corresponding to the final filter structure and filter structure information corresponding to the final filter structure may be received. In this case, the decoding may include decoding the received final filter coefficient and the filter structure information, and the filtering may include filtering the reconstructed image with the final filter structure using the decoded final filter coefficient.
또한, 본 발명의 일실시예에 따른 복호화 장치는, 프레임마다 부호화된 필터 구조정보를 수신하는 엔트로피 복호화부, 및 수신된 필터구조정보로부터 부호화 시 이용된 최종 필터구조를 획득하고, 획득된 최종 필터구조로 복원영상을 루프 필터링하는 루프필터를 포함한다.In addition, the decoding apparatus according to an embodiment of the present invention, the entropy decoding unit for receiving the encoded filter structure information for each frame, and obtains the final filter structure used during encoding from the received filter structure information, and obtained the final filter And a loop filter for loop filtering the reconstructed image with the structure.
본 발명은 열화도가 최소인 필터 구조로 복원 영상을 필터링함에 따라, 영상이 갖고 있는 특성들을 고려하여 복원 영상을 필터링하여 부호화할 수 있을 뿐만 아니라, 부호화 효율을 향상시킬 수 있다. According to the present invention, the reconstructed image is filtered by the filter structure having the minimum degree of degradation, and the reconstructed image may be filtered and encoded in consideration of characteristics of the image, and the encoding efficiency may be improved.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서, 관련된 공기 기술 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the present invention, when it is determined that the detailed description of the related air technology or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be abbreviated or omitted.
도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 나타낸 블럭도이다.1 is a block diagram showing a configuration of an encoding apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치(100)는 화면내 예측부(105), 움직임 추정부(110), 움직임 보상부(120), 제1 차분부(125), DCT 및 양자화부(130), 엔트로피 부호화부(140), 역양자화 및 역 DCT부(150), 제2 차분부(155), 디블로킹부(160), 및 루프필터(170)를 포함한다.Referring to FIG. 1, the
화면내 예측부(105)는 현재 영상의 블록을 부호화하기 위해서 공간적으로 인접한 픽셀 값을 이용하여 부호화하고자 하는 매크로블록을 예측하여 부호화한다. The
움직임 추정부(110)는 부호화하려는 현재프레임 내의 기설정 현재블록의 움직임 벡터를 버퍼(미도시) 혹은 저장부(미도시)에 저장된 참조프레임을 이용하여 생성한다. 그리고, 참조프레임은 현재프레임 이전에 연속하여 입력된 이전프레임, 혹은 현재프레임 이후에 연속하여 입력되는 다음 프레임일 수 있다. The
그리고, 움직임 추정부(110)는 BMA(Block Matching Algorithm), 위상 상관(Phase Correlation), HSBMA 등의 다양직임 추정 알고리즘을 이용하여 움직임을 추정할 수 있다.The
움직임 보상부(120)는 움직임 추정부(110)에서 생성된 움직임 벡터에 기초하여 현재블록의 예측값인 예측블록을 생성한다. 제1 차분부(125)는 현재블록에서 예측블록을 감산하여 차분블록을 생성한다. The
DCT 및 양자화부(130)는 제1 차분부(125)에서 생성된 차분 블록을 이산 코사인 변환하고, 양자화하여 양자화된 변환계수를 생성한다.The DCT and
엔트로피 부호화부(150)는 양자화된 변환계수, 움직임 벡터 등의 부호화 정보와 후술될 루프필터(170)로부터 수신된 필터구조정보 및 최종 필터계수를 엔트로피 부호화한다. 이때, 부호화된 변환계수, 필터구조정보, 및 최종 필터계수는 움직임벡터와 함께 비트스트림에 삽입되어 복호화 장치(400)로 전송된다.The
역양자화 및 역DCT부(150)는 DCT 및 양자화(130)에서 양자화된 차분블록을 다음에 부호화되는 프레임의 예측에 이용하기 위해 역양자화하고, 역이산 코사인 변환하여 부호화 이전의 차분블록을 복원한다. The inverse quantization and
제2 차분부(155)는 복원된 차분블록과 움직임 보상부(120)에서 생성된 예측 블록을 가산하여 부호화 이전의 현재블록을 복원한다.The
디블로킹부(160)는 제2 차분부(150)에서 복원된 현재블록을 디블로킹 필터링하여 복원영상을 출력한다. 이를 통해, 복원영상 내의 블럭 간 경계오차가 감소되어 복원영상의 블럭경계가 부드러워진다.The
루프필터(170)는 복수의 필터구조로 디블로킹부(160)에서 출력된 복원 영상을 필터링한다. 여기서, 필터구조는 적응형 필터구조 및 고정형 필터구조를 포함하고, 적응형 필터구조는 중앙대칭구조, 수직대칭구조, 수평대칭구조, 및 사용자 정의 대칭구조 중 적어도 하나를 포함하고, 고정형 필터구조는 필터계수가 기설정된 필터구조로서 부호화 장치 및 복호화 장치에서 필터구조를 이미 알고 있는 필터구조를 나타낸다. The
루프필터(170)에서 복원 영상을 필터링하는 방법은 이하의 도 2를 참조하여 설명하기로 한다. 도 2에서는 복수의 필터구조가 적응형 필터구조인 경우를 예로 들어 복원영상을 루프 필터링하는 방법을 설명하기로 한다.A method of filtering the reconstructed image by the
도 2에 따르면, 본 루프필터(170)는 산출부(171) 및 결정부(173)를 포함하며, 루프필터(170)는 복원영상을 필터링한다. According to FIG. 2, the
산출부(171)는 기설정된 복수의 필터구조 각각에 대한 필터계수를 산출한다. 즉, 산출부(171)는 중앙대칭 필터계수, 수직대칭 필터계수, 수평대칭 필터계수, 및 사용자 정의 대칭 필터계수를 산출한다. 여기서, 필터구조를 기반으로 필터계수를 산출하는 내용은 이미 잘 알려진 기술이므로 자세한 설명은 생략하기로 한다.The
그리고, 결정부(173)는 산출부(171)에서 산출된 필터계수를 이용하여 디블로 킹부(160)로부터 입력된 복원영상을 필터링한다. 결정부(173)는 필터링된 복원영상의 부호화율을 이용하여 최종 필터구조를 결정한다. 이때, 결정부(173)는 프레임마다 복원영상을 필터링하여, 프레임마다 최종 필터구조를 결정한다.The
구체적으로, 결정부(173)는 복수의 필터링된 복원영상 각각과 원영상을 이용하여 복수의 복원영상의 부호화율을 산출하고, 산출된 부호화율 중 가장 높은 부호화율을 갖는 복원영상의 필터구조 및 필터계수를 각각 최종 필터구조 및 최종 필터계수로 결정한다. Specifically, the
즉, 결정부(173)는 중앙대칭, 수직대칭, 수평대칭, 및 사용자 정의 대칭 필터계수 각각을 이용하여 복원영상을 필터링하고, 중앙대칭, 수직대칭, 수평대칭, 및 사용자 정의 대칭구조로 필터링된 복원영상의 부호화율을 산출하고, 산출된 복원영상의 부호화율이 가장 높은 복원영상의 필터구조를 최종 필터구조를 결정한다.That is, the
여기서, 부호화율의 일 예로는 복원영상의 열화도를 들 수 있으며, 결정부(173)는 복원영상과 원영상(즉, 부화화되기 이전의 입력영상인 현재프레임)의 해상도를 비교하여 복원영상의 열화도를 산출할 수 있다. 이외에, 결정부(173)는 필터링된 복원영상과 원영상에 아래의 수학식1에 의한 율-왜곡 최적화(RATE-DISTORTION OPTIMIZATION)를 적용하여 최종 필터구조(J)를 결정할 수 있다. Here, an example of the coding rate may be a degradation degree of the reconstructed image, and the
여기서, D는 프레임 전체의 왜곡, R은 프레임을 부호화하는데 필요한 전체 비트량, RFilter는 필터계수를 부호화하는데 필요한 비트량을 나타낸다Where D is the distortion of the entire frame, R is the total amount of bits needed to encode the frame, and R Filter is the amount of bits needed to encode the filter coefficients.
또한, 결정부(173)는 최종 필터구조를 나타내는 인덱스를 포함하는 필터구조정보 및 최종 필터계수를 엔트로피 부호화부(140)로 출력한다. 이때, 결정부(173)는 아래의 표 1에 기초하여 최종 필터구조에 따른 필터구조정보를 설정하여 엔트로피 부호화부(140)으로 출력한다.Also, the
즉, 결정부(173)는 최종 필터구조가 중앙대칭구조이면, 필터구조정보를 0으로, 최종 필터구조가 수직대칭구조이면, 필터구조정보를 1로, 최종 필터구조가 수평대칭구조이면, 필터구조정보를 2로, 최종 필터구조가 사용자 정의 대칭구조이면, 필터구조정보를 3으로 설정할 수 있다.That is, the
엔트로피 부호화부(140)는 최종 필터계수 및 필터구조정보를 프레임마다 엔트로피 부호화하여 비트스트림에 삽입시켜 복호화 장치(400)로 전송한다. 이때, 최종 필터구조가 사용자 정의 대칭 구조이면, 사용자 정의 대칭 구조에 해당하는 최종 필터계수 및 필터구조정보는 엔트로피 부호화되어 SPS(Sequence Parameter Set), PPS(picture Parameter Set), 새로운 NAL unit 타입, SEI 메시지, 또는 Slice Header의 비트스트림 구조에 포함될 수 있다. The
도 3은 본 발명의 일 실시예에 따른 복수의 필터 구조를 이용한 부호화 방법을 설명하기 위해 제공되는 흐름도이다. 도 3에서는 복수의 필터구조가 적응형 필터구조인 경우를 예로 들어 복원영상을 루프 필터링하는 방법을 설명하기로 한다.3 is a flowchart provided to explain an encoding method using a plurality of filter structures according to an embodiment of the present invention. In FIG. 3, a method of loop filtering a reconstructed image will be described by taking a case where the plurality of filter structures are the adaptive filter structure as an example.
먼저, 산출부(171)는 복수의 필터구조 각각에 대한 필터계수를 산출한다(310). 여기서, 필터구조는 적응형 필터구조 및 고정형 필터구조를 포함하고, 적응형 필터구조는 중앙대칭구조, 수직대칭구조, 수평대칭구조, 및 사용자 정의 대칭구조 중 적어도 하나를 포함하고, 고정형 필터구조는 필터계수가 기설정된 필터구조로서 부호화 장치 및 복호화 장치에서 필터구조를 이미 알고 있는 필터구조를 나타낸다.First, the
이어, 결정부(173)는 산출된 복수의 필터계수를 이용하여 복원영상을 필터링한다(320). 즉, 결정부(173)는 중앙대칭 필터계수를 이용하여 복원영상을 필터링, 수직대칭 필터계수를 이용하여 복원영상을 필터링, 수평대칭 필터계수를 이용하여 복원영상을 필터링, 사용자정의대칭 필터계수를 이용하여 복원영상을 필터링한다.Next, the
그리고, 결정부(173)는 필터링된 복원영상 각각의 부호화율을 산출한다(330).The
구체적으로, 결정부(173)는 S320단계에서 중앙, 수직, 수평, 및 사용자 정의 대칭 필터계수를 이용하여 필터링된 복원영상 각각과 원영상을 이용하여 필터링된 복원영상 각각의 부호화율을 산출한다. 여기서, 부호화율의 일 예로는 복원영상의 열화도를 들 수 있으며, 결정부(173)는 이미 잘 알려진 부호화율을 산출하는 다양한 기술을 이용하여 복원영상의 부호화율을 산출할 수 있다.In detail, in operation S320, the
이어, 결정부(173)는 산출된 복수의 복원영상 각각의 부호화율을 이용하여 최종 필터구조를 결정한다(340). 즉, 결정부(173)는 산출된 복수의 복원영상 각각의 부호화율 중 가장 높은 부호화율을 갖는 복원영상의 필터구조 및 필터계수를 각각 최종 필터구조 및 최종 필터계수로 결정한다. 이때, 결정부(173)는 최종 필터구조를 기초로 앞에서 언급한 표 1에 의해 필터구조정보를 설정한다.Next, the
그리고, 엔트로피 부호화부(140)는 엔트로피 부호화부(140)는 최종 필터계수 및 필터구조정보를 프레임마다 엔트로피 부호화하여(350), 비트스트림에 삽입시켜 복호화 장치(400)로 전송한다(360). The
이때, 최종 필터구조가 사용자 정의 대칭 구조이면, 엔트로피 부호화부(140)는 사용자 정의 대칭 구조에 해당하는 최종 필터계수 및 필터구조정보를 엔트로피 부호화하여 SPS(Sequence Parameter Set), PPS(picture Parameter Set), 새로운 NAL unit 타입, SEI 메시지, 또는 Slice Header의 비트스트림 구조에 포함될 수 있다. At this time, if the final filter structure is a user-defined symmetric structure, the
이상에서는, 복수의 필터구조가 적응형 필터구조인 경우에 복원영상을 루프 필터링 하는 동작을 설명하였으나, 복수의 필터구조가 고정형 필터구조인 경우, 도 2에서 산출부(171)가 생략될 수 있으며, 도 3에서 S310이 생략될 수 있다.In the above, the operation of loop filtering the reconstructed image when the plurality of filter structures is the adaptive filter structure has been described. However, when the plurality of filter structures are the fixed filter structure, the
구체적으로, 복수의 필터구조가 고정형 필터구조이면, 복수의 고정형 필터구조 각각에 해당하는 필터계수가 기설정되어 있으므로, 루프 필터(170)는 복수의 고정형 필터구조 각각에 해당하는 필터계수를 산출할 필요가 없다. 이에 따라, 루프필터(170)는 기설정된 복수의 고정형 필터구조 각각에 해당하는 필터계수를 이용하여 복원영상 각각을 루프 필터링하고, 필터링된 복원영상 각각의 부호화율을 산출하여 최종 필터구조를 결정할 수 있다.Specifically, if the plurality of filter structures are fixed filter structures, the filter coefficients corresponding to each of the plurality of fixed filter structures are preset, and the
마찬가지로, 복수의 필터구조가 적응형 필터구조 및 고정형 필터구조가 혼합되어 있는 경우에는, 적응형 필터구조에 해당하는 필터계수를 산출하여 복원영상을 루프 필터링, 기설정된 고정형 필터구조에 해당하는 필터계수로 복원영상을 루프 필터링하고, 필터링된 복원영상 각각의 부호화율을 산출하여 최종 필터구조를 결정할 수 있다.Similarly, when a plurality of filter structures are mixed with an adaptive filter structure and a fixed filter structure, a filter coefficient corresponding to the adaptive filter structure is calculated to loop-filter the reconstructed image, and a filter coefficient corresponding to the preset fixed filter structure. The final filter structure may be determined by loop filtering the reconstructed image and calculating a coding rate of each filtered reconstructed image.
이때, 부호화 장치(100)는 결정된 최종 필터구조가 고정형 필터구조이면, 최종 필터구조에 해당하는 필터구조정보를 엔트로피 부호화하여 복호화 장치(400)로 전송한다. 즉, 최종 필터구조가 고정형 필터구조이면, 부호화 장치(100)는 최종 필터구조에 해당하는 최종 필터계수는 복호화 장치(400)로 전송하지 않는다.In this case, if the determined final filter structure is a fixed filter structure, the
도 4는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 나타낸 블럭도이다.4 is a block diagram showing a configuration of a decoding apparatus according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따른 복호화 장치(400)는 엔트로피 복호화부(410), 역양자화 및 역DCT부(420), 움직임 보상부(430), 가산부(435), 디블로킹부(440), 및 루프필터 (450)를 포함한다.Referring to FIG. 4, the
엔트로피 복호화부(410)는 비트 스트림을 엔트로피 복호화하여 변환계수, 움직임 벡터 필터구조정보를 추출하고, 수신된 비트 스트림에 최종 필터계수가 포함되어 있으면, 엔트로피 복호화부(410)는 비트 스트림을 엔트로피 복호화하여 최종 필터계수를 추출한다. 즉, 엔트로피 복호화부(410)는 부호화 장치(100)로부터 수신된 부호화된 최종 필터계수 및 필터구조정보 중 적어도 하나를 복호화한다.The
역양자화 및 역DCT부(420)는 추출된 변환계수를 역양자화하고 역 이산 코사인 변환하여 차분블록을 획득한다.The inverse quantization and
움직임 보상부(430)는 엔트로피 복호화부(410)에서 추출된 움직임 벡터를 이용하여 현재블록의 예측블록을 생성한다.The
가산부(435)는 역양자화 및 역DCT부(420)에서 획득된 차분 블록과 움직임 보상부(430)에서 생성된 예측블록을 더하여 현재블록을 복원한다. The
디블로킹부(440)는 가산부(435)에서 복원된 현재블록을 디블로킹 필터링하여 복원영상을 출력한다.The
루프필터(450)는 엔트로피 복호화부(410)에서 추출된 최종 필터계수 및 필터구조정보 중 적어도 하나를 이용하여 복원영상을 루프 필터링한다. 이때, 루프필터(450)는 추출된 필터구조정보가 기설정된 복수의 필터구조 중 어느 것으로 설정되었는지를 판단하여 복원영상을 필터링한다.The
구체적으로, 필터구조정보가 적응형 필터구조인 중앙대칭구조를 나타내는 1로 설정된 경우를 예로 들면, 루프필터(450)는 최종 필터계수를 이용하여 복원영상을 중앙대칭구조로 필터링한다. 여기서, 중앙대칭구조는 부호화 장치(100)에서 결정된 최종 필터구조를 나타낸다.Specifically, for example, when the filter structure information is set to 1 indicating a central symmetric structure that is an adaptive filter structure, the
마찬가지로, 루프필터(450)는 필터구조정보가 적응형 필터구조인 수직, 수평, 또는 사용자 정의 대칭구조로 설정된 경우에는, 엔트로피 복호화부(410)에서 추출된 최종 필터계수를 이용하여 디블로킹부(440)로부터 입력된 복원영상을 수직, 수평, 또는 사용자정의 대칭구조로 필터링한다. 이를 통해, 이산 코사인 변환과 양자화 등에 의해 발생한 에러 등을 감쇄시켜 원영상에 가깝게 필터링된 영상 데이터를 출력할 수 있다.Similarly, when the filter structure information is set as a vertical, horizontal, or user-defined symmetric structure that is an adaptive filter structure, the
이때, 필터구조정보가 고정형 필터구조를 나타내는 인덱스로 설정된 경우를 예로 들면, 루프필터(450)는 고정형 필터구조에 해당하는 필터계수를 이용하여 복원영상을 고정형 필터구조로 루프 필터링한다. 여기서, 고정형 필터구조는 부호화 장치(100)에서 결정된 최종 필터구조를 나타내며, 고정형 필터구조에 해당하는 필터계수는 부호화 장치(100) 및 복호화 장치(400)에서 이미 알고 있는 기설정된 값이다. 이를 통해, 복호화 장치(400)는 부호화 장치(100)로부터 최종 필터계수를 수신하지 않고도, 부호화 장치(100)에서 루프 필터링된 필터구조로 복원영상을 루프 필터링할 수 있다.In this case, for example, when the filter structure information is set to an index indicating the fixed filter structure, the
도 5는 본 발명의 일 실시예에 따른 복수의 필터 구조를 이용한 복호화 방법을 설명하기 위해 제공되는 흐름도이다. 이하에서는, 필터구조정보가 적응형 필터구조를 나타내는 경우를 예로 들어 설명하기로 한다.5 is a flowchart provided to explain a decoding method using a plurality of filter structures according to an embodiment of the present invention. Hereinafter, the case where the filter structure information indicates the adaptive filter structure will be described as an example.
먼저, 엔트로피 복호화부(410)는 비트스트림을 수신하고(510), 수신된 비트 스트림을 엔트로피 복호화하여 필터구조정보를 추출한다(520). 이때, 수신된 비트 스트림에 최종 필터계수가 포함되어 있으면, 엔트로피 복호화부(410)는 비트 스트림을 엔트로피 복호화하여 최종 필터계수를 추출한다.First, the
이어, 루프필터(440)는 필터구조정보가 중앙대칭구조로 설정된 것으로 판단되면(530:YES), 추출된 최종 필터계수를 이용하여 복원영상을 중앙대칭구조로 필터링한다(540).Subsequently, when it is determined that the filter structure information is set to the central symmetric structure (YES at 530), the
이때, 필터구조정보가 중앙대칭구조로 설정되지 않은 것으로 판단되면(530:NO), 루프필터(440)는 필터구조정보가 수직대칭구조로 설정되었는지 여부를 판단한다(550).In this case, if it is determined that the filter structure information is not set to the central symmetry structure (NO: 530), the
그리고, 필터구조정보가 수직대칭구조로 설정된 것으로 판단되면(550: YES), 루프필터(440)는 추출된 최종 필터계수를 이용하여 복원영상을 수직대칭구조로 필터링한다(560).If it is determined that the filter structure information is set to the vertical symmetry structure (YES at 550), the
이때, 필터구조정보가 수직대칭구조로 설정되지 않은 것으로 판단되면(550: NO), 루프필터(440)는 필터구조정보가 수평대칭구조로 설정되었는지 여부를 판단한다(570).In this case, if it is determined that the filter structure information is not set to the vertical symmetry structure (NO: 550), the
그리고, 필터구조정보가 수평대칭구조로 설정된 것으로 판단되면(570:YES), 루프필터(440)는 추출된 최종 필터계수를 이용하여 복원영상을 수평대칭구조로 필터링한다(580).If it is determined that the filter structure information is set to the horizontal symmetry structure (570: YES), the
이때, 필터구조정보가 수평대칭구조로 설정되지 않은 것으로 판단되면(570:NO), 루프필터(440)는 추출된 최종 필터계수를 이용하여 복원영상을 사용자 정의 대칭구조로 필터링한다(590).In this case, if it is determined that the filter structure information is not set to the horizontal symmetry structure (570: NO), the
도 5에서는, 필터구조정보가 적응형 필터구조를 나타내는 경우를 예로 들어 설명하였으나, 복호화된 필터구조정보가 고정형 필터구조를 나타내면, 루프필터(440)는 고정형 필터구조에 해당하는 필터계수를 이용하여 복원영상을 고정형 필터구조로 루프 필터링한다. 여기서, 고정형 필터구조에 해당하는 필터계수는 기설정되며, 부호화 장치(100) 및 복호화 장치(400)에서 이미 알고 있다.In FIG. 5, the case in which the filter structure information indicates the adaptive filter structure has been described as an example. However, when the decoded filter structure information indicates the fixed filter structure, the
지금까지는, 부호화/복호화 장치 및 방법에서 이용되는 필터구조가 중앙, 수직, 수평, 및 사용자 정의를 기반으로 하는 대칭구조인 것으로 설명하였지만, 반드시 이에 한정되는 것이 아니라, 필터구조는 중앙, 수직, 수평, 및 사용자 정의 비대칭구조 중 적어도 하나를 포함할 수 있다.Until now, the filter structure used in the encoding / decoding apparatus and method has been described as being a symmetric structure based on center, vertical, horizontal, and user definition, but the present invention is not necessarily limited thereto. , And at least one of a user-defined asymmetric structure.
또한, 이상에서는 수직, 수평, 중앙, 사용자 정의 대칭 및 비대칭 필터구조에 대해 설명하였지만, 이외의 필터구조를 본 부호화/복호화 장치 및 방법에서 이용하여 최종 필터구조 및 최종 필터계수를 결정할 수 있다.In addition, while the vertical, horizontal, center, user-defined symmetrical and asymmetrical filter structures have been described above, other filter structures may be used in the present encoding / decoding apparatus and method to determine final filter structures and final filter coefficients.
또한, 이상에서는, 표 1에 기초하여 인덱스는 0 내지 3으로 기설정되는 것으로 설명하였지만, 반드시 이에 한정되는 것이 아니라, 인덱스는 부호화 및 복호화 장치에서 지원하는 필터구조에 따라 비트, 옥텟, 바이트 등의 단위로 기설정될 수 있다. In the above description, the indices are set to 0 to 3 based on Table 1, but the indexes are not limited thereto, and the indices may include bits, octets, bytes, and the like according to a filter structure supported by the encoding and decoding apparatus. It may be preset in units.
또한, 이상에서는, 복원영상과 원영상의 해상도를 비교하여 복원영상의 열화도를 산출하는 내용에 대해 설명하였지만, 반드시 이에 한정되는 것이 아니라, 결정부(173)는 이전에 결정된 이전프레임의 최종 필터구조를 이용하여 현재프레임의 최종 필터구조를 결정할 수 있다. 즉, 본 부호화/복호화 장치 및 방법에서는 원영상의 이용없이도 최종 필터구조를 결정할 수 있다.In addition, while the content of calculating the deterioration degree of the reconstructed image by comparing the resolution of the reconstructed image and the original image has been described, the present invention is not limited thereto. The structure can be used to determine the final filter structure of the current frame. That is, in the present encoding / decoding apparatus and method, the final filter structure can be determined without using the original image.
또한, 이상에서는 영상을 기준으로 설명하였지만, 영상을 블록 단위로 분할하고 각각의 블록을 기준으로 본 발명을 실시할 수 있다. 즉, 각각의 블록은 동일 혹은 차별적으로 필터를 결정하여 이용할 수 있다. 따라서, 하나의 영상 내에서 복수 개의 필터가 이용될 수 있다.In addition, although the above description has been made based on the image, the image may be divided into blocks and the present invention may be implemented based on each block. That is, each block can be used to determine the same or different filter. Therefore, a plurality of filters may be used in one image.
또한, 이상에서는, 복원영상을 루프 필터링한 이후에 최종 필터구조를 결정하는 것으로 설명하였으나, 루프필터(170)는 복원영상을 루프 필터링 하기 이전에 최종 필터구조를 결정할 수 있다.In addition, in the above description, the final filter structure is determined after loop filtering the reconstructed image. However, the
즉, 결정부(173)는 복원영상의 통계적 특성, 혹은 화소값의 분포를 이용하여 최종 필터구조를 결정할 수 있다. That is, the
이를 통해, 복호화 장치(400)에서는 이미 복호된 영상들로부터 부호화 장치에서 루프 필터링된 복원영상의 최종 필터구조를 유추(inferring)하여 획득할 수 있다. 여기서, 복호 영상들로부터 최종 필터구조를 유추(inferring)하는 내용은 이미 잘 알려진 기술이므로 자세한 설명은 생략하기로 한다.In this way, the
또한, 이상에서는, 열화도가 가장 낮은 복원영상에 적용된 필터구조를 최종 필터구조로 결정하는 것으로 설명하였으나, 산출부(171)는 복수의 필터구조로 복원영상 각각을 루프 필터링하기 위한 각각의 계산 복잡도를 산출하고, 결정부(173)는 산출된 복수의 계산 복잡도들 중 가장 낮은 계산 복잡도를 갖는 필터구조를 최종 필터구조로 결정할 수 있다. In addition, in the above description, the filter structure applied to the reconstructed image having the lowest deterioration has been described as the final filter structure. However, the
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 나타낸 블럭도이다.1 is a block diagram showing a configuration of an encoding apparatus according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 루프필터의 구성을 나타낸 블럭도이다.2 is a block diagram showing the configuration of a loop filter according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 복수의 필터 구조를 이용한 부호화 방법을 설명하기 위해 제공되는 흐름도이다.3 is a flowchart provided to explain an encoding method using a plurality of filter structures according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 나타낸 블럭도이다.4 is a block diagram showing a configuration of a decoding apparatus according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 복수의 필터 구조를 이용한 복호화 방법을 설명하기 위해 제공되는 흐름도이다.5 is a flowchart provided to explain a decoding method using a plurality of filter structures according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
105: 화면내 예측부105: intra prediction unit
110: 움직임 추정부110: motion estimation unit
120: 움직임 보상부120: motion compensation unit
125, 155: 제1 차분부, 제2 차분부125, 155: first difference part, second difference part
130: DCT 및 양자화부130: DCT and quantization unit
140: 엔트로피 부호화부140: entropy encoder
150: 역양자화 및 역DCT부150: dequantization and inverse DCT
160: 디블로킹부160: deblocking unit
170: 루프필터170: loop filter
171: 산출부 171: calculating unit
173: 결정부173: Decision
Claims (20)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/770,984 US20100322526A1 (en) | 2009-06-18 | 2010-04-30 | Method of filtering restored image using plurality of filters and encoding/decoding apparatus and method using filtering method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090054319 | 2009-06-18 | ||
KR20090054319 | 2009-06-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20100136391A true KR20100136391A (en) | 2010-12-28 |
Family
ID=43510488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090103599A KR20100136391A (en) | 2009-06-18 | 2009-10-29 | Method and apparatus for encoding and decoding using flexible filter structures |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20100136391A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100109459A (en) * | 2009-03-30 | 2010-10-08 | 엘지전자 주식회사 | A method and an apparatus for processing a video signal |
WO2013042884A1 (en) * | 2011-09-19 | 2013-03-28 | 엘지전자 주식회사 | Method for encoding/decoding image and device thereof |
WO2013069996A1 (en) * | 2011-11-09 | 2013-05-16 | 에스케이텔레콤 주식회사 | Method and apparatus for encoding/decoding image by using adaptive loop filter on frequency domain using conversion |
KR20130078320A (en) * | 2011-12-30 | 2013-07-10 | 광주과학기술원 | Method and device for encoding depth image |
KR101373759B1 (en) * | 2012-01-30 | 2014-03-28 | 광운대학교 산학협력단 | Apparatus and method for decoding |
WO2016204372A1 (en) * | 2015-06-18 | 2016-12-22 | 엘지전자 주식회사 | Method and device for filtering image using filter bank in image coding system |
US9842573B2 (en) | 2014-11-24 | 2017-12-12 | Electronics And Telecommunications Research Institute | Apparatus and method for gaussian filtering |
-
2009
- 2009-10-29 KR KR1020090103599A patent/KR20100136391A/en not_active Application Discontinuation
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100109459A (en) * | 2009-03-30 | 2010-10-08 | 엘지전자 주식회사 | A method and an apparatus for processing a video signal |
US11051041B2 (en) | 2011-09-19 | 2021-06-29 | Lg Electronics Inc. | Method for encoding/decoding image and device thereof |
WO2013042884A1 (en) * | 2011-09-19 | 2013-03-28 | 엘지전자 주식회사 | Method for encoding/decoding image and device thereof |
US9485521B2 (en) | 2011-09-19 | 2016-11-01 | Lg Electronics Inc. | Encoding and decoding image using sample adaptive offset with start band indicator |
US11917204B2 (en) | 2011-09-19 | 2024-02-27 | Lg Electronics Inc. | Method for encoding/decoding image and device thereof |
US11570474B2 (en) | 2011-09-19 | 2023-01-31 | Lg Electronics Inc. | Method for encoding/decoding image and device thereof |
US9948954B2 (en) | 2011-09-19 | 2018-04-17 | Lg Electronics Inc. | Method for encoding/decoding image and device thereof |
US10425660B2 (en) | 2011-09-19 | 2019-09-24 | Lg Electronics Inc. | Method for encoding/decoding image and device thereof |
WO2013069996A1 (en) * | 2011-11-09 | 2013-05-16 | 에스케이텔레콤 주식회사 | Method and apparatus for encoding/decoding image by using adaptive loop filter on frequency domain using conversion |
KR101462052B1 (en) * | 2011-11-09 | 2014-11-20 | 에스케이 텔레콤주식회사 | Video Coding Method and Apparatus using Transform Based Fraquency Domain Adaptive Loop Filter |
US9538173B2 (en) | 2011-11-09 | 2017-01-03 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding image by using adaptive loop filter on frequency domain using conversion |
KR20130078320A (en) * | 2011-12-30 | 2013-07-10 | 광주과학기술원 | Method and device for encoding depth image |
KR101373759B1 (en) * | 2012-01-30 | 2014-03-28 | 광운대학교 산학협력단 | Apparatus and method for decoding |
US9842573B2 (en) | 2014-11-24 | 2017-12-12 | Electronics And Telecommunications Research Institute | Apparatus and method for gaussian filtering |
US10602140B2 (en) | 2015-06-18 | 2020-03-24 | Lg Electronics, Inc. | Method and device for filtering image using filter bank in image coding system |
WO2016204372A1 (en) * | 2015-06-18 | 2016-12-22 | 엘지전자 주식회사 | Method and device for filtering image using filter bank in image coding system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7738716B2 (en) | Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method | |
US9282329B2 (en) | Methods and devices for data compression using offset-based adaptive reconstruction levels | |
KR102518993B1 (en) | Method for multiple interpolation filters, and apparatus for encoding by using the same | |
CN108235023B (en) | Method for encoding and decoding image, encoding and decoding device | |
KR101213704B1 (en) | Method and apparatus for video coding and decoding based on variable color format | |
KR101482896B1 (en) | Optimized deblocking filters | |
EP2323407A1 (en) | Video image encoding method, video image decoding method, video image encoding apparatus, video image decoding apparatus, program and integrated circuit | |
CN107396126B (en) | Method for encoding and decoding images, encoding and decoding device, and corresponding computer program | |
US20130003839A1 (en) | Fast Encoding Method for Lossless Coding | |
US20060227868A1 (en) | System and method of reduced-temporal-resolution update for video coding and quality control | |
US20120163473A1 (en) | Method for encoding a video sequence and associated encoding device | |
US11490091B2 (en) | Method and apparatus for determining reference picture set of image | |
US20090238283A1 (en) | Method and apparatus for encoding and decoding image | |
GB2488830A (en) | Encoding and decoding image data | |
US8781004B1 (en) | System and method for encoding video using variable loop filter | |
KR20100136391A (en) | Method and apparatus for encoding and decoding using flexible filter structures | |
JPWO2012042646A1 (en) | Moving picture coding apparatus, moving picture coding method, moving picture coding computer program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding computer program | |
US20100322526A1 (en) | Method of filtering restored image using plurality of filters and encoding/decoding apparatus and method using filtering method | |
CN113709459B (en) | Intra-frame prediction method, device and computer storage medium | |
KR102020953B1 (en) | Image Reencoding Method based on Decoding Data of Image of Camera and System thereof | |
WO2012049876A1 (en) | Video image encoding method and decoding method | |
WO2023055267A1 (en) | Efficient transmission of decoding information | |
KR101307469B1 (en) | Video encoder, video decoder, video encoding method, and video decoding method | |
Chen | An intra-rate estimation method for H. 264 rate control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E601 | Decision to refuse application |