KR102719084B1

KR102719084B1 - 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치

Info

Publication number: KR102719084B1
Application number: KR1020170183667A
Authority: KR
Inventors: 정제창; 김기백; 이정현
Original assignee: 한양대학교 산학협력단
Priority date: 2017-01-02
Filing date: 2017-12-29
Publication date: 2024-10-16
Anticipated expiration: 2037-12-29
Also published as: US20190335171A1; US11044472B2; US20210289202A1; KR20180080115A

Abstract

참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법이 개시된다. 화면 내 예측 방법은 현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계, 구성된 참조 화소에 대하여 적응적 필터링을 수행하는 단계 및 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함한다. 따라서, 예측 블록의 정확도가 높아질 수 있다.

Description

참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치{INTRAPREDICTION METHOD AND APPARATUS FOR PERFORMING ADAPTIVE FILTERING ON REFERENCE PIXELS}

본 발명은 참조 화소에 대하여 적응적 필터링을 수행하는 화면 내 예측 방법 및 장치에 관한 것으로, 더욱 상세하게는 현재 블록의 이웃 블록에 속하는 참조 화소에 대하여 이웃 블록의 특성을 고려하여 적응적으로 필터링함으로써 화면 내 예측의 효율을 향상시키는 기술에 관한 것이다.

ISO/ISE MPEG (Moving Picture Experts Group)과 ITU-T VCEG (Video Coding Experts Group)으로 불리는 각 기관은 JCV-VC (Joint Collaborative Team on Video Coding)를 조직하여 2013 년 1 월 ISO/IEC MPEG-H HEVC (High Efficiency Video Coding)/ITU-T H.265 인 비디오 압축 표준 기술을 제정하였다. 또한, 현재 급속한 정보통신기술의 발전에 따른 고화질 영상이 대중화되는 추세에 부응하기 위해, ISO/ISE MPEG과 ITU-T VCEG 은 제 22 차 JCT-VC 제네바 회의에서 JVET (Joint Video Exploration Team)을 조직하여 HD (High Definition) 화질보다 선명한 UHD 화질(Ultra High Definition)의 영상 압축을 위한 차세대 영상 압축 기술 표준을 제정하고자 활발히 노력하고 있다.

한편, 기존의 비디오 압축 표준 기술에 따르면, 부호화할 현재 블록에 대한 예측 블록을 생성하고, 예측 블록과 현재 블록의 차분값을 부호화함으로써 부호화되는 데이터량을 줄이고 있는데, 이러한 예측 기술에는 동일한 화면 내에서 공간적으로 인접한 블록과의 유사성을 이용하여 현재 블록에 대한 예측 블록을 생성하는 화면 내 예측 방법과, 시간적으로 인접한 화면 내의 블록과의 유사성을 이용하여 현재 블록에 대한 예측 블록을 생성하는 화면 간 예측 방법이 있다.

화면 내 예측 방법은 이웃 블록에 포함된 참조 화소를 이용하여 예측 블록을 생성하는데, 참조 화소는 양자화를 거쳐 재구성된 화소이기 때문에 양자화 에러가 포함되어 있다. 따라서, 참조 화소에 대한 필터링이 요구되는데, 종래의 기술은 이웃 블록의 특성은 고려하지 않고 참조 화소에 대한 필터링을 수행하고 있어 필터링된 참조 화소를 이용한 예측의 정확도가 떨어질 수 있는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 화면 내 예측을 수행하는 영상 복호화 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법을 제공한다.

여기서 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법은 현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계, 구성된 참조 화소에 대하여 적응적 필터링을 수행하는 단계 및 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 현재 블록의 크기를 기준으로 상기 이웃 블록의 상대적 크기에 따라 적응적 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 작으면, 기준 필터보다 약한 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 크면, 기준 필터보다 강한 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기와 같으면, 미리 설정된 기준 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 현재 블록의 크기가 미리 설정된 크기보다 작은 경우에 상기 이웃 블록의 상대적 크기에 따라 적응적 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 현재 블록의 크기가 미리 설정된 크기보다 크거나 같으면 상기 이웃 블록의 상대적 크기를 고려하지 않고, 기준 필터보다 강한 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 미리 설정된 크기는 64×64, 32×32, 16×16, 8×8 중 하나일 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 수직 모드 또는 수평 모드와 상기 현재 블록의 화면 내 예측 모드 사이의 최소 거리가 미리 설정된 임계값보다 크거나 같은 경우에만 수행될 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 작고, 구성된 참조 화소들이 두 개의 이웃 블록 사이의 경계에 걸쳐 위치하면, 기준 필터의 탭수 또는 계수를 변경하여 상기 참조 화소들에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 크거나 같으면, 상기 이웃 블록 내에 속하는 참조 화소들 사이에 엣지가 존재하는지 여부를 판단하는 단계를 포함할 수 있다.

여기서 상기 엣지가 존재하는지 여부를 판단하는 단계는, 상기 참조 화소들 중 연속된 3개의 화소 또는 연속된 2개의 화소를 이용하여 도출된 제1 값이 임계값보다 큰지 여부에 따라 상기 엣지가 존재하는지 여부를 판단할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계는, 상기 엣지가 없는 이웃 블록 내에 속하는 참조 화소들에 한하여 필터링을 수행할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면은 화면 내 예측을 수행하는 영상 복호화 장치를 제공한다.

여기서 영상 복호화 장치는 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.

여기서 상기 적어도 하나의 단계는, 현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계, 구성된 참조 화소에 대하여 적응적 필터링을 수행하는 단계 및 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함할 수 있다.

상기와 같은 본 발명에 따른 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치를 이용할 경우에는 이웃 블록의 특성이 참조 화소의 필터링에서 반영되므로 필터링된 참조 화소를 이용하여 생성된 예측 블록의 정확도가 향상될 수 있다.

또한, 이웃 블록의 엣지 특성, 블록 경계 특성을 모두 고려할 수 있으므로 영상 부호화 및 복호화 효율이 향상될 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 시스템에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 구성도이다.
도 4는 HEVC에서의 화면 내 예측 모드를 설명하기 위한 예시도이다.
도 5는 수직 모드에 따른 화면 내 예측 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 화면 내 예측에서 현재 블록과 이웃 블록간의 상관 관계를 기초로 참조 화소에 대한 적응적 필터링 방법을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 화면 내 예측에서 참조 화소의 위치에 따른 적응적 필터링 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 화면 내 예측을 수행하는 영상 복호화 장치에 대한 구성도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

통상적으로 영상은 일련의 정지 영상(Still Image)으로 구성될 수 있으며, 이 정지 영상들은 GOP(Group of Pictures) 단위로 구분될 수 있고, 각 정지 영상을 픽쳐(Picture)라고 지칭할 수 있다. 이때, 픽쳐는 프로그레시브(Progressive) 신호, 인터레이스(Interlace) 신호에서의 프레임(Frame), 필드(Field) 중 하나를 나타낼 수 있고, 부호화/복호화가 프레임 단위로 수행될 경우 영상은 '프레임', 필드 단위로 수행될 경우 '필드'로 나타낼 수 있다. 본 발명에서는 프로그레시브 신호를 가정하고 설명하지만, 인터레이스 신호에도 적용 가능할 수 있다. 상위 개념으로는 GOP, 시퀀스(Sequence)등의 단위가 존재할 수 있으며, 또한, 각 픽쳐는 슬라이스, 타일, 블록 등과 같은 소정의 영역으로 분할될 수 있다. 또한, 하나의 GOP에는 I 픽쳐, P 픽쳐, B 픽쳐 등의 단위가 포함될 수 있다. I 픽쳐는 참조 픽쳐를 사용하지 않고 자체적으로 부호화/복호화되는 픽쳐를 의미할 수 있으며, P 픽쳐와 B 픽쳐는 참조 픽쳐를 사용하여 움직임 추정(Motion Estimation) 및 움직임 보상(Motion Compensation) 등의 과정을 수행하여 부호화/복호화 하는 픽쳐를 의미할 수 있다. 일반적으로 P 픽쳐의 경우 I 픽쳐와 P 픽쳐를 참조 픽쳐로써 이용할 수 있으며, B 픽쳐의 경우 I 픽쳐와 P 픽쳐를 참조 픽쳐를 이용할 수 있으나, 이는 부호화/복호화의 설정에 의해 위의 정의 또한 변경될 수 있다.

여기서 부호화/복호화하는데 참조되는 픽쳐를 참조 픽쳐(Reference Picture)라고 하며, 참조되는 블록 또는 화소를 참조 블록(Reference Block), 참조 화소(Reference Pixel)라고 한다. 또한, 참조되는 데이터(Reference Data)는 공간 영역(Spatial Domain)의 화소값 뿐만 아니라 주파수 영역(Frequency Domain)의 계수값, 부호화/복호화 과정 중에 생성, 결정되는 다양한 부호화/복호화 정보일 수 있다. 예를 들어, 예측부에서 화면 내 예측 관련 정보 또는 움직임 관련 정보, 변환부/역변환부에서 변환 관련 정보, 양자화부/역양자화부에서 양자화 관련 정보, 부호화부/복호화부에서는 부호화/복호화 관련 정보(문맥 정보), 인루프 필터부에서는 필터 관련 정보 등이 해당될 수 있다.

영상을 이루는 최소 단위는 화소(Pixel)일 수 있으며, 하나의 화소를 표현하는데 사용되는 비트수를 비트 심도(Bit Depth)라고 한다. 일반적으로 비트 심도는 8비트일 수 있으며 부호화 설정에 따라 그 이상의 비트 심도를 지원할 수 있다. 비트 심도는 컬러 공간(Color Space)에 따라 적어도 하나의 비트 심도가 지원될 수 있다. 또한, 영상의 컬러 포맷(Color Format)에 따라 적어도 하나의 컬러 공간으로 구성될 수 있다. 컬러 포맷에 따라 일정 크기를 갖는 1개 이상의 픽쳐 또는 다른 크기를 갖는 1개 이상의 픽쳐로 구성될 수 있다. 예를 들어, YCbCr 4:2:0인 경우 1개의 휘도 성분(본 예에서, Y)과 2개의 색차 성분(본 예에서, Cb/Cr)으로 구성될 수 있으며, 이때 색차 성분과 휘도 성분의 구성 비는 가로, 세로 1:2를 가질 수 있다. 다른 예로, 4:4:4인 경우 가로, 세로 동일한 구성 비를 가질 수 있다. 상기 예처럼 하나 이상의 컬러 공간으로 구성이 되는 경우 픽쳐는 각 컬러 공간으로의 분할을 수행할 수 있다.

본 발명에서는 일부 컬러 포맷(본 예에서, YCbCr)의 일부 컬러 공간(본 예에서, Y)을 기준으로 설명할 것이며, 컬러 포맷에 따른 다른 컬러 공간(본 예에서, Cb, Cr)에도 동일하거나 비슷한 적용(특정 컬러 공간에 의존적인 설정)을 할 수 있다. 그러나 각 컬러 공간에 부분적인 차이(특정 컬러 공간에 독립적인 설정)를 두는 것 또한 가능할 수 있다. 즉, 각 컬러 공간에 의존적인 설정은 각 성분의 구성 비(예를 들어, 4:2:0, 4:2:2, 4:4:4 등에 따라 결정)에 비례하거나 의존적인 설정을 갖는 것으로 의미할 수 있고, 각 컬러 공간에 독립적인 설정은 각 성분의 구성 비에 관계없거나 독립적으로 해당 컬러 공간만의 설정을 갖는 것으로 의미할 수 있다. 본 발명에서는 부/복호화기에 따라 일부 구성에 대해서는 독립적인 설정을 갖거나 의존적인 설정을 가질 수 있다.

영상 부호화 과정에서 필요한 설정 정보 또는 구문 요소(Syntax Element)는 비디오, 시퀀스, 픽쳐, 슬라이스, 타일, 블록 등의 단위 수준에서 정해질 수 있으며 이는 VPS(Video Parameter Set), SPS(Sequence Parameter Set), PPS(Picture Parameter Set), Slice Header, Tile Header, Block Header 등과 같은 단위로 비트스트림에 수록되어 복호화기로 전송될 수 있고, 복호화기에서는 동일 수준의 단위에서 파싱(Parsing)하여 부호화기에서 전송된 설정 정보를 복원하여 영상 복호화 과정에 사용할 수 있다. 또한, SEI(Supplement Enhancement Information) 또는 메타 데이터(Metadata) 등의 형태로 관련 정보를 비트스트림으로 전송하고 파싱하여 사용할 수 있다. 각 파라미터 세트는 고유의 아이디값을 갖고 있으며, 하위 파라미터 세트에서는 참조할 상위 파라미터 세트의 아이디값을 가질 수 있다. 예를 들어, 하위 파라미터 세트에서 하나 이상의 상위 파라미터 세트 중 일치하는 아이디값을 갖는 상위 파라미터 세트의 정보를 참조할 수 있다. 위에서 언급된 다양한 단위의 예 중 어떤 하나의 단위가 하나 이상의 다른 단위를 포함하는 경우에 해당하는 단위는 상위 단위, 포함되는 단위는 하위 단위라 칭할 수 있다.

상기 단위에서 발생하는 설정 정보의 경우 해당 단위마다 독립적인 설정에 대한 내용을 포함하거나 이전, 이후 또는 상위 단위 등에 의존적인 설정에 대한 내용을 포함할 수 있다. 여기서 의존적인 설정이란 이전, 이후, 상위 단위의 설정을 따른다는 플래그 정보(예를 들어, 1 비트 플래그로 1이면 따름. 0이면 따르지 않음)로 해당 단위의 설정 정보를 나타내는 것이라 이해될 수 있다. 본 발명에서의 설정 정보는 독립적인 설정에 대한 예를 중심으로 설명을 할 것이나, 현재 단위의 이전, 이후의 단위 또는 상위 단위의 설정 정보에 의존적인 관계에 대한 내용으로의 추가 또는 대체되는 예 또한 포함될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 시스템에 대한 개념도이다.

도 1을 참조하면, 영상 부호화 장치(105) 및 복호화 장치(100)는 개인용 컴퓨터(PC:Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리(memory, 120, 125), 프로그램을 실행하여 연산 및 제어하기 위한 프로세서(processor, 110, 115) 등을 구비하는 다양한 장치를 포함할 수 있다. 또한, 영상 부호화 장치(105)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망(Network) 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치(100)로 전송되어 영상 복호화 장치(100)에서 복호화되어 영상으로 복원되고 재생될 수 있다. 또한, 영상 부호화 장치(105)에 의해 비트스트림으로 부호화된 영상은 컴퓨터 판독 가능한 기록 매체를 통하여 영상 부호화 장치(105)에서 영상 복호화 장치(100)로 전달될 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록도이다.

본 실시예에 따른 영상 부호화 장치(20)는, 도 2에 나타낸 바와 같이, 예측부(200), 감산부(205), 변환부(210), 양자화부(215), 역양자화부(220), 역변환부(225), 가산부(230), 필터부(235), 복호화 픽쳐 버퍼(240) 및 엔트로피 부호화부(245)를 포함할 수 있다.

예측부(200)는 화면 내 예측을 수행하는 화면 내 예측부와 화면 간 예측을 수행하는 화면 간 예측부를 포함할 수 있다. 화면 내 예측은 현재 블록의 인접한 블록의 화소를 이용하여 공간적인 예측을 수행하여 예측 블록을 생성할 수 있고, 화면 간 예측은 참조 영상으로부터 현재 블록과 가장 매치가 되는 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 해당 단위(부호화 단위 또는 예측 단위)에 대해 화면 내 예측 또는 화면 간 예측 중 어떤 방식을 사용할 지에 대한 것을 결정하고, 각 예측 방법에 따른 구체적인 정보(예를 들어, 화면 내 예측 모드, 움직임 벡터, 참조 영상 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 부/복호화 설정에 따라 정해질 수 있다. 예를 들어, 예측 방법, 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수 있다.

감산부(205)는 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성한다. 즉, 감산부(205)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부를 통해 생성된 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호인 잔차 블록을 생성한다.

변환부(210)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(210)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반의 변환(DCT Based Transform), 이산 사인 변환 기반의 변환(DST Based Transform), 카루넨 루베 변환 기반의 변환(KLT Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다. 변환은 1차원 변환 매트릭스에 의해 변환될 수 있다. 수평, 수직 단위로 각 변환 매트릭스가 적응적으로 사용될 수 있다. 예를 들어, 화면 내 예측의 경우, 예측 모드가 수평일 경우에는 수직 방향으로는 DCT 기반의 변환 매트릭스가, 수평 방향으로는 DST 기반의 변환 매트릭스가 사용될 수도 있다. 수직일 경우에는 수평 방향으로는 DCT 기반의 변환 매트릭스가, 수직 방향으로는 DST 기반의 변환 매트릭스가 사용될 수 있다.

양자화부(215)는 변환부(210)에 의해 주파수 영역으로 변환된 주파수 계수를 갖는 잔차 블록을 양자화한다. 여기서, 양자화부(215)는 변환된 잔차 블록을 데드존 균일 경계 양자화(Dead Zone Uniform Threshold Quantization), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다. 이는1개 이상의 양자화 기법을 후보로 둘 수 있으며 부호화 모드, 예측 모드 정보 등에 의해 결정될 수 있다.

엔트로피 부호화부(245)는 생성된 양자화 주파수 계수열을 다양한 스캔 방식에 따라 스캔하여 양자화 계수열을 생성하고, 이를 엔트로피 부호화 기법 등을 이용하여 부호화 함으로써 출력한다. 스캔 패턴은 지그재그, 대각선, 래스터(raster) 등 다양한 패턴들 중 하나로 설정할 수 있다.

역양자화부(220)는 양자화부(215)에 의해 양자화된 잔차 블록을 역 양자화한다. 즉, 양자화부(220)는 양자화 주파수 계수열을 역양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.

역변환부(225)는 역양자화부(220)에 의해 역양자화된 잔차 블록을 역변환한다. 즉, 역변환부(225)는 역양자화된 잔차 블록의 주파수 계수들을 역변환하여 화소값을 갖는 잔차 블록, 즉 복원된 잔차 블록을 생성한다. 여기서, 역변환부(225)는 변환부(210)에서 사용한 변환한 방식을 역으로 사용하여 역변환을 수행할 수 있다.

가산부(230)는 예측부(200)에서 예측된 예측 블록과 역변환부(225)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 복호화 픽쳐 버퍼(240)에 참조 픽쳐(또는 참조 블록)로서 저장되어 현재 블록의 다음 블록이나 향후 다른 블록, 다른 픽쳐를 부호화할 때 참조 픽쳐로서 사용될 수 있다.

필터부(235)는 디블록킹 필터, SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 등의 하나 이상의 후처리 필터 과정을 포함할 수 있다. 디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band offset), 에지 오프셋 등의 형태로 적용될 수 있다. 이와 같은 후처리 필터는 복원된 픽쳐 또는 블록에 적용될 수 있다.

복호화 픽쳐 버퍼(240)는 필터부(235)를 통해 복원된 블록 또는 픽쳐를 저장할 수 있다. 복호화 픽쳐 버퍼(240)에 저장된 복원 블록 또는 픽쳐는 화면 내 예측 또는 화면 간 예측을 수행하는 예측부(200)에 제공될 수 있다.

도면에 도시 하지 않았지만 분할부가 더 포함될 수 있으며, 분할부를 통해 다양한 크기의 부호화 단위로 분할할 수 있다. 이때, 부호화 단위는 컬러 포맷에 따라 복수개의 부호화 블록으로 구성(예를 들어, 하나의 휘도 부호화 블록, 둘의 색차 부호화 블록 등)될 수 있다. 설명의 편의를 위해 하나의 컬러 성분 단위를 가정하여 설명한다. 부호화 블록은 M×M(예를 들어, M은 4, 8, 16, 32, 64, 128 등)과 같은 가변 크기를 가질 수 있다. 또는, 분할 방식(예를 들어, 트리 기반의 분할. 쿼드 트리 분할, 바이너리 트리 분할 등)에 따라 부호화 블록은 M×N(예를 들어, M과 N은 4, 8, 16, 32, 64, 128 등)과 같은 가변 크기를 가질 수 있다. 이때, 부호화 블록은 화면 내 예측, 화면 간 예측, 변환, 양자화, 엔트로피 부호화 등의 기초가 되는 단위일 수 있다.

본 발명에서는 분할 방식에 따라 동일한 크기 및 형태를 갖는 복수 개의 서브 블록이 획득되는 가정 하에 설명하지만, 비대칭적인 서브 블록(예를 들어, 바이너리 트리의 경우 4M × 4N은 3M × 4N/M × 4N 또는 4M × 3N/4M × N 등으로 분할)을 갖는 경우로의 적용 또한 가능할 수 있다. 이때, 비대칭적인 서브 블록은 대칭적인 서브 블록을 획득하는 분할 방식에 부/복호화 설정에 따라 추가적으로 지원 여부가 결정되는 정보에 의해 지원될 수 있다.

부호화 블록(M×N)의 분할은 재귀적인 트리 기반의 구조를 가질 수 있다. 이때, 분할 여부는 분할 플래그(예를 들어, 쿼드 트리 분할 플래그, 바이너리 분할 플래그)를 통해 나타낼 수 있다. 예를 들어, 분할 깊이(Depth)가 k인 부호화 블록의 분할 플래그가 0인 경우 부호화 블록의 부호화는 분할 깊이가 k인 부호화 블록에서 수행되며, 분할 깊이가 k인 부호화 블록의 분할 플래그가 1인 경우 부호화 블록의 부호화는 분할 방식에 따라 분할 깊이가 k+1인 4개의 서브 부호화 블록(쿼드 트리 분할) 또는 2개의 서브 부호화 블록(바이너리 트리 분할)에서 수행된다. 이때, 블록의 크기는 4개의 부호화 블록의 경우 (M >> 1) × (N >> 1)이고, 2개의 부호화 블록의 경우 (M >> 1) × N 또는 M × (N >>1)일 수 있다. 상기 서브 부호화 블록은 다시 부호화 블록(k+1)으로 설정되어 상기 과정을 거쳐 서브 부호화 블록(k+2)으로 분할될 수 있다. 이때, 쿼드 트리 분할의 경우 하나의 분할 플래그(예를 들어, 분할 여부 플래그)가 지원될 수 있고, 바이너리 트리 분할의 경우 적어도 하나(최대 2개)의 플래그(예를 들어, 분할 여부 플래그에 추가적으로 분할 방향 플래그<가로 또는 세로. 선행하는 상위 또는 이전 분할 결과에 따라 일부 경우에 생략가능>)가 지원될 수 있다.

블록 분할은 최대 부호화 블록에서 시작하여 최소 부호화 블록까지 진행할 수 있다. 또는, 최소 분할 깊이에서 시작하여 최대 분할 깊이까지 진행할 수 있다. 즉, 블록의 크기가 최소 부호화 블록 크기에 도달하거나 분할 깊이가 최대 분할 깊이에 도달할 때까지 재귀적으로 분할을 수행할 수 있다. 이때, 부/복호화 설정(예를 들어, 영상<슬라이스, 타일> 타입<I/P/B>, 부호화 모드<Intra/Inter>, 색차 성분<Y/Cb/Cr> 등)에 따라 최대 부호화 블록의 크기와 최소 부호화 블록의 크기, 최대 분할 깊이가 적응적으로 설정될 수 있다. 예를 들어, 최대 부호화 블록은 128×128일 때, 쿼드 트리 분할은 8×8 ~ 128×128 범위에서 수행될 수 있고, 바이너리 트리 분할은 4×4 ~ 32×32범위와 최대 분할 깊이 3인 경우에 수행될 수 있다. 또는, 쿼드 트리 분할은 8×8 ~ 128×128 범위에서 수행될 수 있고, 바이너리 트리 분할은 4×4 ~ 128×128 범위와 최대 분할 깊이 3인 경우에 수행될 수 있다. 전자의 경우 I 영상 타입(예를 들어, 슬라이스), 후자의 경우 P나 B 영상 타입에서의 설정일 수 있다. 상기 예에서 설명된 것과 같이 최대 부호화 블록의 크기, 최소 부호화 블록의 크기, 최대 분할 깊이 등과 같은 분할 설정은 분할 방식에 따라 공통되거나 또는 개별적으로 지원될 수 있다.

복수의 분할 방식이 지원되는 경우 각 분할 방식의 블록 지원 범위 내에서 분할이 수행되며, 각 분할 방식의 블록 지원 범위가 겹치는 경우에는 분할 방식의 우선 순위가 존재할 수 있다. 예를 들어, 쿼드 트리 분할이 바이너리 트리 분할을 선행할 수 있다. 또한, 복수의 분할 방식이 지원되는 경우 선행하는 분할의 결과에 따라 후행하는 분할의 수행 여부가 결정될 수 있다. 예를 들어, 선행하는 분할의 결과가 분할을 수행함을 나타낼 경우 후행하는 분할은 수행하지 않고 선행한 분할에 따라 분할된 서브 부호화 블록이 다시 부호화 블록으로 설정되어 분할을 수행할 수 있다.

또는, 선행하는 분할의 결과가 분할을 수행하지 않음을 나타낼 경우 후행하는 분할의 결과에 따라 분할을 수행할 수 있다. 이때, 후행하는 분할의 결과가 분할을 수행함을 나타낼 경우 분할된 서브 부호화 블록이 다시 부호화 블록으로 설정되어 분할을 수행할 수 있고, 후행하는 분할의 결과가 분할을 수행하지 않음을 나타낼 경우 더 이상의 분할은 수행하지 않는다. 이때, 후행하는 분할 결과가 분할을 수행함을 나타내고 분할된 서브 부호화 블록이 다시 부호화 블록으로 설정되었을 때의 상황도 복수의 분할 방식이 지원되는 경우일 때, 선행하는 분할은 수행하지 않고 후행하는 분할만 지원할 수 있다. 즉, 복수의 분할 방식이 지원되는 경우에 선행하는 분할의 결과가 분할이 수행되지 않음을 나타낼 경우 더 이상 선행의 분할은 수행하지 않음을 의미한다.

예를 들어, M × N부호화 블록은 쿼드 트리 분할와 바이너리 트리 분할이 가능할 경우 우선 쿼드 트리 분할 플래그를 확인할 수 있고, 상기 분할 플래그가 1인 경우에는 (M >> 1) × (N >> 1) 크기의 4개의 서브 부호화 블록으로 분할이 수행이 되고 상기 서브 부호화 블록은 다시 부호화 블록으로 설정되어 분할(쿼드 트리 분할 또는 바이너리 트리 분할)을 수행할 수 있다. 상기 분할 플래그가 0인 경우에는 바이너리 트리 분할 플래그를 확인할 수 있고, 해당 플래그가 1인 경우에는 (M >> 1) × N 또는 M × (N >> 1) 크기의 2 개의 서브 부호화 블록으로 분할이 수행되고 상기 서브 부호화 블록은 다시 부호화 블록으로 설정되어 분할(바이너리 트리 분할)을 수행할 수 있다. 상기 분할 플래그가 0인 경우에는 분할 과정을 종료하고 부호화를 진행한다.

상기 예를 통해 복수의 분할 방식이 수행되는 경우를 설명하였지만, 이에 한정되지 않고 다양한 분할 방식의 지원 조합이 가능할 수 있다. 예를 들어, 쿼드 트리/바이너리 트리/ 쿼드 트리 + 바이너리 트리 등의 분할 방식이 사용될 수 있다. 이때, 기본의 분할 방식은 쿼드 트리 방식, 추가적인 분할 방식은 바이너리 트리 방식으로 설정할 수 있고, 추가적인 분할 방식의 지원 여부에 대한 정보가 명시적으로 시퀀스, 픽쳐, 슬라이스, 타일 등의 단위에 포함될 수 있다.

상기 예에서 부호화 블록의 크기 정보, 부호화 블록의 지원 범위, 최대 분할 깊이 등 분할에 관련된 정보는 시퀀스, 픽쳐, 슬라이스, 타일 등의 단위에 포함되거나 묵시적으로 결정될 수 있다. 정리하면, 최대 부호화 블록의 크기, 지원되는 블록의 범위, 최대 분할 깊이 등에 의해 허용 가능한 블록의 범위가 정해질 수 있다.

상기 과정을 통해 분할이 수행되어 획득되는 부호화 블록은 화면 내 예측 또는 화면 간 예측의 최대 크기로 설정될 수 있다. 즉, 블록 분할이 끝난 부호화 블록은 화면 내 예측 또는 화면 간 예측을 위해 예측 블록의 분할의 시작 크기일 수 있다. 예를 들어, 부호화 블록이 2M×2N일 경우 예측 블록은 그보다 같거나 작은 2M×2N, M×N의 크기를 가질 수 있다. 또는, 2M×2N, 2M×N, M×2N, M×N의 크기를 가질 수 있다. 또는, 부호화 블록와 동일한 크기로 2M×2N의 크기를 가질 수 있다. 이때, 부호화 블록과 예측 블록이 동일한 크기를 갖는다는 것은 예측 블록의 분할을 수행하지 않고 부호화 블록의 분할을 통해 획득된 크기로 예측을 수행한다는 것을 의미할 수 있다. 즉, 예측 블록을 위한 분할 정보는 생성되지 않는다는 것을 의미한다. 이와 같은 설정은 변환 블록에도 적용될 수 있으며 분할된 부호화 블록 단위로 변환을 수행할 수도 있다. 즉, 상기 분할 결과에 따라 획득되는 정사각 또는 직사각 형태의 블록이 화면내 예측, 화면간 예측에 사용되는 블록일 수 있고, 잔차 성분에 대한 변환, 양자화에 사용되는 블록일 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 구성도이다.

도 3을 참조하면, 영상 복호화 장치(30)는, 부호화 픽쳐 버퍼(300), 엔트로피 복호화부(305), 예측부(310), 역양자화부(315), 역변환부(320), 가감산기(325), 필터(330), 복호화 픽쳐 버퍼(335)를 포함하여 구성될 수 있다.

또한, 예측부(310)는 다시 화면 내 예측 모듈 및 화면 간 예측 모듈을 포함하여 구성될 수 있다.

먼저, 영상 부호화 장치(20)로부터 전달된 영상 비트스트림이 수신되면, 부호화 픽쳐 버퍼(300)에 저장될 수 있다.

엔트로피 복호화부(305)는 비트스트림을 복호화하여 양자화된 계수들, 움직임 벡터들 및 다른 구문(syntax)를 생성할 수 있다. 생성된 데이터는 예측부(310)로 전달될 수 있다.

예측부(310)는 엔트로피 복호화부(305)로부터 전달된 데이터들에 기초하여 예측 블록을 생성할 수 있다. 이때, 복호화된 픽쳐 버퍼(335)에 저장된 참조 영상에 기초하여, 디폴트(default) 구성 기법을 이용한 참조 픽쳐 리스트를 구성할 수도 있다.

역양자화부(315)는 비트스트림으로 제공되어 엔트로피 복호화부(305)에 의해 복호화된 양자화된 변환 계수들을 역양자화할 수 있다.

역변환부(320)는 역 DCT, 역 정수 변환 또는 그와 유사한 개념의 역변환 기법들을 변환 계수에 적용하여 잔차 블록을 생성할 수 있다.

이때, 역양자화부(315), 역변환부(320)는 앞서 설명한 영상 부호화 장치(20)의 변환부(210) 및 양자화부(215)에서 수행한 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 변환부(210) 및 양자화부(215)와 공유하는 동일한 과정 및 역변환을 사용할 수도 있고, 영상 부호화 장치(20)로부터 변환 및 양자화 과정에 관한 정보(예를 들면, 변환 크기, 변환 모양, 양자화 타입 등)를 이용하여 변환 및 양자화 과정을 역으로 수행할 수 있다.

역양자화 및 역변환 과정을 거친 잔차 블록은 예측부(310)에 의해 도출된 예측 블록과 가산되어 복원된 영상 블록이 생성될 수 있다. 이러한 가산은 가감산기(325)에 의해 이루어 질 수 있다.

필터(330)는 복원된 영상 블록에 대하여, 필요에 따라 블로킹(blocking) 현상을 제거하기 위하여 디블로킹 필터를 적용할 수도 있고, 상기 복호화 과정 전 후에 다른 루프 필터들을 비디오 품질을 향상시키기 위해 추가로 사용할 수도 있다.

복원 및 필터를 거친 영상 블록은 복호화 픽쳐 버퍼(335)에 저장될 수 있다.

도 4는 HEVC에서의 화면 내 예측 모드를 설명하기 위한 예시도이다.

도 4를 참조하면, HEVC에서 화면 내 예측 모드를 구성하는 여러 방향성을 확인할 수 있다.

구체적으로, HEVC는 33개의 방향성 모드(2번부터 34번의 방향으로 도시)와 2개의 비방향성 모드(Intra_planar, Intra_DC)를 포함하여, 총 35개의 화면 내 예측 모드를 지원할 수 있다. 이때, 블록의 크기에 따라 화면 내 예측 모드의 수를 달리 설정할 수도 있다. 예를 들면, 64×64 블록은 67개의 화면 내 예측 모드를 지원할 수도 있고, 32×32 블록은 35개의 화면 내 예측 모드를 지원할 수 있으며, 16×16 블록은 19개의 화면 내 예측 모드를 지원할 수 있다.

도 5는 수직 모드에 따른 화면 내 예측 방법을 설명하기 위한 예시도이다.

도 5를 참조하면, 현재 블록과 인접한 이웃 블록에 속하는 화소들 중에서 현재 블록과 인접한 화소들(X, A, B, C, D, ... , L, M, N, O, P)의 전부 또는 일부를 화면 내 예측을 위한 참조 화소로 사용할 수 있다. 이때, 현재 블록과 인접한 이웃 블록은 현재 블록의 좌하단, 좌, 좌상단, 상단, 우상단에 있는 블록일 수 있다.

여기서 수직 모드에 따른 참조 화소는 현재 블록의 상단에 위치한 블록 내에 속하는 인접 화소들(A, B, C, D)일 수 있다. 따라서, 현재 블록의 상단에 위치한 블록 내에 속하는 인접 화소들을 내삽, 외삽, 평균(예를 들면, 수직 방향으로 참조 화소를 복사)하는 등의 방법으로 현재 블록의 예측 블록을 생성할 수 있다.

도 5에서는 하나의 예시로서 수직 모드를 기준으로 설명하였으나, 수직 모드 이외에도 도 4에 따른 방향성 모드와 비방향성 모드 모두 같은 방식으로 적용될 수 있는 것이 본 발명이 속하는 기술분야의 통상의 기술자에게 용이하게 이해될 수 있을 것이다.

한편, 화면 내 예측에서 사용되는 참조 화소들은 이웃 블록에 속하는 화소들로서, 이웃 블록의 부/복호화 과정에서 양자화 에러가 포함되어 있을 수 있다. 따라서, 양자화 에러를 제거하기 위한 참조 화소 필터링이 필요할 수 있다.

그러나 참조 화소에 필터링을 적용하는 것이 항상 좋은 결과를 낳는 것은 아닐 수 있다. 예를 들어, 필터링을 통해 양자화 에러를 줄이는 것뿐만 아니라 원본 화소값과 크게 다른 화소값이 필터링 결과로 나올 경우 부정확한 참조 화소로 인해 화면내 예측의 정확도가 감소될 수 있다. 그렇다고 필터링을 적용을 하지 않는 경우에도 양자화 에러를 줄일 수 없기 때문에 역시 화면내 예측의 정확도 감소로 이어질 수 있다.

이를 위해 적응적인 필터링 적용에 대한 방법이 필요하다. 예를 들어, 통계적인 특성을 분석하여 AVC의 경우 현재 블록 크기에 따라 필터링을 묵시적으로 적용하며, HEVC의 경우 현재 블록 크기와 현재 블록의 예측 모드에 따라 필터링을 묵시적으로 적용하고 있다.

참조 화소의 경우 현재 블록의 예측 블록 생성에 사용되지만, 엄연히 현재 블록과 다른 이웃 블록에 속해 있다. 기존의 방법의 경우 현재 블록의 상태(블록 크기, 예측 모드)만을 고려하여 필터링을 적용하고 있기 때문에 영상의 특성을 제대로 반영하지 못하는 단점이 있다.

효과적인 참조 화소 필터링에 관한 다양한 방법을 지원할 수 있다.

일 예로, 기존의 경우 참조 화소 필터링(본 예에서 묵시적인 경우)에 적용되는 필터는 하나를 지원(예를 들어, 3 탭 필터 [1,2,1]/4)하고 있지만, 복수의 필터(예를 들어, 3탭 필터 [1,2,1]/4, 5탭 필터[2,3,6,3,2]/16 등)를 지원할 수 있다. 이때, 상기 필터링 과정은 필터링하고자 하는 대상 화소와 그를 중심으로 인접한 적어도 하나의 화소(대상 화소의 좌, 우, 상, 하 방향의 화소)에 필터링을 적용하는 것을 의미한다. 또한, 필터링하고자 하는 대상 화소에 인접하지 않은 화소를 사용하여 필터링(예를 들어, 블록의 코너에 위치한 화소를 이용한 양방향 필터 등)을 적용하는 것을 의미한다.

예를 들어, 8 × 8 미만의 블록에서는 필터링을 적용하지 않고, 8 × 8 이상 32 × 32 이하의 블록에서는 필터 A(본 예에서 3 탭 필터)를 적용하고, 32 × 32 × 32 초과의 블록에서는 필터 B(본 예에서 5 탭 필터)를 적용할 수 있다. 상기 예에서는 블록 크기에 따라 필터링 관련 분류를 하였지만, 여기에 블록의 형태, 예측 모드 등이 고려되어 분류될 수 있다.

일 예로, 기존의 경우 참조 화소 필터링의 적용 유무는 묵시적으로 처리가 되고 있지만, 명시적으로 필터링 관련 정보가 생성될 수 있다.

예를 들어, 기 설정된 필터(예를 들어, 3 탭 필터 [1,2,1]/4)를 참조 화소에 적용할 지에 대한 정보가 생성될 수 있다. 상기 플래그가 1일 경우에는 참조 화소에 필터링을 적용하고, 상기 플래그가 0일 경우에는 참조 화소에 필터링을 적용하지 않는다.

또는, 필터링 적용 유무에 대한 정보뿐만 아니라 복수의 필터 후보군 중 하나를 선택할 수 있다. 즉, 필터링 적용 플래그에 추가적으로 필터 선택 정보가 명시적으로 생성될 수 있다. 예를 들어, 복수의 필터(예를 들어, 3 탭 필터 [1,2,1]/4, 5탭 필터 [2,3,6,3,2]/16)를 참조 화소 필터 후보군으로 둘 수 있으며, 참조 화소 필터링 적용 플래그가 1일 경우에는 필터 선택 정보(예를 들어, 0이면 3 탭 필터, 1이면 5탭 필터)에 따른 참조 화소 필터링을 수행할 수 있다. 또는, 참조 화소 필터링 적용 플래그가 0일 경우에는 참조 화소에 필터링을 적용하지 않는다.

또한, 현재 블록의 정보가 상기 필터링 설정에 관계되어 참조 화소 필터링 과정이 수행될 수 있다.

예를 들어, 일부 부/복호화 설정에는 묵시적으로 필터링이 처리가 되고, 일부 부/복호화 설정에는 명시적으로 필터링이 처리될 수 있다. 상세하게는, 일부 부/복호화 설정에는 묵시적으로 필터링이 처리되며 필터링이 수행되는 경우에는 필터 선택 정보 또한 묵시적으로 처리되고, 일부 부/복호화 설정에는 명시적으로 필터링이 처리되며 필터링이 수행되는 경우에는 필터링 선택 정보 또한 명시적으로 처리될 수 있다. 또는, 일부 부/복호화 설정에는 묵시적으로 필터링이 처리되지만 필터링이 수행되는 경우에는 명시적으로 생성되는 필터 선택 정보에 따라 필터링이 처리될 수 있고, 일부 부/복호화 설정에는 명시적으로 필터링이 처리되지만 필터링이 수행되는 경우에는 묵시적으로 처리되는 필터 선택 정보에 따라 필터링이 처리될 수 있다. 이때, 부/복호화 설정은 현재 블록의 크기, 형태, 예측 모드 등의 요소 중 적어도 하나의 요소 또는 복수 요소의 조합으로 정해질 수 있다.

예를 들어, 8 × 8 미만의 블록에서는 명시적으로 필터링을 처리하며 복수의 필터 후보군이 지원될 수 있고, 8 × 8 이상 32 × 32 이하의 블록에서는 명시적으로 필터링을 처리하며 기 설정된 하나의 필터가 지원될 수 있고, 32 × 32 초과의 블록에서는 묵시적으로 필터링이 지원될 수 있다. 상기 예에서는 블록 크기에 따라 필터링 관련 분류를 하였지만, 여기에 블록의 형태, 예측 모드 등이 고려되어 분류될 수 있다.

상기 예에서는 현재 블록의 특성에 따라 필터링이 적응적으로 결정되는 참조 화소 필터링에 대한 여러 조합에 대해 설명을 하였지만, 이에 한정되지 않고 다양한 변형 및 결합의 예가 가능할 수 있다. 후술하는 예에서는 현재 블록의 특성을 고려하는 것뿐만 아니라 이웃 블록의 특성, 현재 블록과 이웃 블록간의 상관관계를 고려하여 참조 화소에 대한 적응적인 필터링 방법을 제안하며, 묵시적으로 처리되는 경우를 중심으로 설명을 하지만 명시적인 설정 외에 상기 예에서 설명한 그 밖의 설정 또한 동일하거나 변경 적용이 될 수 있다.

후술하는 예에서는 현재 블록과 이웃 블록의 상관 관계 중 블록의 크기를 중심으로 적응적인 필터링에 대한 경우를 설명하지만, 현재 블록의 예측에 사용되는 이웃 블록의 상태(예를 들어, 블록 분할, 블록 경계 등)을 고려하여 현재 블록에 사용되는 참조 화소 필터링을 적용하는 경우로 이해될 수 있다.

도 6은 본 발명의 일 실시예에 따른 화면 내 예측에서 현재 블록과 이웃 블록간의 상관 관계를 기초로 참조 화소에 대한 적응적 필터링 방법을 설명하기 위한 예시도이다.

도 6을 참조하면, 현재 블록(Current)과 인접한 이웃 블록은 좌단에 위치한 블록(a), 좌상단에 위치한 블록(b), 상단에 위치한 블록(c), 우상단에 위치한 블록들(d, e)이 있을 수 있다(이하, 각 블록은 도면의 기호로 지칭할 수 있다). 이때, 현재 블록(Current)과 인접한 이웃 블록들의 크기(상세하게는, 현재 블록의 가로 또는 세로 길이. 본 예에서는 정사각 형태 블록에 대한 예이므로 크기로 지칭)는 현재 블록과 같거나 상이할 수 있다. 예를 들어, 블록 a는 현재 블록(Current)보다 크고, 블록 b는 현재 블록보다 작고, 블록 c는 현재 블록과 같고, 블록 d, e는 현재 블록보다 작을 수 있다.

본 발명의 제1 실시예에 따르면, 현재 블록과 이웃 블록들의 크기 관계를 기초로 참조 화소에 대한 적응적 필터링을 수행할 수 있다. 구체적으로 현재 블록과 이웃 블록의 크기 비교를 통해 현재 블록보다 큰 경우, 현재 블록과 같은 경우, 현재 블록보다 작은 경우 중 적어도 두 가지 이상의 경우에 따라 참조 화소에 대한 필터링 방법을 달리 적용할 수 있다.

예를 들면, 현재 블록(Current)보다 작은 이웃 블록들 b, d, e에 속한 참조 화소에 대해서는 제1 필터링 방법을 적용하고, 현재 블록(Current)과 같은 이웃 블록 c에 속한 참조 화소에 대해서는 제2 필터링 방법을 적용하며, 현재 블록(Current)보다 큰 이웃 블록 a에 속한 참조 화소에 대해서는 제3 필터링 방법을 적용할 수 있다.

또한, 현재 블록보다 이웃 블록이 모두 큰 경우에는 모든 이웃 블록에 속하는 참조 화소에 대하여 제3 필터링 방법을 적용하고, 현재 블록보다 이웃 블록이 모두 같은 경우에는 모든 이웃 블록에 속하는 참조 화소에 대하여 제2 필터링 방법을 적용하며, 현재 블록보다 이웃 블록이 모두 작은 경우에는 모든 이웃 블록에 속하는 참조 화소에 대하여 제1 필터링 방법을 적용할 수 있다.

여기서, 현재 블록보다 이웃 블록이 더 작은 경우에 적용되는 제1 필터링 방법은 가장 약한 필터(예를 들면, 3탭 필터 [1,2,1]/4)를 적용하고, 현재 블록보다 이웃 블록이 더 큰 경우에 적용되는 제3 필터링 방법은 가장 강한 필터(예를 들면, 코너에 있는 화소들을 이용한 양방향 필터)가 적용될 수 있으며, 현재 블록과 이웃 블록이 같은 경우에 적용되는 제2 필터링 방법은 필터링 강도가 중간 수준인 필터(예를 들면, 5탭 필터 [2, 3, 6, 3, 2]/16)가 적용될 수 있다.

여기서 제1 필터링 방법은 제2 필터링 방법을 미리 설정된 기준 필터링 방법으로 설명하면, 제2 필터링 방법보다 약하게 필터링하는 방법으로 설명할 수 있고, 제3 필터링 방법은 제2 필터링 방법보다 강하게 필터링하는 방법으로 설명할 수 있다. 상세하게는, 강한 필터링은 필터링 과정에 참조되는 화소의 개수가 많거나 화소 간의 간격이 먼 경우에 속하는 필터링일 수 있고, 약한 필터링은 상기 정의에 상대적으로 반대되는 성질을 갖는 필터링일 수 있지만, 이에 한정되지 않고 다양한 정의가 가능할 수 있다. 이하에서도 제1 필터링 방법 내지 제3 필터링 방법은 같은 의미를 갖는다.

본 발명의 제2 실시예에 따르면, 현재 블록과 이웃 블록들의 크기 관계와 현재 블록의 크기를 기초로 참조 화소에 대한 적응적 필터링을 수행할 수 있다. 전술한 것과 같이 현재 블록의 크기, 형태, 예측 모드 등의 현재 블록의 특성, 현재 블록과 이웃 블록과의 상관 관계를 고려하여 수행되는 필터링에 대한 일 예(본 예에서 현재 블록의 크기가 추가로 고려)일 수 있다.

다시 도 6을 참조하여 예를 들면, 현재 블록(Current)이 미리 설정된 크기(M×N)보다 작고, 현재 블록(Current)보다 작은 이웃 블록 b, d, e에 속하는 참조 화소에 대하여 제1 필터링 방법(가장 약한 필터)을 적용할 수 있다. 현재 블록(Current)이 미리 설정된 크기보다 작고, 현재 블록(Current)보다 크거나 같은 이웃 블록 a, c에 속하는 참조 화소에 대하여 제2 필터링 방법을 적용할 수 있다. 또한, 현재 블록(Current)이 미리 설정된 크기보다 크면 이웃 블록의 크기에 관계없이 제3 필터링 방법을 적용할 수 있다. 즉, 제1 실시예와 비교하면, 제2 실시예에서는 현재 블록이 미리 설정된 크기보다 클 경우에는 이웃 블록의 크기를 고려하지 않고 일괄적으로 제3 필터링 방법(가장 강한 필터)을 적용할 수 있다. 이때, 미리 설정된 크기는 64×64, 32×32, 16×16, 8×8 중 하나일 수 있다.

본 발명의 제3 실시예에 따르면, 제1 실시예에 따른 현재 블록과 이웃 블록들의 크기 관계를 기초로 참조 화소에 대한 적응적 필터링을 수행하는 전제조건으로서, 현재 블록의 예측 모드를 고려할 수 있다. 본 예는 현재 블록의 특성, 현재 블록과 이웃 블록과의 상관 관계를 고려하여 수행되는 필터링에 대한 일 예(본 예에서는 현재 블록의 예측 모드가 추가로 고려)일 수 있다.

즉, 현재 블록의 화면 내 예측 모드가 미리 설정된 조건을 만족하는 경우에 한하여 제1 실시예에 따른 적응적 필터링을 수행하고, 미리 설정된 조건을 만족하지 않으면 제1 실시예에 따른 적응적 필터링을 생략할 수 있다. 여기서 미리 설정된 조건으로는 수직 모드 또는 수평 모드와 현재 블록의 화면 내 예측 모드 사이의 최소 거리(minDistVerHor)가 고려될 수 있는데, 최소 거리는 다음의 수학식 1과 같이 정의될 수 있다.

상기 수학식 1을 참조하면, predmode는 현재 블록의 화면 내 예측 모드를 나타내는 번호(도 4의 화면 내 예측 모드 번호 참조)이며, abs는 절대값을 구하는 연산이며, min은 두 값 중 최소값을 구하는 연산이고, 26은 수직 모드의 모드 번호이며, 10은 수평 모드의 모드 번호일 수 있다. 즉, 최소 거리는 현재 블록의 화면 내 예측 모드 번호와, 수평 모드 번호 또는 수직 모드 번호와의 차분값이 최소가 되는 값일 수 있다.

따라서, 제3 실시예에 따르면, 상기 수직 모드 또는 수평 모드와 현재 블록의 화면 내 예측 모드 사이의 최소 거리가 미리 설정된 임계값보다 크거나 같은 경우에 한하여 제1 실시예에 따른 적응적 필터링을 수행할 수 있다. 또한, 상기 수직 모드 또는 수평 모드와 현재 블록의 화면 내 예측 모드 사이의 최소 거리가 미리 설정된 임계값보다 작으면 이웃 블록에 속하는 참조 화소에 대한 필터링을 생략할 수 있다. 상기 임계값은 공통되는 하나의 값을 갖거나 또는 블록의 크기, 형태 등에 따라 결정되는 값을 가질 수 있다.

상기 예를 통해 현재 블록과 이웃 블록의 크기 비교를 통한 참조 화소 필터링에 대한 경우를 설명하였다. 여러 실시예를 통해 블록 크기의 단순 비교를 통한 필터링 분류에 대한 설명을 하였지만, 이는 이웃 블록의 특성을 고려하는 필터링의 일 예로 이해될 수 있다.

일반적으로 블록 경계 영역은 양자화 에러가 많이 포함되며, 이는 블록 간의 불연속적인 성질을 발생시키기도 한다. 이는 일부 인루프 필터(예를 들어, 디블록킹 필터)의 존재 이유이기도 하다. 그러나 상기 필터 과정은 후처리 필터이기도 하기 때문에, 영상 부/복호화 과정(본 예에서는 예측 부호화 과정)에서는 블록 간의 경계에 필터링이 수행되기 전일 수 있다.

도 6을 참조하면, 이웃 블록 b는 현재 블록을 중심으로 좌단에 위치한 블록이자 좌하단에 위치한 블록일 수 있다. 즉, 현재 블록의 좌단 블록과 좌하단 블록은 분할되지 않은 하나의 블록이므로 좌단 블록과 좌하단 블록 간의 경계는 존재하지 않을 수 있다.

이웃 블록 d와 e는 현재 블록을 중심으로 좌상단에 위치한 블록일 수 있지만, 현재 블록의 좌상단 블록은 분할된 복수의 블록으로 구성되어 있으므로 블록 간의 경계는 존재할 수 있다.

즉, 현재 블록의 크기 및 형태를 중심으로 비교할 경우 큰 블록인 경우에는 블록 내부에 블록 경계로 인한 블록 열화가 존재하지 않을 가능성이 크고, 작은 블록인 경우에는 블록 내부에 블록 경계로 인한 블록 열화가 존재할 가능성이 클 수 있다. 이를 위하여 상기 예를 통해 참조 화소에 일괄적으로 적용되는 필터링이 아닌 블록 단위(이웃 블록)의 필터링(부분 적용 필터링)에 대한 다양한 경우를 설명하였다. 후술하는 예에서는 상기 문제점을 위한 화소 단위의 필터링에 대한 경우를 설명할 것이다.

도 7은 본 발명의 일 실시예에 따른 화면 내 예측에서 참조 화소의 위치에 따른 적응적 필터링 방법을 설명하기 위한 예시도이다.

도 7을 참조하면, 현재 블록(Current)과 인접한 이웃 블록들 중에서 현재 블록의 좌단에 위치한 블록(a)은 현재 블록과 크기가 같고, 현재 블록의 상단에 위치한 블록들(b, c)은 현재 블록보다 크기가 작은 것을 확인할 수 있다.

먼저, 현재 블록보다 작은 크기의 이웃 블록들(b, c)을 살펴보면, 현재 블록보다 작은 블록들(b, c)에 속하는 참조 화소들 중 일부 화소가 b1, b2와 같이 존재할 수 있다. 이때, b1과 b2는 필터링 탭 수에 따른 길이를 가지며(예를 들어 3 탭 필터라면 3개의 화소들로 이루어질 수 있고 도면에서는 3 탭 필터가 적용되는 형태로 도시하였음), 필터링을 적용하는 탭 수에 따라 필터링되는 참조 화소들이 블록 간 경계에 위치할 수 있다는 것을 확인할 수 있다. 즉, 참조 화소들 b1은 하나의 이웃 블록 내에 위치하며, 참조 화소들 b2는 이웃 블록 b와 c에 걸쳐 위치한다.

일반적으로 블록 사이의 경계에서 화소의 불연속성이 크다는 점을 고려하면, 블록 사이의 경계에 위치한 참조 화소들 b2을 어느 한 블록 내에 있는 참조 화소들 b1과 동일하게 필터링하는 것이 타당하지 않을 수 있다. 따라서, 블록 사이의 경계에 위치한 참조 화소들 b2는 필터 계수를 참조 화소들 b1과 달리 적용할 수 있다. 예를 들면, 참조 화소들 b1은 3 탭 필터로 [1, 2, 1]/4 를 적용하고, 참조 화소들 b2는 3탭 필터로 [1, 6, 1]/8을 적용할 수 있다. 즉, 참조 화소들 b2가 블록 b와 블록 c에 걸쳐 위치하므로 둘 중 어느 하나의 블록의 화소 영향력을 감소하기 위하여 필터 계수를 변경할 수 있다. 또한, 블록의 내부에 위치한 참조 화소들 b1에는 3 탭 필터를 적용하고, 블록 간 경계에 위치한 참조 화소들 b2는 5 탭 필터를 적용하는 것과 같이 필터의 탭 수를 달리 적용할 수도 있다.

다음으로, 현재 블록보다 크거나 같은 크기의 이웃 블록(a)을 살펴보면, 이웃 블록(a) 내에 엣지(edge) 성분이 존재할 수 있다. 이때, 에지 성분이 있는 블록에 속하는 참조 화소들(a1, a2, a3, a4, a5, a6)에 대해서 모두 일괄적인 필터링을 적용하면, 오히려 부정확한 참조 화소들로 조정되어 화면 내 예측의 정확도가 감소할 수 있다. 따라서, 현재 블록보다 크거나 같은 이웃 블록에 속하는 참조 화소들 사이에 엣지 성분이 존재한다면, 해당 이웃 블록에 속하는 참조 화소에 대한 필터링을 생략하거나 다른 필터를 적용할 수 있다. 정리하면, 본 과정에 따라 필터링을 적용하지 않거나 기존의 필터링을 적용하거나 다른 필터링을 적용하거나 중에 하나로 선택될 수 있다.

이때, 엣지 여부를 판단하는 기준은 다음과 같이 결정할 수 있다.

도 7을 참조하면, 이웃 블록 a에 대한 참조 화소 6개에 대한 엣지 여부를 판단한다고 전제할 때, 연속한 세 개의 화소들을 이용하여 도출되는 값을 기준값과 비교하여 결정할 수도 있고, 연속한 두 개의 화소들을 이용하여 도출되는 값을 임계값과 비교하여 결정할 수 있다.

예를 들어 연속한 세 개의 화소를 이용하여 도출되는 값을 임계값과 비교한 예시는 다음의 수학식 2와 같다.

상기 수학식 2를 참조하면, 연속한 3개의 화소 a1, a2, a3의 화소값을 수학식 2에 대입하고 절대값 연산(abs)를 취하여 도출되는 값 d3a를 구할 수 있다. 이때 도출된 값 d3a를 임계값과 비교하여 엣지 여부를 결정할 수 있다.

상기 수학식 3을 참조하면, 연속한 2개의 화소 a3, a4의 화소값을 대입하여 절대값 연산(abs)를 취하여 도출되는 값 d2를 구할 수 있다. 이때 도출된 값 d2를 임계값과 비교하여 엣지 여부를 결정할 수도 있다.

상기 수학식 2에 따른 방법은 단지 한번 수행하는 것이 아니라, 이웃 블록 내의 참조 화소들 중 연속한 3개의 화소값을 선정하는 모든 경우에 대하여 수행함으로써, 특정 이웃 블록 내의 참조 화소들간에 엣지가 있는지 여부를 판단할 수 있다.

또한, 상기 수학식 3에 따른 방법은 단지 한번 수행하는 것이 아니라, 이웃 블록 내의 참조 화소들 중 연속한 2개의 화소값을 선정하는 모든 경우에 대하여 수행함으로써, 특정 이웃 블록 내의 참조 화소들간에 엣지가 있는지 여부를 판단할 수 있다.

또한, 연속한 2개의 화소값을 이용하는 방법과 연속한 3개의 화소값을 이용하는 방법을 혼합 사용하여 엣지가 있는지 여부를 판단할 수도 있다.

상기 예는 참조 화소 필터링 적용 여부 및 필터링 종류 등을 결정하기 위하여 참조 화소의 특성(본 예에서는 적어도 하나의 화소 단위로 판단)을 분석하는 과정의 일 예이며, 상세하게는 참조 화소 내에 에지 성분의 검출을 위한 일 예이다. 상기 예에 한정되지 않고 다양한 방법이 적용되어 결정될 수 있다.

도 8은 본 발명의 일 실시예에 따른 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법에 대한 흐름도이다.

도 8을 참조하면, 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법은 현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계(S100), 구성된 참조 화소에 대하여 적응적 필터링을 수행하는 단계(S110) 및 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계(S120)를 포함할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 현재 블록의 크기를 기준으로 상기 이웃 블록의 상대적 크기에 따라 적응적 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 작으면, 기준 필터보다 약한 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 크면, 기준 필터보다 강한 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기와 같으면, 미리 설정된 기준 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 현재 블록의 크기가 미리 설정된 크기보다 작은 경우에 상기 이웃 블록의 상대적 크기에 따라 적응적 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 현재 블록의 크기가 미리 설정된 크기보다 크거나 같으면 상기 이웃 블록의 상대적 크기를 고려하지 않고, 기준 필터보다 강한 필터를 적용하여 상기 참조 화소에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 수직 모드 또는 수평 모드와 상기 현재 블록의 화면 내 예측 모드 사이의 최소 거리가 미리 설정된 임계값보다 크거나 같은 경우에만 수행될 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 작고, 구성된 참조 화소들이 두 개의 이웃 블록 사이의 경계에 걸쳐 위치하면, 기준 필터의 탭수 또는 계수를 변경하여 상기 참조 화소들에 대한 필터링을 수행할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 이웃 블록의 크기가 상기 현재 블록의 크기보다 크거나 같으면, 상기 이웃 블록 내에 속하는 참조 화소들 사이에 엣지가 존재하는지 여부를 판단하는 단계를 포함할 수 있다.

여기서 상기 적응적 필터링을 수행하는 단계(S110)는, 상기 엣지가 없는 이웃 블록 내에 속하는 참조 화소들에 한하여 필터링을 수행할 수 있다.

도 9는 본 발명의 일 실시예에 따른 화면 내 예측을 수행하는 영상 복호화 장치에 대한 구성도이다.

도 9를 참조하면, 영상 복호화 장치(200)는 적어도 하나의 프로세서(processor, 210) 및 상기 적어도 하나의 프로세서(210)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 220)를 포함할 수 있다.

또한, 영상 복호화 장치(200)는 영상 부호화 장치로부터 비트스트림을 유무선 네트워크를 통해 수신하는 통신 모듈(230)을 더 포함할 수 있다.

또한, 영상 복호화 장치(200)는 복원된 참조 영상이나 블록, 복호화된 프레임 등을 저장하는 로컬 저장소(local storage, 240)를 더 포함할 수 있다.

여기서 영상 복호화 장치(200)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

영상 복호화 장치에서 수행되는 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법으로,
현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계;
상기 현재 블록의 크기를 기초로, 상기 참조 화소에 대하여 적응적으로 필터링을 수행하는 단계;
상기 현재 블록의 크기가 미리 정의된 제1 크기인 경우, 상기 참조 화소에 대하여 필터링을 수행하고, 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계; 및
상기 현재 블록의 크기가 미리 정의된 제2 크기인 경우, 상기 참조 화소에 대하여 상기 필터링은 수행되지 않고, 상기 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하고,
상기 미리 정의된 제1 크기는, 8x8을 포함하고,
상기 미리 정의된 제2 크기는, 4x8 및 8x4를 포함하는, 화면 내 예측 방법.
제1항에 있어서,
상기 필터링된 참조 화소는, 상기 참조 화소를 [1,2,1]/4 필터로 필터링한 참조 화소인, 화면 내 예측 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
영상 부호화 장치에서 수행되는 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법으로,
현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계;
상기 현재 블록의 크기를 기초로, 상기 참조 화소에 대하여 적응적으로 필터링을 수행하는 단계;
상기 현재 블록의 크기가 미리 정의된 제1 크기인 경우, 상기 참조 화소에 대하여 필터링을 수행하고, 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계; 및
상기 현재 블록의 크기가 미리 정의된 제2 크기인 경우, 상기 참조 화소에 대하여 상기 필터링은 수행되지 않고, 상기 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하고,
상기 미리 정의된 제1 크기는, 8x8을 포함하고,
상기 미리 정의된 제2 크기는, 4x8 및 8x4를 포함하는, 화면 내 예측 방법.
삭제
삭제
삭제
삭제
삭제
삭제
화면 내 예측을 이용한 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체에 있어서,
상기 영상 부호화 방법은,
현재 블록과 인접한 이웃 블록에 속하는 참조 화소를 구성하는 단계;
상기 현재 블록의 크기를 기초로, 상기 참조 화소에 대하여 적응적으로 필터링을 수행하는 단계;
상기 현재 블록의 크기가 미리 정의된 제1 크기인 경우, 상기 참조 화소에 대하여 필터링을 수행하고, 필터링된 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계; 및
상기 현재 블록의 크기가 미리 정의된 제2 크기인 경우, 상기 참조 화소에 대하여 상기 필터링은 수행되지 않고, 상기 참조 화소를 이용하여 화면 내 예측을 수행함으로써 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하고,
상기 미리 정의된 제1 크기는, 8x8을 포함하고,
상기 미리 정의된 제2 크기는, 4x8 및 8x4를 포함하는, 컴퓨터 판독 가능한 기록 매체.