KR102356317B1 - 화면 내 예측 부호화 또는 복호화 방법 및 장치 - Google Patents

화면 내 예측 부호화 또는 복호화 방법 및 장치 Download PDF

Info

Publication number
KR102356317B1
KR102356317B1 KR1020170088703A KR20170088703A KR102356317B1 KR 102356317 B1 KR102356317 B1 KR 102356317B1 KR 1020170088703 A KR1020170088703 A KR 1020170088703A KR 20170088703 A KR20170088703 A KR 20170088703A KR 102356317 B1 KR102356317 B1 KR 102356317B1
Authority
KR
South Korea
Prior art keywords
value
pixel
current block
neighboring pixel
adjacent
Prior art date
Application number
KR1020170088703A
Other languages
English (en)
Other versions
KR20180127139A (ko
Inventor
임정연
김효성
이선영
신재섭
손세훈
김형덕
이경택
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to PCT/KR2018/005596 priority Critical patent/WO2018212582A1/ko
Publication of KR20180127139A publication Critical patent/KR20180127139A/ko
Application granted granted Critical
Publication of KR102356317B1 publication Critical patent/KR102356317B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명은 화면 내 예측에 있어서 예측의 정밀도를 개선하기 위한 영상 부호화 또는 복호화에 관한 것이다. 본 발명의 일 측면에 따르면, 비트스트림으로부터 현재블록의 우측 하단 모서리에 위치한 제1 인접화소를 지시하는 정보를 복호화하여 상기 제1 인접화소의 값을 설정하는 단계; 상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 획득하는 단계; 및 상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 획득하는 단계를 포함하는 영상 복호화 방법을 제공한다.

Description

화면 내 예측 부호화 또는 복호화 방법 및 장치{Method and Apparatus for Intra Prediction Encoding and Decoding}
본 발명은 화면 내 예측에 있어서 예측의 정밀도를 개선하기 위한 영상 부호화 또는 복호화에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
비디오 압축 표준인 HEVC(High Efficiency Video Coding)는 화면 내 예측(Intra Prediction) 모드로서 2개의 비방향성 예측 모드와 33개의 방향성 예측 모드를 제공한다. 비방향성 예측 모드로는 평면(planar) 예측 모드와 DC 예측 모드가 있다. 방향성 예측 모드는 영상 내 일정한 방향성을 가진 영역에 대해서는 효과적이지만, 주변의 참조신호에 대해 연속성을 가진 평탄한 영역에 대해서는 비방향성 예측 모드가 더 효과적이다. DC 예측 모드는 현재블록에 인접 화소들의 평균값에 기반한 예측 방법으로 방향성 예측 모드의 대안으로서 제공되지만, 대략적인 근사치에 불과한 점에서 예측 정밀도가 떨어진다. 이에 따라 HEVC에서는 평면 예측 모드가 새로 도입되었다. 평면 예측 모드는 인접 화소들의 위치에 따른 거리를 반영한 2차원 평면을 생성하는 예측 방법으로 보다 정밀한 예측값을 생성할 수 있다.
도 1은 종래기술에 따른 평면 예측 모드를 설명하기 위한 예시도이다.
일반적으로 화면 내 예측 과정에서는 현재블록의 상측 행과 좌측 열에 위치하는 인접화소들을 참조화소로 이용하여 현재블록의 예측값을 생성한다. 여기서, 참조화소로 이용되는 인접화소들은 이미 예측과 복원으로 재구성된 화소들이다. CTU(Coding Tree Unit)내 CU(Coding Unit)들은 Z-스캔 순서로 처리되기 때문에, 화면 내 예측 과정에서 현재블록의 우측 열과 하측 행의 인접화소들은 참조화소로서 사용될 수 없다.
도 1을 참조하면, 종래의 평면 예측 모드에서는 우선 현재블록(100)의 우측 열에 위치한 모든 인접화소들의 값을 우측 상단 모서리에 위치한 인접화소(TR, 112)의 값과 동일하게 설정하고, 현재블록(100)의 하측 행에 위치한 모든 인접화소들의 값을 좌측 하단 모서리에 위치한 인접화소(BL, 116)의 값과 동일하게 설정한다. 이에 따라, 현재블록(100)을 둘러싸고 있는 모든 인접화소들의 값이 결정되면, 현재화소(110)에 대하여 수평 방향 및 수직 방향으로 이중 선형 보간(Bilinear Interpolation)을 수행한다. 구체적으로, 도 1의 (a)와 같이 현재화소(110)와 동일한 행에 위치하는 인접화소들(114, 120)을 이용한 선형 보간으로 현재화소(100)의 제1 예측값을 생성하고, 도 1의 (b)와 같이 현재화소(110)와 동일한 열에 위치하는 인접화소들(118, 122)을 이용한 선형 보간으로 현재화소(100)의 제2 예측값을 생성한다. 현재화소(100)의 최종 예측값은 제1 예측값과 제2 예측값의 평균값으로 결정된다.
이러한 종래의 평면 예측 모드는 현재블록(100)의 우측 열에 위치하는 모든 인접화소들의 값과 하측 행에 위치하는 모든 인접화소들의 값을 각각 동일한 값으로 설정하기 때문에, 현재블록(100)의 우측 하단 방향으로 갈수록 화소 예측값의 정확도가 떨어지는 경향을 보인다.
본 발명은 화면 내 예측의 정밀도를 높이기 위한 영상 부호화 또는 복호화 기술을 제공한다.
본 발명의 일 측면에 따르면, 비트스트림으로부터 현재블록의 우측 하단 모서리에 위치한 제1 인접화소를 지시하는 정보를 복호화하여 상기 제1 인접화소의 값을 설정하는 단계; 상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 획득하는 단계; 및 상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 획득하는 단계를 포함하는 영상 복호화 방법을 제공한다.
본 발명의 다른 측면에 따르면, 현재블록의 참조화소들을 기반으로 상기 현재블록의 우측 하단 모서리에 위치한 제1 인접화소의 값을 설정하는 단계; 상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 획득하는 단계; 및 상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 획득하는 단계를 포함하는 영상 복호화 방법을 제공한다.
본 발명의 또 다른 측면에 따르면, 비트스트림으로부터 현재블록의 우측 하단 모서리에 위치한 제1 인접화소를 지시하는 정보를 복호화하는 복호화부; 상기 제1 인접화소를 지시하는 정보를 이용하여 상기 제1 인접화소의 값을 설정하는 제1 인접화소 설정부; 상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 결정하는 인접화소 예측부; 및 상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 결정하는 현재화소 예측부를 포함하는 영상 복호화 장치를 제공한다.
본 발명의 또 다른 측면에 따르면, 현재블록의 참조화소들을 기반으로 상기 현재블록의 우측 하단 모서리에 위치한 제1 인접화소의 값을 설정하는 제1 인접화소 설정부; 상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 결정하는 인접화소 예측부; 및 상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 결정하는 현재화소 예측부를 포함하는 영상 복호화 장치를 제공한다.
도 1은 종래기술에 따른 평면 예측 모드를 설명하기 위한 예시도이다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치에 대한 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치에 대한 블록도이다.
도 4는 본 발명의 실시예에 따른 평면 예측 모드로 화면 내 예측을 수행하기 위한 장치의 블록도이다.
도 5는 본 발명의 실시예에 따른 평면 예측 모드를 설명하기 위한 예시도이다.
도 6 내지 도 8은 본 발명의 실시예에 따라서 비트스트림으로부터 복호화한 정보를 이용하는 평면 예측 모드의 예시도이다.
도 9 내지 도 11은 본 발명의 다른 실시예에 따라서 현재블록의 인접화소들을 기초로 계산된 값을 이용하는 평면 예측 모드의 예시도이다.
도 12 내지 도 15는 본 발명의 다른 실시예에 따른 360 영상에서의 평면 예측 모드의 예시도이다.
도 16은 본 발명의 다른 실시예에 따라서 현재블록의 인접화소들의 값이 설정되는 방법을 나타내는 예시도이다.
도 17은 본 발명의 실시예에 따른 화면 내 예측 복호화 방법을 나타내는 흐름도이다.
도 18은 본 발명의 다른 실시예에 따른 화면 내 예측 복호화 방법을 나타내는 흐름도이다.
본 발명의 구체적인 설명에 앞서, 본 명세서에서 사용되는 용어들에 대해 해석 가능한 의미를 제시한다. 그러나 이하 제시하는 의미는 예시에 불과하며 용어들의 의미가 이에 한정되는 것이 아님을 주의해야 한다.
현재블록은 부호화 또는 복호화하고자 하는 CU(Coding Unit) 또는 PU(Prediction Unit) 등을 지칭할 수 있다. 현재화소는 화면 내 예측 모드에 따라 예측값을 생성하고자 하는 현재블록 내의 화소를 지칭할 수 있다. 인접화소는 현재블록에 바로 인접하는 화소를 지칭할 수 있다. 인접화소는 복원된 화소값일 수도 있고, 다른 화소값을 이용하여 예측된 값일 수도 있다. 주변화소는 현재블록에 인접하지는 않고 주변에 위치한 복원된 화소를 지칭할 수 있다. 참조화소는 현재화소의 예측값을 생성하는데 참조되는 복원된 화소를 지칭할 수 있으며, 현재블록에 인접하는 화소(인접화소) 뿐만 아니라 인접하지 않은 화소(주변화소)도 포함될 수 있다. 한편, '화소'라는 용어는 픽셀, 샘플 등의 용어와 상호 교환 가능하다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 2는 본 발명의 실시예에 따른 영상 부호화 장치(200)에 대한 블록도이다.
영상 부호화 장치(200)는 블록 분할부(210), 예측부(220), 감산기(230), 변환부(240), 양자화부(245), 부호화부(250), 역양자화부(260), 역변환부(265), 가산기(270), 필터부(280) 및 메모리(290)를 포함한다. 부호화 장치(200)의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
블록 분할부(210)는 영상을 구성하는 각 픽처(picture)를 복수의 CTU(Coding Tree Unit)로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(Coding Unit)가 된다. 트리 구조로는 상위 노드가 네 개의 하위 노드로 분할하는 쿼드트리(QuadTree, QT), 또는 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할하는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다.
예측부(220)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(220)는 인트라 예측부(222)와 인터 예측부(224)를 포함한다. 여기서, 현재블록은 상기의 트리 구조에서 리프 노드에 해당하는 부호화의 기본 단위로서, 현재 부호화하고자 하는 CU를 의미한다. 대안적으로, 현재블록은 CU로부터 분할된 복수의 서브블록 중 하나의 서브블록일 수도 있다.
인트라 예측부(222)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 화소(참조화소)들을 이용하여 현재블록 내의 화소들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 참조화소와 연산식이 다르게 정의된다. 특히, 인트라 예측부(222)는 현재 블록을 부호화하는데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예들에서, 인트라 예측부(222)는 여러 인트라 예측 모드들을 사용하여 현재 블록을 인코딩하고, 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측부(222)는 여러 테스트된 인트라 예측 모드들에 대한 레이트 왜곡(rate-distortion) 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중 최선의 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택할 수도 있다.
본 발명의 실시예에 따른 복수의 인트라 예측 모드는 2개의 비방향성 모드(평면 모드 및 DC 모드)와 65개의 방향성 모드를 포함할 수 있다. 본 발명의 실시예들에 따른 평면(planar) 모드에 대한 구체적인 설명은 다른 도면들을 참조하여 후술한다. 인트라 예측부(222)는 복수의 인트라 예측 모드 중에서 하나의 인트라 예측 모드를 선택하고, 선택된 인트라 예측 모드에 따라 결정되는 참조화소와 연산식을 사용하여 현재 블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다.
인터 예측부(224)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(Motion Vector: MV)를 생성한다. 현재블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(250)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(230)는 현재블록으로부터 인트라 예측부(222) 또는 인터 예측부(224)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(240)는 공간 영역의 화소 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(240)는 잔차 블록 내의 잔차 신호들을 현재블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기 정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(245)는 변환부(240)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(250)로 출력한다.
부호화부(250)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 또한, 부호화부(250)는 트리 구조의 최상위 레이어에 위치하는 CTU의 크기에 대한 정보 및 CTU로부터 트리 구조로 블록을 분할하기 위한 분할 정보를 부호화하여, 복호화 장치가 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 예컨대, QT 분할의 경우에는 상위 레이어의 블록이 하위 레이어의 네 개의 블록으로 분할되는지 여부를 지시하는 QT 분할 정보를 부호화한다. BT 분할의 경우에는 QT의 리프 노드에 해당하는 블록으로부터 시작하여 각 블록이 두 개의 블록으로 분할되는지 여부 및 분할되는 타입을 지시하는 BT 분할 정보를 부호화한다.
부호화부(250)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.
역양자화부(260)는 양자화부(245)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(265)는 역양자화부(260)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산기(270)는 복원된 잔차블록과 예측부(220)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 화소들은 다음 순서의 블록을 인트라 예측할 때 참조화소로서 사용된다.
필터부(280)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(290)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하에서는 영상 복호화 장치에 대해 설명한다.
도 3은 본 발명의 실시예에 따른 영상 복호화 장치(300)에 대한 블록도이다
영상 복호화 장치(300)는 복호화부(310), 역양자화부(320), 역변환부(330), 예측부(340), 가산기(350), 필터부(360) 및 메모리(370)를 포함한다. 도 3에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(310)는 영상 부호화 장치로부터 수신한 비트스트림을 복호화하여 블록분할과 관련된 정보를 추출하여 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
복호화부(310)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다.
복호화부(310)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록(현재블록)을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다.
예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(310)는 현재 블록의 인트라 예측정보(예: 인트라 예측 모드, 참조화소에 대한 정보 등)에 대한 신택스 요소(syntax element)를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(310)는 인터 예측정보(예: 인터 예측 모드 등)에 대한 신택스 요소를 추출한다.
한편, 복호화부(310)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(320)는 양자화된 변환계수들을 역양자화하고, 역변환부(330)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.
예측부(340)는 인트라 예측부(342) 및 인터 예측부(344)를 포함한다. 인트라 예측부(342)는 현재블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(344)는 현재블록의 예측 타입인 인트라 예측일 때 활성화된다.
인트라 예측부(342)는 복호화부(310)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조화소들을 이용하여 현재블록을 예측한다. 또한, 인트라 예측부(342)는 복호화부(310)로부터 추출된 참조화소에 대한 신택스 요소로부터 인트라 예측에 이용할 참조화소의 값 등을 설정할 수 있다.
인터 예측부(344)는 복호화부(310)로부터 추출된 인터 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재블록을 예측한다.
가산기(350)는 역변환부(330)로부터 출력되는 잔차블록과 인터 예측부(344) 또는 인트라 예측부(342)로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 화소들은 이후에 복호화할 블록을 인트라 예측할 때의 참조화소로서 활용된다.
필터부(360)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(370)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하, 도 4 및 도 5를 참조하여 본 발명의 실시예에 따른 평면 예측 모드에 대하여 구체적으로 설명한다.
도 4는 본 발명의 실시예에 따른 평면 예측 모드로 화면 내 예측을 수행하기 위한 장치(400)의 블록도이다. 본 장치(400)는 제1 인접화소 설정부(410), 인접화소 예측부(420) 및 현재화소 예측부(430)를 포함하며, 도 3의 인터 예측부(344)에 구현될 수 있다. 도 4에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
우선 도 4의 장치(400)에 대해 구체적으로 설명하기 전에 도 5를 참조하여 본 발명의 실시예에 따른 평면 예측 모드에 대해 간략히 설명한다. 도 5는 본 발명의 실시예에 따른 평면 예측 모드를 설명하기 위한 예시도이다.
본 발명에서 제안하는 평면 예측 모드는 도 5의 (a) 및 (b)와 같이 현재화소(510)의 수직방향 및 수평방향으로 이중 보간을 수행하여 현재화소(510)를 예측한다. 다만, 종래기술과 달리 본 발명은 현재블록(500)의 우측 하단 모서리에 위치하는 인접화소(BR, 이하 '제1 인접화소'라 칭함)의 값을 먼저 설정하고, 이 값을 기반으로 현재블록(500)의 하측 인접화소들 및 우측 인접화소들을 예측한다. 본 실시예에서는 제1 인접화소값은 우측 상단 모서리에 위치한 인접화소(TR, 이하 '제2 인접화소'라 칭함)의 값과 좌측 하단 모서리에 위치한 인접화소(BL, 이하 '제3 인접화소'라 칭함)의 값을 이용하여 설정될 수 있다.
즉, 도 5의 (a)를 참조하면, 종래에는 현재블록(500)의 우측 인접화소(512)의 값이 우측 상단 모서리에 위치한 제2 인접화소의 값과 동일하게 설정되나, 본 실시예에서는 제2 인접화소(TR)의 값과 제1 인접화소(BR)의 값을 이용한 보간에 의해 획득된 값으로 설정된다.도 5의 (b)를 참조하면, 종래에는 현재블록(500)의 하측 인접화소(516)의 값이 좌측 하단 모서리에 위치한 제3 인접화소의 값과 동일하게 설정되나, 본 실시예에서는 제3 인접화소(BL)의 값과 제1 인접화소(BR)의 값을 이용한 보간에 의해 획득된 값으로 설정된다. 일례로 선형 보간을 사용할 경우, 현재블록(500)의 우측 인접화소(512)의 값과 하측 인접화소(516)의 값을 구하는 과정을 수학식 1과 같이 나타낼 수 있다.
Figure 112017066872898-pat00001
여기서, H는 현재블록의 높이를 의미하며, W는 현재블록의 너비를 의미한다. P(W, y)는 현재블록의 우측 경계에 접하는 인접화소(512)의 값을 의미하고, P(x, H)는 현재블록의 하측 경계에 접하는 인접화소(516)의 값을 의미한다. P(W, H)는 제1 인접화소(BR)의 값을 의미한다. R로 표기된 화소들은 현재블록의 참조화소들이며, R(W, -1)은 제2 인접화소(TR)의 값을 의미하며, R(-1, H)는 제3 인접화소(BL)의 값을 의미한다.
현재화소(510)의 제1 예측값은 현재블록(500)의 좌측 인접화소(514)의 값과 우측 인접화소(512)의 값을 이용하여 수평방향으로 보간한 값에 의해 생성된다. 현재화소(510)의 제2 예측값은 현재블록(500)의 하측 인접화소(516)의 값과 상측 인접화소(518)의 값을 이용하여 수직방향으로 보간한 값에 의해 생성된다. 일례로 현재화소(510)의 제1 예측값과 제2 예측값은 선형 보간을 이용하여 구할 경우 수학식 2로 표현할 수 있다.
Figure 112017066872898-pat00002
여기서, P1(x, y)는 수평방향으로 보간된 (x, y) 위치의 제1 예측값을 의미하고, P2(x, y)는 수직방향으로 보간된 (x, y) 위치의 제2 예측값을 의미한다. H는 현재블록의 높이를 의미하며, W는 현재블록의 너비를 의미한다. R(x, -1)은 상측 인접화소의 값을 의미하며, R(-1, y)는 좌측 인접화소의 값을 의미한다.
본 실시예에 따른 현재화소(510)의 최종 예측값은 제1 예측값과 제2 예측값을 이용하여 결정된다. 일례로 제1 예측값과 제2 예측값의 평균을 이용할 경우, 이를 수식으로 나타내면 수학식 3과 같다.
Figure 112017066872898-pat00003
여기서, P1(x, y)는 수평방향으로 보간된 (x, y) 위치의 제1 예측값을 의미하고, P2(x, y)는 수직방향으로 보간된 (x, y) 위치의 제2 예측값을 의미한다. Pf(x, y)는 본 실시예에 따른 (x, y) 좌표의 최종 예측값을 의미한다. 수학식 3은 하나의 예시이며, 제1 예측값과 제2 예측값을 이용하여 최종 예측값을 계산하는 방법은 이에 한정되지 않는다.
다른 일례로 제1 예측값과 제2 예측값의 가중 평균을 이용할 수 있다. 일반적으로, 다른 화소를 이용하여 예측된 인접화소 P(즉, 현재블록의 우측 및 하측 인접화소)보다 참조화소 R(즉, 현재블록의 좌측 및 상측 인접화소)이 현재화소(510)의 값과 더 유사할 가능성이 높다. 이러한 경향을 반영하여 수평으로 예측된 제1 예측값과 수직으로 예측된 제2 예측값의 위치를 기반으로 가중치를 달리하는 방법도 가능하다. 이를 수식으로 나타내면 수학식 4와 같다.
Figure 112017066872898-pat00004
여기서, P1(x, y)는 수평방향으로 보간된 (x, y) 위치의 제1 예측값을 의미하고, P2(x, y)는 수직방향으로 보간된 (x, y) 위치의 제2 예측값을 의미한다. Pf(x, y)는 본 실시예에 따른 (x, y) 좌표의 최종 예측값을 의미한다. 수직방향의 거리 (y+1)과 수평방향의 거리 (x+1)이 가중치로 사용된다. 수직방향으로 y의 값이 커질수록 그리고 수평방향으로 x의 값이 커질수록 각 방향에서 최종 예측값이 참조화소 R로부터 멀어지고, 인접화소 P에 가까워지게 되므로, 두 가중치가 제1 예측값과 제2 예측값에 역으로 곱해진다. 즉, 제1 예측값에 적용되는 제1 가중치는 현재화소와 동일한 열에 위치한 상측 참조화소로부터 현재화소까지의 거리에 의해 결정되고, 제2 예측값에 적용되는 제2 가중치는 현재화소와 동일한 행에 위치한 좌측 참조화소로부터 현재화소까지의 거리에 의해 결정된다. 수학식 4에서 x와 y의 범위는 각각 (0 ~ W-1)과 (0 ~ H-1)이므로 (x, y)가 (0, 0)일 때 수학식 3과 동일한 계산을 수행하며, 그 외의 경우에는 제1 예측값과 제2 예측값 중에서 더 참조화소 R에 가까운 예측값에 큰 가중치를 부여하여 최종 예측값을 획득한다.
도 4에는 본 발명의 평면 예측 모드로 화면 내 예측을 수행하기 위한 장치(400)의 블록도가 도시되어 있다. 제1 인접화소 설정부(410)는 복호화부(310)에 의해 비트스트림으로부터 복호화된 현재블록의 제1 인접화소(BR)를 지시하는 정보를 이용하여 제1 인접화소(BR)의 값을 설정할 수 있다. 대안적으로, 제1 인접화소 설정부(410)는 현재블록의 참조화소들을 기반으로 제1 인접화소(BR)의 값을 설정할 수 있다. 인접화소 예측부(420)는 제1 인접화소(BR)의 값, 제2 인접화소(TR)의 값 및 제3 인접화소(BL)의 값을 이용한 보간에 의해 현재블록의 하측 인접화소의 값과 우측 인접화소의 값을 결정한다. 구체적으로, 인접화소 예측부(420)는 제1 인접화소(BR)의 값 및 제2 인접화소(TR)의 값을 이용한 보간에 의해 우측 인접화소의 값을 결정하고, 제1 인접화소(BR)의 값 및 제3 인접화소(BL)의 값을 이용한 보간에 의해 하측 인접화소의 값을 결정한다.
현재화소 예측부(430)는 현재블록의 좌측 인접화소의 값, 상측 인접화소의 값, 하측 인접화소의 값 및 우측 인접화소의 값을 이용한 보간에 의해 현재블록 내 현재화소의 예측값을 결정한다. 구체적으로, 현재화소 예측부(430)는 좌측 인접화소의 값과 우측 인접화소의 값을 이용한 보간에 의해 현재화소의 제1 예측값을 결정하고, 상측 인접화소의 값과 하측 인접화소의 값을 이용한 보간에 의해 현재화소의 제2 예측값을 결정한다. 그리고 현재화소 예측부(430)는 현재화소의 제1 예측값과 제2 예측값을 이용하여 최종적인 예측값을 결정한다. 한편, 좌측 인접화소와 상측 인접화소는 현재블록의 참조화소로서 이미 예측과 복원에 의해 그 값이 재구성된 화소들이다.
본 실시예의 평면 예측 모드의 방법에서 중요한 이슈는 현재블록의 우측 하단 모서리에 위치하는 제1 인접화소(BR)의 값을 어떻게 설정하느냐 하는 것이다. 제1 인접화소(BR)의 값은 복호화 장치에서 다른 인접화소 및/또는 주변화소들을 이용하여 부호화 장치와 동일한 연산식에 의해 계산되거나, 부호화 장치에서 결정된 제1 인접화소(BR)의 값에 대한 정보가 복호화 장치로 전송될 수 있다. 다만, 본 실시예는 전송되는 제1 인접화소(BR)에 대한 데이터보다 본 실시예의 평면 예측에 따라 감소된 잔차(residual) 데이터가 더 작을 경우에는 개선된 효과를 얻을 수 없다. 따라서, 제1 인접화소(BR)의 값을 효율적으로 전송하는 것이 매우 중요하다.
이하, 다른 도면들을 참조하여 제1 인접화소(BR)의 값을 효율적으로 전송하거나 보간하기 위한 다양한 실시예들에 대해 설명한다. 우선, 도 6 내지 도 8을 참조하여 제1 인접화소(BR)의 값이 효율적으로 전송되는 경우에 대하여 설명한다. 도 6 내지 도 8은 본 발명의 실시예에 따라서 비트스트림으로부터 복호화된 제1 인접화소(BR)를 지시하는 정보를 이용하는 평면 예측 모드의 예시도이다. 여기서, 제1 인접화소(BR)를 지시하는 정보는 제1 인접화소(BR)의 값 및 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 화소의 위치를 나타내는 정보를 포함한다.
도 6은 영상 부호화 장치가 제1 인접화소(BR)의 값에 대한 정보를 영상 복호화 장치로 직접 전송하는 일 실시예를 도시한다. 영상 복호화 장치는 평면 예측 모드가 선택된 경우, 제1 인접화소(BR)의 값을 지시하는 신택스 요소(예: br_value)를 비트스트림으로부터 복호화하여 해당 신택스 요소가 지시하는 값을 제1 인접화소(BR)의 값으로 설정할 수 있다.
도 7은 영상 부호화 장치가 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 화소의 위치에 대한 정보를 영상 복호화 장치로 전송하는 일 실시예를 도시한다. 여기서, 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 참조화소의 위치에 대한 정보는 1차원 인덱스로 표현될 수 있다. 영상 복호화 장치는 평면 예측 모드가 선택된 경우, 참조화소의 위치에 대한 정보를 지시하는 신택스 요소(예: br_ idx)를 비트스트림으로부터 복호화하여 해당 신택스 요소가 지시하는 위치의 참조화소의 값을 제1 인접화소(BR)의 값으로 설정할 수 있다.
br_ idx 신택스 요소는 현재블록의 참조화소들 중 어느 하나의 화소의 위치를 (0, 0)으로 하여 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 화소의 위치를 1차원 오프셋으로 지시할 수 있다. 예를 들어, 현재블록의 좌측 상단 모서리에 위치하는 화소(TL), 제2 인접화소(TR) 및 제3 인접화소(BL) 중 어느 하나의 위치를 (0, 0)으로 하여 1차원 오프셋이 결정될 수 있다. 도 7은 화소 TL의 위치가 (0, 0)으로 설정된 경우를 나타낸다. 추가적으로, 영상 부호화 장치는 참조 방향을 지시하는 신택스 요소(예: br_direction)를 전송하여 영상 복호화 장치로 하여금 해당 신택스 요소를 복호화하여 참조 방향을 수평 또는 수직으로 결정하게 할 수 있다.
도 8은 영상 부호화 장치가 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 화소의 위치에 대한 정보를 영상 복호화 장치로 전송하는 다른 실시예를 도시한다. 여기서, 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 주변화소 및/또는 인접화소의 위치에 대한 정보는 2차원 벡터로 표현될 수 있다. 영상 복호화 장치는 평면 예측 모드가 선택된 경우, 유사한 값을 갖는 화소의 위치에 대한 정보를 지시하는 신택스 요소(예: u_br, v_br)를 비트스트림으로부터 복호화하여 해당 신택스 요소가 지시하는 위치의 주변화소의 값을 제1 인접화소(BR)의 값으로 설정할 수 있다.
u_br 및 v_br 신택스 요소는 현재블록의 참조화소들 중 어느 하나의 화소의 위치를 (0, 0)으로 하여 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 화소의 위치를 2차원 오프셋으로 지시할 수 있다. 예를 들어, 현재블록의 좌측 상단 모서리에 위치하는 화소(TL), 제2 인접화소(TR) 및 제3 인접화소(BL) 중 어느 하나의 위치를 (0, 0)으로 하여 2차원 오프셋이 결정될 수 있다. 도 8은 화소 TL의 위치가 (0, 0)으로 설정된 경우를 나타낸다.
이하, 도 9 내지 도 11을 참조하여 제1 인접화소(BR)의 값이 다른 주변화소 및/또는 인접화소들을 이용한 연산식에 의해 계산되는 경우에 대하여 설명한다. 9 내지 도 11은 본 발명의 다른 실시예에 따라서 현재블록의 주변화소 및/또는 인접화소들을 기초로 계산된 값을 이용하는 평면 예측 모드의 예시도이다.
도 9는 영상 복호화 장치가 제1 인접화소(BR)의 값에 대한 정보를 영상 부호화 장치로부터 별도로 수신하지 않고 복원된 인접화소 및 주변화소들의 값의 특정방향으로의 변화량을 기반으로 제1 인접화소(BR)의 값을 보간하는 방법의 일 실시예를 나타낸다. 영상 복호화 장치는 제1 인접화소(BR)로부터 연장된 적어도 하나의 특정 방향의 직선 상에 위치하는 현재블록의 참조화소(예: TR, TL, BL) 또는 인접화소의 값에 이와 동일한 직선 상에 위치하는 이미 복원된 주변화소의 값과의 변화량을 합산하여 해당 방향에서의 제1 인접화소(BR) 예측값을 계산한다. 그리고 각 방향으로부터 예측된 제1 인접화소(BR) 예측값들의 평균으로 제1 인접화소(BR)의 값을 설정한다. 여기서, 특정 방향은 제1 인접화소(BR)로부터 수평 방향, 수직 방향 및 대각선 방향 중 적어도 하나일 수 있고, 참조화소는 현재블록의 좌측 상단 모서리에 위치한 인접화소(TL), 제2 인접화소(TR) 및 제3 인접화소(BL) 중 적어도 하나일 수 있다.
도 9는 현재블록의 모서리에 위치한 3개의 참조화소(TR, TL, BL)의 각 방향으로의 변화량을 기반으로 제1 인접화소(BR)의 값을 보간하는 경우를 예시한다. 제1 인접화소(BR)의 수직 방향 직선에 위치하는 제2 인접화소(TR)의 값과 이미 복원된 주변화소(910)의 값 간의 변화량을 제2 인접화소(TR)의 값에 합산하여 제1 인접화소(BR)의 수직방향 예측값을 계산한다. 제1 인접화소(BR)의 대각선 방향 직선에 위치하는 인접화소(TL)의 값과 이미 복원된 주변화소(920)의 값 간의 변화량을 주변화소(TL)의 값에 합산하여 제1 인접화소(BR)의 대각선방향 예측값을 계산한다. 또한, 제1 인접화소(BR)의 수평 방향 직선에 위치하는 제3 인접화소(BL)의 값과 이미 복원된 주변화소(930)의 값 간의 변화량을 제3 인접화소(BL)의 값에 합산하여 제1 인접화소(BR)의 수평방향 예측값을 계산한다. 각 인접화소들(TR, TL, BL)로부터 계산된 제2 인접화소(BR)의 예측값들의 평균으로 제1 인접화소(BR)의 값을 생성한다.
본 실시예에서 제안하는 제1 인접화소(BR)의 보간 방법에 따른 연산식은 수학식 5와 같다.
Figure 112017066872898-pat00005
여기서, H는 현재블록의 높이를 의미하며, W는 현재블록의 너비를 의미한다. P(W, H)는 제1 인접화소(BR)의 값을 의미하고, R(-1, -1)은 현재블록의 좌측 상단 모서리에 위치한 인접화소(TL)의 값을 의미하며, R(W, -1)은 제2 인접화소(TR)의 값을 의미하고, R(-1, H)는 제3 인접화소(BL)의 값을 의미한다. R(-1-W, -1-H), R(W, -1-H) 및 R(-1-W, H)는 각 방향으로 현재블록의 크기만큼 떨어진 이미 복원된 주변화소의 값을 의미한다.
도 10은 도 9의 평면 예측 모드에 따라 제1 인접화소(BR)의 보간 값을 계산한 일례를 나타낸다. 제2 인접화소(TR)의 값은 50, 제2 인접화소(TR)로부터 수직방향으로 떨어진 위치의 복원 주변화소(1010)의 값은 60, 좌측 상단 모서리 화소(TL)의 값은 71, 좌측 상단 모서리 화소(TL)로부터 대각선 방향으로 떨어진 위치의 복원 주변화소(1020)의 값은 85, 제3 인접화소(BL)의 값은 50, 제3 인접화소(BL)로부터 수평방향으로 떨어진 위치의 복원 주변화소(1030)의 값은 60이라고 가정한다. 각 방향으로의 화소값의 변화량이 반영된 제1 인접화소(BR)의 보간값은 46으로 계산된다. 본 실시예에서는 블록 간의 간격을 기반으로 변화량을 계산했지만 변화량을 계산하는 방법은 이에 한정되지 않으며, 화소 간의 간격 등 다양한 방법이 사용될 수 있다.
다른 실시예로, 보간 과정에서 사용되는 각 화소 값에 서로 다른 가중치를 부가할 수도 있다. 예컨대, 각 변화량이 보정된 참조화소들(TL, TR, BL)의 값에 가중치를 부가하는 경우의 연산식은 수학식 6 같다.
Figure 112017066872898-pat00006
여기서, cd, cw, ch는 가중치를 의미하며 C= cd + cw + ch이다. 각 가중치는 영상의 특성에 따라 영상 부호화 장치 및 복호화 장치가 동일한 방법으로 결정하며, 특정 방법으로 한정되지 않는다.
도 11은 영상 복호화 장치가 제1 인접화소(BR)의 값에 대한 정보를 영상 부호화 장치로부터 별도로 수신하지 않고 현재블록의 참조화소들의 평균값 또는 가중 평균값 기반으로 제1 인접화소(BR)의 값을 설정하는 방법의 일 실시예를 나타낸다. 본 실시예에 따라 계산되는 제1 인접화소(BR) 값의 예시들은 다음과 같다.
1) TR 및 BL 값들의 평균값
2) TR 및 BL 값들의 가중 평균값
3) TR, BL 및 TL 값들의 가중 평균값
4) TR, TR+1, BL, BL+1 값들의 평균값
5) TR, TR-1, TR+1, BL, BL-1, BL+1 값들의 평균값
6) TR, TR+1, TR+2, BL, BL+1, BL+2 값들의 평균값
위의 예시들에서, TR은 현재블록의 우측 상단 모서리에 위치하는 인접화소(즉, 제2 인접화소), BL은 좌측 하단 모서리에 위치하는 인접화소(즉, 제3 인접화소), TL은 좌측 상단 모서리에 위치하는 인접화소를 의미한다. TR±x는 TR을 기준으로 좌우 방향에 위치하는 화소를 의미하고, BL±y는 BL을 기준으로 상하 방향에 위치하는 화소를 의미한다. 예컨대, TR+1은 TR의 우측에 접하는 화소를 의미하고 TR+2는 TR+1의 우측에 접하는 화소를 의미한다.
제1 인접화소(BR)의 값을 계산하는 방법들은 위의 5개의 예시들에 한정되지 않고 현재블록의 참조화소들을 이용하여 계산하는 여러 가지 방법들을 포함할 수 있다. 제1 인접화소(BR)의 값은 영상 부호화 장치 및 복호화 장치에서 동일한 방법으로 계산된다.
일례로, 영상 부호화 장치 및 복호화 장치는 수학식 7과 같은 연산식을 이용하여 제1 인접화소(BR)의 값을 동일하게 설정할 수 있다.
Figure 112017066872898-pat00007
여기서, H는 현재블록의 높이를 의미하며, W는 현재블록의 너비를 의미한다. P(W, H)는 제1 인접화소(BR)의 값을 의미하고, R(W, -1)은 제2 인접화소(TR)의 값을 의미하며, R(-1, H)는 제3 인접화소(BL)의 값을 의미한다. R(W-1, -1), R(W-2, -1), R(W+1, -1) 및 R(W+2, -1)은 제2 인접화소(TR)의 인접화소들을 의미하며, R(-1, H-1), R(-1, H-2), R(-1, H+1) 및 R(-1, H+2)는 제3 인접화소(BL)의 인접화소들을 의미한다.
또 다른 일례로, 영상 부호화 장치 및 복호화 장치는 수학식 8과 같은 연산식을 이용하여 제1 인접화소(BR)의 값을 동일하게 설정할 수 있다.
Figure 112017066872898-pat00008
여기서, H는 현재블록의 높이를 의미하며, W는 현재블록의 너비를 의미한다. P(W, H)는 제1 인접화소(BR)의 값을 의미하고, R(W, -1)은 제2 인접화소(TR)의 값을 의미하며, R(-1, H)는 제3 인접화소(BL)의 값을 의미한다. cw, ch는 가중치를 의미하며 C= cw + ch이다. 각 가중치는 영상의 특성에 따라 영상 부호화 장치 및 복호화 장치가 동일한 방법으로 결정된다. 예를 들어, cw 는 현재블록의 너비를, ch 는 현재블록의 높이를 가중치로 사용할 수 있다.
다른 실시예로, 영상 부호화 장치는 미리 정의된 복수의 제1 인접화소(BR)의 후보값들 중에서 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 후보값을 선택하여 선택된 후보값을 지시하는 정보를 영상 복호화 장치로 전송할 수 있다. 영상 복호화 장치는 비트스트림으로부터 복수의 제1 인접화소(BR)의 후보값들 중 하나를 지시하는 정보를 복호화하여 복호화된 정보가 지시하는 제1 인접화소(BR)의 후보값을 제1 인접화소(BR)의 값으로 설정할 수 있다. 여기서, 제1 인접화소(BR)의 후보값을 지시하는 정보로 br_ idx 신택스 요소가 사용할 수 있다. 표 1은 br_idx 및 제1 인접화소(BR)의 후보값의 일례를 나타낸다.
br_idx Associated candidate
0 TR 및 BL의 평균값
1 TR, TR+1, BL, BL+1 값들의 평균값
2 TR, TR-1, TR+1, BL, BL-1, BL+1 값들의 평균값
3 TR, TR+1, TR+2, BL, BL+1, BL+2 값들의 평균값
영상 부호화 장치가 선택된 하나의 br_ idx 값을 영상 복호화 장치로 전송하면, 영상 복호화 장치는 전송된 br_ idx에 해당하는 후보값을 구하여 제1 인접화소(BR)의 값으로 설정한다. 예를 들어, 영상 복호화 장치가 비트스트림으로부터 복호화한 br_ idx의 값이 1인 경우, TR, TR+1, BL 및 BL+1의 값들의 평균값을 구하여 제1 인접화소(BR)의 값으로 설정할 수 있다.
또 다른 실시예로, 영상 부호화 장치는 제1 인접화소(BR)의 원본값과 참조화소들(예: TL, TR, BL 등)의 값을 기반으로 보간한 제1 인접화소(BR)의 예측값의 차분값을 전송할 수 있다. 예를 들어, 차분값은 br_residual 신택스 요소를 통해 전송될 수 있다. 영상 복호화 장치는 차분값 외에 차분값에 대한 부호 정보를 추가 전송할 수 있다. 영상 복호화 장치는 비트스트림으로부터 제1 인접화소(BR)의 원본값과 제1 인접화소(BR)의 예측값의 차분값을 나타내는 정보(br_residual 신택스 요소)를 복호화하고, 영상 부호화 장치와 동일한 방법으로 획득한 제1 인접화소(BR)의 예측값에 복호화된 차분값을 보상한 값을 제1 인접화소(BR)의 값으로 설정할 수 있다. 이때, 영상 복호화 장치는 차분값에 대한 부호 정보를 별도로 복호화하고, 복호화된 부호 정보를 보상한 값을 제1 인접화소(BR)의 값으로 설정할 수 있다. 본 실시예에서 제1 인접화소(BR)의 예측값은 도 9 내지 도 11을 참조하여 설명한 방법 등에 의해 획득될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 영상 부호화 장치는 복원된 제2 인접화소(TR)의 값이 55이고, 복원된 제3 인접화소(BL)의 값이 45이며, 제1 인접화소(BR)의 원본값이 60인 경우에, 제2 인접화소(TR) 및 제3 인접화소(BL) 값들의 평균값(50)을 제1 인접화소(BR)의 예측값으로서 생성한 후, 제1 인접화소(BR)의 원본값(60)과 예측값(50)의 차분값(10)을 전송한다. 영상 부호화 장치는 추가적으로 차분값(10)에 대한 부호 정보(+/-)를 전송한다. 영상 복호화 장치는 이와 동일한 방법으로 제1 인접화소(BR)의 예측값을 생성한 후, 전송된 차분값(10)을 더하고, 전송된 부호(+/-)를 보상하여 제1 인접화소(BR)의 값(60)을 생성할 수 있다. 대안적으로, 제1 인접화소(BR)의 예측값은 계산된 값이 아닌 특정 위치의 복원된 화소값으로 설정될 수 있다.
도 12 내지 도 15는 본 발명의 다른 실시예에 따른 360 영상에서의 평면 예측 모드의 예시도이다. 이하, 360 영상과 같은 특수한 포맷의 영상을 위한 제1 인접화소(BR)의 값을 설정하는 방법에 대하여 설명한다. 본 실시예에서 현재블록은 2D 이미지로 부호화된 360 영상에서 복호화하고자 하는 제1 면에 위치한다.
도 12 (a)는 360 영상을 정방형 포맷(equirectangular format)으로 투영한 결과이다. 정방형 투영 포맷의 특징 중 하나는 이미지의 좌측 경계와 우측 경계가 서로 맞닿는 것이다. 이러한 특징을 고려하면, 도 12 (b)와 같이 이미지 내 좌측 경계에 접하는 복원 화소들(1210)의 값을 이미지의 우측 경계에 접하는 인접화소들(1220)의 값들로서 활용하여 이미지의 우측 경계에 접하는 블록에 대한 제1 인접화소(BR)의 값을 결정할 수 있다.
즉, 영상 복호화 장치는 현재블록의 우측 경계가 360 영상에서 복호화하고자 하는 제1 면의 우측 경계와 일치할 때, 360 영상을 기준으로 현재블록의 우측 경계에 접하며 이미 복호화된 블록을 식별한다. 그리고 영상 복호화 장치는 식별된 블록의 좌측 경계에 접하는 블록 내 화소들(1210) 중 360 영상을 기준으로 제1 인접화소(BR)와 접하는 화소의 값을 제1 인접화소(BR)의 값으로 설정한다. 이에 더하여, 영상 복호화 장치는 식별된 블록의 좌측 경계에 접하는 블록 내 화소들(1210)의 적어도 일부를 현재블록의 참조화소들(1220)의 일부로 설정할 수 있다.
도 13은 현재블록의 우측 경계가 360 영상이 정방형 포맷으로 투영된 에서 2D 이미지의 우측 경계와 일치하는 경우를 예시한다. 현재블록의 제1 인접화소(BR, 1300)의 값은 360 영상을 기준으로 현재블록의 우측 경계에 접하며 이미 복호화된 화소들(1210) 중 제1 인접화소(BR. 1300)과 접하는 화소의 값으로 설정된다. 한편, 현재블록의 우측 인접화소들(1220)의 값 역시 정방형 포맷의 특성을 이용하여 360 영상을 기준으로 현재블록의 우측 경계에 접하며 이미 복호화된 블록의 좌측 경계의 인접화소들(1210)의 값으로 설정될 수 있다. 이 경우, 제1 인접화소(BR)와 제2 인접화소(TR)를 이용하여 보간을 할 필요가 없다.
이하, 도 14 및 도 15를 참조하여 360 영상이 큐브 맵 포맷(cube map format)으로 투영된 경우에 대하여 설명한다. 도 14를 참조하면, (a)는 레이아웃(layout)의 변경이 없는 non-compact 레이아웃의 2D 이미지를, (b)는 각 면(face)을 재배치하어 공백이 없는 직사각형 형태로 레이아웃을 변경한 compact 레이아웃을 도시한다. Top, Bottom, Front, Back, Right, Left는 360 영상이 큐브에 투영될 때 각 투영 면(face)을 나타낸다. 각 면의 경계들은 360 영상을 기준으로 서로 인접 관계가 존재한다. 도 14에서는 360 영상에서의 각 인접관계를 도형으로 표현하였다. 예를 들어, non-compact 레이아웃에서 Front 면의 좌측 경계는 360 영상에서 Left 면의 우측 경계와 접한다.
큐브 맵 포맷의 경우에도 현재블록이 어느 한 면(face)의 경계에 접하는 경우, 이미 복호화된 다른 면의 경계에 위치한 화소들의 값을 참조하여 제1 인접화소(BR), 우측 열의 인접화소들, 및/또는 하측 행의 인접화소들의 값을 설정할 수 있다. 도 15를 참조하면, 현재블록이 제1 면(1510)에 위치하고 현재블록의 우측 경계가 제1 면(1510)의 우측 경계와 일치할 때, 영상 복호화 장치는 360 영상을 기준으로 제1 면(1510)의 우측 경계와 접하며 이미 복호화된 제2 면(1520)을 식별한다. 영상 복호화 장치는 제2 면(1520)의 좌측 경계에 접하는 제2 면(1520) 내 화소들 중 360 영상에서 제1 인접화소(BR)와 접하는 화소의 값을 제1 인접화소(BR)의 값으로 설정한다. 또한, 영상 복호화 장치는 제2 면(1520)의 좌측 경계에 접하는 제 2면(1520) 내 화소들(1522)의 적어도 일부를 현재블록의 우측 인접화소들(1512)의 적어도 일부로 설정할 수 있다.
도 16은 본 발명의 다른 실시예에 따라서 현재블록에 인접한 주변화소들의 값이 설정되는 방법을 나타내는 예시도이다. 제1 인접화소(BR)의 값을 설정하여 제2 인접화소(TR) 및 제3 인접화소(BL)와의 보간을 이용하는 방법 외에도, 도 16과 같이 현재블록에 인접한 우측 인접화소들의 값 P(W, y)들 및 현재블록에 인접한 하측 인접화소들의 값 P(x, H)들을 설정할 수 있다. P(W, y)들은 각각 현재블록의 참조화소들 중 제2 인접화소(TR)을 포함한 우상측에 위치하는 복원된 각각의 화소들의 값으로 설정될 수 있다. P(x, H)들은 각각 현재블록의 참조화소들 중 제3 인접화소(BL)을 포함한 좌하측에 위치하는 복원된 각각의 화소들의 값으로 설정될 수 있다.
이하, 도 17 및 도 18을 참조하여 본 발명의 실시예에 따른 화면 내 예측 복호화 방법에 대하여 설명한다. 도 17은 본 발명의 실시예에 따른 화면 내 예측 복호화 방법을 나타내는 흐름도이다.
우선 영상 복호화 장치는 비트스트림으로부터 현재블록의 우측 하단 모서리에 위치한 제1 인접화소를 지시하는 정보를 복호화하여 제1 인접화소(BR)의 값을 설정한다(S1710). 제1 인접화소(BR)의 값을 설정하는 방법에는 전술한 다양한 실시예들에 따른 방법이 적용될 수 있다.
예를 들어, 제1 인접화소(BR)를 지시하는 정보는 제1 인접화소(BR)의 원본값과 가장 유사한 값을 갖는 화소의 위치를 나타내는 정보일 수 있다. 이 경우, 단계 S1710에서는 현재블록의 참조화소들 중 가장 유사한 값을 갖는 화소의 위치를 나타내는 정보가 지시하는 위치의 화소의 값을 제1 인접화소(BR)의 값으로 설정할 수 있다. 화소의 위치를 나타내는 정보는 현재블록의 좌측 상단 모서리에 위치한 인접화소(TL), 우측 상단 모서리에 위치한 인접화소(TR) 및 우측 하단 모서리에 위치한 인접화소(BL) 중 어느 하나의 위치를 기준으로 하여 해당 화소의 위치를 지시할 수 있다. 다른 예로, 영상 복호화 장치는 비트스트림으로부터 현재블록의 참조화소들의 평균값 또는 가중 평균값으로 구성된 복수의 제1 인접화소(BR)의 후보값들 중 하나를 지시하는 정보를 복호화하여, 복호화된 정보가 지시하는 하나의 제1 인접화소(BR)의 후보값을 제1 인접화소(BR)의 값으로 설정할 수 있다. 여기서, 복호화된 정보가 지시하는 하나의 제1 인접화소(BR)의 후보값은, 복수의 제1 인접화소(BR)의 후보값들 중 제1 인접화소(BR)의 원본값과 가장 유사한 값을 의미할 수 있다.
제1 인접화소(BR)의 값이 설정되면, 영상 복호화 장치는 제1 인접화소(BR)의 값, 현재블록의 우측 상단 모서리에 위치한 제2 인접화소(TR)의 값 및 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소(BL)의 값을 이용한 보간에 의해 현재블록의 하측 인접화소의 예측값 및 우측 인접화소의 예측값을 획득한다(S1720). 구체적으로, 우측 인접화소의 예측값은 제1 인접화소(BR)의 값 및 제2 인접화소(TR)의 값을 이용한 보간에 의해 획득되고, 하측 인접화소의 예측값은 제1 인접화소(BR)의 값 및 제3 인접화소(BL)의 값을 이용한 보간에 의해 획득된다. 여기서, 좌측 인접화소와 우측 인접화소는 현재화소와 동일한 행에 위치하고, 상측 인접화소와 하측 인접화소는 현재화소와 동일한 열에 위치할 수 있다.
마지막으로, 영상 복호화 장치는 현재블록의 좌측 인접화소의 값, 현재블록의 상측 인접화소의 값, 하측 인접화소의 예측값 및 우측 인접화소의 예측값을 이용한 보간에 의해 현재블록 내 현재화소의 예측값을 획득한다(S1730). 구체적으로, 영상 복호화 장치는 좌측 인접화소의 값과 우측 인접화소의 예측값을 이용한 보간에 의해 현재화소의 제1 예측값을 획득하고, 상측 인접화소의 값과 하측 인접화소의 예측값을 이용한 보간에 의해 현재화소의 제2 예측값을 획득한다. 현재화소의 최종 예측값은 제1 예측값과 제2 예측값을 이용하여 획득된다. 예컨대, 최종 예측값은 제1 예측값과 제2 예측값의 평균값이 될 수 있다.
도 18은 본 발명의 다른 실시예에 따른 화면 내 예측 복호화 방법을 나타내는 흐름도이다.
우선 영상 복호화 장치는 현재블록의 참조화소들을 기반으로 현재블록의 우측 하단 모서리에 위치한 제1 인접화소(BR)의 값을 설정한다(S1810). 본 실시예에 따르면, 제1 인접화소(BR)의 값은 영상 부호화 장치에서 이용된 방법과 동일한 방법으로 영상 복호화 장치에서 직접 계산될 수 있다. 제1 인접화소(BR)의 값을 계산하는 방법은 전술한 다양한 실시예들에 따른 방법들을 포함할 수 있다.
예를 들어, 영상 복호화 장치는 제1 인접화소(BR)로부터 연장된 적어도 하나의 특정 방향의 직선 상에 위치하는 현재블록의 참조화소 또는 인접화소의 값에 이와 동일 직선 상에 위치하는 이미 복원된 화소의 값과의 변화량을 합산하여 해당 방향에서의 제1 인접화소(BR) 예측값을 계산하고, 제1 인접화소(BR) 예측값들의 평균 또는 가중 평균으로 제1 인접화소(BR)의 값을 설정할 수 있다. 여기서, 특정 방향은 제1 인접화소(BR)로부터 직선 방향, 수직 방향 및 대각선 방향 중 적어도 하나일 수 있고, 현재블록의 참조화소는 현재블록의 좌측 상단 모서리에 위치한 주변화소, 제2 인접화소(TR) 및 제3 인접화소(BL) 중 적어도 하나일 수 있다. 다른 예로, 영상 복호화 장치는 현재블록의 참조화소들의 평균값 또는 가중 평균값을 제1 인접화소(BR)의 값으로 설정할 수 있다. 또 다른 예로, 영상 복호화 장치는 현재블록의 참조화소들을 기반으로 제1 인접화소(BR)의 예측값을 결정하고, 비트스트림으로부터 제1 인접화소(BR)의 원본값과 예측값의 차분값을 나타내는 정보를 복호화하여 직접 결정한 예측값에 복호화된 차분값을 더함으로써 제1 인접화소(BR)의 값을 결정할 수 있다.
도 17 및 도 18에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 17 및 도 18에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 17 및 도 18은 시계열적인 순서로 한정되는 것은 아니다.
도 17 및 도 18에 기재된 본 실시예에 따른 영상 부호화 또는 복호화 방법은 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 부호화 또는 복호화 방법을 구현하기 위한 컴퓨터 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 비트스트림으로부터 현재블록의 우측 하단 모서리에 위치한 제1 인접화소를 지시하는 정보를 복호화하여 상기 제1 인접화소의 값을 설정하는 단계;
    상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 획득하는 단계; 및
    상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 획득하는 단계
    를 포함하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 제1 인접화소를 지시하는 정보는, 상기 제1 인접화소의 원본값과 가장 유사한 값을 갖는 화소의 위치를 나타내는 정보이고,
    상기 제1 인접화소의 값을 설정하는 단계는, 상기 현재블록의 참조화소들 중 상기 화소의 위치를 나타내는 정보가 지시하는 위치의 화소의 값을 상기 제1 인접화소의 값으로 설정하는 단계를 포함하는, 영상 복호화 방법.
  3. 제2항에 있어서,
    상기 화소의 위치를 나타내는 정보는, 상기 현재블록의 좌측 상단 모서리에 위치한 주변화소, 상기 제2 인접화소 및 상기 제3 인접화소 중 어느 하나의 위치를 기준으로 하여 상기 제1 인접화소의 값과 가장 유사한 값을 갖는 화소의 위치를 지시하는, 영상 복호화 방법.
  4. 현재블록의 참조화소들을 기반으로 상기 현재블록의 우측 하단 모서리에 위치한 제1 인접화소의 값을 설정하는 단계;
    상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 획득하는 단계; 및
    상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 획득하는 단계
    를 포함하는 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 제1 인접화소의 값을 설정하는 단계는,
    상기 제1 인접화소로부터 연장된 적어도 하나의 특정 방향의 직선 상에 위치하는 상기 현재블록의 참조화소의 값에 이와 동일 직선 상에 위치하는 이미 복원된 주변화소의 값과의 변화량을 합산하여 상기 적어도 하나의 특정 방향 별로 상기 제1 인접화소의 예측값을 계산하는 단계; 및
    상기 적어도 하나의 특정 방향 별로 계산된 상기 제1 인접화소의 예측값의 평균을 상기 제1 인접화소의 값으로 설정하는 단계를 포함하는, 영상 복호화 방법.
  6. 제5항에 있어서,
    상기 특정 방향은, 상기 제1 인접화소로부터 수평 방향, 수직 방향 및 대각선 방향 중 적어도 하나이고,
    상기 현재블록의 참조화소는, 상기 현재블록의 좌측 상단 모서리에 위치한 인접화소, 상기 제2 인접화소 및 상기 제3 인접화소 중 적어도 하나인, 영상 복호화 방법.
  7. 제4항에 있어서,
    상기 제1 인접화소의 값을 설정하는 단계는,
    상기 현재블록의 참조화소들의 평균값 또는 가중 평균값을 상기 제1 인접화소의 값으로 설정하는 단계를 포함하는, 영상 복호화 방법.
  8. 제4항에 있어서,
    상기 제1 인접화소의 값을 설정하는 단계는,
    비트스트림으로부터 상기 현재블록의 참조화소들의 평균값 또는 가중 평균값으로 구성된 복수의 상기 제1 인접화소의 후보값들 중 하나를 지시하는 정보를 복호화하는 단계; 및
    상기 복호화된 정보가 지시하는 하나의 상기 제1 인접화소의 후보값을 상기 제1 인접화소의 값으로 설정하는 단계를 더 포함하되,
    상기 복호화된 정보가 지시하는 하나의 상기 제1 인접화소의 후보값은, 상기 복수의 제1 인접화소의 후보값들 중 상기 제1 인접화소의 원본값과 가장 유사한 값인, 영상 복호화 방법.
  9. 제4항에 있어서,
    상기 제1 인접화소의 값을 설정하는 단계는,
    상기 현재블록의 참조화소들을 기반으로 상기 제1 인접화소의 예측값을 결정하는 단계; 및
    비트스트림으로부터 상기 제1 인접화소의 원본값과 상기 예측값의 차분값을 나타내는 정보를 복호화하여 상기 예측값에 상기 차분값을 더함으로써 결정된 값을 상기 제1 인접화소의 값으로 설정하는 단계를 포함하는, 영상 복호화 방법.
  10. 제4항에 있어서,
    상기 현재블록은, 2D 이미지로 부호화된 360 영상에서 복호화하고자 하는 제1 면에 위치하고,
    상기 제1 인접화소의 값을 설정하는 단계는,
    상기 현재블록의 우측 경계가 상기 제1 면의 우측 경계와 일치할 때, 상기 360 영상을 기준으로 상기 현재블록의 우측 경계에 접하며 이미 복호화된 블록을 식별하는 단계;
    상기 식별된 블록의 좌측 경계에 접하는 상기 식별된 블록 내 화소들 중 상기 360 영상을 기준으로 상기 제1 인접화소와 접하는 화소의 값을 상기 제1 인접화소의 값으로 설정하는 단계를 포함하는, 영상 복호화 방법.
  11. 제1항 또는 제4항에 있어서,
    상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 획득하는 단계는,
    상기 제1 인접화소의 값 및 상기 제2 인접화소의 값을 이용한 보간에 의해 상기 우측 인접화소의 값을 획득하는 단계; 및
    상기 제1 인접화소의 값 및 상기 제3 인접화소의 값을 이용한 보간에 의해 상기 하측 인접화소의 값을 획득하는 단계를 포함하는, 영상 복호화 방법.
  12. 제1항 또는 제4항에 있어서,
    상기 현재화소의 예측값을 획득하는 단계는,
    상기 좌측 인접화소의 값과 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재화소의 제1 예측값을 획득하는 단계;
    상기 상측 인접화소의 값과 상기 하측 인접화소의 값을 이용한 보간에 의해 상기 현재화소의 제2 예측값을 획득하는 단계; 및
    상기 제1 예측값과 상기 제2 예측값을 이용하여 상기 현재화소의 예측값을 획득하는 단계를 포함하되,
    상기 좌측 인접화소와 상기 우측 인접화소는 상기 현재화소와 동일한 행에 위치하고, 상기 상측 인접화소와 상기 하측 인접화소는 상기 현재화소와 동일한 열에 위치하는, 영상 복호화 방법.
  13. 제12항에 있어서,
    상기 현재화소의 예측값은,
    상기 제1 예측값과 상기 제2 예측값을 가중평균하여 생성하는, 영상 복호화 방법.
  14. 제13항에 있어서,
    상기 제1 예측값에 적용되는 제1 가중치는 상기 현재화소와 동일한 열에 위치한 상측 참조화소로부터 상기 현재화소까지의 거리에 의해 결정되고,
    상기 제2 예측값에 적용되는 제2 가중치는 상기 현재화소와 동일한 행에 위치한 좌측 참조화소로부터 상기 현재화소까지의 거리에 의해 결정되는, 영상 복호화 방법.
  15. 비트스트림으로부터 현재블록의 우측 하단 모서리에 위치한 제1 인접화소를 지시하는 정보를 복호화하는 복호화부;
    상기 제1 인접화소를 지시하는 정보를 이용하여 상기 제1 인접화소의 값을 설정하는 제1 인접화소 설정부;
    상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 결정하는 인접화소 예측부; 및
    상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 결정하는 현재화소 예측부
    를 포함하는 영상 복호화 장치.
  16. 현재블록의 참조화소들을 기반으로 상기 현재블록의 우측 하단 모서리에 위치한 제1 인접화소의 값을 설정하는 제1 인접화소 설정부;
    상기 제1 인접화소의 값, 상기 현재블록의 우측 상단 모서리에 위치한 제2 인접화소의 값 및 상기 현재블록의 좌측 하단 모서리에 위치한 제3 인접화소의 값을 이용한 보간(interpolation)에 의해 상기 현재블록의 하측 인접화소의 값 및 우측 인접화소의 값을 결정하는 인접화소 예측부; 및
    상기 현재블록의 좌측 인접화소의 값, 상기 현재블록의 상측 인접화소의 값, 상기 하측 인접화소의 값 및 상기 우측 인접화소의 값을 이용한 보간에 의해 상기 현재블록 내 현재화소의 예측값을 결정하는 현재화소 예측부
    를 포함하는 영상 복호화 장치.

KR1020170088703A 2017-05-18 2017-07-12 화면 내 예측 부호화 또는 복호화 방법 및 장치 KR102356317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/005596 WO2018212582A1 (ko) 2017-05-18 2018-05-16 화면 내 예측 부호화 또는 복호화 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170061887 2017-05-18
KR20170061887 2017-05-18

Publications (2)

Publication Number Publication Date
KR20180127139A KR20180127139A (ko) 2018-11-28
KR102356317B1 true KR102356317B1 (ko) 2022-01-27

Family

ID=64561434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170088703A KR102356317B1 (ko) 2017-05-18 2017-07-12 화면 내 예측 부호화 또는 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102356317B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249741A1 (en) 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170034799A (ko) * 2017-02-22 2017-03-29 엠앤케이홀딩스 주식회사 영상 복호화 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249741A1 (en) 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction

Also Published As

Publication number Publication date
KR20180127139A (ko) 2018-11-28

Similar Documents

Publication Publication Date Title
KR102306562B1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
KR102391235B1 (ko) 영상 신호 부호화/복호화 방법 및 장치
CN108141585B (zh) 视频编码系统中的帧内预测方法和装置
EP3162055B1 (en) Method and device for providing depth based block partitioning in high efficiency video coding
US11665337B2 (en) Method and apparatus for encoding/decoding an image signal
KR20210134554A (ko) 영상 부호화 또는 복호화를 위한 장치 및 방법
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
JP2020517190A (ja) 映像コーディングシステムにおけるイントラ予測による映像のデコーディング方法及び装置
TW201811031A (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
US20140044347A1 (en) Mage coding apparatus, image coding method, image coding program, image decoding apparatus, image decoding method, and image decoding program
KR102342870B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20170116043A (ko) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN115118965A (zh) 用于对图像进行编/解码的方法和存储比特流的方法
CN106688238B (zh) 改进后的深度图帧内编码的参考像素点选择和滤波
KR20210135623A (ko) 매트릭스 기반 인트라 예측 장치 및 방법
KR20230154413A (ko) 인터 예측 방법 및 영상 복호화 장치
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
CN116668679A (zh) 编解码设备、非暂态计算机可读存储介质和数据发送设备
KR20210090709A (ko) Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
KR20180079314A (ko) 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20210133300A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019194498A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102356317B1 (ko) 화면 내 예측 부호화 또는 복호화 방법 및 장치
KR20220017380A (ko) 임의 블록 분할을 이용한 비디오 부호화 및 복호화

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant