KR20210031783A - 영상 부호화/복호화 방법 및 장치 - Google Patents
영상 부호화/복호화 방법 및 장치 Download PDFInfo
- Publication number
- KR20210031783A KR20210031783A KR1020217007603A KR20217007603A KR20210031783A KR 20210031783 A KR20210031783 A KR 20210031783A KR 1020217007603 A KR1020217007603 A KR 1020217007603A KR 20217007603 A KR20217007603 A KR 20217007603A KR 20210031783 A KR20210031783 A KR 20210031783A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- prediction
- reference pixel
- division
- mode
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 285
- 230000003044 adaptive effect Effects 0.000 claims description 33
- 238000001914 filtration Methods 0.000 claims description 23
- 230000002093 peripheral effect Effects 0.000 claims 5
- 230000008569 process Effects 0.000 description 120
- 238000000638 solvent extraction Methods 0.000 description 56
- 230000033001 locomotion Effects 0.000 description 55
- 238000013139 quantization Methods 0.000 description 51
- 230000009466 transformation Effects 0.000 description 40
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000005192 partition Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000011426 transformation method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- FZEIVUHEODGHML-UHFFFAOYSA-N 2-phenyl-3,6-dimethylmorpholine Chemical compound O1C(C)CNC(C)C1C1=CC=CC=C1 FZEIVUHEODGHML-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 101150108611 dct-1 gene Proteins 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 화면내 예측 방법 및 장치를 제공하는 것을 목적으로 한다. 또한, 본 발명은 서브 블록 단위의 화면내 예측 방법과 장치를 제공하는 것을 목표로 한다. 또한, 본 발명은 서브 블록 단위의 분할과 부호화 순서를 결정하는 방법 및 장치를 제공하는 것을 목적으로 한다.
Description
본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는, 화면내 예측에서의 부호화/복호화 방법 및 장치에 관한 것이다.
인터넷과 휴대 단말의 보급과 정보 통신 기술의 발전에 따라 멀티미디어 데이터에 대한 이용이 급증하고 있다. 따라서, 각종 시스템에서 영상 예측을 통해 다양한 서비스나 작업을 수행하기 위하여 영상 처리 시스템의 성능 및 효율 개선에 대한 필요성이 상당히 증가하고 있으나, 이러한 분위기에 호응할 수 있는 연구 개발 결과가 미흡한 실정이다.
이와 같이, 종래 기술의 영상 부호화 복호화 방법 및 장치에서는 영상 처리 특히 영상 부호화 또는 영상 복호화에 대한 성능 개선이 요구되고 있는 실정이다.
본 발명은 화면내 예측 방법 및 장치를 제공하는 것을 목적으로 한다. 또한, 본 발명은 서브 블록 단위의 화면내 예측 방법과 장치를 제공하는 것을 목표로 한다. 또한, 본 발명은 서브 블록 단위의 분할과 부호화 순서를 결정하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 영상 부호화/복호화 방법 및 장치는 현재 블록의 분할 형태에 관한 후보군을 구성하고, 상기 후보군과 후보 인덱스에 기반하여 현재 블록의 서브 블록으로의 분할 형태를 결정하며, 상기 현재 블록 단위로 화면내 예측 모드를 유도하고, 상기 현재 블록의 화면내 예측 모드와 서브 블록의 분할 형태에 기반하여 현재 블록의 화면내 예측을 수행할 수 있다.
본 발명에 따르면, 서브 블록 단위의 화면내 예측을 통해 부/복호화 성능을 향상시킬 수 있다. 또한, 본 발명에 따르면, 서브 블록 단위의 분할 형태에 관한 후보군을 효율적으로 구성함으로써 예측의 정확성을 향상시킬 수 있다. 또한, 본 발명에 따르면, 서브 블록 단위의 부호화 순서를 적응적으로 적용함으로써 화면내 예측의 부호화/복호화 효율이 향상될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 시스템에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 블록 구성도이다.
도 4는 본 발명의 블록 분할부에서 획득할 수 있는 다양한 분할 형태를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 화면내 예측 모드를 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 화면내 예측에 사용되는 참조 화소 구성을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 화면내 예측의 대상 블록과 인접한 블록을 나타내는 개념도이다.
도 8은 부호화 블록에 기초해 획득 가능한 서브 블록의 다양한 분할 형태를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 화면내 예측 모드에 기반하여 사용되는 참조 화소 영역에 대한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 Diagonal up right 방향의 예측 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 수평 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 Diagonal down right 방향의 예측 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 수직 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 Diagonal down left 방향의 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 15는 본 발명의 일 실시예에 따른 화면내 예측 모드와 분할 형태를 고려한 부호화 순서에 대한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 블록 구성도이다.
도 4는 본 발명의 블록 분할부에서 획득할 수 있는 다양한 분할 형태를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 화면내 예측 모드를 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 화면내 예측에 사용되는 참조 화소 구성을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 화면내 예측의 대상 블록과 인접한 블록을 나타내는 개념도이다.
도 8은 부호화 블록에 기초해 획득 가능한 서브 블록의 다양한 분할 형태를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 화면내 예측 모드에 기반하여 사용되는 참조 화소 영역에 대한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 Diagonal up right 방향의 예측 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 수평 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 Diagonal down right 방향의 예측 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 수직 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 Diagonal down left 방향의 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다.
도 15는 본 발명의 일 실시예에 따른 화면내 예측 모드와 분할 형태를 고려한 부호화 순서에 대한 예시도이다.
발명의 실시를 위한 최선의 형태
본 발명에 따른 영상 부호화/복호화 방법 및 장치는 현재 블록의 분할 형태에 관한 후보군을 구성하고, 상기 후보군과 후보 인덱스에 기반하여 현재 블록의 서브 블록으로의 분할 형태를 결정하며, 상기 현재 블록 단위로 화면내 예측 모드를 유도하고, 상기 현재 블록의 화면내 예측 모드와 서브 블록의 분할 형태에 기반하여 현재 블록의 화면내 예측을 수행할 수 있다.
발명의 실시를 위한 형태
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 것을 의미한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
통상적으로 영상의 컬러 포맷(Color Format)에 따라 하나 이상의 컬러 공간으로 구성될 수 있다. 컬러 포맷에 따라 일정 크기를 갖는 1개 이상의 픽쳐 또는 다른 크기를 갖는 1개 이상의 픽쳐로 구성될 수 있다. 일 예로, YCbCr 컬러 구성에서 4:4:4, 4:2:2, 4:2:0, Monochrome(Y로만 구성) 등의 컬러 포맷이 지원될 수 있다. 일 예로, YCbCr 4:2:0인 경우 1개의 휘도 성분(본 예에서, Y)과 2개의 색차 성분(본 예에서, Cb/Cr)으로 구성될 수 있으며, 이때 색차 성분과 휘도 성분의 구성 비는 가로, 세로 1:2를 가질 수 있다. 일 예로, 4:4:4인 경우 가로, 세로 동일한 구성 비를 가질 수 있다. 상기 예처럼 하나 이상의 컬러 공간으로 구성이 되는 경우 픽쳐는 각 컬러 공간으로의 분할을 수행할 수 있다.
영상은 영상 타입(예를 들어, 픽쳐 타입, 슬라이스 타입, 타일 타입 등)에 따라 I, P, B 등으로 분류할 수 있는데, I 영상 타입은 참조 픽쳐를 사용하지 않고 자체적으로 부/복호화되는 영상을 의미할 수 있고, P 영상 타입은 참조 픽쳐를 사용하여 부/복호화를 하되 전방향 예측만을 허용하는 영상을 의미할 수 있으며, B 영상 타입은 참조 픽쳐를 사용하여 부/복호화를 하며 전/후방향 예측을 허용하는 영상을 의미할 수 있으나, 부/복호화 설정에 따라 상기 타입의 일부가 결합(P와 B를 결합)되거나 다른 구성의 영상 타입이 지원될 수도 있다.
본 발명에서 발생하는 다양한 부/복호화 정보는 명시적(Explicit) 또는 명시적(Implicit)인 처리가 가능할 수 있다. 여기서 명시적인 처리는 부호화 정보에 관한 복수의 후보군 중 하나의 후보를 가리키는 선택 정보를 시퀀스, 슬라이스, 타일, 블록, 서브 블록 등에서 생성하여 이를 비트스트림에 수록할 수 있고, 복호화기에서 부호화기와 동일 수준의 단위에서 관련 정보를 파싱(Parsing)하여 복호화 정보로 복원하는 것으로 이해할 수 있다. 여기서 묵시적인 처리는 부/복호화 정보를 부호화기와 복호화기에서 동일한 과정, 규칙 등으로 처리되는 것으로 이해할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 부호화 및 복호화 시스템에 대한 개념도이다.
도 1을 참조하면, 영상 부호화 장치(105) 및 복호화 장치(100)는 개인용 컴퓨터(PC:Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone) 또는 TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리(memory, 120, 125) 또는 프로그램을 실행하여 연산 및 제어하기 위한 프로세서(processor, 110, 115) 등을 구비하는 다양한 장치를 포함할 수 있다.
또한, 영상 부호화 장치(105)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망 또는 이동통신망 등의 유무선 통신망(Network) 등을 통하거나 케이블 또는 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치(100)로 전송되어 영상 복호화 장치(100)에서 복호화되어 영상으로 복원되고 재생될 수 있다. 또한, 영상 부호화 장치(105)에 의해 비트스트림으로 부호화된 영상은 컴퓨터 판독 가능한 기록 매체를 통하여 영상 부호화 장치(105)에서 영상 복호화 장치(100)로 전달될 수 있다.
전술한 영상 부호화 장치와 영상 복호화 장치는 각각 별도의 장치들일 수 있으나, 구현에 따라서 하나의 영상 부호화/복호화 장치로 만들어질 수 있다. 그 경우, 영상 부호화 장치의 일부 구성은 영상 복호화 장치의 일부 구성과 실질적으로 동일한 기술요소로서 적어도 동일한 구조를 포함하거나 적어도 동일한 기능을 수행하도록 구현될 수 있다.
따라서, 이하의 기술요소들과 이들의 작동 원리 등에 대한 상세 설명에서는 대응 기술요소들의 중복되는 설명을 생략하기로 한다. 또한, 영상 복호화 장치는 영상 부호화 장치에서 수행되는 영상 부호화 방법을 복호화에 적용하는 컴퓨팅 장치에 대응하므로, 이하의 설명에서는 영상 부호화 장치를 중심으로 설명하기로 한다.
컴퓨팅 장치는 영상 부호화 방법 및/또는 영상 복호화 방법을 구현하는 프로그램이나 소프트웨어 모듈을 저장하는 메모리와 메모리에 연결되어 프로그램을 수행하는 프로세서를 포함할 수 있다. 여기서, 영상 부호화 장치는 부호화기로, 영상 복호화 장치는 복호화기로 각각 지칭될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치에 대한 블록 구성도이다.
도 2를 참조하면, 영상 부호화 장치(20)는 예측부(200), 감산부(205), 변환부(210), 양자화부(215), 역양자화부(220), 역변환부(225), 가산부(230), 필터부(235), 부호화 픽쳐 버퍼(240) 및 엔트로피 부호화부(245)를 포함할 수 있다.
예측부(200)는 소프트웨어 모듈인 예측 모듈(prediction module)을 이용하여 구현될 수 있고, 부호화할 블록에 대하여 화면내 예측 방식(Intra Prediction)이나 화면간 예측 방식(Inter Prediction)으로 예측 블록을 생성할 수 있다. 예측부(200)는 영상에서 현재 부호화하고자 하는 현재 블록을 예측하여 예측 블록을 생성할 수 있다. 다시 말해, 예측부(200)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(pixel value)을 화면내 예측 또는 화면간 예측에 따라 예측하여 생성된 각 화소의 예측 화소값(prediced pixel value)를 갖는 예측 블록을 생성할 수 있다. 또한, 예측부(200)는 화면내 예측 모드 또는 화면간 예측 모드와 같은 예측 모드에 대한 정보와 같은 예측 블록을 생성하는데 필요한 정보를 부호화부로 전달하여 부호화부로 하여금 예측 모드에 대한 정보를 부호화하도록 할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 부/복호화 설정에 따라 정해질 수 있다. 예를 들어, 예측 방법, 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수 있다.
화면간 예측부에서 움직임 예측 방법에 따라 이동 움직임 모델과 이동외 움직임 모델로 구분할 수 있다. 이동 움직임 모델의 경우 평행 이동만을 고려하여 예측을 수행하고, 이동외 움직임 모델의 경우 평행 이동뿐만 아니라 회전, 원근, 줌 인/아웃(Zoom in/out) 등과 같은 움직임을 고려하여 예측을 수행할 수 있다. 단방향 예측을 가정할 때 이동 움직임 모델의 경우 하나의 움직임 벡터가 필요할 수 있지만, 이동외 움직임 모델의 경우 하나 이상의 움직임 벡터가 필요할 수 있다. 이동외 움직임 모델의 경우 각 움직임 벡터는 현재 블록의 좌상측 꼭지점, 우상측 꼭지점 등과 같이 현재 블록의 기 설정된 위치에 적용되는 정보일 수 있고, 해당 움직임 벡터를 통해 현재 블록의 예측하고자 하는 영역의 위치를 화소 단위 또는 서브 블록 단위로 획득할 수 있다. 화면간 예측부는 상기 움직임 모델에 따라 후술하는 일부 과정은 공통으로 적용될 수 있고 일부 과정은 개별적으로 적용될 수 있다.
화면간 예측부는 참조 픽쳐 구성부, 움직임 추정부, 움직임 보상부, 움직임 정보 결정부, 움직임 정보 부호화부를 포함할 수 있다. 참조 픽쳐 구성부는 현재 픽쳐를 중심으로 이전 또는 이후에 부호화된 픽쳐를 참조 픽쳐 리스트(L0, L1)에 포함할 수 있다. 상기 참조 픽쳐 리스트에 포함된 참조 픽쳐로부터 예측 블록을 획득할 수 있으며, 부호화 설정에 따라 현재 영상 또한 참조 픽쳐로 구성되어 참조 픽쳐 리스트 중 적어도 한 곳에 포함될 수 있다.
화면간 예측부에서 참조 픽쳐 구성부는 참조 픽쳐 보간부를 포함할 수 있으며, 보간 정밀도에 따라 소수 단위 화소를 위한 보간 과정을 수행할 수 있다. 예를 들어, 휘도 성분의 경우 8-tap DCT 기반의 보간 필터를 적용하고, 색차 성분의 경우 4-tap DCT 기반의 보간 필터를 적용할 수 있다.
화면간 예측부에서 움직임 추정부는 현재 블록과 상관성이 높은 블록을 참조 픽쳐를 통해 탐색하는 과정이며 FBMA(Full search-based block matching algorithm), TSS(Three step search) 등의 다양한 방법이 사용될 수 있고, 움직임 보상부는 움직임 추정 과정을 통해 예측 블록을 획득하는 과정을 의미한다.
화면간 예측부에서 움직임 정보 결정부는 현재 블록의 최적의 움직임 정보를 선정하기 위한 과정이 수행될 수 있으며, 움직임 정보는 스킵 모드(Skip Mode), 병합 모드(Merge Mode), 경쟁 모드(Competition Mode) 등의 움직임 정보 부호화 모드에 의해 부호화될 수 있다. 상기 모드는 움직임 모델에 따라 지원되는 모드가 결합되어 구성될 수 있으며, 스킵 모드(이동), 스킵 모드(이동외), 병합 모드(이동), 병합 모드(이동외), 경쟁 모드(이동), 경쟁 모드(이동외)가 그에 대한 예가 될 수 있다. 부호화 설정에 따라 상기 모드 중 일부가 후보군에 포함될 수 있다.
상기 움직임 정보 부호화 모드는 적어도 하나의 후보 블록에서 현재 블록의 움직임 정보(움직임 벡터, 참조 픽쳐, 예측 방향 등)의 예측값을 획득할 수 있으며, 둘 이상의 후보 블록이 지원되는 경우에는 최적의 후보 선택 정보가 발생할 수 있다. 스킵 모드(잔차 신호 없음)와 병합 모드(잔차 신호 존재)는 상기 예측값을 그대로 현재 블록의 움직임 정보로 사용할 수 있고, 경쟁 모드는 현재 블록의 움직임 정보와 상기 예측값과의 차분치 정보가 발생할 수 있다.
현재 블록의 움직임 정보 예측값을 위한 후보군은 움직임 정보 부호화 모드에 따라 적응적이고 다양한 구성을 가질 수 있다. 현재 블록에 공간적으로 인접한 블록(예를 들어, 좌, 상, 좌상, 우상, 좌하 블록 등)의 움직임 정보가 후보군에 포함될 수 있고, 시간적으로 인접한 블록의 움직임 정보가 후보군에 포함될 수 있으며, 공간적 후보와 시간적 후보의 혼합 움직임 정보등이 후보군에 포함될 수 있다.
상기 시간적으로 인접한 블록은 현재 블록과 대응(또는 상응)하는 다른 영상 내 블록을 포함하고, 해당 블록을 중심으로 좌, 우, 상, 하, 좌상, 우상, 좌하, 우하 블록 등에 위치한 블록을 의미할 수 있다. 상기 혼합 움직임 정보는 공간적으로 인접한 블록의 움직임 정보와 시간적으로 인접한 블록의 움직임 정보를 통해 평균, 중앙값 등으로 획득되는 정보를 의미할 수 있다.
움직임 정보 예측값 후보군 구성을 위한 우선 순위가 존재할 수 있다. 상기 우선 순위에 따라 예측값 후보군 구성에 포함되는 순서가 정해질 수 있으며, 상기 우선 순위에 따라 후보군의 개수(움직임 정보 부호화 모드에 따라 정해짐)만큼 채워지면 후보군 구성을 완료할 수 있다. 이때, 공간적으로 인접한 블록의 움직임 정보, 시간적으로 인접한 블록의 움직임 정보, 공간적 후보와 시간적 후보의 혼합 움직임 정보 순서로 우선 순위가 정해질 수 있으나, 그 외의 변형 또한 가능하다.
예를 들어, 공간적으로 인접한 블록 중에서는 좌 - 상 - 우상 - 좌하 - 좌상 블록 등의 순서로 후보군에 포함할 수 있고, 시간적으로 인접한 블록 중에서는 우하 - 중 - 우 - 하 블록 등의 순서로 후보군에 포함할 수 있다.
감산부(205)는 현재 블록에서 예측 블록을 감산하여 잔차 블록(residual block)을 생성할 수 있다. 다시 말해, 감산부(205)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 예측부를 통해 생성된 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(residual signal)인 잔차 블록을 생성할 수 있다. 또한, 감산부(205)는 후술하는 블록 분할부를 통해 획득된 블록 단위 이외의 단위에 따라 잔차 블록을 생성할 수도 있다.
변환부(210)는 공간 영역에 속하는 신호를 주파수 영역에 속하는 신호로 변환할 수 있으며, 변환 과정을 거쳐 획득되는 신호를 변환 계수(Transformed Coeffcient)라고 한다. 예를 들어, 감산부로부터 전달받은 잔차 신호를 갖는 잔차 블록을 변환하여 변환 계수를 갖는 변환 블록을 획득할 수 있는데, 입력 받은 신호는 부호화 설정에 따라 결정되며 이는 잔차 신호에 한정되지 않는다.
변환부는 잔차 블록을 하다마드 변환(Hadamard Transform), 이산 사인 변환(DST Based-Transform: Discrete Sine Transform), 이산 코사인 변환(DCT Based-Transform: Discrete Cosine Transform) 등과 같은 변환 기법을 사용하여 변환할 수 있으며, 이에 한정되지 않고 이를 개량 및 변형한 다양한 변환 기법이 사용될 수 있다.
상기 변환 기법 중 적어도 하나의 변환 기법이 지원될 수 있으며, 각 변환 기법에서 적어도 하나의 세부 변환 기법이 지원될 수 있다. 이때, 상기 세부 변한 기법은 각 변환 기법에서 기저 벡터의 일부가 달리 구성되는 변환 기법일 수 있다.
예를 들어, DCT의 경우 DCT-1 내지 DCT-8 중 하나 이상의 세부 변환 기법이 지원될 수 있고, DST의 경우 DST-1 내지 DST-8 중 하나 이상의 세부 변환 기법이 지원될 수 있다. 상기 세부 변환 기법의 일부를 구성하여 변환 기법 후보군을 구성할 수 있다. 일 예로, DCT-2, DCT-8, DST-7를 변환 기법 후보군으로 구성하여 변환을 수행할 수 있다.
변환은 수평/수직 방향으로 수행될 수 있다. 예를 들어, DCT-2의 변환 기법을 사용하여 수평 방향으로 1차원 변환을 수행하고, DST-7의 변환 기법을 사용하여 수직 방향으로 1차원 변환을 수행하여 총 2차원 변환을 수행함으로써 공간 영역의 화소값을 주파수 영역으로 변환할 수 있다.
고정적인 하나의 변환 기법을 사용하여 변환을 수행할 수 있거나 부/복호화 설정에 따라 변환 기법을 적응적으로 선택하여 변환을 수행할 수 있다. 이때, 적응적인 경우에는 명시적 또는 묵시적인 방법을 사용하여 변환 기법을 선택할 수 있다. 명시적인 경우에는 수평, 수직 방향에 적용되는 각각의 변환 기법 선택 정보 또는 변환 기법 세트 선택 정보가 블록 등의 단위에서 발생할 수 있다. 묵시적인 경우는 영상 타입(I/P/B), 컬러 성분, 블록의 크기, 형태, 화면내 예측 모드 등에 따라 부호화 설정이 정의될 수 있으며, 이에 따라 기 정의된 변환 기법이 선택될 수 있다.
또한, 부호화 설정에 따라 상기 일부 변환이 생략되는 경우가 가능할 수 있다. 즉, 명시적 또는 묵시적으로 수평/수직 단위 중 하나 이상을 생략할 수 있음을 의미한다.
또한, 변환부는 변환 블록을 생성하는데 필요한 정보를 부호화부로 전달하여 이를 부호화하도록 할 수 있고, 그에 따른 정보를 비트스트림에 수록하여 이를 복호화기에 전송하고, 복호화기의 복호화부는 이에 대한 정보를 파싱하여 역변환 과정에 사용할 수 있다.
양자화부(215)는 입력 받은 신호를 양자화할 수 있으며, 이때 양자화 과정을 거쳐 획득되는 신호를 양자화 계수(Quantized Coefficient)라고 한다. 예를 들어, 변환부로부터 전달받은 잔차 변환 계수를 갖는 잔차 블록을 양자화하여 양자화 계수를 갖는 양자화 블록을 획득할 수 있는데, 입력 받은 신호는 부호화 설정에 따라 결정되며 이는 잔차 변환 계수에 한정되지 않는다.
양자화부는 변환된 잔차 블록을 데드존 균일 경계 양자화(Dead Zone Uniform Threshold Quantization), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 양자화 기법을 사용하여 양자화할 수 있으며, 이에 한정되지 않고 이를 개량 및 변형한 다양한 양자화 기법이 사용될 수 있다.
부호화 설정에 따라 양자화 과정은 생략할 수 있다. 예를 들어, 부호화 설정(예를 들어, 양자화 파라미터가 0. 즉, 무손실 압축 환경)에 따라 양자화 과정을 생략(역과정도 포함)할 수 있다. 다른 예로, 영상의 특성에 따라 양자화를 통한 압축 성능이 발휘되지 않는 경우에는 양자화 과정을 생략할 수 있다. 이때, 양자화 블록(M x N) 중 양자화 과정이 생략되는 영역은 전체 영역이거나 또는 일부 영역(M/2 x N/2, M x N/2, M/2 x N 등)일 수 있으며, 양자화 생략 선택 정보는 묵시적 또는 명시적으로 정해질 수 있다.
양자화부는 양자화 블록을 생성하는데 필요한 정보를 부호화부로 전달하여 이를 부호화하도록 할 수 있고, 그에 따른 정보를 비트스트림에 수록하여 이를 복호화기에 전송하고, 복호화기의 복호화부는 이에 대한 정보를 파싱하여 이를 역양자화 과정에 사용할 수 있다.
상기 예에서는 변환부와 양자화부를 통해 잔차 블록을 변환하고 양자화하는 가정 하에 설명하였지만, 잔차 블록을 잔차 신호를 변환하여 변환 계수를 갖는 잔차 블록을 생성하고 양자화 과정을 수행하지 않을 수 있으며, 잔차 블록의 잔차 신호를 변환 계수로 변환하지 않고 양자화 과정만을 수행할 수 있을 뿐만 아니라, 변환과 양자화 과정 모두 수행하지 않을 수 있다. 이는 부호화기 설정에 따라 결정될 수 있다.
역양자화부(220)는 양자화부(215)에 의해 양자화된 잔차 블록을 역 양자화한다. 즉, 역양자화부(220)는 양자화 주파수 계수열을 역양자화하여 주파수 계수를 갖는 잔차 블록을 생성한다.
역변환부(225)는 역양자화부(220)에 의해 역양자화된 잔차 블록을 역변환한다. 즉, 역변환부(225)는 역양자화된 잔차 블록의 주파수 계수들을 역변환하여 화소값을 갖는 잔차 블록, 즉 복원된 잔차 블록을 생성한다. 여기서, 역변환부(225)는 변환부(210)에서 사용한 변환한 방식을 역으로 사용하여 역변환을 수행할 수 있다.
가산부(230)는 예측부(200)에서 예측된 예측 블록과 역변환부(225)에 의해 복원된 잔차 블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록은 부호화 픽쳐 버퍼(240)에 참조 픽쳐(또는 참조 블록)로서 저장되어 현재 블록의 다음 블록이나 향후 다른 블록, 다른 픽쳐를 부호화할 때 참조 픽쳐로서 사용될 수 있다.
필터부(235)는 디블록킹 필터, SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 등의 하나 이상의 후처리 필터 과정을 포함할 수 있다. 디블록킹 필터는 복원된 픽쳐에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 잔차 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원할 수 있다. 이와 같은 후처리 필터는 복원된 픽쳐 또는 블록에 적용될 수 있다.
부호화 픽쳐 버퍼(240)는 필터부(235)를 통해 복원된 블록 또는 픽쳐를 저장할 수 있다. 부호화 픽쳐 버퍼(240)에 저장된 복원 블록 또는 픽쳐는 화면내 예측 또는 화면간 예측을 수행하는 예측부(200)에 제공될 수 있다.
엔트로피 부호화부(245)는 생성된 양자화 주파수 계수열을 다양한 스캔 방식에 따라 스캔하여 양자화 계수열을 생성하고, 이를 엔트로피 부호화 기법 등을 이용하여 부호화 함으로써 출력한다. 스캔 패턴은 지그재그, 대각선, 래스터(raster) 등 다양한 패턴들 중 하나로 설정할 수 있다. 또한, 각 구성부로부터 전달되는 부호화 정보를 포함하는 부호화 데이터를 생성하여 비트스트림으로 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 복호화 장치에 대한 블록 구성도이다.
도 3을 참조하면, 영상 복호화 장치(30)는 엔트로피 복호화부(305), 예측부(310), 역양자화부(315), 역변환부(320), 가감산기(325), 필터(330) 및 복호화 픽쳐 버퍼(335)를 포함하여 구성될 수 있다.
또한, 예측부(310)는 다시 화면내 예측 모듈 및 화면간 예측 모듈을 포함하여 구성될 수 있다.
먼저, 영상 부호화 장치(20)로부터 전달된 영상 비트스트림이 수신되면, 엔트로피 복호화부(305)로 전달될 수 있다.
엔트로피 복호화부(305)는 비트스트림을 복호화하여 양자화된 계수들과 각 구성부로 전달되는 복호화 정보를 포함하는 복호화 데이터를 복호화할 수 있다.
예측부(310)는 엔트로피 복호화부(305)로부터 전달된 데이터들에 기초하여 예측 블록을 생성할 수 있다. 이때, 복호화된 픽쳐 버퍼(335)에 저장된 참조 영상에 기초하여, 디폴트(default) 구성 기법을 이용한 참조 픽쳐 리스트를 구성할 수도 있다.
화면간 예측부는 참조 픽쳐 구성부, 움직임 보상부, 움직임 정보 복호화부를 포함할 수 있으며, 일부는 부호화기와 동일한 과정을 수행하고 일부는 역으로 유도하는 과정을 수행할 수 있다.
역양자화부(315)는 비트스트림으로 제공되어 엔트로피 복호화부(305)에 의해 복호화된 양자화된 변환 계수들을 역양자화할 수 있다.
역변환부(320)는 역 DCT, 역 정수 변환 또는 그와 유사한 개념의 역변환 기법들을 변환 계수에 적용하여 잔차 블록을 생성할 수 있다.
이때, 역양자화부(315), 역변환부(320)는 앞서 설명한 영상 부호화 장치(20)의 변환부(210) 및 양자화부(215)에서 수행한 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 변환부(210) 및 양자화부(215)와 공유하는 동일한 과정 및 역변환을 사용할 수도 있고, 영상 부호화 장치(20)로부터 변환 및 양자화 과정에 관한 정보(예를 들면, 변환 크기, 변환 모양, 양자화 타입 등)를 이용하여 변환 및 양자화 과정을 역으로 수행할 수 있다.
역양자화 및 역변환 과정을 거친 잔차 블록은 예측부(310)에 의해 도출된 예측 블록과 가산되어 복원된 영상 블록이 생성될 수 있다. 이러한 가산은 가감산기(325)에 의해 이루어 질 수 있다.
필터(330)는 복원된 영상 블록에 대하여, 필요에 따라 블록킹(blocking) 현상을 제거하기 위하여 디블록킹 필터를 적용할 수도 있고, 상기 복호화 과정 전 후에 다른 루프 필터들을 비디오 품질을 향상시키기 위해 추가로 사용할 수도 있다.
복원 및 필터를 거친 영상 블록은 복호화 픽쳐 버퍼(335)에 저장될 수 있다.
도면에 도시하지 않았지만 영상 부호화/복호화 장치에 픽쳐 분할부와 블록 분할부를 더 포함할 수 있다.
픽쳐 분할부는 픽쳐를 컬러 공간(예를 들어, YCbCr, RGB 또는 XYZ 등), 타일, 슬라이스, 기본 부호화 단위(또는 최대 부호화 단위. Coding Tree Unit. CTU) 등과 같은 적어도 하나의 처리 단위로 분할(또는 구획)할 수 있고, 블록 분할부는 기본 부호화 단위를 적어도 하나의 처리 단위(예를 들어, 부호화, 예측, 변환, 양자화, 엔트로피 및 인루프 필터 단위 등)로 분할할 수 있다.
기본 부호화 단위는 수평 방향과 수직 방향으로 픽쳐를 일정한 간격으로 분할하여 획득될 수 있다. 이를 기반으로 타일, 슬라이스 등의 분할이 수행될 수 있으나 이에 한정하지는 않는다. 상기 타일과 슬라이스와 같은 분할 단위는 기본 부호화 블록의 정수배로 구성될 수 있으나, 영상 경계에 위치한 분할 단위에서는 예외적인 경우가 발생할 수 있다. 이를 위해 기본 부호화 블록 크기의 조정이 발생할 수도 있다.
예를 들어, 픽쳐를 기본 부호화 단위로 구획한 후에 상기 단위로 분할할 수 있거나 또는 픽쳐를 상기 단위로 구획한 후에 기본 부호화 단위로 분할할 수 있다. 본 발명에서는 각 단위의 구획 및 분할 순서가 전자인 경우를 가정하여 설명하나 이에 한정되지 않고, 부/복호화 설정에 따라 후자의 경우 또한 가능할 수 있다. 후자의 경우 기본 부호화 단위의 크기가 분할 단위(타일 등)에 따라 적응적인 경우로의 변형이 가능할 수 있다. 즉, 각 분할 단위마다 다른 크기를 갖는 기본 부호화 블록이 지원될 수 있음을 의미한다.
본 발명에서는 픽쳐를 기본 부호화 단위로 구획하는 경우를 기본 설정으로 두어 후술하는 예를 설명할 것이다. 상기 기본 설정은 픽쳐가 타일 또는 슬라이스로 분할되지 않거나 또는 픽쳐가 하나의 타일 또는 하나의 슬라이스인 경우를 의미할 수 있다. 그러나 전술한 것처럼 각 분할 단위(타일, 슬라이스 등)를 먼저 구획하고 획득된 단위에 기반하여 기본 부호화 단위로 분할하는 경우(즉, 각 분할 단위가 기본 부호화 단위의 정수배가 되지 않는 경우 등)에도 후술하는 다양한 실시예가 동일하거나 변경되어 적용될 수 있음이 이해되어야 한다.
상기 분할 단위 중 슬라이스의 경우 스캔 패턴에 따라 연속하는 적어도 하나의 블록들의 묶음으로 구성될 수 있고, 타일의 경우 공간적으로 인접한 블록들의 직사각형 형태의 묶음으로 구성될 수 있으며, 그 외의 추가적인 분할 단위가 지원되어 그에 따른 정의에 의해 구성될 수 있다. 슬라이스와 타일은 병렬 처리 등을 위한 목적으로 지원되는 분할 단위일 수 있으며, 이를 위해 분할 단위 간의 참조는 제한(즉, 참조할 수 없음)할 수 있다.
슬라이스는 연속하는 블록의 시작 위치에 대한 정보로 각 단위의 분할 정보를 생성할 수 있고, 타일의 경우 수평, 수직 방향의 분할 선에 대한 정보를 생성하거나 또는 타일의 위치 정보(예를 들어, 좌상, 우상, 좌하, 우하 위치)를 생성할 수 있다.
이때, 슬라이스와 타일은 부/복호화 설정에 따라 복수의 단위로 구분될 수 있다.
예를 들어, 일부 단위<A>는 부/복호화 과정에 영향을 주는 설정 정보를 포함하는 단위(즉, 타일 헤더 또는 슬라이스 헤더를 포함)일 수 있고, 일부 단위<B>는 설정 정보를 포함하지 않는 단위일 수 있다. 또는, 일부 단위<A>는 부/복호화 과정에서 다른 단위를 참조할 수 없는 단위일 수 있고, 일부 단위<B>는 참조할 수 있는 단위일 수 있다. 또한, 일부 단위<A>는 다른 단위<B>를 포함하는 상하 관계일 수 있거나 일부 단위<A>는 다른 단위<B>와 대등한 관계일 수 있다.
여기서 A와 B는 슬라이스와 타일(또는 타일과 슬라이스)일 수 있다. 또는, A와 B는 슬라이스나 타일 중 하나로 구성될 수 있다. 예를 들어, A는 슬라이스/타일<타입 1>이고 B는 슬라이스/타일<타입 2>와 같은 구성이 가능할 수 있다.
여기서 타입 1과 타입 2는 각각 하나의 슬라이스 또는 타일일 수 있다. 또는, 타입 1은 (타입 2를 포함하는) 복수의 슬라이스 또는 타일(슬라이스 그룹 또는 타일 그룹)일 수 있고, 타입 2는 하나의 슬라이스 또는 타일일 수 있다.
이미 전술한 것과 같이 본 발명은 픽쳐가 하나의 슬라이스 또는 타일로 구성되는 경우를 가정하여 설명하지만, 둘 이상의 분할 단위가 발생하는 경우라면 위의 설명이 후술하는 실시예에 적용되어 이해될 수 있다. 또한, A와 B는 분할 단위가 가질 수 있는 특성에 대한 예시로 각 예시의 A와 B가 혼합 구성되는 예 또한 가능하다.
한편, 블록 분할부에서는 픽쳐 분할부로부터 기본 부호화 단위에 대한 정보를 획득할 수 있으며, 기본 부호화 단위는 영상 부/복호화 과정에서 예측, 변환, 양자화 등에 대한 기본(또는 시작) 단위를 의미할 수 있다. 이때, 기본 부호화 단위는 컬러 포맷(본 예에서 YCbCr)에 따라 하나의 휘도 기본 부호화 블록(또는, 최대 부호화 블록. Coding Tree Block. CTB)과 두 개의 기본 색차 부호화 블록으로 구성될 수 있으며, 컬러 포맷에 따라 각 블록의 크기가 정해질 수 있다. 그리고 분할 과정에 따라 부호화 블록(Coding Block. CB)이 획득될 수 있다. 부호화 블록은 일정한 제한에 따라 더 이상의 부호화 블록으로 분할되지 않은 단위로 이해할 수 있으며, 하위 단위로의 분할의 시작 단위로 설정될 수 있다. 본 발명에서 블록은 사각형 형태에만 제한하지 않고 삼각형, 원형 등의 다양한 형태를 포함하는 넓은 개념으로 이해할 수 있다. 설명의 편의를 위해 직사각 형태인 경우를 가정하여 설명한다.
후술하는 내용은 하나의 컬러 성분을 대상으로 하지만 컬러 포맷에 따른 비율(예를 들어, YCbCr 4:2:0의 경우 휘도 성분과 색차 성분의 가로 및 세로 길이 비율은 2:1)에 비례하여 다른 컬러 성분에 변경 적용될 수 있음을 이해하여야 한다. 또한, 다른 컬러 성분에 의존적인 블록 분할(예를 들어, Cb/Cr에서 Y의 블록 분할 결과에 의존적인 경우)이 가능할 수 있지만, 각 컬러 성분에 독립적인 블록 분할이 가능할 수 있음을 이해하여야 한다. 또한, 공통되는 하나의 블록 분할 설정(길이 비율에 비례하는 것은 고려)을 사용할 수 있지만, 컬러 성분에 따라 개별적인 블록 분할 설정이 사용되는 것 또한 고려하여 이해할 필요가 있다.
블록 분할부에서 블록은 M × N으로 표현될 수 있으며, 각 블록의 최대값과 최소값이 범위 내에서 획득될 수 있다. 예를 들어, 블록의 최대값을 256×256, 최소값을 4×4로 정할 경우, 2m×2n 크기의 블록(본 예에서 m과 n은 2부터 8까지의 정수) 또는 2m × 2m 크기의 블록(본 예에서 m과 n은 2부터 128까지의 정수) 또는 m × m 크기의 블록(본 예에서 m과 n은 4부터 256까지의 정수)을 획득할 수 있다. 여기서, m과 n은 동일하거나 동일하지 않을 수 있으며, 상기 최대값과 최소값 등의 블록이 지원되는 범위는 하나 이상 발생할 수 있다.
예를 들어, 블록의 최대 크기 및 최소 크기 등에 관한 정보가 발생할 수 있고, 일부 분할 설정에서의 블록의 최대 크기 및 최소 크기 등에 관한 정보가 발생할 수 있다. 여기서 전자의 경우 영상 내에서 발생 가능한 최대 및 최소 크기에 대한 범위 정보일 수 있고, 후자의 경우 일부 분할 설정에 따라 발생 가능한 최대 및 최소 크기에 대한 정보일 수 있다. 여기서 상기 분할 설정은 영상 타입(I/P/B), 컬러 성분(YCbCr 등), 블록 종류(부호화/예측/변환/양자화 등), 분할 종류(Index or Type), 분할 방식(Tree 방식에서 QT, BT, TT 등, Index 방식에서 SI2, SI3, SI4 등) 등에 의해 정의될 수 있다.
또한, 블록이 가질 수 있는 가로/세로 길이 비율(블록의 형태)에 대한 제한이 존재할 수 있으며, 이에 대한 경계값 조건이 설정될 수 있다. 이때, 임의의 경계값(k) 이하/미만의 블록만 지원될 수 있으며, k는 A/B(A는 가로, 세로 중 길거나 같은 값, B는 그 나머지 값)와 같은 가로와 세로의 길이 비율에 따라 정의될 수 있고, 1.5, 2, 3, 4 등과 같은 1 이상의 실수일 수 있다. 상기 예에서와 같이 영상에서의 하나의 블록의 형태에 관한 제한 조건이 지원되거나 또는 분할 설정에 따라 하나 이상의 제한 조건이 지원될 수 있다.
정리하면, 상기 설명과 같은 범위 및 조건과 후술하는 분할 설정 등에 의해 블록 분할의 지원 여부가 정해질 수 있다. 예를 들어, 블록(부모 블록)의 분할에 따른 후보(자식 블록)가 지원되는 블록 조건에 만족할 경우 해당 분할은 지원될 수 있고, 만족하지 않을 경우 해당 분할은 지원되지 않을 수 있다.
블록 분할부는 영상 부호화 장치 및 복호화 장치의 각 구성부에 관계되어 설정될 수 있으며, 이 과정을 통해 블록의 크기와 형태가 정해질 수 있다. 이때, 설정되는 블록은 구성부에 따라 달리 정의될 수 있으며, 예측부의 경우 예측 블록(Prediction Block), 변환부의 경우 변환 블록(Transform Block), 양자화부의 경우 양자화 블록(Quantization Block) 등이 이에 해당할 수 있다. 다만, 이에 한정되지 않고 다른 구성부에 따른 블록 단위가 추가로 정의될 수 있다. 본 발명에서는 각 구성부에서 입력과 출력이 사각형 형태인 경우를 중심으로 설명하지만, 일부 구성부에서는 다른 형태(예를 들어, 삼각형 등)의 입/출력이 가능할 수도 있다.
블록 분할부의 초기(또는 시작) 블록의 크기 및 형태는 상위 단위로부터 결정될 수 있다. 상기 초기 블록은 더 작은 크기의 블록으로 분할될 수 있으며, 블록의 분할에 따른 최적의 크기 및 형태가 결정되면 그 블록은 하위 단위의 초기 블록으로 결정될 수 있다. 여기서, 상위 단위는 부호화 블록, 하위 단위는 예측 블록 또는 변환 블록일 수 있으나, 이에 한정되지 않으며 다양한 변형의 예가 가능할 수 있다. 상기 예와 같이 하위 단위의 초기 블록이 정해지면 상위 단위와 같이 최적의 크기 및 형태의 블록을 찾기 위한 분할 과정이 수행될 수 있다.
정리하면, 블록 분할부는 기본 부호화 블록(또는 최대 부호화 블록)을 적어도 하나의 부호화 블록으로 분할을 수행할 수 있고, 부호화 블록은 적어도 하나의 예측 블록/변환 블록/양자화 블록으로 분할을 수행할 수 있다. 또한, 예측 블록은 적어도 하나의 변환 블록/양자화 블록으로 분할을 수행할 수 있고, 변환 블록은 적어도 하나의 양자화 블록으로 분할을 수행할 수 있다. 여기서, 일부 블록은 다른 블록과 종속적인 관계(즉, 상위 단위와 하위 단위에 의해 정의)일 수 있거나 독립적인 관계를 가질 수 있다. 일 예로, 예측 블록은 변환 블록의 상위 단위일 수 있거나 또는 변환 블록과 독립적인 단위일 수 있으며, 블록의 종류에 따라 다양한 관계 설정이 가능할 수도 있다.
부/복호화 설정에 따라 상위 단위와 하위 단위의 결합 여부가 정해질 수 있다. 여기서 단위 간의 결합은 상위 단위에서 하위 단위로의 분할을 수행하지 않고, 상위 단위의 블록(크기 및 형태)으로 하위 단위의 부/복호화 과정(예를 들어, 예측부, 변환부, 역변환부 등)을 수행함을 의미한다. 즉, 복수의 단위에서의 분할 과정이 공유되고 분할 정보는 그 중 하나의 단위(예를 들어, 상위 단위)에서 발생함을 의미할 수 있다.
일 예로, (부호화 블록이 예측 블록, 변환 블록과 결합될 경우) 부호화 블록에서 예측 과정, 변환 및 역변환 과정을 수행할 수 있다.
일 예로, (부호화 블록이 예측 블록과 결합될 경우) 부호화 블록에서 예측 과정을 수행할 수 있고, 부호화 블록과 동일하거나 더 작은 변환 블록에서 변환 및 역변환 과정을 수행할 수 있다.
일 예로, (부호화 블록이 변환 블록과 결합될 경우) 부호화 블록과 동일하거나 더 작은 예측 블록에서 예측 과정을 수행할 수 있고, 부호화 블록에서 변환 및 역변환 과정을 수행할 수 있다.
일 예로, (예측 블록이 변환 블록과 결합된 경우) 부호화 블록과 동일하거나 더 작은 예측 블록에서 예측 과정을 수행할 수 있고, 예측 블록에서 변환 및 역변환 과정을 수행할 수 있다.
일 예로, (어떤 블록에서도 결합되지 않은 경우) 부호화 블록과 동일하거나 더 작은 예측 블록에서 예측 과정을, 부호화 블록과 동일하거나 더 작은 변환 블록에서 변환 및 역변환 과정을 수행할 수 있다.
상기 예에서 부호화, 예측, 변환 블록에 관한 다양한 경우를 설명하였으나, 이에 한정하지 않는다.
상기 단위 간의 결합은 영상에서 고정적인 설정이 지원될 수 있거나 또는 다양한 부/복호화 요소를 고려하여 적응적인 설정이 지원될 수 있다. 여기서 상기 부/복호화 요소는 영상 타입, 컬러 성분, 부호화 모드(Intra/Inter), 분할 설정, 블록의 크기/형태/위치, 가로/세로의 길이 비, 예측 관련 정보(예를 들어, 화면내 예측 모드, 화면간 예측 모드 등), 변환 관련 정보(예를 들어, 변환 기법 선택 정보 등), 양자화 관련 정보(예를 들어, 양자화 영역 선택 정보, 양자화된 변환 계수 부호화 정보 등) 등을 포함할 수 있다.
상술한 바와 같이 최적의 크기 및 형태의 블록을 찾은 경우, 이에 대한 모드 정보(예를 들어, 분할 정보 등)가 생성될 수 있다. 모드 정보는 블록이 속하는 구성부에서 발생하는 정보(예를 들어, 예측 관련 정보 및 변환 관련 정보 등)과 함께 비트스트림에 수록되어 복호화기로 전송될 수 있고, 복호화기에서 동일 수준의 단위로 파싱되어 영상 복호화 과정에서 사용될 수 있다.
이하에서는 분할 방식에 대한 설명할 것이며, 설명의 편의를 위해 초기 블록이 정사각 형태인 것을 가정하지만, 초기 블록이 직사각 형태인 경우에도 동일하거나 유사하게 적용할 수 있으므로, 이에 한정되는 것은 아니다.
블록 분할부는 다양한 종류의 분할을 지원할 수 있다. 예를 들어, 트리 기반의 분할 또는 인덱스 기반의 분할을 지원할 수 있고, 그 외의 방법이 지원될 수 있다. 트리 기반의 분할은 다양한 종류의 정보(예를 들어, 분할 여부, 트리 종류, 분할 방향 등)로 분할 형태를 결정할 수 있고, 인덱스 기반의 분할은 소정의 인덱스 정보로 분할 형태를 결정할 수 있다.
도 4는 본 발명의 블록 분할부에서 획득할 수 있는 다양한 분할 형태를 나타낸 예시도이다. 본 예에서는 한 번의 분할 수행(또는 과정)을 통해 도 4와 같은 분할 형태를 획득하는 경우를 가정하지만, 이에 한정되지 않고 복수의 분할 동작을 통해 획득되는 경우 또한 가능할 수 있다. 또한, 도 4에 도시되지 않은 추가적인 분할 형태가 가능할 수 있다.
(트리 기반의 분할)
본 발명의 트리 기반의 분할에서 쿼드 트리(Quad Tree. QT), 바이너리 트리(Binary Tree. BT), 터너리 트리(Ternary Tree. TT) 등이 지원될 수 있다. 하나의 트리 방식이 지원되는 경우는 단일 트리 분할, 둘 이상의 트리 방식이 지원되는 경우는 다중 트리 분할이라 지칭할 수 있다.
QT의 경우 블록이 수평와 수직 방향으로 각각 2분할(즉, 4분할)되는 방식(n)을 의미하고, BT의 경우 블록이 수평 또는 수직 중 한 방향으로 2분할되는 방식(b 내지 g)을 의미하고, TT의 경우 블록이 수평 또는 수직 중 한 방향으로 3분할되는 방식(h 내지 m)을 의미한다.
여기서, QT의 경우 분할 방향을 수평과 수직 중 하나에 한정하여 4분할하는 방식(o, p)을 지원할 수도 있다. 또한, BT의 경우 균등한 크기를 갖는 방식(b, c)만 지원하거나 또는 비균등 크기를 갖는 방식(d 내지 g)만 지원하거나 또는 두 방식을 혼합 지원할 수 있다. 또한, TT의 경우 분할이 특정 방향에 치우치는 배치(좌 -> 우 또는 상 -> 하 방향으로 1:1:2, 2:1:1 등)를 갖는 방식(h, j, k, m)만 지원하거나 또는 중앙에 배치(1:2:1 등)되는 방식(i, l)만 지원하거나 또는 두 방식을 혼합 지원할 수 있다. 또한, 분할 방향을 수평과 수직 방향으로 각각 4분할(즉, 16분할)되는 방식(q) 또한 지원할 수 있다.
그리고 상기 트리 방식 중 수평 분할 방향에 한정하여 z분할하는 방식(b, d, e, h, i, j, o)을 지원하거나 또는 수직 분할 방향에 한정하여 z 분할하는 방식(c, f, g, k, l, m, p)을 지원하거나 또는 두 방식을 혼합 지원할 수 있다. 여기서, z는 2, 3, 4와 같은 2 이상 정수일 수 있다.
본 발명에서 QT는 n, BT는 b와 c, TT는 i와 l을 지원하는 경우를 가정하여 설명한다.
부/복호화 설정에 따라 상기 트리 분할 중 하나 이상의 방식이 지원될 수 있다. 예를 들어, QT를 지원할 수 있거나 QT/BT를 지원할 수 있거나 QT/BT/TT를 지원할 수 있다.
상기 예는 기본 트리 분할이 QT이며 기타 트리 지원 여부에 따라 BT와 TT가 추가 분할 방식에 포함되는 경우에 대한 예이지만, 다양한 변형이 가능할 수 있다. 이때, 기타 트리 지원 여부에 대한 정보(bt_enabled_flag, tt_enabled_flag, bt_tt_enabled_flag 등. 0 또는 1의 값을 가질 수 있고, 0이면 지원하지 않고 1이면 지원)는 부/복호화 설정에 따라 묵시적으로 정해지거나 또는 시퀀스, 픽쳐, 슬라이스, 타일 등의 단위로 명시적으로 결정될 수 있다.
분할 정보는 분할 여부에 대한 정보(tree_part_flag. 또는, qt_part_flag, bt_part_flag, tt_part_flag, bt_tt_part_flag. 0 또는 1의 값을 가질 수 있고, 0이면 분할되지 않고 1이면 분할)가 포함될 수 있다. 또한, 분할 방식(BT와 TT)에 따라 분할 방향(dir_part_flag. 또는, bt_dir_part_flag, tt_dir_part_flag, bt_tt_dir_part_flag. 0 또는 1의 값을 가질 수 있고, 0이면 <가로/수평>이고 1이면 <세로/수직>)에 대한 정보가 추가될 수 있으며, 이는 분할이 수행되는 경우에 발생 가능한 정보일 수 있다.
복수의 트리 분할이 지원되는 경우에는 다양한 분할 정보 구성이 가능할 수 있다. 다음은 하나의 깊이(Depth) 수준(즉, 지원되는 분할 깊이가 하나 이상으로 설정되어 재귀적인 분할이 가능할 수도 있지만 설명의 편의를 위한 목적)에서 분할 정보가 어떻게 구성되어 있는지에 대한 예로 가정하여 설명한다.
일 예(1)로, 분할 여부에 대한 정보를 확인한다. 이때, 분할이 수행되지 않는 경우라면 분할이 종료된다.
만약 분할이 수행되는 경우라면 분할 종류에 대한 선택 정보(예를 들어, tree_idx. 0이면 QT, 1이면 BT, 2이면 TT)를 확인한다. 이때, 선택되는 분할 종류에 따라 분할 방향 정보를 추가로 확인하고 다음 단계(분할 깊이가 최대에 도달하지 않은 경우 등의 이유로 추가 분할이 가능하다면 다시 처음부터 시작하고, 분할이 불가한 경우라면 분할 종료)로 넘어간다.
일 예(2)로, 일부 트리 방식(QT)에 대한 분할 여부에 대한 정보를 확인하고 다음 단계로 넘어간다. 이때, 분할이 수행되지 않는 경우라면 일부 트리 방식(BT)의 분할 여부에 대한 정보를 확인한다. 이때, 분할이 수행되지 않는 경우라면 일부 트리 방식(TT)의 분할 여부에 대한 정보를 확인한다. 이때, 분할이 수행되지 않는 경우라면 분할이 종료된다.
만약 일부 트리 방식(QT)의 분할이 수행되는 경우라면 다음 단계로 넘어간다. 또한, 만약 일부 트리 방식(BT)의 분할이 수행되는 경우라면 분할 방향 정보를 확인하고 다음 단계로 넘어간다. 또한, 만약 일부 트리 분할 방식(TT)의 분할이 수행되는 경우라면 분할 방향 정보를 확인하고 다음 단계로 넘어간다.
일 예(3)로, 일부 트리 방식(QT)에 대한 분할 여부에 대한 정보를 확인한다. 이때, 분할이 수행되지 않는 경우라면 일부 트리 방식(BT와 TT)의 분할 여부에 대한 정보를 확인한다. 이때, 분할이 수행되지 않는 경우라면 분할이 종료된다.
만약 일부 트리 방식(QT)의 분할이 수행되는 경우라면 다음 단계로 넘어간다. 또한, 만약 일부 트리 방식(BT와 TT)의 분할이 수행되는 경우라면 분할 방향 정보를 확인하고 다음 단계로 넘어간다.
상기 예는 트리 분할의 우선 순위가 존재(2번과 3번 예)하거나 존재하지 않는 경우(1번 예)일 수 있으나, 다양한 변형의 예가 가능할 수 있다. 또한, 상기 예에서 현재 단계의 분할은 이전 단계의 분할 결과와는 무관한 경우를 설명하는 예이지만, 현재 단계의 분할이 이전 단계의 분할 결과에 의존적인 설정 또한 가능할 수 있다.
예를 들어, 1 내지 3번 예의 경우 이전 단계에서 일부 트리 방식의 분할(QT)이 수행되어 현재 단계로 넘어온 경우라면 현재 단계에서도 동일 트리 방식(QT)의 분할이 지원될 수 있다.
반면, 이전 단계에서 일부 트리 방식의 분할(QT)이 수행되지 않고 다른 트리 방식의 분할(BT 또는 TT)이 수행되어 현재 단계로 넘어온 경우라면 일부 트리 방식의 분할(QT)을 제외하고 일부 트리 방식의 분할(BT와 TT)이 현재 단계를 포함한 후속 단계에 지원되는 설정 또한 가능할 수 있다.
위와 같은 경우에는 블록 분할에 지원되는 트리 구성이 적응적일 수 있다는 것을 의미하므로, 전술한 분할 정보 구성 또한 달리 구성될 수 있음을 의미한다. (후술하는 예는 3번 예로 가정) 즉, 상기 예에서 일부 트리 방식(QT)의 분할이 이전 단계에서 수행되지 않았을 경우, 현재 단계에서는 일부 트리 방식(QT)은 고려하지 않고 분할 과정이 수행될 수 있다. 또한, 관련 트리 방식에 관한 분할 정보(예를 들어, 분할 여부에 대한 정보, 분할 방향 정보 등. 본 예<QT>에서는 분할 여부에 대한 정보)는 제거하여 구성될 수 있다.
상기 예는 블록 분할이 허용되는 경우(예를 들어, 블록 크기가 최대값과 최소값 사이의 범위 내에 존재, 각 트리 방식의 분할 깊이가 최대 깊이<허용 깊이>에 도달하지 않음 등)에 대한 적응적인 분할 정보 구성에 관한 경우이며, 블록 분할이 제한되는 경우(예를 들어, 블록 크기가 최대값과 최소값 사이의 범위에 존재하지 않음, 각 트리 방식의 분할 깊이가 최대 깊이에 도달함 등)에도 적응적인 분할 정보 구성이 가능할 수 있다.
이미 언급한 것과 같이 본 발명에서 트리 기반의 분할은 재귀적인 방식을 사용하여 수행될 수 있다. 예를 들어, 분할 깊이가 k인 부호화 블록의 분할 플래그가 0인 경우 부호화 블록의 부호화는 분할 깊이가 k인 부호화 블록에서 수행되며, 분할 깊이가 k인 부호화 블록의 분할 플래그가 1인 경우 부호화 블록의 부호화는 분할 방식에 따라 분할 깊이가 k+1인 N개의 서브 부호화 블록(이때, N은 2, 3, 4와 같은 2 이상의 정수)에서 수행된다.
상기 서브 부호화 블록은 다시 부호화 블록(k+1)으로 설정되어 상기 과정을 거쳐 서브 부호화 블록(k+2)으로 분할될 수 있으며, 이러한 계층적 분할 방식은 분할 범위 및 분할 허용 깊이 등의 분할 설정에 따라 결정될 수 있다.
이때, 분할 정보를 표현하기 위한 비트스트림 구조는 하나 이상의 스캔 방법 중 선택할 수 있다. 예를 들어, 분할 깊이 순서 기준으로 분할 정보의 비트스트림을 구성할 수 있거나 분할 여부 기준으로 분할 정보의 비트스트림을 구성할 수 있다.
예를 들어, 분할 깊이 순서 기준의 경우 최초 블록 기준으로 현 수준의 깊이에서의 분할 정보를 획득한 후 다음 수준의 깊이에서의 분할 정보를 획득하는 방법이며, 분할 여부 기준의 경우 최초 블록 기준으로 분할된 블록에서의 추가 분할 정보를 우선적으로 획득하는 방법을 의미하며, 다른 추가적인 스캔 방법이 고려될 수 있다.
(인덱스 기반의 분할)
본 발명의 인덱스 기반의 분할에서 CSI(Constant Split Index) 방식과 VSI(Variable Split Index) 방식 등이 지원될 수 있다.
CSI 방식은 소정의 방향의 분할을 통해 k개의 서브 블록이 획득되는 방식일 수 있으며, k는 2, 3, 4 등 2 이상의 정수일 수 있다. 상세하게는, 블록의 크기 및 형태에 관계없이 상기 k값에 기반하여 서브 블록의 크기 및 형태가 정해지는 구성의 분할 방식일 수 있다. 여기서, 소정의 방향은 수평, 수직, 대각선(좌상 -> 우하 방향. 또는, 좌하 -> 우상 방향 등) 방향 중 하나 또는 둘 이상의 방향이 결합될 수 있다.
본 발명의 인덱스 기반의 CSI 분할 방식은 수평 또는 수직 중 한 방향으로 z개로 분할되는 후보를 포함할 수 있다. 이때, z는 2, 3, 4와 같은 2 이상 정수일 수 있으며, 각 서브 블록의 가로 또는 세로 길이 중 하나는 동일하고 다른 하나는 동일하거나 상이할 수 있다. 상기 서브 블록의 가로 또는 세로 길이의 비는 A1:A2:...: AZ로 A1 내지 AZ는 1, 2, 3과 같은 1 이상의 정수일 수 있다.
또한, 수평과 수직 방향으로 각각 x, y개로 분할되는 후보를 포함할 수 있다. 이때, x와 y는 1, 2, 3, 4와 같은 1 이상의 정수일 수 있지만, x와 y가 동시에 1인 경우(a가 이미 존재하므로)는 제한할 수 있다. 도 4의 경우 각 서브 블록의 가로 또는 세로 길이의 비율이 동일한 경우를 도시하고 있지만, 상이한 경우를 포함하는 후보를 포함할 수도 있다.
또한, 일부 대각선 방향(좌상 -> 우하 방향) 또는 일부 대각선 방향(좌하 -> 우상 방향) 중 한 방향으로 w개 분할되는 후보를 포함할 수 있으며, w는 2, 3과 같은 2 이상의 정수일 수 있다.
도 4를 참조하면, 각 서브 블록의 길이 비율에 따라 대칭적인 분할 형태(b)와 비대칭적인 분할 형태(d, e)로 구분할 수 있고, 특정 방향에 치우친 분할 형태(k, m)와 중앙에 배치되는 분할 형태(k)로 구분할 수 있다. 서브 블록의 길이 비율뿐만 아니라 서브 블록의 형태 등을 포함하는 다양한 부/복호화 요소에 의해 분할 형태를 정의할 수 있는데, 부/복호화 설정에 따라 지원되는 분할 형태가 묵시적으로 또는 명시적으로 정해질 수 있다. 그리하여 지원되는 분할 형태에 기반하여 인덱스 기반의 분할 방식에서의 후보군이 정해질 수 있다.
한편, VSI 방식은 서브 블록의 너비(w) 또는 높이(h)가 고정된 채로 소정의 방향의 분할을 통해 하나 이상의 서브 블록이 획득되는 방식일 수 있으며, w와 h는 1, 2, 4, 8 등과 같은 1 이상의 정수일 수 있다. 상세하게는, 블록의 크기 및 형태와 상기 w 또는 n값에 기반하여 서브 블록의 개수가 정해지는 구성의 분할 방식일 수 있다.
본 발명의 인덱스 기반의 VSI 분할 방식은 서브 블록의 가로 또는 세로 길이 중 하나를 고정하여 분할되는 후보를 포함할 수 있다. 또는, 서브 블록의 가로와 세로 길이를 고정하여 분할되는 후보를 포함할 수 있다. 서브 블록의 가로 또는 세로 길이가 고정되기 때문에 수평 또는 수직 방향으로 균등 분할을 허용하는 특징을 가질 수 있지만, 이에 한정되지 않는다.
분할 전 블록이 M x N이고 서브 블록의 가로 길이가 고정(w)되거나 또는 세로 길이가 고정(h)되거나 또는 가로와 세로 길이가 고정(w, h)되는 경우, 획득되는 서브 블록의 개수는 각각 (M*N)/w, (M*N)/h, (M*N)/w/h 일 수 있다.
부/복호화 설정에 따라 CSI 방식만 지원되거나 또는 VSI 방식만 지원될 수 있고 두 방식 모두 지원할 수도 있으며, 지원되는 방식에 대한 정보가 묵시적 또는 명시적으로 정해질 수 있다.
본 발명에서는 CSI 방식이 지원되는 경우를 가정하여 설명한다.
부/복호화 설정에 따라 상기 인덱스 분할 중 둘 이상의 후보를 포함하여 후보군을 구성할 수 있다.
예를 들어, {a, b, c}, {a, b, c, n}, {a 내지 g, n}과 같은 후보군을 구성할 수 있는데, 수평 또는 수직 방향으로 2분할되거나 수평과 수직 방향으로 각각 2분할되는 블록 형태처럼 일반적인 통계적인 특성에 기초하여 많이 발생할 것이라 예측되는 블록 형태를 후보군으로 구성하는 예일 수 있다.
또는, {a, b}, {a, o}, {a, b, o} 또는 {a, c}, {a, p}, {a, c, p}와 같은 후보군을 구성할 수 있는데, 각각 수평과 수직 방향으로 2, 4분할되는 후보를 포함한다. 이는 특정 방향의 분할이 많이 발생할 것이라 예측되는 블록 형태를 후보군으로 구성하는 예일 수 있다.
또는, {a, o, p} 또는 {a, n, q}와 같은 후보군을 구성할 수 있는데, 분할 전 블록보다 더 작은 크기를 갖는 분할이 많이 발생할 것이라 예측되는 블록 형태를 후보군으로 구성하는 예일 수 있다.
또는, {a, r, s}와 같은 후보군을 구성할 수 있는데, 분할 전 블록에서 다른 방식(트리 방식)을 통해 직사각 형태로 얻을 수 있는 최적의 분할 결과를 얻었을 것이라 판단하고 비사각 형태의 분할 형태를 후보군으로 구성하는 예일 수 있다.
상기 예와 같이 다양한 후보군 구성이 가능할 수 있으며, 하나 이상의 후보군 구성이 다양한 부/복호화 요소를 고려하여 지원될 수 있다.
상기 후보군 구성이 완료되면 다양한 분할 정보 구성이 가능할 수 있다.
예를 들어, 분할되지 않는 후보(a)와 분할되는 후보(b 내지 s)를 포함하여 구성되는 후보군에서 인덱스 선택 정보가 발생할 수 있다.
또는, 분할 여부를 나타내는 정보(분할 형태가 a인지 아닌지)가 발생할 수 있고, 분할이 수행되는 경우(a가 아닌 경우)에 분할되는 후보(b 내지 s)로 구성되는 후보군에서 인덱스 선택 정보가 발생할 수 있다.
상기 설명 외의 다양한 방식의 분할 정보 구성이 가능할 수 있으며, 상기 분할 여부를 나타내는 정보를 제외하고는 후보군에서 각 후보의 인덱스에 고정 길이 이진화, 가변 길이 이진화 등의 다양한 방법을 통해 이진 비트가 할당될 수 있다. 만약 후보군의 개수가 2개인 경우 인덱스 선택 정보에 1비트가 할당될 수 있고, 3개 이상인 경우 인덱스 선택 정보에 1비트 이상이 할당될 수 있다.
트리 기반의 분할 방식과 달리 인덱스 기반의 분할 방식은 많이 발생할 것이라 예측되는 분할 형태를 선별적으로 후보군에 구성하는 방식일 수 있다.
그리고 지원되는 후보군의 개수에 따라 인덱스 정보를 표현하기 위한 비트량이 증가할 수 있기 때문에, 트리 기반의 방식의 계층적 분할(재귀적인 분할)이 아닌 단일 계층 분할(예를 들어, 분할 깊이가 0으로 한정)에 적합한 방식일 수 있다. 즉, 한 번의 분할 동작을 지원하는 방식일 수 있으며, 인덱스 기반의 분할을 통해 획득된 서브 블록은 더 이상의 추가 분할은 불가능한 방식일 수 있다.
이때, 더 작은 크기를 갖는 동일한 종류의 블록으로의 추가 분할이 불가능하는 경우(예를 들어, 인덱스 분할 방식을 통해 획득된 부호화 블록은 부호화 블록으로의 추가 분할이 불가)를 의미할 수 있으나, 다른 종류의 블록으로의 추가 분할이 불가능한 설정(예를 들어, 부호화 블록에서 부호화 블록뿐만 아니라 예측 블록으로의 분할도 불가) 또한 가능할 수 있다. 물론, 상기 예에 제한되지 않으며, 다른 변형의 예가 가능할 수도 있다.
다음은 부/복호화 요소 중 블록의 종류를 중심으로 블록 분할 설정이 정해지는 경우를 살펴본다.
우선, 분할 과정을 통해 부호화 블록이 획득될 수 있다. 여기서, 분할 과정은 트리 기반의 분할 방식이 사용될 수 있고, 트리 종류에 따라 도 4의 a(no split), n(QT), b, c(BT), i, l(TT) 등의 분할 형태 결과가 나올 수 있다. 부/복호화 설정에 따라 QT/QT+BT/QT+BT+TT 등과 같은 각 트리 종류의 다양한 조합이 가능할 수 있다.
후술하는 예는 상기 과정을 통해 획득된 부호화 블록을 기초로 예측 블록과 변환 블록이 최종 구획되는 과정을 나타내고, 각 구획된 크기에 기반하여 예측과 변환 및 역변환 과정이 수행되는 경우를 가정한다.
일 예(1)로, 부호화 블록의 크기 그대로 예측 블록이 설정되어 예측 과정을 수행할 수 있고, 부호화 블록(또는 예측 블록)의 크기 그대로 변환 블록이 설정되어 변환 및 역변환 과정을 수행할 수 있다. 예측 블록과 변환 블록의 경우 부호화 블록에 기반하여 설정되었기 때문에 따로 발생하는 분할 정보는 존재하지 않는다.
일 예(2)로, 부호화 블록의 크기 그대로 예측 블록이 설정되어 예측 과정을 수행할 수 있다. 변환 블록의 경우 부호화 블록(또는 예측 블록)을 기초로 분할 과정을 통해 변환 블록이 획득될 수 있고, 획득된 크기에 기반하여 변환 및 역변환 과정을 수행할 수 있다.
여기서, 분할 과정은 트리 기반의 분할 방식이 사용될 수 있고, 트리 종류에 따라 도 4의 a(no split), b, c(BT), i, l(TT), n(QT) 등의 분할 형태 결과가 나올 수 있다. 부/복호화 설정에 따라 QT/BT/QT+BT/QT+BT+TT 등과 같은 각 트리 종류의 다양한 조합이 가능할 수 있다.
여기서, 분할 과정은 인덱스 기반의 분할 방식이 사용될 수 있고, 인덱스 종류에 따라 도 4의 a(no split), b, c, d 등의 분할 형태 결과가 나올 수 있다. 부/복호화 설정에 따라 {a, b, c}, {a, b, c, d} 등과 같은 다양한 후보군 구성이 가능할 수 있다.
일 예(3)로, 예측 블록의 경우 부호화 블록을 기초로 분할 과정을 수행하여 예측 블록이 획득될 수 있고, 획득된 크기에 기반하여 예측 과정을 수행할 수 있다. 변환 블록의 경우 부호화 블록의 크기 그대로 설정되어 변환 및 역변환 과정을 수행할 수 있다. 본 예는 예측 블록과 변환 블록이 서로 독립적인 관계를 갖는 경우에 해당할 수 있다.
여기서, 분할 과정은 인덱스 기반의 분할 방식이 사용될 수 있고, 인덱스 종류에 따라 도 4의 a(no split), b 내지 g, n, r, s 등의 분할 형태 결과가 나올 수 있다. 부/복호화 설정에 따라 {a, b, c, n}, {a 내지 g, n}, {a, r, s} 등과 같은 다양한 후보군 구성이 가능할 수 있다.
일 예(4)로, 예측 블록의 경우 부호화 블록을 기초로 분할 과정을 수행하여 예측 블록이 획득될 수 있고, 획득된 크기에 기반하여 예측 과정을 수행할 수 있다. 변환 블록의 경우 예측 블록의 크기 그대로 설정되어 변환 및 역변환 과정을 수행할 수 있다. 본 예는 획득된 예측 블록 크기 그대로 변환 블록이 설정되는 경우일 수 있거나 또는 그 반대의 경우(변환 블록 크기 그대로 예측 블록이 설정)일 수 있다.
여기서, 분할 과정은 트리 기반의 분할 방식이 사용될 수 있고, 트리 종류에 따라 도 4의 a(no split), b, c(BT), n(QT) 등의 분할 형태가 나올 수 있다. 부/복호화 설정에 따라 QT/BT/QT+BT 등과 같은 각 트리 종류의 다양한 조합이 가능할 수 있다.
여기서, 분할 과정은 인덱스 기반의 분할 방식이 사용될 수 있고, 인덱스 종류에 따라 도 4의 a(no split), b, c, n, o, p 등의 분할 형태가 나올 수 있다. 부/복호화 설정에 따라 {a, b}, {a, c}, {a, n}, {a, o}, {a, p}, {a, b, c}, {a, o, p}, {a, b, c, n}, {a, b, c, n, p} 등과 같은 다양한 후보군 구성이 가능할 수 있다. 또한, 인덱스 기반의 분할 방식 중 VSI 방식이 단독으로 또는 상기 CSI 방식과 혼합되어 후보군이 구성될 수도 있다.
일 예(5)로, 예측 블록의 경우 부호화 블록을 기초로 분할 과정을 수행하여 예측 블록이 획득될 수 있고, 획득된 크기에 기반하여 예측 과정을 수행할 수 있다. 또한, 변환 블록의 경우도 부호화 블록을 기초로 분할 과정을 수행하여 예측 블록이 획득될 수 있고, 획득된 크기에 기반하여 변환 및 역변환 과정을 수행할 수 있다. 본 예는 부호화 블록을 기초로 예측 블록과 변환 블록 각각의 분할을 수행하는 경우일 수 있다.
여기서, 분할 과정은 트리 기반의 분할 방식과 인덱스 기반의 분할 방식이 사용될 수 있으며, 4번 예와 동일하거나 비슷하게 후보군이 구성될 수 있다.
상기 예는 각 종류의 블록의 분할 과정이 공유되는지 여부 등에 따라 발생 가능한 일부 경우를 설명하고 있지만, 이에 한정되지 않고 다양한 변형의 예가 가능할 수 있다. 또한, 블록의 종류뿐만 아니라 다양한 부/복호화 요소가 고려되어 블록 분할 설정이 정해질 수 있다.
이때, 부/복호화 요소는 영상 타입(I/P/B), 컬러 성분(YCbCr), 블록의 크기/형태/위치, 블록의 가로/세로 길이 비, 블록의 종류(부호화 블록, 예측 블록, 변환 블록, 양자화 블록 등), 분할 상태, 부호화 모드(Intra/Inter), 예측 관련 정보(화면내 예측 모드, 화면간 예측 모드 등), 변환 관련 정보(변환 기법 선택 정보 등), 양자화 관련 정보(양자화 영역 선택 정보, 양쟈화된 변환 계수 부호화 정보 등) 등이 포함될 수 있다.
본 발명의 일 실시예에 따른 영상 부호화 방법에서 화면내 예측은 다음과 같이 구성될 수 있다. 예측부의 화면내 예측은 참조 화소 구성 단계, 예측 블록 생성 단계, 예측 모드 결정 단계, 예측 모드 부호화 단계를 포함할 수 있다. 또한, 영상 부호화 장치는 참조 화소 구성 단계, 예측 블록 생성 단계, 예측 모드 결정 단계, 예측 모드 부호화 단계를 구현하는 참조 화소 구성부, 예측 블록 생성부, 예측 모드 부호화부를 포함하도록 구성할 수 있다. 전술한 과정의 일부는 생략될 수 있거나 다른 과정이 추가될 수 있고, 상기 기재된 순서가 아닌 다른 순서로 변경될 수 있다.
도 5는 본 발명의 일 실시예에 따른 화면내 예측 모드를 나타낸 예시도이다.
도 5를 참조하면, 67개의 예측 모드가 화면내 예측을 위한 예측 모드 후보군으로 구성되어 있으며, 이 중 65개는 방향성 모드이고 2개는 비방향성 모드(DC, Planar)인 경우를 가정하여 설명하지만 이에 한정되지 않고 다양한 구성이 가능할 수 있다. 이때, 방향성 모드는 기울기(예를 들어, dy/dx) 또는 각도 정보(Degree)로 구분할 수 있다. 또한, 상기 예측 모드의 전부 또는 일부가 휘도 성분 또는 색차 성분의 예측 모드 후보군에 포함될 수 있고, 그 외의 추가적인 모드가 예측 모드 후보군에 포함될 수 있다.
본 발명에서 방향성 모드의 방향은 직선형(Straight line)을 의미할 수 있으며, 곡선형(Curve)의 방향성 모드 또한 추가로 예측 모드로 구성할 수 있다. 또한, 비방향성 모드의 경우 현재 블록의 인접한 주변 블록(예를 들어, 좌, 상, 좌상, 우상, 좌하 블록 등)의 화소의 평균(또는 가중치 평균 등)으로 예측 블록을 획득하는 DC 모드, 주변 블록의 화소를 선형 보간 등을 통해 예측 블록을 획득하는 Planar 모드를 포함할 수 있다.
여기서, DC 모드의 경우 예측 블록 생성에 사용되는 참조 화소는 좌, 상, 좌+상, 좌+좌하, 상+우상, 좌+상+좌하+우상 등과 같은 다양한 조합으로 묶인 블록에서 획득될 수 있으며, 영상 타입, 컬러 성분, 블록의 크기/형태/위치 등에 의해 정의되는 부/복호화 설정에 따라 참조 화소 획득 블록 위치가 정해질 수 있다.
여기서, Planar 모드의 경우 예측 블록 생성에 사용되는 화소는 참조 화소로 구성된 영역(예를 들어, 좌, 상, 좌상, 우상, 좌하 등)과 참조 화소로 구성되지 않는 영역(예를 들어, 우, 하, 우하 등)에서 획득될 수 있는데, 참조 화소로 구성되지 않는 영역(즉, 부호화되지 않음)의 경우 참조 화소로 구성된 영역에서 하나 이상의 화소를 사용(예를 들어, 그대로 복사, 가중치 평균 등)하여 묵시적으로 획득할 수 있거나 또는 참조 화소로 구성되지 않는 영역의 최소 하나의 화소에 대한 정보를 명시적으로 발생시킬 수 있다. 그래서 위와 같이 참조 화소로 구성된 영역과 참조 화소로 구성되지 않는 영역을 사용하여 예측 블록을 생성할 수 있다.
상기 설명 외의 추가적인 비방향성 모드가 포함될 수 있으며, 본 발명에서는 직선형 방향성 모드와 DC, Planar의 비방향성 모드를 중심으로 설명하지만, 다른 경우로의 변경 적용 또한 가능할 수 있다.
도 5는 블록의 크기에 상관없이 고정적으로 지원되는 예측 모드일 수 있다. 또한, 블록의 크기에 따라 지원되는 예측 모드는 도 5와 다를 수 있다.
예를 들어, 예측 모드 후보군의 개수가 적응적(예를 들어, 예측 모드 사이의 각도는 등간격이지만, 각도를 달리 설정함. 방향성 모드를 기준으로 9, 17, 33, 65, 129개 등)이거나 또는 예측 모드 후보군의 개수는 고정적이지만 다른 구성(예를 들어, 방향성 모드 각도, 비방향성 종류 등)으로 이뤄질 수 있다.
또한, 도 5는 블록의 형태에 상관없이 고정적으로 지원되는 예측 모드일 수 있다. 또한, 블록의 형태에 따라 지원되는 예측 모드는 도 5와 다를 수 있다.
예를 들어, 예측 모드 후보군의 개수가 적응적(예를 들어, 블록의 가로/세로 비에 따라 수평 또는 수직 방향에서 파생되는 예측 모드의 개수를 적거나 많게 설정)이거나 또는 예측 모드 후보군의 개수는 고정적이지만 다른 구성(예를 들어, 블록의 가로/세로 비에 따라 수평 또는 수직 방향에서 파생되는 예측 모드를 더 세밀하게 설정)으로 이뤄질 수 있다.
또는, 블록의 길이가 긴 쪽의 예측 모드는 더 많은 개수를, 블록의 길이가 짧은 쪽의 예측 모드는 더 적은 개수를 지원할 수 있으며, 블록의 길이가 긴 쪽의 경우 예측 모드 간격을 도 5에서 66번 모드의 오른쪽에 위치한 모드(예를 들어, 50번 모드 기준으로 +45도 이상의 각도를 갖는 모드. 즉, 67 내지 80번 등의 번호를 갖는 모드) 또는 2번 모드의 왼쪽에 위치한 모드(예를 들어, 18번 모드 기준으로 -45도 이상의 각도를 갖는 모드. 즉, -1 내지 -14번 등의 번호를 갖는 모드)를 지원할 수도 있다. 이는 블록의 가로와 세로의 길이 비에 따라 결정될 수 있으며, 그 반대의 상황이 가능할 수도 있다.
본 발명에서는 도 5와 같이 예측 모드가 (어떤 부/복호화 요소에 상관없이) 고정적으로 지원되는 예측 모드인 경우를 중심으로 설명하지만, 부호화 설정에 따라 적응적으로 지원되는 예측 모드 설정 또한 가능할 수 있다.
또한, 예측 모드를 분류할 때 수평과 수직 모드(18번과 50번 모드), 일부 대각선 모드(Diagonal up right<2번>, Diagonal down right<34번>, Diagonal down left<66번> 등) 등이 기준이 될 수 있는데, 이는 일부 방향성(또는 각도. 45도, 90도 등)에 기반하여 수행되는 분류 방법일 수 있다.
그리고 방향성 모드 중 양 끝에 위치한 일부 모드(2번과 66번 모드)가 예측 모드 분류에 기준이 되는 모드일 수 있는데, 이는 도 5와 같은 화면내 예측 모드 구성일 때 가능한 예이다. 즉, 예측 모드 구성이 적응적일 경우에는 상기 기준이 되는 모드가 변경되는 예 또한 가능할 수 있다. 예를 들어, 2번 모드가 2보다 작거나 큰 번호를 갖는 모드(-2, -1, 3, 4 등)로 대체되거나, 66번 모드가 66보다 작거나 큰 번호를 갖는 모드(64, 66, 67, 68 등)로 대체되는 것이 가능할 수 있다.
또한, 컬러 성분에 관한 추가적인 예측 모드(컬러 복사 모드, 컬러 모드)가 예측 모드 후보군에 포함될 수 있다. 여기서, 컬러 복사 모드의 경우 다른 컬러 공간 내 위치한 영역으로부터 예측 블록 생성을 위한 데이터를 획득하는 방법과 관련된 예측 모드일 수 있고, 컬러 모드의 경우 다른 컬러 공간 내 위치한 영역으로부터 예측 모드를 획득하는 방법과 관련된 예측 모드일 수 있다.
도 6은 본 발명의 일 실시예에 따른 화면내 예측에 사용되는 참조 화소 구성을 설명하기 위한 예시도이다. 예측 블록의 크기 및 형태(M x N)은 블록 분할부를 통해 획득될 수 있다.
화면내 예측은 예측 블록 단위로 수행되는 것이 일반적일 수 있으나 블록 분할부의 설정에 따라 부호화 블록, 변환 블록 등의 단위로 수행될 수 있다. 블록 정보를 확인한 후 참조 화소 구성부에서는 현재 블록의 예측에 사용되는 참조 화소를 구성할 수 있다. 이때, 참조 화소는 임시 메모리(예를 들어, 배열<Array>. 1차, 2차 배열 등)를 통해 관리될 수 있으며, 블록의 화면내 예측 과정마다 생성 및 제거되고, 임시 메모리의 크기는 참조 화소의 구성에 따라 결정될 수 있다.
본 예에서는 현재 블록을 중심으로 좌, 상, 좌상, 우상, 좌하 블록이 현재 블록의 예측에 사용되는 경우를 가정하여 설명하지만, 이에 한정되지 않고 다른 구성의 블록 후보군이 현재 블록의 예측에 사용될 수도 있다. 예를 들어, 상기 참조 화소를 위한 이웃 블록의 후보군은 래스터 또는 Z 스캔을 따르는 경우의 일 예일 수 있으며, 스캔 순서에 따라 상기 후보군 중 일부를 제거할 수 있거나 또는 다른 블록 후보군(예를 들어, 우, 하, 우하 블록 등이 추가 구성)을 포함하여 구성될 수 있다.
또한, 일부 예측 모드(컬러 복사 모드)가 지원되는 경우라면 다른 컬러 공간의 일부 영역이 현재 블록의 예측에 사용될 수 있기 때문에 이 또한 참조 화소로 고려할 수 있다.
도 7은 본 발명의 일 실시예에 따른 화면내 예측의 대상 블록과 인접한 블록을 나타내는 개념도이다. 상세하게는, 도 7의 좌측은 현재 컬러 공간의 현재 블록과 인접한 블록을 나타내고, 우측은 다른 컬러 공간의 대응되는 블록을 나타낸다. 후술하는 내용은 설명의 편의를 위해 현재 컬러 공간의 현재 블록과 인접한 블록이 기본 참조 화소 구성인 경우를 가정하여 설명한다.
도 6과 같이 현재 블록의 예측에 사용되는 참조 화소는 좌, 상, 좌상, 우상, 좌하 블록의 인접한 화소(도 6의 Ref_L, Ref_T, Ref_TL, Ref_TR, Ref_BL)로 구성할 수 있다. 이때, 참조 화소는 현재 블록과 가장 인접한 이웃 블록의 화소들(도 6의 a. 이것을 참조 화소 라인으로 표현)로 구성하는 것이 일반적이나 그 외의 화소들(도 6의 b와 그 외의 바깥 라인의 화소들)도 참조 화소에 구성하는 것이 가능할 수 있다.
현재 블록과 인접한 화소는 적어도 하나의 참조 화소 라인으로 분류할 수 있는데, 현재 블록과 가장 인접한 화소는 ref_0{예를 들어, 현재 블록의 경계 화소와 화소 간 거리가 1인 화소들. p(-1,-1) ~ p(2m-1,-1), p(-1,0) ~ p(-1,2n-1)}, 그 다음 인접한 화소{예를 들어, 현재 블록의 경계 화소와 화소 간 거리가 2. p(-2,-2) ~ p(2m,-2), p(-2,-1) ~ p(-2,2n)}는 ref_1, 그 다음 인접한 화소{예를 들어, 현재 블록의 경계 화소와 화소 간 거리가 3. p(-3,-3) ~ p(2m+1, -3), p(-3,-2) ~ p(-3,2n+1)}는 ref_2 등으로 나눌 수 있다. 즉, 현재 블록의 경계 화소와 인접한 화소 거리에 따라 참조 화소 라인으로 분류할 수 있다.
여기서 지원되는 참조 화소 라인은 N개 이상일 수 있으며, N은 1 내지 5와 같은 1 이상의 정수일 수 있다. 이때, 현재 블록에 최인접한 참조 화소 라인부터 순차적으로 참조 화소 라인 후보군에 포함되는 것이 일반적이나, 이에 한정되지 않는다. 예를 들어, N이 3일 경우 <ref_0, ref_1, ref_2>와 같이 순차적으로 상기 후보군이 구성될 수 있거나 또는 <ref_0, ref_1, ref_3>, <ref_0, ref_2, ref_3>, <ref_1, ref_2, ref_3>와 같이 순차적이지 않거나 최인접한 참조 화소 라인을 제외하는 구성으로 상기 후보군이 구성되는 것 또한 가능할 수 있다.
상기 후보군 내의 모든 참조 화소 라인을 사용하여 예측을 수행하거나 또는 일부 참조 화소 라인(하나 이상)을 사용하여 예측을 수행할 수 있다.
예를 들어, 부/복호화 설정에 따라 복수의 참조 화소 라인 중 하나가 선택되어 해당 참조 화소 라인을 사용하여 화면내 예측을 수행할 수 있다. 또는, 복수의 참조 화소 라인 중 둘 이상이 선택되어 해당 참조 화소 라인을 사용(예를 들어, 각 참조 화소 라인의 데이터에 가중치 평균 등을 적용)하여 화면내 예측을 수행할 수 있다.
여기서 참조 화소 라인 선택은 묵시적 또는 명시적으로 정해질 수 있다. 예를 들어, 묵시적인 경우에는 영상 타입, 컬러 성분, 블록의 크기/형태/위치 등의 요소 중 하나 또는 둘 이상의 조합에 따라 정의되는 부/복호화 설정에 따라 정해지는 것을 의미한다. 또한, 명시적인 경우는 블록 등의 단위에서 참조 화소 라인 선택 정보가 발생할 수 있음을 의미한다.
본 발명에서는 최인접한 참조 화소 라인을 사용하여 화면내 예측을 수행하는 경우를 중심으로 설명하지만, 후술하는 다양한 실시예가 복수의 참조 화소 라인을 사용하는 경우에도 동일하거나 비슷한 적용이 가능함을 이해하여야 한다.
예를 들어, 후술하는 서브 블록 단위의 화면내 예측에는 최인접한 참조 화소 라인을 사용하는 경우만을 고려하여 상기 정보가 묵시적으로 정해지는 설정이 지원될 수 있다. 즉, 기 설정된 참조 화소 라인을 사용하여 서브 블록 단위의 화면내 예측을 수행할 수 있으며, 묵시적인 처리를 통해 참조 화소 라인이 선택될 수 있다. 여기서 상기 참조 화소 라인은 최인접 참조 화소 라인을 의미할 수 있으나, 이에 한정하지 않는다.
또는, 서브 블록 단위의 화면내 예측을 위해 적응적으로 참조 화소 라인이 선택될 수 있으며, 최인접 참조 화소를 포함한 다양한 참조 화소 라인이 선택되어 서브 블록 단위의 화면내 예측이 수행될 수 있다. 즉, 다양한 부/복호화 요소를 고려하여 정해지는 참조 화소 라인을 사용하여 서브 블록 단위의 화면내 예측을 수행할 수 있으며, 묵시적 또는 명시적인 처리를 통해 참조 화소 라인이 선택될 수 있다.
본 발명의 화면내 예측의 참조 화소 구성부는 참조 화소 생성부, 참조 화소 보간부, 참조 화소 필터부 등을 포함할 수 있으며, 상기 구성의 전부 또는 일부를 포함하여 구성할 수 있다.
참조 화소 구성부에서 참조 화소 사용 가능성(Availability)을 확인하여 사용 가능한 참조 화소와 사용 불가한 참조 화소를 분류할 수 있다. 여기서 상기 참조 화소 사용 가능성은 다음의 조건 중 적어도 하나를 만족하는 경우에 사용 불가로 판단한다.
예를 들어, 픽쳐 경계 바깥에 위치하는 경우, 현재 블록과 동일한 분할 단위(예를 들어, 슬라이스, 타일 등과 같이 서로 참조가 불가능한 단위. 단, 슬라이스나 타일과 같은 단위라도 서로 참조 가능한 특성을 갖는 경우에는 동일한 분할 단위가 아니더라도 예외 처리)에 속하지 않는 경우, 부/복호화가 완료되지 않은 경우 중 하나라도 만족하는 경우에는 사용 불가로 판단할 수 있다. 즉, 상기 조건을 하나도 만족하지 않는 경우에는 사용 가능으로 판단할 수 있다.
또한, 부/복호화 설정에 의해 참조 화소 사용을 제한할 수 있다. 예를 들어, 상기 조건에 따라 사용 가능으로 판단된 경우라 할지라도 제한된 화면내 예측(예를 들어, constrained_intra_pred_flag)의 수행 여부에 따라 참조 화소 사용이 제한될 수 있다. 제한된 화면내 예측은 통신 환경 등의 외부 요인에 에러 강인한 부/복호화를 수행하고자 할 때 다른 영상으로부터 참조되어 복원된 블록을 참조 화소로 사용을 금지하고자 할 때 수행될 수 있다.
제한된 화면내 예측이 비활성화된 경우(예를 들어, I 영상 타입. 또는 P나 B 영상 타입에서 constrained_intra_pred_flag = 0)에 참조 화소 후보 블록은 모두 사용 가능할 수 있다.
또는, 제한된 화면내 예측이 활성화된 경우(예를 들어, P나 B 영상 타입에서 constrained_intra_pred_flag = 1)에 참조 화소 후보 블록은 부호화 모드(Intra or Inter)에 따라 사용 여부를 판단하는 조건으로 가정할 것이나, 이 외의 다양한 부/복호화 요소에 따라 상기 조건이 정해질 수도 있다.
참조 화소는 하나 이상의 블록으로 구성되어 있기 때문에 상기 참조 화소 가능성을 확인한 후 분류하면 <모두 사용 가능>, <일부 사용 가능>, <모두 사용 불가>와 같이 세 가지 경우로 분류할 수 있다. 모두 사용 가능한 경우를 제외한 나머지 경우에는 사용 불가한 후보 블록 위치의 참조 화소를 채우거나 생성할 수 있다.
참조 화소 후보 블록이 사용 가능한 경우에는 해당 위치의 화소를 현재 블록의 참조 화소 메모리에 포함할 수 있다. 이때, 상기 화소 데이터는 그대로 복사되거나 참조 화소 필터링, 참조 화소 보간 등의 과정을 통해 참조 화소 메모리에 포함할 수 있다. 또한, 참조 화소 후보 블록이 사용 불가한 경우에는 참조 화소 생성 과정을 통해 획득된 화소를 현재 블록의 참조 화소 메모리에 포함할 수 있다.
다음은 다양한 방법을 사용하여 사용 불가한 블록 위치의 참조 화소를 생성하는 예를 나타낸다.
예를 들어, 임의의 화소값을 사용하여 참조 화소를 생성할 수 있다. 여기서 임의의 화소값이란 화소값 범위(예를 들어, 비트 심도에 기초한 화소값 범위 또는 해당 영상 내 화소 분포에 따른 화소값 범위)에 속하는 하나의 화소값(예를 들어, 화소값 범위의 최소값, 최대값, 중앙값 등)일 수 있다. 상세하게는, 참조 화소 후보 블록이 모두 사용 불가한 경우에 적용되는 예일 수 있다.
또는, 영상의 부/복호화가 완료된 영역으로부터 참조 화소를 생성할 수 있다. 상세하게는, 사용 불가한 블록에 인접한 적어도 하나의 사용 가능한 블록으로부터 참조 화소를 생성할 수 있다. 이때, 외삽, 내삽, 복사 등의 방법 중 적어도 하나를 사용할 수 있다.
참조 화소 보간부에서 상기 참조 화소 구성을 완료한 후 참조 화소의 선형 보간을 통해 소수 단위의 참조 화소를 생성할 수 있다. 또는, 후술하는 참조 화소 필터 과정을 수행한 후에 참조 화소 보간 과정을 수행할 수도 있다.
이때, 수평, 수직, 일부 대각선 모드(예를 들어, Diagonal up right, Diagonal down right, Diagonal down left와 같이 수직/수평에 45도 차이의 모드. 도 5에서 2번, 34번, 66번 모드에 대응)와 비방향성 모드, 컬러 복사 모드 등의 경우에는 보간 과정을 수행하지 않으며, 그 외의 모드(다른 대각선 모드)의 경우 보간 과정을 수행할 수 있다.
예측 모드(예를 들어, 예측 모드의 방향성. dy/dx 등)와 참조 화소 및 예측 화소의 위치에 따라 보간이 수행되는 화소 위치(즉, 어느 소수 단위가 보간되는지. 1/2 ~ 1/64 등에서 정해짐)가 정해질 수 있다. 이때, 소수 단위의 정밀도에 상관없이 하나의 필터(예를 들어, 필터 계수나 필터 탭의 길이를 결정하기 위해 사용되는 수학식은 동일한 필터를 가정. 단, 소수 단위의 정밀도<예로, 1/32, 7/32, 19/32>에 따라 계수만 조정되는 필터를 가정)가 적용될 수 있거나 또는 복수의 필터(예를 들어, 필터 계수나 필터 탭의 길이를 결정하기 위해 사용되는 수학식이 구분되는 필터를 가정) 중 하나가 소수 단위에 따라 선택되어 적용될 수 있다.
전자의 경우 소수 단위 화소의 보간을 위해 정수 단위의 화소를 입력으로 사용하는 예일 수 있고, 후자의 경우 단계별로 입력 화소를 달리하는 예(예를 들어, 1/2 단위의 경우 정수 화소 사용. 1/4 단위의 경우 정수와 1/2 단위 화소 사용 등)일 수 있으나, 이에 한정되지 않으며 본 발명에서는 전자인 경우를 중심으로 설명한다.
참조 화소 보간을 위해 고정적인 필터링 또는 적응적인 필터링을 수행할 수 있으며, 이는 부/복호화 설정(예를 들어, 영상 타입, 컬러 성분, 블록의 위치/크기/형태, 블록의 가로/세로 비, 예측 모드 등에서 하나 또는 둘 이상의 조합)에 따라 정해질 수 있다.
고정적인 필터링은 하나의 필터를 사용하여 참조 화소 보간을 수행할 수 있고, 적응적인 필터링은 복수의 필터 중 하나를 사용하여 참조 화소 보간을 수행할 수 있다.
이때, 적응적인 필터링의 경우 부/복호화 설정에 따라 복수의 필터 중 하나가 묵시적으로 정해질 수 있거나 명시적으로 결정될 수 있다. 이때, 필터의 종류는 4-tap DCT-IF 필터, 4-tap 큐빅 필터, 4-tap 가우시안 필터, 6-tap 위너 필터, 8-tap 칼만 필터 등으로 구성될 수 있으며, 컬러 성분에 따라 지원되는 필터 후보군이 달리 정의되는 것(예를 들어, 필터의 종류가 일부는 같거나 다르거나, 그리고 필터 탭의 길이가 짧거나 길거나 등) 또한 가능할 수 있다.
참조 화소 필터부에서 부/복호화 과정을 통해 남아있는 열화를 줄여줌으로써 예측의 정확도를 높이는 목적으로 참조 화소에 필터링을 수행할 수 있으며, 이때 사용되는 필터는 저역 통과 필터(Low-pass Filter)일 수 있으나 이에 한정되지 않는다. 부/복호화 설정(전술한 설명에서 유도 가능)에 따라 필터링의 적용 유무가 결정될 수 있다. 또한, 필터링이 적용되는 경우에는 고정적인 필터링 또는 적응적인 필터링이 적용될 수 있다.
고정적인 필터링은 참조 화소 필터링이 수행되지 않거나 또는 하나의 필터를 사용하여 참조 화소 필터링이 적용되는 것을 의미한다. 적응적인 필터링은 필터링의 적용 여부가 부/복호화 설정에 따라 결정되며 지원되는 필터 종류가 둘 이상인 경우 그 중 하나가 선택될 수 있음을 의미한다.
이때, 필터의 종류는 [1, 2, 1] / 4와 같은 3-tap 필터, [2, 3, 6, 3, 2] / 16과 같은 5-tap 필터 등과 같은 다양한 필터 계수, 필터 탭 길이 등으로 구분되는 복수의 필터가 지원될 수 있다.
상기 참조 화소 구성 단계에서 소개된 참조 화소 보간부와 참조 화소 필터부는 예측의 정확성 향상을 위해 필요한 구성일 수 있다. 상기 두 과정은 독립적으로 수행되는 과정일 수 있으나, 두 과정을 혼합하는 구성(즉, 하나의 필터링으로 처리) 또한 가능할 수 있다.
예측 블록 생성부에서 적어도 하나의 예측 모드에 따라 예측 블록을 생성할 수 있으며, 상기 예측 모드에 기반하여 참조 화소를 사용할 수 있다. 이때, 참조 화소는 예측 모드에 따라 외삽(Extrapolation) 등의 방법(방향성 모드)에 사용될 수 있고, 내삽(Interpolation) 또는 평균(DC) 또는 복사(Copy) 등의 방법(비방향성 모드)에 사용될 수 있다.
예측 모드 결정부에서는 복수의 예측 모드 후보군 중 최적의 모드를 선정하기 위한 과정이 수행된다. 일반적으로 블록의 왜곡{예를 들어, 현재 블록과 복원 블록의 Distortion. SAD(Sum of Absolute Difference), SSD(Sum of Square Difference 등}과 해당 모드에 따른 발생 비트량이 고려되는 율-왜곡(Rate-Distortion) 기법을 이용하여 부호화 비용 측면에서 최적인 모드를 결정할 수 있다. 상기 과정을 통해 결정되는 예측 모드에 기반하여 생성되는 예측 블록을 감산부와 가산부로 송신할 수 있다.
최적의 예측 모드를 결정하기 위해 예측 모드 후보군에 존재하는 모든 예측 모드를 탐색할 수 있거나 또는 연산량/복잡도 감소를 위한 목적으로 다른 결정 과정를 거처 최적의 예측 모드를 선정할 수 있다. 예를 들어, 첫번째 단계에서는 화면내 예측 모드 후보 전체에 대해 화질 열화 관점에서 좋은 성능을 보이는 일부 모드를 선정하고, 두번째 단계에서는 첫번째 단계에서 선정된 모드에 대해 화질 열화뿐만 아니라 발생 비트량까지 고려하여 최적의 예측 모드를 선정할 수 있다. 상기 방법 외 연산량/복잡도 감소 측면의 다양한 방법이 적용될 수 있다.
또한, 예측 모드 결정부는 일반적으로 부호화기에만 포함되는 구성일 수 있으나, 부/복호화 설정에 따라 복호화기에도 포함되는 구성일 수 있다. 예를 들어, 템플릿 매칭을 예측 방법으로 포함하거나 또는 화면내 예측 모드를 현재 블록의 인접한 영역에서 유도하는 방법을 포함하는 경우. 후자의 경우 예측 모드를 복호화기에서 묵시적으로 획득하는 방법이 사용되었다고 이해할 수 있다.
예측 모드 부호화부에서는 예측 모드 결정부를 통해 선정된 예측 모드를 부호화할 수 있다. 예측 모드 후보군에서 상기 예측 모드에 대응하는 인덱스 정보를 부호화할 수 있거나 또는 상기 예측 모드를 예측하여 그에 관한 정보를 부호화할 수 있다. 전자의 경우 휘도 성분에 적용되는 방법일 수 있고 후자의 경우 색차 성분에 적용되는 방법일 수 있으나 이에 한정되지 않는다.
예측 모드를 예측하여 부호화하는 경우 예측 모드의 예측값(또는 예측 정보)을 MPM(Most Probable Mode)으로 지칭할 수 있다. MPM은 하나의 예측 모드로 구성할 수 있거나 또는 복수의 예측 모드로 구성할 수 있는데, 예측 모드 후보군 개수 등에 따라 MPM의 개수(k개. k는 1, 2, 3, 6 등과 같은 1 이상 정수)가 정해질 수 있다. MPM이 복수의 예측 모드로 구성되는 경우로 MPM 후보군이라 지칭할 수 있다.
MPM 후보군은 고정적인 설정 하에 지원될 수 있거나 또는 다양한 부/복호화 요소에 따라 적응적인 설정이 지원될 수 있다. 적응적인 설정에 대한 예를 들면, 복수의 참조 화소 계층 중 어떤 참조 화소 계층을 사용하는지에 따라 후보군 구성이 정해질 수 있고, 블록 단위로 화면내 예측을 수행하는지 또는 서브 블록 단위로 화면내 예측을 수행하는지에 따라 후보군 구성이 정해질 수 있다. 설명의 편의를 위해 하나의 설정 하에 MPM 후보군 구성되는 경우를 가정하며, MPM 후보군뿐만 아니라 다른 화면내 예측 모드에 관한 후보군 구성 또한 적응적일 수 있음을 알아야 한다.
MPM은 예측 모드를 효율적으로 부호화하기 위해 지원되는 개념으로, 실제로 현재 블록의 예측 모드로 발생 가능성이 높은 예측 모드로 후보군을 구성할 수 있다.
예를 들어, MPM 후보군은 기 설정된 예측 모드(또는 통계적으로 자주 발생하는 예측 모드. DC, Plaanr, 수직, 수평, 일부 대각선 모드 등), 인접한 블록(좌, 상, 좌상, 우상, 좌하 블록 등)의 예측 모드 등으로 구성할 수 있다. 이때, 인접한 블록의 예측 모드는 도 7에서 L0 내지 L3(좌 블록), T0 내지 T3(상 블록), TL(좌상 블록), R0 내지 R3(우상 블록), B0 내지 B3(좌하 블록)에서 획득할 수 있다.
인접한 블록(예를 들어, 좌 블록)에서 둘 이상의 서브 블록 위치(예를 들어, L0, L2 등)로부터 MPM 후보군을 구성할 수 있을 경우 기 정의된 우선 순위(예를 들어, L0 - L1 - L2 등)에 따라 해당 블록의 예측 모드를 후보군에 구성할 수 있다. 또는, 둘 이상 서브 블록 위치로부터 MPM 후보군을 구성할 수 없는 경우 기 정의된 위치(예를 들어, L0 등)에 해당하는 서브 블록의 예측 모드를 후보군에 구성할 수 있다. 상세하게는, 인접한 블록 중 L3, T3, TL, R0, B0 위치의 예측 모드를 해당 인접한 블록의 예측 모드로 선정하여 MPM 후보군에 포함할 수 있다. 상기 설명은 인접한 블록의 예측 모드를 후보군에 구성하는 일부 경우이며, 이에 한정되지 않는다. 후술하는 예에서 기 정의된 위치의 예측 모드를 후보군에 구성하는 경우를 가정한다.
또한, 하나 이상의 예측 모드가 MPM 후보군으로 구성되어 있는 경우 기 포함된 하나 이상의 예측 모드로부터 유도되는 모드 또한 MPM 후보군으로 추가 구성할 수 있다. 상세하게는, k번 모드(방향성 모드)가 MPM 후보군에 포함된 경우 해당 모드로부터 유도 가능한 모드(k 기준으로 +a, -b의 간격을 갖는 모드. a와 는 1, 2, 3 등의 1 이상의 정수)를 MPM 후보군에 추가로 포함할 수 있다.
MPM 후보군 구성을 위한 우선 순위가 존재할 수 있는데, 인접한 블록의 예측 모드 - 기 설정된 예측 모드 - 유도되는 예측 모드 등의 순서로 MPM 후보군을 구성할 수 있다. MPM 후보군을 구성하는 과정은 우선 순위에 따라 최대 MPM 후보 개수만큼 채우면 완료할 수 있다. 상기 과정에서 기 포함된 예측 모드와 일치하는 경우에는 해당 예측 모드는 후보군에 구성하지 않고 다음 우선 순위의 후보로 순서가 넘어가는 중복성 확인 과정이 포함될 수 있다.
다음은 MPM 후보군이 6개의 예측 모드로 구성되는 경우를 전제한다.
예를 들어, L - T - TL - TR - BL - Planar - DC - 수직 - 수평 - 대각선 모드 등의 순서로 후보군을 구성할 수 있다. 인접한 블록의 예측 모드를 후보군에 우선적으로 구성하며, 기 설정된 예측 모드를 추가 구성하고자 하는 경우일 수 있다.
또는, L - T - Planar - DC - <L+1> - <L-1> - <T+1> - <T-1> - 수직 - 수평 - 대각선 모드 등의 순서로 후보군을 구성할 수 있다. 일부 인접한 블록의 예측 모드와 기 설정된 예측 모드의 일부를 우선적으로 구성하며, 인접한 블록의 예측 모드와 비슷한 방향의 예측 모드가 발생할 것이라는 가정 하에 유도되는 모드와 기 설정된 예측 모드의 일부를 추가 구성하고자 하는 경우일 수 있다.
상기 예는 MPM 후보군 구성에 관한 일부 경우이며, 이에 한정되지 않고 다양한 변형의 예가 가능할 수 있다.
MPM 후보군은 후보군 내 인덱스에 기반하여 단항 이진화(Unary Binarization), 절단된 Rice 이진화(Truncated Rice Binarization) 등의 이진화가 사용될 수 있다. 즉, 작은 인덱스를 갖는 후보에는 짧은 비트를 할당하고, 큰 인덱스를 갖는 후보에는 긴 비트를 할당하여 모드 비트를 표현할 수 있다.
MPM 후보군에 포함되지 못한 모드는 non-MPM 후보군으로 분류될 수 있다. 또한, 부/복호화 설정에 따라 non-MPM 후보군은 2개 이상의 후보군으로 분류될 수 있다.
다음은 예측 모드 후보군에 방향성 모드와 비방향성 모드를 포함하는 67개의 모드가 존재하며 MPM 후보는 6개가 지원되어 non-MPM 후보군에 61개의 예측 모드로 구성되는 경우를 전제한다.
non-MPM 후보군이 하나로 구성되는 경우는 MPM 후보군 구성 과정에 포함되지 못한 예측 모드가 남은 것이기 때문에 추가적인 후보군 구성 과정은 요구되지 않는다. 그래서 non-MPM 후보군 내 인덱스에 기반하여 고정 길이 이진화(Fixed Length Binarization), 절단된 단항 이진화(Truncated Unary Binarization) 등의 이진화가 사용될 수 있다.
non-MPM 후보군이 둘 이상의 후보군으로 구성되는 경우를 가정하여 본 예에서 non-MPM 후보군은 non-MPM_A(이상 A 후보군)와 non-MPM_B(이상 B 후보군)으로 분류한다. A 후보군(p개. MPM 후보군 개수 이상)이 B 후보군(q개. A 후보군 개수 이상)보다 현재 블록의 예측 모드로 발생 가능성이 높은 예측 모드로 후보군을 구성한다고 가정한다. 이때, A 후보군 구성 과정이 추가될 수 있다.
예를 들어, 방향성 모드 중 균등한 간격(예를 들어, 2번, 4번, 6번 모드 등)을 갖는 일부 예측 모드를 A 후보군에 구성하거나 기 설정된 예측 모드(예를 들어, MPM 후보군에 포함된 예측 모드로부터 유도되는 모드 등)를 구성할 수 있다. 상기 MPM 후보군 구성과 A 후보군 구성을 통해 남은 예측 모드는 B 후보군으로 구성될 수 있으며, 추가적인 후보군 구성 과정은 요구되지 않는다. A 후보군와 B 후보군 내 인덱스에 기반하여 고정 길이 이진화, 절단된 단항 이진화 등의 이진화가 사용될 수 있다.
상기 예는 non-MPM 후보군이 둘 이상으로 구성되어 있는 일부 경우이며, 이에 한정되지 않고 다양한 변형의 예가 가능할 수 있다.
다음은 예측 모드를 예측하여 부호화하는 경우에 대한 과정을 나타낸다.
현재 블록의 예측 모드가 MPM(또는 MPM 후보군 내 일부 모드)과 일치하는지 여부에 대한 정보(mpm_flag)를 확인할 수 있다.
MPM과 일치하는 경우에 MPM의 구성(1개 또는 2개 이상)에 따라 MPM 인덱스 정보(mpm_idx)가 추가로 확인할 수 있다. 이후 현재 블록의 부호화 과정을 완료한다.
MPM과 일치하지 않는 경우에 non-MPM 후보군이 하나로 구성되어 있으면 non-MPM 인덱스 정보(remaining_idx)를 확인할 수 있다. 이후 현재 블록의 부호화 과정을 완료한다.
만약 non-MPM 후보군이 복수(본 예에서 2개)로 구성되어 있으면 현재 블록의 예측 모드가 A 후보군 내 일부 예측 모드와 일치하는지 여부에 대한 정보(non_mpm_flag)를 확인할 수 있다.
A 후보군과 일치하는 경우 A 후보군 인덱스 정보(non_mpm_A_idx)를 확인할 수 있고, A 후보군과 일치하지 않는 경우 B 후보군 인덱스 정보(remaining_idx)를 확인할 수 있다. 이후 현재 블록의 부호화 과정을 완료한다.
예측 모드 후보군 구성이 고정적인 경우에 현재 블록에서 지원되는 예측 모드와 인접한 블록에서 지원되는 예측 모드, 그리고 기 설정된 예측 모드는 동일한 예측 번호 인덱스를 사용할 수 있다.
한편, 예측 모드 후보군 구성이 적응적인 경우에는 현재 블록에서 지원되는 예측 모드와 인접한 블록에서 지원되는 예측 모드, 그리고 기 설정된 예측 모드는 동일한 예측 번호 인덱스를 사용하거나 다른 예측 번호 인덱스를 사용할 수 있다. 다음 설명을 위해 도 5를 참조한다.
상기 예측 모드 부호화 과정에서 MPM 후보군 등의 구성을 위한 예측 모드 후보군 통일(또는 조정) 과정이 수행될 수 있다. 예를 들어, 현재 블록의 예측 모드는 -5번 내지 61번 모드의 예측 모드 후보군 중 하나이고, 인접한 블록의 예측 모드는 2번 내지 66번 모드의 예측 모드 후보군 중 하나일 수 있다. 이 경우 인접한 블록의 예측 모드 일부(66번 모드)는 현재 블록의 예측 모드에 지원되지 않는 모드일 수 있기 때문에 예측 모드 부호화 과정에서 이를 통일시키는 과정이 수행될 수 있다. 즉, 고정적인 화면내 예측 모드 후보군 구성이 지원되는 경우에 요구되지 않는 과정일 수 있고, 적응적인 화면내 예측 모드 후보군 구성이 지원되는 경우에는 요구되는 과정일 수 있으며, 이에 대한 상세한 설명은 생략한다.
상기 MPM을 이용하는 방식과 달리 예측 모드 후보군에 속한 예측 모드에 인덱스를 할당하여 부호화를 수행할 수 있다.
예를 들어, 기 정의된 우선 순위에 따라 예측 모드에 인덱스를 할당하고 현재 블록의 예측 모드가 선정되면 해당 인덱스를 부호화하는 방법이 그에 해당한다. 이는 고정적으로 예측 모드 후보군이 구성되고 예측 모드에 고정적인 인덱스가 할당되는 경우를 의미한다.
또는, 예측 모드 후보군이 적응적으로 구성되는 경우에는 상기 고정적인 인덱스 할당 방법이 적합하지 않을 수 있다. 이를 위해 적응적인 우선 순위에 따라 예측 모드에 인덱스를 할당하고 현재 블록의 예측 모드가 선정되면 해당 인덱스를 부호화하는 방법을 적용할 수 있다. 이는 예측 모드 후보군의 적응적인 구성으로 인해 예측 모드에 할당되는 인덱스를 달리 하여 예측 모드를 효율적으로 부호화할 수 있다. 즉, 적응적인 우선 순위는 현재 블록의 예측 모드로 선정될 가능성이 높은 후보를 짧은 모드 비트가 발생하는 인덱스에 할당하고자 함일 수 있다.
다음은 예측 모드 후보군에 기 설정된 예측 모드(방향성 모드과 비방향성 모드), 컬러 복사 모드와 컬러 모드를 포함하는 8개의 예측 모드가 지원되는 경우(색차 성분)를 전제한다.
예를 들어, 기 설정된 예측 모드는 Planar, DC, 수평, 수직, 대각선 모드(본 예에서 Diagonal down left) 중에서 4개가 지원되고, 컬러 모드 1개(C)와 컬러 복사 모드 3개(CP1, CP2, CP3)가 지원되는 경우를 가정하자. 예측 모드에 할당되는 인덱스의 기본 순서는 기 설정된 예측 모드 - 컬러 복사 모드 - 컬러 모드 등으로 주어질 수 있다.
이때, 기 설정된 예측 모드인 방향성 모드, 비방향성 모드와 컬러 복사 모드는 예측 방법이 구분되는 예측 모드로 쉽게 구분할 수 있다. 다만, 컬러 모드의 경우 방향성 모드 또는 비방향성 모드일 수 있으며, 이는 기 설정된 예측 모드와 중복될 가능성이 존재할 수 있다. 일 예로, 컬러 모드가 수직 모드인 경우 기 설정된 예측 모드 중 하나인 수직 모드와 중복되는 경우가 발생할 수 있다.
부/복호화 설정에 따라 예측 모드 후보군의 수를 적응적으로 조정하는 경우 상기 중복적인 경우가 발생하면 후보군의 수를 조정(8개 -> 7개)할 수 있다. 또는, 예측 모드 후보군의 수를 고정적으로 유지하는 경우 상기 중복적인 경우가 발생하면 다른 후보를 추가 및 고려하여 인덱스를 할당할 수 있으며, 본 설정을 가정하여 후술한다. 또한, 적응적인 예측 모드 후보군은 컬러 모드와 같이 가변적인 모드를 포함하는 경우에도 지원되는 구성일 수 있다. 따라서 적응적인 인덱스 할당이 수행되는 경우는 적응적인 예측 모드 후보군 구성의 일 예로 간주할 수 있다.
다음은 컬러 모드에 따라 적응적인 인덱스 할당이 수행되는 경우를 설명한다. 기본 인덱스는 Planar(0) - 수직(1) - 수평(2) - DC(3) - CP1(4) - CP2(5) - CP3(6) - C(7)의 순서로 할당된다고 전제한다. 또한, 컬러 모드가 기 설정된 예측 모드와 일치하지 않는 경우에는 상기 순서로 인덱스 할당이 수행됨을 전제한다.
예를 들어, 컬러 모드가 기 설정된 예측 모드(Planar, 수직, 수평, DC 모드) 중 하나와 일치하는 경우에는 컬러 모드의 인덱스(7)에 일치하는 예측 모드가 채워진다. 일치하는 예측 모드의 인덱스(0 내지 3 중 하나)에는 기 설정된 예측 모드(Diagoanl down left)가 채워진다. 상세하게는, 컬러 모드가 수평 모드인 경우 Planar(0) - 수직(1) - Diagoanal down left(2) - DC(3) - CP1(4) - CP2(5) - CP3(6) - 수평(7)와 같은 인덱스 할당이 수행될 수 있다.
또는, 컬러 모드가 기 설정된 예측 모드 중 하나와 일치하는 경우에는 0번 인덱스에 일치하는 예측 모드가 채워진다. 그리고 컬러 모드의 인덱스(7)에 기 설정된 예측 모드(Diagoanal down left)가 채워진다. 이때, 채워진 예측 모드가 기존의 0번 인덱스가 아닌 경우(즉, Planar 모드가 아닌 경우)라면 기존 인덱스 구성이 조정될 수 있다. 상세하게는, 컬러 모드가 DC 모드인 경우 DC(0) - Planar(1) - 수직(2) - 수평(3) - CP1(4) - CP2(5) - CP3(6) - Diagonal down left(7)와 같은 인덱스 할당이 수행될 수 있다.
상기 예는 적응적인 인덱스 할당에 관한 일부 경우이며, 이에 한정되지 않고 다양한 변형의 예가 가능할 수 있다. 또한, 상기 후보군 내 인덱스에 기반하여 고정 길이 이진화, 단항 이진화, 절단된 단항 이진화, 절단된 Rice 이진화 등의 이진화가 사용될 수 있다.
다음은 예측 모드 후보군에 속한 예측 모드에 인덱스를 할당하여 부호화를 수행하는 다른 예를 살펴본다.
예를 들어, 예측 모드, 예측 방법 등으로 구분하여 복수의 예측 모드 후보군으로 분류하고 해당 후보군에 속한 예측 모드에 인덱스를 할당하여 부호화하는 방법이 그에 해당한다. 이 경우 후보군 선택 정보 부호화가 상기 인덱스 부호화에 선행할 수 있다. 일 예로, 동일한 컬러 공간에서 예측을 수행하는 예측 모드인 방향성 모드, 비방향성 모드, 컬러 모드가 하나의 후보군(이상 S 후보군)에 속할 수 있고, 다른 컬러 공간에서 예측을 수행하는 예측 모드인 컬러 복사 모드가 하나의 후보군(이상 D 후보군)에 속할 수 있다.
다음은 예측 모드 후보군에 기 설정된 예측 모드, 컬러 복사 모드와 컬러 모드를 포함하는 9개의 예측 모드가 지원되는 경우(색차 성분)를 전제한다.
예를 들어, 기 설정된 예측 모드는 Planar, DC, 수평, 수직, 대각선 모드 중에서 4개가 지원되고, 컬러 모드 1개(C)와 컬러 복사 모드 4개(CP1, CP2, CP3, CP4)가 지원되는 경우를 가정하자. S 후보군은 기 설정된 예측 모드와 컬러 모드로 구성되는 5개의 후보를 가질 수 있고, D 후보군은 컬러 복사 모드로 구성되는 4개의 후보를 가질 수 있다.
S 후보군은 적응적으로 구성되는 예측 모드 후보군의 일 예이고 적응적인 인덱스 할당에 관한 예는 전술하였으므로 상세한 설명은 생략한다. D 후보군은 고정적으로 구성되는 예측 모드 후보군의 일 예이므로 고정적인 인덱스 할당 방법을 사용할 수 있다. 예를 들어, CP1(0) - CP2(1) - CP3(2) -CP4(3)와 같은 인덱스 할당이 수행될 수 있다.
상기 후보군 내 인덱스에 기반하여 고정 길이 이진화, 단항 이진화, 절단된 단항 이진화, 절단된 Rice 이진화 등의 이진화가 사용될 수 있다. 또한, 상기 예에 한정되지 않고 다양한 변형의 예가 가능할 수 있다.
예측 모드 부호화를 위한 MPM 등의 후보군 구성은 블록 단위로 수행될 수 있다. 또는, 상기 후보군 구성 과정을 생략할 수 있으며, 소정의 후보군을 사용하거나 다양한 방법에 의해 획득된 후보군을 사용할 수 있다. 이는 복잡도 감소 등을 위한 목적으로 지원될 수 있는 구성일 수 있다.
일 예(1)로, 미리 정의된 하나의 후보군을 사용하거나 또는 부/복호화 설정에 따라 미리 정의된 복수의 후보군 중 하나를 사용할 수 있다. 예를 들어, MPM 후보군의 경우 {Planar - DC - 수직 - 수평 - Diagonal down left<도 5의 66번> - Diagonal down right<도 5의 34번>} 등의 미리 정의된 후보군을 사용할 수 있다. 또는, MPM 후보군 구성 중 인접한 블록이 모두 사용 불가한 경우에 구성되는 후보군을 본 예에 적용하는 것이 가능할 수 있다.
일 예(2)로, 부호화가 완료된 블록의 후보군을 사용할 수 있다. 이때, 부호화가 완료된 블록은 부호화 순서(소정의 스캔 방법. 예를 들어, z-scan, vertical scan, horizontal scan 등)에 기초하여 선정될 수 있거나 또는 현재 블록의 좌, 상, 좌상, 우상, 좌하 등의 인접한 블록에서 선정될 수 있다. 단, 인접한 블록은 현재 블록과 서로 참조 가능한 분할 단위(예를 들어, 각 블록이 속한 슬라이스나 타일이 다르더라도 참조 가능한 속성을 갖는 경우. 일 예로, 동일 타일 그룹에 속하지만 다른 타일인 경우)에 속하는 위치로 제한할 수 있으며, 참조 불가능한 분할 단위(예를 들어, 각 블록이 속한 슬라이스나 타일이 다른데 서로 참조 불가능한 속성을 갖는 경우. 일 예로, 다른 타일 그룹에 속하는 경우)에 속할 경우 해당 위치의 블록은 후보에서 제외할 수 있다.
여기서, 인접한 블록은 현재 블록의 상태에 따라 정해질 수 있다. 예를 들어, 현재 블록이 정사각 형태인 경우 소정의 제 1우선 순위에 따라 위치한 블록 중 이용 가능한 블록의 후보군이 차용(또는 공유)될 수 있다. 또는, 현재 블록이 직사각 형태인 경우 제 2우선 순위에 따라 위치한 블록 중 이용 가능한 블록의 후보군이 차용될 수 있다. 이때, 블록의 가로/세로 길이 비에 따라 제 2 또는 제 3우선 순위가 지원될 수 있다. 차용할 후보 블록의 선정을 위한 우선 순위는 좌 - 상 - 우상 - 좌하 - 좌상, 상 - 좌 - 좌상 - 우상 - 좌하 등의 다양한 구성이 가능할 수 있다. 이때, 상기 제 1 내지 3 우선 순위는 모두 동일한 구성을 갖거나 또는 모두 다른 구성을 갖거나 또는 일부 구성은 동일한 구성을 가질 수 있다.
현재 블록의 후보군은 소정의 경계값 이상/초과인 경우에만 인접한 블록에서의 차용을 수행할 수 있다. 또는, 소정의 경계값 이하/미만인 경우에만 인접한 블록에서의 차용을 수행할 수 있다. 여기서, 상기 경계값은 후보군 차용을 허용하는 블록의 최소 크기 또는 최대 크기로 정의될 수 있다. 상기 경계값은 블록의 가로 길이(W), 세로 길이(H), W x H, W*H 등으로 표현될 수 있으며, 상기 W와 H는 4, 8, 16, 32 또는 그 이상의 정수일 수 있다.
일 예(3)로, 소정의 블록의 묶음으로 구성된 상위 블록에서 공통의 후보군을 구성할 수 있고, 상위 블록 내에 속하는 하위 블록들이 해당 후보군을 사용할 수 있다. 이때, 하위 블록의 개수는 1, 2, 3, 4와 같은 1 이상의 정수일 수 있다.
여기서 상위 블록은 하위 블록의 조상 블록(부모 블록 포함)일 수 있거나 또는 임의의 묶음으로 구성된 블록일 수 있다. 이때, 조상 블록이란 하위 블록을 획득하기 위한 분할 과정 중 이전 단계(분할 깊이의 차이가 1 이상)의 분할 전 블록을 의미할 수 있다. 일 예로, 도 4의 b에서 4N x 2N의 0번과 1번 서브 블록의 부모 블록은 도 4의 a의 4N x 4N을 가리킬 수 있다.
상위 블록의 후보군은 소정의 제 1경계값 이상/초과인 경우에만 하위 블록에서의 차용(또는 공유)이 수행될 수 있다. 또는, 소정의 제 2경계값 이하/미만인 경우에만 하위 블록에서의 차용이 수행될 수 있다.
여기서, 상기 경계값은 후보군 차용이 허용되는 블록의 최소 크기 또는 최대 크기로 정의될 수 있다. 상기 경계값 중 하나만 지원되거나 둘 다 지원될 수 있으며, 경계값은 블록의 가로 길이(W), 세로 길이(H), W x H, W*H 등으로 표현될 수 있으며, 상기 W와 H는 8, 16, 32, 64 또는 그 이상의 정수일 수 있다.
반면, 하위 블록의 후보군은 소정의 제 3경계값 이상/초과인 경우에만 상위 블록에서 차용을 수행할 수 있다. 또는, 소정의 제 4경계값 이하/미만인 경우에만 상위 블록에서 차용을 수행할 수 있다.
여기서, 상기 경계값은 후보군 차용을 허용하는 블록의 최소 크기 또는 최대 크기로 정의될 수 있다. 상기 경계값 중 하나만 지원되거나 둘 다 지원될 수 있으며, 경계값은 블록의 가로 길이(W), 세로 길이(H), W x H, W*H 등으로 표현될 수 있으며, 상기 W와 H는 4, 8, 16, 32 또는 그 이상의 정수일 수 있다.
이때, 제 1경계값(또는 제 2경계값)은 제 3경계값(또는 제 4경계값)보다 크거나 같을 수 있다.
전술한 실시예 중 어느 하나에 기초하여 후보군 차용(또는 공유)이 선택적으로 이용될 수 있고, 실시예 1 내지 3 중 적어도 2개의 조합에 기초하여 후보군 차용이 선택적으로 이용될 수도 있다. 그리고 각 실시예의 세부 구성 또한 어느 하나에 기초하여 후보군 차용이 선택적으로 이용될 수 있고, 하나 이상의 세부 구성의 조합 등에 따라 선택적으로 이용될 수 있다.
또한, 후보군 차용 여부, 후보군 차용에 관여되는 블록의 속성(크기/형태/위치/길이비율), 분할 상태(분할 방식, 분할 종류, 분할 깊이 등) 등에 관한 정보가 명시적으로 처리될 수 있다. 또한, 영상 타입, 컬러 성분 등의 부호화 요소가 후보군 차용 설정에 입력 변수로 작용할 수 있다. 상기 정보 및 부/복호화 설정에 기초하여 후보군의 차용이 수행될 수 있다.
예측 모드 부호화부를 통해 생성되는 예측 관련 정보는 부호화부로 전송되어 비트스트림에 수록될 수 있다.
본 발명의 일 실시예에 따른 영상 복호화 방법에서 화면내 예측은 다음과 같이 구성될 수 있다. 예측부의 화면내 예측은 예측 모드 복호화 단계, 참조 화소 구성 단계, 예측 블록 생성 단계를 포함할 수 있다. 또한, 영상 복호화 장치는 예측 모드 복호화 단계, 참조 화소 구성 단계, 예측 블록 생성 단계를 구현하는 예측 모드 복호화부, 참조 화소 구성부, 예측 블록 생성부를 포함하도록 구성할 수 있다. 전술한 과정의 일부는 생략될 수 있거나 다른 과정이 추가될 수 있고, 상기 기재된 순서가 아닌 다른 순서로 변경될 수 있다.
영상 복호화 장치의 참조 화소 구성부, 예측 블록 생성부는 영상 부호화 장치의 대응되는 구성과 동일한 역할을 수행하므로 상세한 설명은 생략하며, 예측 모드 복호화부는 예측 모드 부호화부에서 사용한 방식을 역으로 사용하여 수행될 수 있다.
(서브 블록 단위의 화면내 예측)
도 8은 부호화 블록에 기초해 획득 가능한 서브 블록의 다양한 분할 형태를 나타낸다. 여기서 부호화 블록은 부모 블록이라 지칭하며, 서브 블록은 자식 블록일 수 있다. 여기서 서브 블록은 예측이 수행되는 단위나 변환이 수행되는 단위일 수 있다. 본 예에서는 하나의 예측 정보가 서브 블록에 공유되는 경우를 가정한다. 즉, 하나의 예측 모드가 발생하고, 이를 각 서브 블록에서 사용함을 의미한다.
도 8을 참조하면, 도 8의 a 내지 p의 다양한 순서 조합에 따라 서브 블록의 부호화 순서가 정해질 수 있다. 예를 들어, z-scan(좌 -> 우, 상 -> 하), vertical scan(상 -> 하), horizontal scan(좌 -> 우), inverse vertical scan(하 -> 상), inverse horizontal scan(우 -> 좌) 등의 순서 중 하나를 따를 수 있다.
상기 부호화 순서는, 영상 부/복호화기에 기-약속된 순서일 수 있다. 또는, 상기 서브 블록의 부호화 순서는, 부모 블록의 분할 방향을 고려하여 결정될 수도 있다. 예를 들어, 부모 블록이 수평 방향으로 분할된 경우, 서브 블록의 부호화 순서는 vertical scan으로 결정될 수 있다. 부모 블록이 수직 방향으로 분할된 경우, 서브 블록의 부호화 순서는 horizontal scan으로 결정될 수 있다.
서브 블록 단위로 부호화를 수행할 경우 예측을 위해 사용되는 참조 데이터가 더 근접한 위치에서 획득될 수 있으며, 하나의 예측 모드만 생성되고 서브 블록에서 이를 공유하는 방식이기 때문에 효율적일 수 있다.
예를 들어, 도 8의 (b)를 참조하면, 부모 블록 단위로 부호화가 될 때 우하 서브 블록은 부모 블록의 인접한 화소를 사용해서 예측을 수행할 수 있다. 반면, 서브 블록 단위로 부호화가 될 때 우하 서브 블록은 소정의 부호화 순서(본 예에서 z-scan)에 따라 복원된 좌상, 우상, 좌하 서브 블록이 존재하기 때문에 부모 블록보다 더 인접한 화소를 사용하여 예측을 수행할 수 있다.
영상 특성을 고려한 최적의 분할에 따른 화면내 예측을 위해 발생 가능성이 높은 하나 이상의 분할 형태를 기반으로 후보군을 구성할 수 있다.
본 예에서는 인덱스 기반의 분할 방식을 사용하여 분할 정보를 생성하는 경우를 가정한다. 다음과 같은 다양한 분할 형태로 후보군을 구성할 수 있다.
구체적으로, N개의 분할 형태로 구성된 후보군이 구성될 수 있다. 여기서, N은 2보다 크거나 같은 정수일 수 있다. 상기 후보군은, 도 8에 도시된 7개의 분할 형태 중 적어도 2개의 조합을 포함할 수 있다.
부모 블록은, 상기 후보군에 속한 복수의 분할 형태 중 어느 하나를 선택적으로 이용하여, 소정의 서브 블록으로 분할될 수 있다. 상기 선택은, 영상 부호화 장치에서 시그날링되는 인덱스에 기초하여 수행될 수 있다. 상기 인덱스는, 부모 블록의 분할 형태를 특정하는 정보를 의미할 수 있다. 또는, 상기 선택은, 영상 복호화 장치에서 부모 블록의 속성을 고려하여 수행될 수도 있다. 여기서, 속성은, 블록의 위치, 크기, 형태, 넓이, 가로/세로 길이 비, 가로/세로 중 어느 하나의 길이, 분할 깊이, 영상 타입(I/P/B), 컬러 성분(예를 들어, 휘도, 색차), 화면내 예측 모드의 값, 화면내 예측 모드가 비방향성 모드인지 여부, 화면내 예측 모드의 각도, 참조 화소의 위치 등을 의미할 수 있다. 상기 블록윽 부호화 블록을 의미할 수 있거나 또는 부호화 블록에 대응하는 예측 블록 및/또는 변환 블록을 의미할 수 있다. 상기 블록의 위치는, 부모 블록의 소정의 영상(또는 조각 영상)의 경계에 위치하는지를 의미할 수 있다. 여기서, 영상(또는 조각 영상)이란 부모 블록이 속한 픽쳐, 슬라이스 그룹, 타일 그룹, 슬라이스, 타일, CTU 열(CTU row), CTU 중 적어도 하나를 의미할 수 있다.
일 예(1)로, 도 8의 {a ~ d}, {a ~ g} 등과 같은 후보군을 구성할 수 있으며, 이는 다양한 분할 형태를 고려한 후보군 구성일 수 있다. {a ~ d}인 경우를 가정하면 각 인덱스에 다양한 이진 비트를 할당할 수 있다 (알파벳 순서로 인덱스 할당했다고 가정. 다음 예에도 동일한 가정)
| idx | bin type 1 | bin type 2 |
| 0 | 00 | 0 |
| 1 | 01 | 10 |
| 2 | 10 | 110 |
| 3 | 11 | 111 |
상기 표 1에서 bin type 1은 발생 가능한 분할 형태를 모두 고려한 이진화의 예일 수 있고, bin type 2는 분할 여부를 나타내는 비트(첫번째 비트)가 먼저 할당되고, 분할이 되는 경우(첫번째 비트가 1)에는 발생 가능한 분할 형태 중 분할되지 않은 후보만 제외하고 수행되는 이진화의 예일 수 있다.
일 예(2)로, 도 8의 {a, c, d}, {a, f, g} 등과 같은 후보군을 구성할 수 있으며, 이는 특정 방향(수평 또는 수직)의 분할을 고려한 후보군 구성일 수 있다. {a, f, g}인 경우를 가정하면 각 인덱스에 다양한 이진 비트를 할당할 수 있다.
| idx | bin type 1 | bin type 2 | bin type 3 |
| 0 | 0 | 10 | 10 |
| 1 | 10 | 0 | 11 |
| 2 | 11 | 11 | 0 |
상기 표 2는 블록의 속성에 기반하여 할당되는 이진화의 예로, 그 중 블록의 형태를 고려한 경우의 일 예일 수 있다. bin type 1에서는 부모 블록이 정사각 형태일 때, 분할되지 않는 경우에 1비트 할당, 수평 또는 수직 방향으로 분할된 경우에 2비트 할당하는 예일 수 있다.
bin type 2의 경우 부모 블록이 직사각 형태 중 가로로 길 때, 수평 방향으로 분할되는 경우에 1비트, 나머지는 2비트를 할당하는 예일 수 있다. bin type 3는 부모 블록이 직사각 형태 중 세로로 길 때, 수직 방향으로 분할되는 경우는 1비트, 나머지는 2 비트를 할당하는 예일 수 있다. 이는 부모 블록의 형태와 같은 분할이 더 일어날 가능성이 높다고 판단되면 더 짧은 비트를 할당하는 예일 수 있으나, 이에 한정되지 않고 반대되는 경우를 포함한 변형의 예를 포함할 수 있다.
일 예(3)로, 도 8의 {a, c, d, f, g} 등과 같은 후보군을 구성할 수 있으며, 이는 특정 방향의 분할을 고려한 후보군 구성의 다른 예일 수 있다.
| idx | bin type 1 | bin type 2 |
| 0 | 0 | 0 |
| 1 | 100 | 100 |
| 2 | 101 | 110 |
| 3 | 110 | 101 |
| 4 | 111 | 111 |
상기 표 3에서 bin type 1은 분할 여부를 나타내는 플래그(첫번째 비트)가 먼저 할당되고, 그 다음 분할 개수를 구분하는 플래그가 그 다음 할당된다. 여기서 분할 개수를 구분하는 플래그(두번째 비트)가 0이면 분할 개수가 2개, 1이면 분할 개수가 4개인 경우일 수 있다. 그리고 후속하는 플래그는 분할 방향을 표현하는 플래그일 수 있으며, 0이면 수평 방향 분할, 1이면 수직 방향 분할인 경우일 수 있다. 상기 설명은 하나의 예일 뿐 이에 한정되지 않고, 반대되는 구성 등을 포함한 다양한 변형이 가능하다.
상기 분할 정보는 일반적인 상황에서 지원되는 구성일 수 있으나, 부/복호화 환경 등에 따라 다른 설정으로의 변형이 가능할 수 있다. 즉, 분할 정보에 관한 예외적인 구성을 지원하거나 또는 분할 정보에 의해 표현되는 분할 형태를 다른 분할 형태로의 대체가 가능할 수 있다.
예를 들어, 블록의 속성에 따라 지원되지 않는 분할 형태가 존재할 수 있다. 여기서, 블록의 속성은 이전 예를 통해 언급하였으므로 상세한 설명은 생략한다. 여기서 블록은 부모 블록 또는 서브 블록 중 적어도 하나를 의미할 수 있다.
예를 들어, 지원되는 분할 형태는 도 8의 {a, f, g}인 경우와 부모 블록의 크기가 4M x 4N임을 가정하자. 만약 영상 내 블록의 최소값 조건, 부모 블록의 소정의 영상(또는 조각 영상) 경계에 위치함에 따라 일부 분할 형태가 지원되지 않는 경우에는 다양한 처리가 가능할 수 있다. 다음 예를 위해 영상 내 블록의 가로 길이의 최소값이 2M이고 블록의 넓이의 최소값이 4*M*N이라고 가정하자.
우선, 획득 불가능한 분할 형태를 제외하고 후보군을 재구성할 수 있다. 기존의 후보군에서 가질 수 있는 후보는 4M x 4N, 4M x N, M x 4N이며, 획득 불가능한 후보(4M x N)을 제외하고 재구성되는 후보군은 4M x 4N, 4M x N일 수 있다. 이 경우 재구성된 후보군 내 후보에 이진화가 다시 수행될 수 있다. 본 예에서는 하나의 플래그(1비트)로 4M x 4N, 4M x N을 선택할 수 있다.
다른 예로, 획득 불가능한 분할 형태를 대체하는 후보로 후보군을 재구성할 수 있다. 상기 예에서 획득 불가능한 분할 형태는 수직 방향의 분할 형태(4분할)일 수 있다. 그러나 수직 방향의 분할 형태를 유지하는 다른 분할 형태(예를 들어, 2M x 4N)을 대체하여 후보군을 재구성할 수 있다. 이는 기존의 분할 정보에 따른 플래그 구성을 그대로 유지할 수 있다.
상기 예와 같이 후보군 수를 조정하거나 또는 기존 후보를 대체하는 방식을 통해 후보군을 재구성할 수 있으며, 상기 예는 일부 경우에 대한 설명을 포함할 뿐 다양한 변형의 예가 가능할 수 있다.
(서브 블록의 부호화 순서)
도 8과 같은 다양한 서브 블록의 부호화 순서의 설정이 가능할 수 있다. 상기 부호화 순서는 부/복호화 설정에 따라 묵시적으로 정해질 수 있다. 이때, 분할 형태, 영상 타입, 컬러 성분, 부모 블록의 크기/형태/위치, 블록의 가로/세로 길이 비, 예측 모드 관련 정보(예를 들어, 화면내 예측 모드, 사용되는 참조 화소 위치 등), 분할 상태 등이 상기 부/복호화 요소에 포함될 수 있다.
또는, 서브 블록의 부호화 순서에 대한 명시적인 처리가 가능할 수 있다. 상세하게는, 분할 형태에 따라 발생 가능성이 높은 후보로 후보군을 구성하고 그 중 하나에 대한 선택 정보가 발생할 수 있다. 그래서 분할 형태에 따라 지원되는 부호화 순서 후보는 적응적으로 구성될 수 있다.
상기 예와 같이 하나의 고정적인 부호화 순서를 사용하여 서브 블록의 부호화를 수행할 수도 있으나, 적응적인 부호화 순서를 적용하는 방법 또한 가능할 수 있다.
도 8을 참조하면, 도면에 기재된 a 내지 p의 다양한 순서 할당에 따라 많은 부호화 순서가 획득될 수 있다. 각 분할 형태에 따라 획득되는 서브 블록의 위치 및 개수가 다를 수 있기 문에 분할 형태에 특화되는 부호화 순서에 대한 구성이 중요할 수 있다. 그리고 서브 블록으로의 분할이 수행되지 않은 도 8의 (a)와 같은 분할 형태에는 부호화 순서에 대한 처리가 필요하지 않다. 그렇기 때문에 명시적으로 부호화 순서에 대한 정보를 처리할 경우 분할 정보를 먼저 확인한 후에 선택된 분할 정보에 기반하여 서브 블록의 부호화 순서에 관한 정보가 생성될 수 있다.
도 8의 (c)를 참조하면, a, b에 0, 1이 적용되는 vertical scan과 각각 1, 0이 적용되는 inverse scan이 후보로 지원될 수 있고, 이 중 하나를 선택하기 위한 1비트 플래그가 발생할 수 있다.
또는, 도 8의 (b)를 참조하면, a ~ d에 0 ~ 3이 적용되는 z-scan, 각각 1, 3, 0, 2가 적용되는 왼쪽으로 90도 회전된 z-scan, 각각 3, 2, 1, 0가 적용된 inverse z-scan, 각각 2, 0, 3, 1가 적용되는 오른쪽으로 90도 회전된 z-scan이 지원될 수 있고, 이 중 하나를 선택하기 위한 1비트 이상의 플래그가 발생할 수 있다.
다음은 서브 블록의 부호화 순서가 묵시적으로 정해지는 경우를 설명한다. 설명의 편의를 위해 도 8의 (c){또는 (f)}와 (d){또는 (g)}의 분할 형태가 획득되는 경우에 대한 부호화 순서를 나타낸다(예측 모드는 도 5를 참고).
예를 들어, 화면내 예측 모드가 수직 모드, 수평 모드, Diagonal down right 방향의 모드(19번 내지 49번 모드), Diagoanal down left 방향의 모드(51번 이상), Diagonal up right 방향의 모드(17번 이하)일 때, vertical scan, horizontal scan이 정해질 수 있다.
또는, 화면내 예측 모드가 Diagonal down left 방향의 모드(51번 이상)일 때, vertical scan, inverse horizontal scan이 정해질 수 있다.
또는, 화면내 예측 모드가 Diagonal up right 방향의 모드(17번 이하)일 때, inverse vertical scan, horizontal scan이 정해질 수 있다.
상기 예는 소정의 스캔 순서에 따른 부호화 순서일 수 있다. 이때, 소정의 스캔 순서는 z-scan, vertical scan, horizontal scan 중 하나일 수 있다. 또는, 화면내 예측시에 참조되는 화소의 위치와 거리에 따라 정해지는 스캔 순서일 수 있다. 이를 위해 inverse scan이 추가로 고려될 수 있다.
도 9는 본 발명의 일 실시예에 따른 화면내 예측 모드에 기반하여 사용되는 참조 화소 영역에 대한 예시도이다. 도 9를 참조하면, 예측 모드의 방향에 따라 참조되는 영역은 음영으로 처리된 것을 확인할 수 있다.
도 9의 (a)는 부모 블록의 인접한 영역을 좌, 상, 좌상, 우상, 좌하 영역으로 구분한 예를 나타낸다. 도 9의 (b)는 Diagonal up right 방향의 모드에서 참조되는 좌, 좌하 영역을 나타내고, 도 9의 (c)는 수평 모드에서 참조되는 좌 영역을 나타내고, 도 9의 (d)는 Diagonal down right 방향의 모드에서 참조되는 좌, 상, 좌상 영역을 나타내고, 도 9의 (e)는 수직 모드에서 참조되는 상 영역을 나타내고, 도 9의 (f)는 Diagonal down left 방향의 모드에서 참조되는 상, 우상 영역을 나타낸다.
인접한 참조 화소(또는 서브 블록의 복원 화소)를 사용하여 예측을 수행할 때, 서브 블록의 부호화 순서가 미리 정의되는 것이 따로 관련 정보를 시그날링하지 않아도 되는 장점이 존재할 수 있다. 다양한 분할 형태를 가질 수 있고, 이에 따라 참조되는 영역(또는 예측 모드)에 기반하여 다음과 같은 예시를 가질 수 있다.
도 10은 본 발명의 일 실시예에 따른 Diagonal up right 방향의 예측 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다. 좌하 방향에 인접한 서브 블록에 앞선 우선 순위가 할당되는 예를 도 10의 (a) 내지 (g)를 통해 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른 수평 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다. 좌 방향에 인접한 서브 블록에 앞선 순위가 할당되는 예를 도 11의 (a) 내지 (g)를 통해 확인할 수 있다.
도 12는 본 발명의 일 실시예에 따른 Diagonal down right 방향의 예측 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다. 좌상 방향에 인접한 서브 블록에 앞선 순위가 할당되는 예를 도 12의 (a) 내지 (g)를 통해 확인할 수 있다.
도 13은 본 발명의 일 실시예에 따른 수직 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다. 상 방향에 인접한 서브 블록에 앞선 순위가 할당되는 예를 도 13의 (a) 내지 (g)를 통해 확인할 수 있다.
도 14는 본 발명의 일 실시예에 따른 Diagonal down left 방향의 모드에서 가질 수 있는 부호화 순서에 대한 예시를 나타낸다. 우상 방향에 인접한 서브 블록에 앞선 순위가 할당되는 예를 도 14의 (a) 내지 (g)를 통해 확인할 수 있다.
상기 예는 인접한 부/복호화가 완료된 영역으로부터 부호화 순서를 정의하는 하나의 예이며, 다른 변형의 예가 가능하다. 또한, 다른 부/복호화 요소에 따라 부호화 순서가 정의되는 다양한 구성이 가능할 수 있다.
도 15는 본 발명의 일 실시예에 따른 화면내 예측 모드와 분할 형태를 고려한 부호화 순서에 대한 예시도이다. 상세하게는, 화면내 예측 모드에 따라 각 분할 형태에서 묵시적으로 서브 블록의 부호화 순서를 정할 수 있다. 또한, 획득 불가능한 분할 형태가 있을 경우 다른 분할 형태로 대체되는 후보군 재구성에 관한 예를 설명하고 있다. 설명의 편의를 위해 부모 블록은 4M x 4N인 경우를 가정한다.
도 15의 (a)를 참조하면, 서브 블록 단위의 화면내 예측을 위해 4M x N 형태로 분할될 수 있다. 본 예에서는 inverse vertical scan 순서를 따를 수 있다. 만약 4M x N의 분할 형태가 획득 불가능한 경우 소정의 우선 순위에 따른 2M x 2N의 분할 형태로의 분할이 수행될 수 있다. 이 경우에 대한 부호화 순서는 도면에 도시되어 있으므로 상세한 설명은 생략한다. 만약 2M x 2N 형태가 획득 불가능한 경우 그 다음 우선 순위의 4M x 2N의 형태로의 분할이 수행될 수 있다. 이와 같은 소정의 우선 순위에 따라 분할 형태가 지원될 수 있으며, 이에 기반하여 서브 블록 단위의 분할을 수행할 수 있다. 만약 미리 정의된 분할 형태가 모두 획득 불가능하다면, 해당 부모 블록의 서브 블록으로의 분할은 불가능하여 부모 블록으로 부호화가 수행됨을 알 수 있다.
도 15의 (b)를 참조하면, 서브 블록 단위의 화면내 예측을 위해 M x 4N 형태로 분할될 수 있다. 도 15의 (a)와 같이 각 분할 형태에 기초하여 부호화 순서가 미리 정해지는 경우로 가정한다. 본 예에서는 2M x 2N, 2M x 4N의 순서에 따라 대체되는 경우로 이해할 수 있다.
도 15의 (c)를 참조하면, 서브 블록 단위의 화면내 예측을 위해 2M x 2N 형태로 분할될 수 있다. 본 예에서는 4M x 2N, 2M x 4N의 순서에 따라 대체되는 경우로 이해할 수 있다.
도 15의 (d)를 참조하면, 서브 블록 단위의 화면내 예측을 위해 4M x N 형태로 분할될 수 있다. 본 예에서는 2M x 2N, 4M x 2N의 순서에 따라 대체되는 경우로 이해할 수 있다.
도 15의 (e)를 참조하면, 서브 블록 단위의 화면내 예측을 위해 M x 4N 형태로 분할될 수 있다. 본 예에서는 2M x 2N, 2M x 4N의 순서에 따라 대체되는 경우로 이해할 수 있다.
상기 예는 획득 불가능한 분할 형태가 존재할 경우 소정의 순서에 따라 다른 형태로의 분할을 지원하는 하나의 예이며, 다양한 변형의 예가 가능할 수 있다.
예를 들어, {4M x 4N, M x 4N, 4M x N}의 분할 형태가 지원될 경우 분할이 수행되는 M x 4N 또는 4M x N 형태는 획득 불가능할 때 2M x 4N 또는 4M x 2N 형태로 대체되는 경우가 가능할 수 있다.
상기 예와 같이 다양한 부/복호화 요소에 따라 서브 블록의 분할 설정이 정해질 수 있으며, 부/복호화 요소는 이미 전술한 서브 블록 분할에 관한 설명에서 유도될 수 있으므로 상세한 설명은 생략한다.
또한, 서브 블록의 분할이 정해지는 경우 그대로 예측 및 변환이 수행될 수 있다. 이미 전술한 것과 같이 부모 블록 단위로 화면내 예측 모드가 정해지고 이에 따라 예측이 수행될 수 있다.
또한, 변환 및 역변환은 부모 블록에 기반하여 관련 설정이 정해지고, 부모 블록에서 정해진 설정에 기반하여 서브 블록 단위의 변환 및 역변환이 수행될 수 있다. 또는, 서브 블록에 기반하여 관련 설정이 정해지고, 해당 설정에 따라 서브 블록 단위의 변환 및 역변환이 수행될 수 있다. 상기 설정 중 하나에 기반하여 변환 및 역변환이 수행될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 영상을 부호화/복호화하는데 이용될 수 있다.
Claims (8)
- 현재 블록의 화면내 예측을 위한 참조 화소를 결정하는 단계;
복호화 장치에 기-정의된 예측 모드 후보군으로부터, 상기 현재 블록의 화면내 예측 모드를 유도하는 단계;
분할 정보에 기초하여, 상기 현재 블록을 복수의 서브 블록으로 분할하는 단계; 및
상기 현재 블록의 참조 화소 및 상기 현재 블록의 화면내 예측 모드를 기반으로, 상기 현재 블록의 화면내 예측을 상기 분할된 서브 블록의 단위로 수행하는 단계를 포함하되,
상기 분할 정보는, 분할 방향 또는 분할 개수 중 적어도 하나에 대한 정보를 포함하고,
상기 현재 블록에 속한 복수의 서브 블록 각각은 상기 유도된 현재 블록의 화면내 예측 모드를 동일하게 사용하고,
상기 현재 블록은, 상기 분할 정보에 기초하여, 수직 방향 또는 수평 방향 중 어느 하나의 방향으로 2분할되거나 4분할되고,
상기 현재 블록의 화면내 예측을 수행하는 단계는,
상기 참조 화소를 보간하는 단계를 포함하고,
상기 참조 화소의 보간을 위해, 상기 현재 블록의 인트라 예측 모드에 따라, 고정적인 필터링 또는 적응적인 필터링 중 어느 하나가 선택적으로 수행되고,
상기 고정적인 필터링은 상기 복호화 장치에 기-정의된 하나의 보간 필터를 사용하고, 상기 적응적인 필터링은 상기 복호화 장치에 기-정의된 복수의 보간 필터 중 어느 하나를 선택적으로 사용하는 것인, 영상 복호화 방법. - 제1항에 있어서,
상기 참조 화소를 결정하는 단계는,
비트스트림으로부터 참조 화소 라인 선택 정보를 획득하는 단계; 및
상기 참조 화소 라인 선택 정보에 기초하여, 복수의 참조 화소 라인 중 어느 하나의 참조 화소 라인을 선택하는 단계를 포함하는, 영상 복호화 방법. - 제2항에 있어서,
상기 복수의 참조 화소 라인은, 상기 현재 블록에 인접한 제1 참조 화소 라인, 상기 제1 참조 화소 라인에 인접한 제2 참조 화소 라인 및 상기 제2 참조 화소 라인에 인접한 제3 참조 화소 라인을 포함하는, 영상 복호화 방법. - 제1항에 있어서,
상기 현재 블록의 화면내 예측 모드는, MPM 후보로부터 유도되고,
상기 MPM 후보는, 하나의 화면내 예측 모드로 구성되거나, 복수의 화면내 예측 모드로 구성되는, 영상 복호화 방법. - 제4항에 있어서,
상기 MPM 후보의 구성은, 상기 현재 블록이 상기 복수의 참조 화소 라인 중 어떤 참조 화소 라인을 사용하는지에 따라 결정되는, 영상 복호화 방법. - 제4항에 있어서,
상기 MPM 후보가 복수의 화면내 예측 모드로 구성되는 경우,
상기 MPM 후보는, 상기 현재 블록에 인접한 주변 블록의 화면내 예측 모드(modeN), 상기 주변 블록의 화면내 예측 모드에 2를 뺀 모드(modeN-2) 및 상기 주변 블록의 화면내 예측 모드에 2를 더한 모드(modeN+2)를 포함하는, 영상 복호화 방법. - 제6항에 있어서,
상기 주변 블록은, 상단 주변 블록 또는 좌측 주변 블록 중 적어도 하나를 포함하고,
상기 현재 블록의 상단 주변 블록이 복수개인 경우, 상기 복수개의 상단 주변 블록 중 최우측에 위치한 상단 주변 블록이 이용되고,
상기 현재 블록의 좌측 주변 블록이 복수개인 경우, 상기 복수개의 좌측 주변 블록 중 최하단에 위치한 좌측 주변 블록이 이용되는, 영상 복호화 방법. - 제1항에 있어서,
상기 기-정의된 복수의 보간 필터는, 4-tap DCT-IF 필터, 4-tap 큐빅 필터, 4-tap 가우시안 필터, 6-tap 위너 필터 또는 8-tap 칼만 필터 중 적어도 하나를 포함하는, 영상 복호화 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180037812 | 2018-04-01 | ||
| KR20180037812 | 2018-04-01 | ||
| PCT/KR2019/003777 WO2019194485A1 (ko) | 2018-04-01 | 2019-04-01 | 영상 부호화/복호화 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207000412A Division KR102378882B1 (ko) | 2018-04-01 | 2019-04-01 | 영상 부호화/복호화 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210031783A true KR20210031783A (ko) | 2021-03-22 |
Family
ID=68100865
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207000412A KR102378882B1 (ko) | 2018-04-01 | 2019-04-01 | 영상 부호화/복호화 방법 및 장치 |
| KR1020217007603A KR20210031783A (ko) | 2018-04-01 | 2019-04-01 | 영상 부호화/복호화 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207000412A KR102378882B1 (ko) | 2018-04-01 | 2019-04-01 | 영상 부호화/복호화 방법 및 장치 |
Country Status (18)
| Country | Link |
|---|---|
| US (2) | US11297309B2 (ko) |
| EP (1) | EP3780620A4 (ko) |
| JP (2) | JP7152503B2 (ko) |
| KR (2) | KR102378882B1 (ko) |
| CN (11) | CN118474358A (ko) |
| AU (3) | AU2019247240B2 (ko) |
| BR (1) | BR112020020213A2 (ko) |
| CA (2) | CA3095769C (ko) |
| CL (1) | CL2020002508A1 (ko) |
| CO (1) | CO2020011703A2 (ko) |
| MX (4) | MX2020010314A (ko) |
| NZ (1) | NZ769114A (ko) |
| PE (1) | PE20211404A1 (ko) |
| PH (1) | PH12020551469A1 (ko) |
| RU (2) | RU2752011C1 (ko) |
| SG (1) | SG11202009302RA (ko) |
| WO (1) | WO2019194485A1 (ko) |
| ZA (4) | ZA202210140B (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022225346A1 (ko) * | 2021-04-22 | 2022-10-27 | 엘지전자 주식회사 | 세컨더리 mpm 리스트를 이용하는 인트라 예측 방법 및 장치 |
| WO2023022389A1 (ko) * | 2021-08-19 | 2023-02-23 | 현대자동차주식회사 | 직사각형이 아닌 블록 분할 구조를 이용하는 비디오 코딩방법 및 장치 |
| WO2023038315A1 (ko) * | 2021-09-08 | 2023-03-16 | 현대자동차주식회사 | 서브블록 코딩 순서 변경 및 그에 따른 인트라 예측을 이용하는 비디오 코딩방법 및 장치 |
| WO2023128615A1 (ko) * | 2021-12-29 | 2023-07-06 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| WO2023153891A1 (ko) * | 2022-02-13 | 2023-08-17 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| WO2024076134A1 (ko) * | 2022-10-05 | 2024-04-11 | 세종대학교산학협력단 | 동영상 인코딩 및 디코딩 장치와 방법 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230127354A (ko) | 2018-06-29 | 2023-08-31 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 인트라-예측을 위한 디바이스 및 방법 |
| US10284844B1 (en) * | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| WO2020262408A1 (ja) * | 2019-06-25 | 2020-12-30 | 日本放送協会 | イントラ予測装置、画像復号装置、及びプログラム |
| WO2020258020A1 (zh) * | 2019-06-25 | 2020-12-30 | Oppo广东移动通信有限公司 | 信息处理方法及装置、设备、存储介质 |
| WO2022108419A1 (ko) * | 2020-11-23 | 2022-05-27 | 현대자동차주식회사 | 선택적 서브블록 분할정보 전송을 이용하는 영상 부호화 및 복호화 방법과 장치 |
| WO2022177317A1 (ko) * | 2021-02-18 | 2022-08-25 | 현대자동차주식회사 | 서브블록 분할 기반 인트라 예측을 이용하는 비디오 코딩방법 및 장치 |
| WO2022197135A1 (ko) * | 2021-03-19 | 2022-09-22 | 현대자동차주식회사 | 분할된 서브블록의 적응적 순서를 이용하는 비디오 코딩방법 및 장치 |
| US11818395B2 (en) * | 2021-04-22 | 2023-11-14 | Electronics And Telecommunications Research Institute | Immersive video decoding method and immersive video encoding method |
| EP4409909A1 (en) * | 2021-09-27 | 2024-08-07 | Beijing Dajia Internet Information Technology Co., Ltd. | Adaptive coding order for intra prediction in video coding |
| US20230104476A1 (en) * | 2021-10-05 | 2023-04-06 | Tencent America LLC | Grouping based adaptive reordering of merge candidate |
| WO2023224289A1 (ko) * | 2022-05-16 | 2023-11-23 | 현대자동차주식회사 | 가상의 참조라인을 사용하는 비디오 코딩을 위한 방법 및 장치 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000014092A (ko) * | 1998-08-17 | 2000-03-06 | 윤종용 | 인터폴레이션 필터 및 데시메이션 필터 |
| US8503527B2 (en) * | 2008-10-03 | 2013-08-06 | Qualcomm Incorporated | Video coding with large macroblocks |
| CN106067973B (zh) | 2010-05-19 | 2019-06-18 | Sk电信有限公司 | 视频解码设备 |
| US9661338B2 (en) | 2010-07-09 | 2017-05-23 | Qualcomm Incorporated | Coding syntax elements for adaptive scans of transform coefficients for video coding |
| FI3962088T3 (fi) | 2010-11-04 | 2023-09-20 | Ge Video Compression Llc | Kuvankoodaus, joka tukee lohkojen yhdistämistä ja ohittavaa toimintamuotoa |
| US9414056B2 (en) | 2011-01-13 | 2016-08-09 | Samsung Electronics Co., Ltd. | Video-encoding method and apparatus for same and video-decoding method and apparatus for same using a selective scan mode |
| JP6039163B2 (ja) * | 2011-04-15 | 2016-12-07 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| CN103621087B (zh) | 2011-06-23 | 2016-12-07 | Jvc建伍株式会社 | 图像解码装置及图像解码方法 |
| WO2013074964A1 (en) | 2011-11-16 | 2013-05-23 | Vanguard Software Solutions, Inc. | Video compression for high efficiency video coding |
| FR2993084A1 (fr) | 2012-07-09 | 2014-01-10 | France Telecom | Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants |
| JPWO2014049982A1 (ja) | 2012-09-28 | 2016-08-22 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
| WO2015100515A1 (en) * | 2013-12-30 | 2015-07-09 | Qualcomm Incorporated | Simplification of segment-wise dc coding of large prediction blocks in 3d video coding |
| US9715559B2 (en) | 2014-03-17 | 2017-07-25 | Qualcomm Incorporated | Hash-based encoder search for intra block copy |
| US11330297B2 (en) | 2014-08-19 | 2022-05-10 | Qualcomm Incorporated | Methods incorporating extensions to copy-above mode for palette mode coding |
| CN112954351B (zh) | 2015-11-24 | 2024-08-13 | 三星电子株式会社 | 视频解码装置和视频编码装置 |
| JP6890428B2 (ja) | 2016-01-28 | 2021-06-18 | 日本放送協会 | 符号化装置、復号装置及びプログラム |
| CN108605129A (zh) | 2016-01-28 | 2018-09-28 | 日本放送协会 | 编码装置、解码装置以及程序 |
| ES2692864B1 (es) | 2016-02-25 | 2019-10-21 | Kt Corp | Metodo y aparato para procesar senales de video |
| KR102684942B1 (ko) * | 2016-03-17 | 2024-07-12 | 세종대학교산학협력단 | 인트라 예측 기반의 비디오 신호 처리 방법 및 장치 |
| JP2017192011A (ja) | 2016-04-13 | 2017-10-19 | 三菱電機株式会社 | 導波管フィルタ用排熱器 |
| KR20170122351A (ko) | 2016-04-26 | 2017-11-06 | 인텔렉추얼디스커버리 주식회사 | 화면 내 예측 방향성에 따른 적응적 부호화 순서를 사용하는 비디오 코딩 방법 및 장치 |
| CN114189682A (zh) | 2016-04-26 | 2022-03-15 | 英迪股份有限公司 | 图像解码方法、图像编码方法以及传输比特流的方法 |
| WO2017192011A2 (ko) * | 2016-05-02 | 2017-11-09 | 한양대학교 산학협력단 | 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
| CA3025340A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | General block partitioning method |
| US10880548B2 (en) | 2016-06-01 | 2020-12-29 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding video according to coding order |
| CN107566848B (zh) | 2016-06-30 | 2020-04-14 | 华为技术有限公司 | 编解码的方法及装置 |
| US10609423B2 (en) | 2016-09-07 | 2020-03-31 | Qualcomm Incorporated | Tree-type coding for video coding |
-
2019
- 2019-04-01 CA CA3095769A patent/CA3095769C/en active Active
- 2019-04-01 CN CN202410525319.XA patent/CN118474358A/zh active Pending
- 2019-04-01 BR BR112020020213-4A patent/BR112020020213A2/pt unknown
- 2019-04-01 AU AU2019247240A patent/AU2019247240B2/en active Active
- 2019-04-01 US US17/040,765 patent/US11297309B2/en active Active
- 2019-04-01 CN CN202410525396.5A patent/CN118474360A/zh active Pending
- 2019-04-01 CN CN202410525348.6A patent/CN118474359A/zh active Pending
- 2019-04-01 CN CN202410525212.5A patent/CN118474355A/zh active Pending
- 2019-04-01 CN CN202311448655.0A patent/CN117692637A/zh active Pending
- 2019-04-01 EP EP19781285.2A patent/EP3780620A4/en active Pending
- 2019-04-01 NZ NZ769114A patent/NZ769114A/en unknown
- 2019-04-01 CN CN202410525270.8A patent/CN118474357A/zh active Pending
- 2019-04-01 PE PE2020001495A patent/PE20211404A1/es unknown
- 2019-04-01 RU RU2020134739A patent/RU2752011C1/ru active
- 2019-04-01 WO PCT/KR2019/003777 patent/WO2019194485A1/ko active Application Filing
- 2019-04-01 KR KR1020207000412A patent/KR102378882B1/ko active IP Right Grant
- 2019-04-01 CA CA3207701A patent/CA3207701A1/en active Pending
- 2019-04-01 CN CN202311451276.7A patent/CN117692638A/zh active Pending
- 2019-04-01 CN CN202410525250.0A patent/CN118474356A/zh active Pending
- 2019-04-01 CN CN202311458822.XA patent/CN117692639A/zh active Pending
- 2019-04-01 CN CN201980023756.9A patent/CN111937395B/zh active Active
- 2019-04-01 SG SG11202009302RA patent/SG11202009302RA/en unknown
- 2019-04-01 JP JP2020553472A patent/JP7152503B2/ja active Active
- 2019-04-01 CN CN202410525422.4A patent/CN118474361A/zh active Pending
- 2019-04-01 MX MX2020010314A patent/MX2020010314A/es unknown
- 2019-04-01 KR KR1020217007603A patent/KR20210031783A/ko not_active Application Discontinuation
- 2019-04-01 RU RU2021120287A patent/RU2021120287A/ru unknown
-
2020
- 2020-09-11 PH PH12020551469A patent/PH12020551469A1/en unknown
- 2020-09-23 CO CONC2020/0011703A patent/CO2020011703A2/es unknown
- 2020-09-28 CL CL2020002508A patent/CL2020002508A1/es unknown
- 2020-09-29 MX MX2023007743A patent/MX2023007743A/es unknown
- 2020-09-29 MX MX2023007746A patent/MX2023007746A/es unknown
- 2020-09-29 MX MX2023007745A patent/MX2023007745A/es unknown
-
2022
- 2022-02-25 US US17/680,674 patent/US12075026B2/en active Active
- 2022-06-28 AU AU2022204573A patent/AU2022204573B2/en active Active
- 2022-09-13 ZA ZA2022/10140A patent/ZA202210140B/en unknown
- 2022-09-28 JP JP2022155326A patent/JP2022177266A/ja active Pending
-
2023
- 2023-02-03 ZA ZA2023/01409A patent/ZA202301409B/en unknown
- 2023-02-03 ZA ZA2023/01408A patent/ZA202301408B/en unknown
- 2023-02-03 ZA ZA2023/01406A patent/ZA202301406B/en unknown
-
2024
- 2024-07-30 AU AU2024205220A patent/AU2024205220A1/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022225346A1 (ko) * | 2021-04-22 | 2022-10-27 | 엘지전자 주식회사 | 세컨더리 mpm 리스트를 이용하는 인트라 예측 방법 및 장치 |
| WO2023022389A1 (ko) * | 2021-08-19 | 2023-02-23 | 현대자동차주식회사 | 직사각형이 아닌 블록 분할 구조를 이용하는 비디오 코딩방법 및 장치 |
| WO2023038315A1 (ko) * | 2021-09-08 | 2023-03-16 | 현대자동차주식회사 | 서브블록 코딩 순서 변경 및 그에 따른 인트라 예측을 이용하는 비디오 코딩방법 및 장치 |
| WO2023128615A1 (ko) * | 2021-12-29 | 2023-07-06 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| WO2023153891A1 (ko) * | 2022-02-13 | 2023-08-17 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| WO2024076134A1 (ko) * | 2022-10-05 | 2024-04-11 | 세종대학교산학협력단 | 동영상 인코딩 및 디코딩 장치와 방법 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102378882B1 (ko) | 영상 부호화/복호화 방법 및 장치 | |
| KR102296536B1 (ko) | 색차 성분에 관한 화면내 예측 부호화/복호화 방법 및 장치 | |
| KR20210016053A (ko) | 영상 부호화/복호화 방법 및 장치 | |
| KR20240036533A (ko) | 복수의 예측 모드 후보군을 사용하여 화면내 예측을 수행하는 영상 부호화/복호화 방법 및 장치 | |
| JP7453236B2 (ja) | 画像符号化／復号化方法及び装置 | |
| KR20210000691A (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
| KR20210009417A (ko) | 영상 부호화/복호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |