KR20220024008A - 비디오 코딩 시스템 및 방법 - Google Patents

비디오 코딩 시스템 및 방법 Download PDF

Info

Publication number
KR20220024008A
KR20220024008A KR1020217040636A KR20217040636A KR20220024008A KR 20220024008 A KR20220024008 A KR 20220024008A KR 1020217040636 A KR1020217040636 A KR 1020217040636A KR 20217040636 A KR20217040636 A KR 20217040636A KR 20220024008 A KR20220024008 A KR 20220024008A
Authority
KR
South Korea
Prior art keywords
vpdu
block
divided
unit
determining
Prior art date
Application number
KR1020217040636A
Other languages
English (en)
Inventor
체-웨이 쿠오
징 야 리
총 순 림
한 분 테오
하이 웨이 순
로이 마스
다다마사 도마
다카히로 니시
기요후미 아베
유스케 가토
Original Assignee
파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 filed Critical 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Publication of KR20220024008A publication Critical patent/KR20220024008A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

인코더는 회로부 및 상기 회로부에 결합된 메모리를 포함한다. 상기 회로부는 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 채도 샘플의 블록은 휘도 샘플을 사용하지 않고 예측된다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측된다. 예측된 채도 샘플을 사용하여 상기 블록을 인코딩한다.

Description

비디오 코딩 시스템 및 방법
본 개시는 비디오 코딩에 관한 것으로, 보다 상세하게는 예측된 채도(chroma) 샘플을 사용한 블록의 인코딩을 수행하기 위한 것과 같은 비디오 인코딩 및 디코딩에서의 비디오 인코딩 및 디코딩 시스템, 구성요소 및 방법에 관한 것이다.
H.261 및 MPEG-1로부터 H.264/AVC(Advanced Video Coding), MPEG-LA, H.265/HEVC(High Efficiency Video Coding) 및 H.266/VVC(Versatile Video Codec)로 비디오 코딩 기술이 발전함에 따라, 다양한 애플리케이션에서 지속적으로 증가하는 디지털 비디오 데이터 량을 처리하기 위해 비디오 코딩 기술을 개선하고 최적화해야 하는 지속적인 요구가 존재한다. 본 개시는, 비디오 코딩에서, 보다 상세하게는 예측된 색차 샘플을 사용한 블록의 인코딩을 수행 시에 더 발전, 개선 및 최적화하는 것에 관한 것이다.
일 양태에서, 인코더는 회로부 및 상기 회로부에 결합된 메모리를 포함한다. 상기 회로부는 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 예측된 채도 샘플을 사용하여 상기 블록을 인코딩한다.
일 양태에서, 인코더는, 동작 시에, 제1 이미지를 복수의 블록으로 분할하는 블록 분할부; 동작 시에, 상기 제1 이미지에 포함된 참조 블록을 이용하여 상기 제1 이미지에 포함된 블록을 예측하는 인트라 예측부; 동작 시에, 상기 제1 이미지와는 다른 제2 이미지에 포함된 참조 블록을 이용하여 상기 제1 이미지에 포함된 블록을 예측하는 인터 예측부; 동작 시에, 상기 제1 이미지에 포함된 블록을 필터링하는 루프 필터; 동작 시에, 상기 인트라 예측부 또는 상기 인터 예측부에 의해 생성된 예측 신호와 원본 신호 사이의 예측 오차를 변환하여 변환 계수를 생성하는 변환부; 동작 시에, 상기 변환 계수를 양자화하여 양자화된 계수를 생성하는 양자화부; 및 동작 시에, 상기 양자화된 계수를 가변 인코딩하여 인코딩된 양자화된 계수 및 제어 정보를 포함하는 인코딩된 비트스트림을 생성하는 엔트로피 인코더를 포함한다. 블록을 예측하는 것은 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것을 포함한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 예측된 채도 샘플을 사용하여 블록을 인코딩한다.
일 양태에서, 디코더는 회로부 및 상기 회로부에 결합된 메모리를 포함한다. 상기 회로부는 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측된다. 예측된 채도 샘플을 사용하여 블록을 디코딩한다.
일 양태에서, 디코딩 디바이스는, 동작 시에, 인코딩된 비트스트림을 디코딩하여 양자화된 계수를 출력하는 디코더; 동작 시에, 상기 양자화된 계수를 역양자화하여 변환 계수를 출력하는 역양자화부; 동작 시에, 상기 변환 계수를 역변환하여 예측 오차를 출력하는 역변환부; 동작 시에, 제1 이미지에 포함된 참조 블록을 이용하여 상기 제1 이미지에 포함된 블록을 예측하는 인트라 예측부; 상기 제1 이미지와는 다른 제2 이미지에 포함된 참조 블록을 이용하여 상기 제1 이미지에 포함된 블록을 예측하는 인터 예측부; 동작 시에, 상기 제1 이미지에 포함된 블록을 필터링하는 루프 필터; 및 동작 시에, 상기 제1 이미지를 포함하는 화상을 출력하는 출력부를 포함한다. 블록을 예측하는 것은 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것을 포함한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 예측된 채도 샘플을 사용하여 블록을 디코딩한다.
일 양태에서, 인코딩 방법은 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 단계를 포함한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 예측된 채도 샘플을 사용하여 상기 블록을 인코딩한다.
일 양태에서, 디코딩 방법은 제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 단계를 포함한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측한다. 예측된 채도 샘플을 사용하여 상기 블록을 디코딩한다.
비디오 인코딩 기술에서, 코딩 효율을 개선하며, 이미지 품질을 향상시키고, 회로 규모를 줄이기 위해 새로운 방법을 제안하는 것이 바람직하다. 단독으로 또는 여러 조합으로 고려되는 본 개시의 실시예의 구성요소를 포함한, 본 개시의 실시예의 일부 구현은 다음: 코딩 효율의 개선, 이미지 품질의 향상, 인코딩/디코딩과 관련된 처리 소스의 활용 감소, 회로 규모의 감소, 인코딩/디코딩의 처리 속도의 개선 등 중 하나 이상을 용이하게 할 수 도 있다.
게다가, 단독으로 또는 여러 조합으로 고려되는 본 개시의 실시예의 구성요소를 포함한, 본 개시의 실시예의 일부 구현은, 인코딩 및 디코딩 시에, 필터, 블록, 규모, 움직임 벡터, 참조 화상, 참조 블록 또는 동작과 같은 하나 이상의 요소의 적절한 선택을 용이하게 할 수 도 있다. 본 개시는, 전술한 장점 외의 장점을 제공할 수 도 있는 구성 및 방법에 관한 개시를 포함함을 주목해야 한다. 그러한 구성 및 방법의 예는 처리 자원의 사용의 증가를 감소시키면서도 코딩 효율을 개선하기 위한 구성이나 방법을 포함한다.
개시한 실시예의 추가 이점과 장점은 명세서 및 도면에서 자명하게 될 것이다. 이점 및/또는 장점은 명세서 및 도면의 여러 실시예와 특성에 의해 개별적으로 얻어질 수 도 있으며, 여러 실시예 및 특성 모두가 그러한 이점 및/또는 장점 중 하나 이상을 얻기 위해 제공될 필요가 있는 것은 아니다.
일반적인 또는 특정한 실시예는 시스템, 방법, 집적 회로, 컴퓨터 프로그램, 저장 매체, 또는 이들의 임의의 선택적 조합으로서 구현될 수 있다는 것을 주목해야 한다.
도 1은 일 실시예에 따른 송신 시스템의 기능적 구성의 일례를 예시하는 개략도이다.
도 2는 스트림에서 데이터의 계층 구조의 일례를 예시하기 위한 개념도이다.
도 3은 슬라이스 구성의 일례를 예시하기 위한 개념도이다.
도 4는 타일 구성의 일례를 예시하기 위한 개념도이다.
도 5는 조정 가능한 인코딩에서의 인코딩 구조의 일례를 예시하기 위한 개념도이다.
도 6은 조정 가능한 인코딩에서 인코딩 구조의 일례를 예시하기 위한 개념도이다.
도 7은 일 실시예에 따른 인코더의 기능적 구성을 예시하는 블록도이다.
도 8은 인코더의 장착 예를 예시하는 기능 블록도이다.
도 9는 인코더에 의해 수행되는 전체 인코딩 처리의 일례를 나타내는 흐름도이다.
도 10은 블록 분할의 일례를 예시하기 위한 개념도이다.
도 11은 일 실시예에 따라 분할부의 기능적 구성의 일례를 예시하는 블록도이다.
도 12는 분할 패턴의 예를 예시하기 위한 개념도이다.
도 13a는 분할 패턴의 신택스 트리의 일례를 예시하기 위한 개념도이다.
도 13b는 분할 패턴의 신택스 트리의 다른 일례를 예시하기 위한 개념도이다.
도 14는, 다양한 변환 유형에 대한 변환 기저 함수(transform basis function) 예를 예시하는 차트이다.
도 15는 예시적인 공간적으로 변하는 변환(spatially varying transform: SVT)을 예시하는 개념도이다.
도 16은 변환부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
도 17은 변환부에 의해 수행되는 처리의 다른 일례를 예시하는 흐름도이다.
도 18은 일 실시예에 따른 양자화부의 기능적 구성의 일례를 예시하는 블록도이다.
도 19는 양자화부에 의해 수행되는 양자화 처리의 일례를 예시하는 흐름도이다.
도 20은 일 실시예에 따른 엔트로피 인코더의 기능적 구성의 일례를 예시하는 블록도이다.
도 21은 엔트로피 인코더에서의 컨텍스트 기반의 적응 이진 산술 코딩(CABAC: Context-based Adaptive Binary Arithmetic Coding) 처리의 흐름 예를 예시하기 위한 개념도이다.
도 22는, 일 실시예에 따른 루프 필터의 기능적 구성의 일례를 예시하는 블록도이다.
도 23a는 적응형 루프 필터(Adaptive Loop Filter: ALF)에서 사용되는 필터 형상의 일례를 예시하기 위한 개념도이다.
도 23b는 ALF에서 사용되는 필터 형상의 다른 예를 예시하기 위한 개념도이다.
도 23c는 ALF에서 사용되는 필터 형상의 다른 예를 예시하기 위한 개념도이다.
도 23d는 교차 구성요소 ALF(CC-ALF)의 흐름예를 예시하기 위한 개념도이다.
도 23e는 CC-ALF에서 사용되는 필터 형상의 예를 예시하기 위한 개념도이다.
도 23f는 조인트 채도 CCALF(JC-CCALF)의 흐름예를 예시하기 위한 개념도이다.
도 23g는 JC-CCALF에 사용될 수 도 있는 가중 인덱스 후보 예를 예시하는 표이다.
도 24는 디블로킹 필터(deblocking filter: DBF)로서 기능하는 루프 필터의 특정 구성의 일례를 나타내는 블록도이다.
도 25는 블록 경계에 관한 대칭 필터링 특징을 갖는 디블로킹 필터의 예를 예시하기 위한 개념도이다.
도 26은 디블로킹 필터 처리가 수행되는 블록 경계를 예시하기 위한 개념도이다.
도 27은 경계 강도(Bs) 값의 예를 예시하기 위한 개념도이다.
도 28은 인코더의 예측부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
도 29는 인코더의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
도 30은 인코더의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
도 31은 일 실시예에서 인트라 예측에서 사용되는 67개의 인트라 예측 모드를 예시하기 위한 개념도이다.
도 32는 인트라 예측부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
도 33은 참조 화상의 예를 예시하기 위한 개념도이다.
도 34는 참조 화상 리스트의 예를 예시하기 위한 개념도이다.
도 35는 인터 예측의 기본 처리 흐름 예를 예시하는 흐름도이다.
도 36은 움직임 벡터 도출 처리의 일례를 예시하는 흐름도이다.
도 37은 움직임 벡터 도출 처리의 다른 예를 예시하는 흐름도이다.
도 38a는 MV 도출을 위한 모드의 특징 예를 예시하기 위한 개념도이다.
도 38b는 MV 도출을 위한 모드의 특징 예를 예시하기 위한 개념도이다.
도 39는 정상 인터 모드에서의 인터 예측 처리의 예를 예시하는 흐름도이다.
도 40은 정상 병합 모드에서 인터 예측 처리의 예를 예시하는 흐름도이다.
도 41은 병합 모드에서 움직임 벡터 도출 처리의 일례를 예시하기 위한 개념도이다.
도 42는 HMVP 병합 모드에 의한 현재 화상을 위한 MV 도출 처리의 일례를 예시하기 위한 개념도이다.
도 43은 프레임 속도 업 변환(frame rate up-conversion: FRUC) 처리의 일례를 예시하는 흐름도이다.
도 44는 움직임 궤적에 따라 2개의 블록 사이의 패턴 매칭(양측 매칭)의 일례를 예시하기 위한 개념도이다.
도 45는 현재 화상의 템플릿과 참조 화상의 블록 사이의 패턴 매칭(템플릿 매칭)의 일례를 예시하기 위한 개념도이다.
도 46a는 다수의 이웃한 블록의 움직임 벡터에 기초하여 각각의 서브 블록의 움직임 벡터를 도출하는 일례를 예시하기 위한 개념도이다.
도 46b는 3개의 제어점(control point)을 사용하는 아핀 모드(affine mode)에서 각각의 서브 블록의 움직임 벡터를 도출하는 일례를 예시하기 위한 개념도이다.
도 47a는 아핀 모드의 제어점에서의 MV 도출 예를 예시하기 위한 개념도이다.
도 47b는 아핀 모드의 제어점에서의 MV 도출 예를 예시하기 위한 개념도이다.
도 47c는 아핀 모드의 제어점에서의 MV 도출 예를 예시하기 위한 개념도이다.
도 48a는 2개의 제어점을 사용하는 아핀 모드를 예시하기 위한 개념도이다.
도 48b는 3개의 제어점을 사용하는 아핀 모드를 예시하기 위한 개념도이다.
도 49a는, 인코딩된 블록에 대한 제어점의 개수와 현재의 블록에 대한 제어점의 개수가 서로 상이할 때 제어점에서의 MV 도출을 위한 방법의 일례를 예시하기 위한 개념도이다.
도 49b는, 인코딩된 블록에 대한 제어점의 개수와 현재의 블록에 대한 제어점의 개수가 서로 상이할 때 제어점에서의 MV 도출을 위한 방법의 다른 예를 예시하기 위한 개념도이다.
도 50은 아핀 병합 모드에서의 처리의 일례를 예시하는 흐름도이다.
도 51은 아핀 인터 모드에서의 처리의 일례를 예시하는 흐름도이다.
도 52a는 2개의 삼각형 예측 이미지의 생성을 예시하기 위한 개념도이다.
도 52b는 제2 파티션과 중첩하는 제1 파티션의 제1 부분, 및 보정 처리의 부분으로서 가중될 수 도 있는 제1 및 제2 샘플 세트의 예를 예시하기 위한 개념도이다.
도 52c는 인접한 파티션의 일부분과 중첩하는 제1 파티션의 일부분인 제1 파티션의 제1 부분을 예시하기 위한 개념도이다.
도 53은 삼각형 모드에서의 처리의 일례를 예시하는 흐름도이다.
도 54는 MV가 서브 블록의 단위로 도출되는 개선된 시간 움직임 벡터 예측(ATMVP: Advanced Temporal Motion Vector Prediction) 모드의 일례를 예시하기 위한 개념도이다.
도 55는 병합 모드와 동적 움직임 벡터 리프레싱(DMVR: Dynamic Motion Vector Refreshing) 사이의 관계를 예시하는 흐름도이다.
도 56은 DMVR의 일례를 예시하기 위한 개념도이다.
도 57은 MV를 결정하기 위한 DMVR의 다른 예를 예시하기 위한 개념도이다.
도 58a는 DMVR에서의 움직임 추정의 일례를 예시하기 위한 개념도이다.
도 58b는 DMVR에서의 움직임 추정의 처리의 일례를 예시하는 흐름도이다.
도 59는 예측 이미지의 생성 처리의 일례를 예시하는 흐름도이다.
도 60은 예측 이미지 생성 처리의 다른 예를 예시하는 흐름도이다.
도 61은 중첩된 블록 움직임 보상(Overlapped Block Motion Compensation: OBMC)에 의한 예측 이미지 보정 처리의 일례를 예시하는 흐름도이다.
도 62는 OBMC에 의한 예측 이미지 보정 처리의 일례를 예시하기 위한 개념도이다.
도 63은 균일한 선형 움직임을 가정한 모델을 예시하기 위한 개념도이다.
도 64는 BIO에 따른 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 65는 BIO에 따른 인터 예측을 실행할 수 도 있는 인터 예측부의 기능적 구성의 일례를 예시하는 기능 블록도이다.
도 66a는 LIC에 의해 수행되는 휘도 보정 처리를 사용하는 예측 이미지 생성 처리의 일례를 예시하기 위한 개념도이다.
도 66b는 LIC를 사용한 예측 이미지 생성 방법의 처리의 일례를 예시하는 흐름도이다.
도 67은 일 실시예에 따른 디코더의 기능 구성을 예시하는 블록도이다.
도 68은 디코더의 장착 예를 예시하는 기능적 블록도이다.
도 69는 디코더에 의해 수행되는 전체 디코딩 처리의 일례를 예시하는 흐름도이다.
도 70은 분할 결정부와 기타 구성 요소 사이의 관계를 예시하기 위한 개념도이다.
도 71은 엔트로피 디코더의 기능적 구성의 일례를 예시하는 블록도이다.
도 72는 엔트로피 디코더의 CABAC 처리의 흐름 예를 예시하기 위한 개념도이다.
도 73은 역양자화부의 기능적 구성의 일례를 예시하는 블록도이다.
도 74는 역양자화부에 의해 수행되는 역양자화의 처리의 일례를 예시하는 흐름도이다.
도 75는 역변환부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
도 76은 역변환부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
도 77은 루프 필터의 기능적 구성의 일례를 예시하는 블록도이다.
도 78은 디코더의 예측부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
도 79는 디코더의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
도 80은 디코더의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
도 81은 디코더의 인트라 예측부에 의해 수행되는 처리의 일례를 예시하는 도면이다.
도 82는 디코더의 MV 도출 처리의 일례를 예시하는 흐름도이다.
도 83은 디코더의 MV 도출 처리의 다른 예를 예시하는 흐름도이다.
도 84는 디코더에서 정상 인터 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 85는 디코더에서 정상 병합 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 86은 디코더에서 FRUC 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 87은 디코더에서 아핀 병합 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 88은 디코더에서 아핀 인터 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 89는 디코더에서 삼각형 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
도 90은 디코더에서 DMVR에 의한 움직임 추정 처리의 일례를 예시하는 흐름도이다.
도 91은 디코더에서 DMVR에 의한 움직임 추정 처리의 일례를 예시하는 흐름도이다.
도 92는 디코더에서 예측 이미지 생성 처리의 일례를 예시하는 흐름도이다.
도 93은 디코더에서 예측 이미지 생성 처리의 다른 예를 예시하는 흐름도이다.
도 94는 디코더에서 OBMC에 의한 예측 이미지 보정 처리의 일례를 예시하는 흐름도이다.
도 95는 디코더에서 BIO에 의한 예측 이미지 보정 처리의 일례를 예시하는 흐름도이다.
도 96은 디코더에서 LIC에 의한 예측 이미지 보정 처리의 일례를 예시하는 흐름도이다.
도 97은 예측된 채도 샘플을 사용하여 블록을 디코딩하는 처리의 일례를 예시하는 흐름도이다.
도 98은 예측된 채도 샘플을 사용하여 블록을 디코딩하는 처리의 일례를 예시하는 흐름도이다.
도 99는 현재 채도 블록이 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는지 여부를 결정하는 예를 예시하기 위한 개념도이다.
도 100은 현재 채도 블록이 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는지 여부를 결정하는 일례를 예시하기 위한 개념도이다.
도 101은 가상 파이프라인 디코딩 단위(VPDU)를 예시하기 위한 개념도이다.
도 102는 현재 VPDU가 휘도 샘플을 사용하여 채도 샘플의 블록을 예측할 수 있는지 여부를 결정하는 일례를 예시하기 위한 개념도이다.
도 103은 휘도 VPDU를 더 작은 블록으로 분할할지 여부를 결정하는 예시적인 방법을 예시하기 위한 개념도이다.
도 104는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정하기 위해 고려될 수 있는 추가 고려사항을 예시하기 위한 개념도이다.
도 105는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다.
도 106은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다.
도 107은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다.
도 108은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다.
도 109는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다.
도 110은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다.
도 111은 비-직사각형 파티션의 예를 예시하기 위한 개념도이다.
도 112는 콘텐츠 분배 서비스를 구현하기 위한 콘텐츠 제공 시스템의 예시적인 전체 구성을 예시하는 도면이다.
도 113은 웹 페이지의 디스플레이 화면의 일례를 예시하기 위한 개념도이다.
도 114는 웹 페이지의 디스플레이 화면의 일례를 예시하기 위한 개념도이다.
도 115는 스마트폰의 일례를 예시하는 블록도이다.
도 116은 스마트폰의 기능 구성의 일례를 예시하는 블록도이다.
도면에서, 문맥에서 달리 나타내지 않는다면, 유사한 참조번호는 유사한 요소를 식별케 한다. 도면에서 요소의 크기 및 상대적 위치는 반드시 실제 축적대로 되어 있지는 않다.
이하, 도면을 참조하여 실시예(들)를 설명한다. 아래에 설명된 실시예(들)는 각각 일반적인 또는 특정 예를 보여준다는 것이 주목된다. 이하의 실시예(들)에 표시된 수치 값, 형상, 재료, 구성요소, 구성요소의 배열 및 연결, 단계, 단계의 관계 및 순서 등은 단지 예시일 뿐이며, 청구범위를 제한하려고 의도된 것이 아니다.
이하에서는 인코더 및 디코더의 실시예를 설명한다. 이 실시예는 본 개시의 양태의 설명에 제시된 처리 및/또는 구성이 적용될 수 있는 인코더 및 디코더의 예시이다. 처리 및/또는 구성은 이 실시예에 따른 것과는 다른 인코더 및 디코더에서도 구현될 수 있다. 예를 들어, 이 실시예에 적용되는 처리 및/또는 구성과 관련하여 다음 중 임의의 것이 구현될 수 있다:
(1) 본 개시의 양태의 설명에 제시된 실시예에 따른 인코더 또는 디코더의 구성요소 중 임의의 구성요소는 본 개시의 양태의 설명에서 어딘가에 제시된 다른 구성요소로 대체되거나 다른 구성요소와 결합될 수 있다.
(2) 이 실시예에 따른 인코더 또는 디코더에서, 기능 또는 처리의 추가, 대체, 제거 등과 같이 인코더 또는 디코더의 하나 이상의 구성요소에 의해 수행되는 기능 또는 처리에 임의의 변경이 이루어질 수 있다. 예를 들어, 임의의 기능 또는 처리는 본 개시의 양태의 설명에서 어딘가에 제시된 다른 기능 또는 처리로 대체되거나 다른 기능 또는 처리와 결합될 수 있다.
(3) 이 실시예에 따른 인코더 또는 디코더에 의해 구현되는 방법에서, 방법에 포함된 하나 이상의 처리의 추가, 대체 및 제거와 같은 임의의 변경이 이루어질 수 있다. 예를 들어, 방법의 임의의 처리는 본 개시의 양태의 설명에서 어딘가에 제시된 다른 처리로 대체되거나 다른 처리와 결합될 수 있다.
(4) 이 실시예에 따른 인코더 또는 디코더에 포함된 하나 이상의 구성요소는 본 개시의 양태의 설명에서 어딘가에 제시된 구성요소와 결합될 수 있고, 본 개시의 양태의 설명에서 어딘가에 제시된 하나 이상의 기능을 포함하는 구성요소와 결합될 수 있고, 본 개시의 양태의 설명에 제시된 구성요소에 의해 구현되는 하나 이상의 처리를 구현하는 구성요소와 결합될 수 있다.
(5) 이 실시예에 따른 인코더 또는 디코더의 하나 이상의 기능을 포함하는 구성요소 또는 이 실시예에 따른 인코더 또는 디코더의 하나 이상의 처리를 구현하는 구성요소는 본 개시의 양태의 설명에서 어딘가에 제시된 구성요소와 결합되거나 구성요소로 대체될 수 있고, 본 개시의 양태의 설명에서 어딘가에 제시된 하나 이상의 기능을 포함하는 구성요소와 결합되거나 구성요소로 대체될 수 있고, 또는 본 개시의 양태의 설명에서 어딘가에 제시된 하나 이상의 처리를 구현하는 구성요소와 결합되거나 구성요소로 대체될 수 있다.
(6) 이 실시예에 따른 인코더 또는 디코더에 의해 구현된 방법에서, 방법에 포함된 임의의 처리는 본 개시의 양태의 설명에서 어딘가에 제시된 처리 또는 임의의 대응하는 또는 등가적인 처리로 대체되거나 처리와 결합될 수 있다.
(7) 이 실시예에 따른 인코더 또는 디코더에 의해 구현된 방법에 포함된 하나 이상의 처리는 본 개시의 양태의 설명에서 어딘가에 제시된 처리와 결합될 수 있다.
(8) 본 개시의 양태의 설명에 제시된 처리 및/또는 구성의 구현은 이 실시예에 따른 인코더 또는 디코더로 제한되지 않는다. 예를 들어, 상기 처리 및/또는 구성은 이 실시예에서 개시된 동화상 인코더 또는 동화상 디코더와는 다른 목적으로 사용되는 디바이스에서도 구현될 수 있다.
(용어 정의)
각 용어는 예를 들어 아래에 기재된 대로 정의될 수 도 있다.
이미지는 픽셀 세트로 구성되는 데이터 단위이거나, 화상이거나, 픽셀보다 작은 블록을 포함한다. 이미지는 비디오 외에 정지 이미지를 포함한다.
화상은 픽셀 세트로 구성되는 이미지 처리 단위이며, 또한 프레임이나 필드로서 지칭될 수 도 있다. 화상은 예를 들어, 단색 포맷에서는 휘도 샘플의 어레이이거나 4:2:0, 4:2:2 및 4:4:4 색 포맷에서는 휘도 샘플의 어레이와 채도 샘플의 2개의 대응하는 어레이의 형태를 가질 수 도 있다.
블록은 결정된 수의 픽셀의 세트인 처리 단위이다. 블록은 임의의 수의 상이한 형상을 가질 수 도 있다. 예를 들어, 블록은 M×N(M-열×N-행) 픽셀의 직사각형 형상, M×M 픽셀의 정사각형 형상, 삼각형 형상, 원 형상 등을 가질 수 도 있다. 블록의 예는 슬라이스, 타일, 브릭, CTU, 수퍼 블록, 기본 분할 단위, VPDU들, 하드웨어용 처리 분할 단위, CU들, 처리 블록 단위, 예측 블록 단위(PUs), 직교 변환 블록 단위(TUs), 단위 및 서브 블록을 가질 수 도 있다. 블록은 M×N 샘플 어레이 또는 M×N 변환 계수 어레이의 형태를 가질 수 도 있다. 예를 들어, 블록은 하나의 휘도 및 2개의 채도 매트릭스를 포함하는 정사각형 또는 직사각형 픽셀 구역일 수 도 있다.
픽셀이나 샘플은 이미지의 최저점이다. 픽셀이나 이미지는 정수 포지션에 픽셀을 포함하며, 또한 서브 픽셀 포지션에 픽셀 - 예를 들어, 정수 포지션에서의 픽셀을 기초로 하여 생성됨 - 을 포함한다.
픽셀 값 또는 샘플 값은 픽셀의 고유치이다. 픽셀 값 또는 샘플 값은 휘도 값, 채도 값, RGB 그라데이션 값, 깊이 값, 0 또는 1인 이진 값 등 중 하나 이상을 포함할 수 도 있다.
채도는, 심벌(Cb 및 Cr)에 의해 통상 표현되는 색의 세기이며, 샘플 어레이의 값이나 단일 샘플 값이 원색에 관련된 2개의 색차 신호 중 하나의 신호의 값을 나타냄을 명시한다.
휘도는 심벌 또는 아랫첨자(Y 또는 L)에 의해 통상 표현되는 이미지의 밝기이며, 샘플 어레이의 값이나 단일 샘플 값이 원색에 관련된 단색 신호의 값을 나타냄을 명시한다.
플래그는, 예를 들어 파라미터나 인덱스의 값을 나타내는 하나 이상의 비트를 포함한다. 플래그는, 또한 파라미터의 비-이진 값을 나타낼 수 도 있는 플래그의 이진 값을 나타내는 이진 플래그일 수 도 있다.
신호는, 신호에 의해 부호화되거나 신호로 인코딩되는 정보를 전달한다. 신호는 이산 디지털 신호와 연속 아날로그 신호를 포함한다.
스트림 또는 비트스트림은 디지털 데이터 흐름의 디지털 데이터 스트링이다. 스트림 또는 비트스트림은 하나의 스트림일 수 도 있거나 다수의 계층적 층을 갖는 다수의 스트림으로 구성될 수 도 있다. 스트림 또는 비트스트림은 단일 송신 경로를 사용하는 직렬 통신에서 송신될 수 도 있거나, 다수의 송신 경로를 사용하는 패킷 통신에서 송신될 수 도 있다.
차이는, 간단한 차이(x - y), 차이의 절대값(|x - y|), 제곱차(x^2 - y^2), 차이의 제곱근(√(x - y)), 가중된 차(ax - by; a 및 b는 상수), 오프셋 차(x - y + a: a는 오프셋) 등과 같은 여러 가지 수학적 차이를 지칭한다. 스칼라 양의 경우, 간단한 차이면 충분할 수 있으며, 차이 계산이 포함될 수 도 있다.
합은, 간단한 합(x + y), 합의 절대값(|x + y|), 제곱합(x^2 + y^2), 합의 제곱근(√(x + y)), 가중된 합(ax + by; a 및 b는 상수), 오프셋 합(x + y + a: a는 오프셋) 등과 같은 여러 가지 수학적 차이를 지칭한다. 스칼라 양의 경우, 간단한 합이면 충분할 수 있으며, 합 계산이 포함될 수 도 있다.
프레임은 상단 필드와 하단 필드의 조합이며, 샘플 행 0, 2, 4,...은 상단 필드로부터 유래하며, 샘플 행 1, 3, 5,...은 하단 필드로부터 유래한다.
슬라이스는 하나의 독립 슬라이스 세그먼트와, 동일한 액세스 단위 내의 그 다음 독립 슬라이스 세그먼트(있다면)에 선행하는 모든 후속한 종속 슬라이스 세그먼트(있다면)에 포함되는 정수 개의 코딩 트리 단위이다.
타일은, 화상의 특정 타일 열과 특정 타일 행 내에의 코딩 트리 블록의 직사각형 구역이다. 타일은, 비록 타일 에지에 걸친 루프-필터링이 여전히 적용될 수 있을지라도, 독립적으로 디코딩 및 인코딩될 수 있고자 하는 프레임의 직사각형 구역일 수 도 있다.
코딩 트리 단위(CTU)는, 3개의 샘플 어레이나, 채도 샘플의 2개의 대응하는 코딩 트리 블록을 갖는 화상의 휘도 샘플의 코딩 트리 블록일 수 도 있다. 대안적으로, CTU는, 샘플을 코딩하는데 사용되는 신택스 구조와 3개의 별도의 색 평면을 사용하여 코딩된 화상 및 단색 화상 중 하나의 화상의 샘플의 코딩 트리 블록일 수 도 있다. 수퍼 블록은, 1 또는 2 모드 정보 블록 중 어느 하나로 구성되는 64×64 픽셀의 정사각형 블록일 수 도 있거나, 그 자체로 더 구획될 수 있는 4개의 32×32 블록으로 반복적으로 구획된다.
(시스템 구성)
먼저, 일 실시예에 따른 송신 시스템을 설명할 것이다. 도 1은 일 실시예에 따른 송신 시스템(400)의 구성의 일례를 예시하는 개략도이다.
송신 시스템(400)은 이미지를 인코딩함으로써 생성되는 스트림을 송신하며 송신된 스트림을 디코딩하는 시스템이다. 예시한 바와 같이, 송신 시스템(400)은 도 1에 예시한 바와 같이 인코더(100), 네트워크(300) 및 디코더(200)를 포함한다.
이미지가 인코더(100)에 입력된다. 인코더(100)는 입력 이미지를 인코딩함으로써 스트림을 생성하며, 스트림을 네트워크(300)에 출력한다. 스트림은 예를 들어 인코딩된 이미지를 디코딩하기 위해 인코딩된 이미지 및 제어 정보를 포함한다. 이미지는 인코딩에 의해 압축된다.
인코더(100)에 의해 인코딩되기 전의 이미지를 또한 원래의 이미지, 원래의 신호 또는 원래의 샘플이라고 칭함을 주목해야 한다. 이미지는 비디오 또는 정지 이미지일 수 도 있다. 이미지는 시퀀스, 화상 및 블록의 일반 개념이며, 따라서 달리 명시하지 않는다면 특정 크기를 갖는 공간 구역으로 및 특정 크기를 갖는 시간 구역으로 제한되지 않는다. 이미지는 픽셀 또는 픽셀 값의 어레이이며, 이미지를 나타내는 신호 또는 픽셀 값을 또한 샘플이라고 칭한다. 스트림은 비트스트림, 인코딩된 비트스트림, 압축된 비트스트림 도는 인코딩된 신호로 지칭할 수 도 있다. 더 나아가, 인코더(100)는 이미지 인코더나 비디오 인코더로 지칭할 수 도 있다. 인코더(100)에 의해 수행된 인코딩 방법을 인코딩 방법, 이미지 인코딩 방법 또는 비디오 인코딩 방법이라고 칭할 수 도 있다.
네트워크(300)는 인코더(100)에 의해 생성된 스트림을 디코더(200)에 송신한다. 네트워크(200)는 인터넷, 광대역 네트워크(WAN), 근거리 네트워크(LAN) 또는 네트워크의 임의의 조합일 수 도있다. 네트워크(300)는 양방향 통신 네트워크로 제한되지 않으며, 디지털 지상 방송, 위성 방송 등의 방송파를 송신하는 단방향 통신 네트워크일 수 도 있다. 대안적으로, 네트워크(300)는, 스트림이 기록되는 디지털 다용도 디스크(DVD) 및 블루레이 디스크(BD) 등과 같은 기록 매체로 교체할 수 도 있다.
디코더(200)는, 네트워크(300)에 의해 송신되는 스트림을 디코딩함으로써, 예를 들어 압축되지 않은 이미지인 디코딩된 이미지를 생성한다. 예를 들어, 디코더는, 인코더(100)에 의해 이용되는 인코딩 방법에 대응하는 디코딩 방법에 따라 스트림을 디코딩한다.
디코더(200)는 또한 이미지 디코더나 비디오 디코더로 지칭될 수 도 있으며, 디코더(200)에 의해 수행되는 디코딩 방법은 또한 디코딩 방법, 이미지 디코딩 방법 또는 비디오 디코딩 방법이라 지칭될 수 도 있음을 주목해야 한다.
(데이터 구조)
도 2는 스트림에서 데이터의 계층적 구조의 일례를 예시하기 위한 개념도이다. 편의상, 도 2는 도 1의 송신 시스템(400)을 참조하여 설명될 것이다. 스트림은 예를 들어 비디오 시퀀스를 포함한다. 도 2의 (a)에 예시한 바와 같이, 비디오 시퀀스는 하나 이상의 비디오 파라미터 세트(VPS), 하나 이상의 시퀀스 파라미터 세트(SPS), 하나 이상의 화상 파라미터 세트(PPS), 보충 향상 정보(SEI: Supplemental Enhancement Information), 및 다수의 화상을 포함한다.
다수의 층을 갖는 비디오에서, VPS는 다수의 층 중 일부 사이에서 공통되는 코딩 파라미터, 및 비디오에 포함되는 다수의 층 중 일부나 개별 층에 관련되는 코딩 파라미터를 포함할 수 도 있다.
SPS는 시퀀스에 사용되는 파라미터, 즉 시퀀스를 디코딩하기 위해 디코더(200)가 참조하는 코딩 파라미터를 포함한다. 예를 들어, 코딩 파라미터는 화상의 폭이나 높이를 나타낼 수 도 있다. 다수의 SPS가 존재할 수 도 있음을 주목해야 한다.
PPS는 화상에 사용되는 파라미터, 즉 시퀀스에서 화상 각각을 디코딩하기 위해 디코더(200)가 참조하는 코딩 파라미터를 포함한다. 예를 들어, 코딩 파라미터는, 가중된 예측의 적용을 나타내는 플래그 및 화상을 디코딩하는데 사용되는 양자화 폭에 대한 참조 값을 포함할 수 도 있다. 다수의 PPS가 존재할 수 도 있음을 주목해야 한다. SPS 및 PPS 각각을 간단히 파라미터 세트로 지칭할 수 도 있다.
도 2의 (b)에 예시한 바와 같이, 화상은 화상 헤더와 하나 이상의 슬라이스를 포함할 수 도 있다. 화상 헤더는, 하나 이상의 슬라이스를 디코딩하기 위해 디코더(200)가 참조하는 코딩 파라미터를 포함한다.
도 2의 (c)에 예시한 바와 같이, 슬라이스는 슬라이스 헤더와 하나 이상의 브릭(brick)을 포함할 수 도 있다. 슬라이스 헤더는, 하나 이상의 브릭을 디코딩하기 위해 디코더(200)가 참조하는 코딩 파라미터를 포함한다.
도 2의 (d)에 예시한 바와 같이, 브릭은 하나 이상의 코딩 트리 단위(CTU)를포함한다.
화상은 임의의 슬라이스를 포함하지 않을 수 도 있으며, 슬라이스 대신 타일 그룹을 포함할 수 도 있음을 주목해야 한다. 이 경우, 타일 그룹은 적어도 하나의 타일을 포함한다. 게다가, 브릭은 슬라이스를 포함할 수 도 있다.
CTU는 수퍼 블록 또는 기본 분할 단위로서 또한 지칭된다. 도 2의 (e)에 예시한 바와 같이, CTU는 CTU 헤더와 적어도 하나의 코딩 단위(CU)를 포함한다. 예시한 바와 같이, CTU는 4개의 코딩 단위(CU(10), CU(11), CU(12) 및 CU(13))를 포함한다. CTU는 적어도 하나의 CU를 디코딩하기 위해 디코더(200)가 참조하는 코딩 파라미터를 포함한다.
CU는 다수의 더 작은 CU로 분할될 수 도 있다. 도시한 바와 같이, CU(10)는 더 작은 코딩 단위로 분할되지 않으며; CU(11)는 4개의 더 작은 코딩 단위(CU(110), CU(111), CU(112) 및 CU(113))로 분할되며; CU(12)는 더 작은 코딩 단위로 분할되지 않으며; CU(13)는 7개의 더 작은 코딩 단위(CU(1310), CU(1311), CU(1312), CU(1313), CU(132), CU(133) 및 CU(134))로 분할된다. 도 2의 (f)에 예시한 바와 같이, CU는 CU 헤더, 예측 정보 및 잔차 계수 정보를 포함한다. 예측 정보는 CU를 예측하기 위한 정보이며, 잔차 계수 정보는 후술될 예측 잔차를 나타내는 정보이다. CU가 기본적으로 예측 단위(PU) 및 변환 단위(TU)와 동일하지만, 예를 들어 후술될 서브 블록 변환(SBT: Sub-Block Transform)이 CU보다 더 작은 다수의 TU를 포함할 수 도 있음을 주목해야 한다. 게다가, CU는 CU에 포함되는 각각의 가상 파이프라인 디코딩 단위(VPDU)에 대해 처리될 수 도 있음을 주목해야 한다. VPDU는 예를 들어, 파이프라인 처리가 하드웨어에서 수행될 때 일 스테이지에서 처리될 수 있는 고정 단위이다.
스트림이 도 2에 예시한 계층적인 층 모두를 포함하지 않을 수 도 있음을 주목해야 한다. 계층적인 층의 순서는 교환될 수 도 있거나, 계층적인 층 중 임의의 층은 다른 계층적인 층에 의해 교체될 수 도 있다. 여기서, 인코더(100)나 디코더(200)와 같은 장치에 의해 수행되게 될 처리에 대한 타겟인 화상을 현재의 화상이라 칭한다. 현재의 화상은, 처리가 인코딩 처리일 때 인코딩될 현재의 화상을 의미하며, 현재의 화상은 처리가 디코딩 처리일 때 디코딩될 현재의 화상을 의미한다. 마찬가지로, 예를 들어 인코더(100)나 디코더(200)와 같은 장치에 의해 수행되게 될 처리에 대한 타겟인 CU 또는 CU의 블록을 현재의 블록이라 칭한다. 현재의 블록은, 처리가 인코딩 처리일 때 인코딩될 현재의 블록을 의미하며, 현재의 블록은 처리가 디코딩 처리일 때 디코딩될 현재의 블록을 의미한다.
(화상 구조: 슬라이스/타일)
화상은 하나 이상의 슬라이스 단위나 하나 이상의 타일 단위로 구성되어 화상의 병렬 코딩/디코딩을 용이하게 할 수 도 있다.
슬라이스는 화상에 포함되는 기본 코딩 단위이다. 화상은 예를 들어 하나 이상의 슬라이스를 포함할 수 도 있다. 게다가, 슬라이스는 하나 이상의 코딩 트리 단위(CTU: Coding Tree Unit)를 포함한다.
도 3은 슬라이스 구성의 일례를 예시하는 개념도이다. 예를 들어, 도 3에서, 화상은 11×8 CTU를 포함하고, 4개의 슬라이스(슬라이스 1 내지 4)로 분할된다. 슬라이스 1은 16개의 CTU를 포함하고, 슬라이스 2는 21개의 CTU를 포함하고, 슬라이스 3은 29개의 CTU를 포함하고, 슬라이스 4는 22개의 CTU를 포함한다. 여기서 화상의 각각의 CTU는 슬라이스들 중 하나에 속한다. 각각의 슬라이스의 형상은 화상을 수평으로 분할하여 얻은 형상이다. 각각의 슬라이스의 경계는 이미지 끝과 일치할 필요가 없으며, 이미지의 CTU 사이의 임의의 경계와 일치할 수 있다. 슬라이스에서 CTU의 처리 순서(인코딩 순서 또는 디코딩 순서)는 예를 들어 래스터-스캔 순서이다. 슬라이스는 슬라이스 헤더와 인코딩된 데이터를 포함한다. 슬라이스의 특성은 슬라이스 헤더에 기록될 수 있다. 특성은 슬라이스에서 상부 CTU의 CTU 어드레스, 슬라이스 유형 등을 포함한다.
타일은 화상에 포함된 직사각형 구역의 단위이다. 화상의 타일에는 래스터 스캔 순서로 TileId라고 하는 번호가 할당될 수 있다.
도 4는 타일 구성의 일례를 예시하기 위한 개념도이다. 예를 들어, 도 4에서, 화상은 11×8 CTU를 포함하고, 직사각형 영역의 4개의 타일(타일 1 내지 타일 4))로 분할된다. 타일이 사용될 때, CTU의 처리 순서는 타일이 사용되지 않는 경우의 처리 순서와는 다르다. 타일이 사용되지 않는 경우 화상의 다수의 CTU는 래스터 스캔 순서로 처리된다. 다수의 타일이 사용되는 경우 다수의 타일 중 각각의 타일에서 적어도 하나의 CTU가 래스터 스캔 순서로 처리된다. 예를 들어, 도 4에 예시된 바와 같이, 타일 1에 포함된 CTU의 처리 순서는 타일 1의 제1 행의 좌측 끝에서부터 시작하여 타일 1의 제1 행의 우측 끝을 향하고 그런 다음 타일 1의 제2 행의 좌측 끝에서부터 시작하여 타일 1의 제2 행의 우측 끝을 향하는 순서이다.
하나의 타일은 하나 이상의 슬라이스를 포함할 수 있고, 하나의 슬라이스는 하나 이상의 타일을 포함할 수 있음을 주목해야 한다.
화상은 하나 이상의 타일 세트로 구성될 수 도 있음을 주목해야 한다. 타일 세트는 하나 이상의 타일 그룹 또는 하나 이상의 타일을 포함할 수 도 있다. 화상은 타일 세트, 타일 그룹 및 타일 중 하나로 구성될 수 도 있다. 예를 들어, 래스터 스캔 순서에서 각 타일 세트에 대해 다수의 타일을 스캔하기 위한 순서가 타일의 기본 인코딩 순서인 것으로 가정된다. 각 타일 세트에서의 기본 인코딩 순서에서 연속인 하나 이상의 타일의 세트를 타일 그룹인 것으로 가정한다. 그러한 화상은 후술될 분할부(102)에 의해 구성될 수 도 있다(도 7 참조).
(스케일링 가능한 인코딩)
도 5 및 도 6은 스케일링 가능한 스트림 구조의 예를 예시하는 개념도이며, 편의상 도 1을 참조하여 설명될 것이다.
도 5에 예시한 바와 같이, 인코더(100)는, 다수의 화상 각각을 다수의 층 중 임의의 층으로 나누고 층에서 화상을 인코딩함으로써 시간적/공간적 스케일링 가능한 스트림을 생성할 수 도 있다. 예를 들어, 인코더(100)는 각 층에 대해 화상을 인코딩하여, 향상 층이 기저 층 위에 존재하는 스케일링성을 달성한다. 각 화상의 그러한 인코딩을 스케일링 가능한 인코딩이라고 또한 지칭한다. 이런 식으로, 디코더(200)는, 스트림을 디코딩함으로써 디스플레이되는 이미지의 이미지 품질을 전환할 수 있다. 다시 말해, 디코더(200)는, 디코더(200)의 처리 능력과 같은 내부 요인과, 통신 대역폭 상태와 같은 외부 요인에 기초하여 디코딩될 층을 결정할 수 도 있다. 결국, 디코더(200)는 저해상도와 고해상도 간을 자유롭게 전환하면서 콘텐츠를 디코딩할 수 있다. 예를 들어, 스트림의 사용자는 집에 가는 동안 스마트 폰을 사용하면서 스트림의 비디오를 시청하며, 인터넷에 연결된 TV와 같은 장치로 집에서 이 비디오를 계속 시청한다. 스마트 폰과 앞서 설명한 장치 각각은 동일한 또는 상이한 성능을 갖는 디코더(200)를 포함함을 주목해야 한다. 이 경우, 장치가 스트림에서 더 높은 층까지 층을 디코딩할 때, 사용자는 집에서 고품질로 비디오를 시청할 수 있다. 이런 식으로, 인코더100)는 동일한 콘텐츠의 상이한 이미지 품질을 갖는 다수의 스트림을 생성할 필요가 없으며, 그에 따라 처리 부하가 감소할 수 있다.
또한, 향상 층은 이미지에 대한 통계 정보에 기초한 메타데이터 정보를 포함할 수 도 있다. 디코더(200)는 메타데이터에 기초하여 기저 층의 화상에 대해 초해상도 이미징을 수행함으로써 이미지 품질이 향상된 비디오를 생성할 수 있다. 초해상도 이미징은 예를 들어 동일 해상도에서의 SN비 개선, 해상도의 증가 등을 포함할 수 도 있다. 메타데이터는, 예를 들어 초해상도 처리에 사용되는 선형 또는 비선형 필터 계수를 식별하는 정보, 또는 초해상도 처리에 사용되는 필터 처리, 기계 학습 또는 최소 제곱법에서 파라미터 값을 식별하는 정보 등을 포함한다.
일실시예에서, 예를 들어, 화상에서 객체의 의미에 따라 화상을 예를 들어 타일로 나누는 구성이 제공될 수 있다. 이 경우, 디코더(200)는 디코딩할 타일을 선택함으로써 화상에서 일부 구역만을 디코딩할 수 도 있다. 또한, 객체(사람, 자동차, 공 등)의 속성과 화상 내의 객체의 위치(동일한 이미지의 좌표)를 메타데이터로서 저장할 수 도 있다. 이 경우에, 디코더(200)는 메타데이터에 기초하여 원하는 객체의 위치를 식별하고, 이 객체를 포함하는 타일을 결정할 수 있다. 예를 들어, 도 6에 예시된 바와 같이, 메타데이터는 HEVC의 보충 향상 정보(supplemental enhancement information: SEI) 메시지와 같은 이미지 데이터와는 상이한 데이터 저장 구조를 사용하여 저장될 수 있다. 이 메타데이터는 예를 들어 주 객체의 위치, 크기 또는 색을 나타낸다.
메타 데이터는 스트림, 시퀀스 또는 랜덤 액세스 단위와 같은 다수의 화상의 단위로 저장될 수 있다. 이런 식으로, 디코더(200)는 예를 들어 특정 사람이 비디오에 등장하는 시간을 획득할 수 있고, 시간 정보를 화상 단위 정보와 맞춤으로써 객체(사람)가 존재하는 화상을 식별할 수 있고, 화상에서 객체의 위치를 결정할 수 있다.
(인코더)
먼저, 일 실시예에 따른 인코더를 설명한다. 도 7은 실시예에 따른 인코더(100)의 기능적 구성을 예시하는 블록도이다. 인코더(100)는 비디오를 블록 단위로 인코딩하는 비디오 인코더이다.
도 7에 도시된 바와 같이, 인코더(100)는 이미지를 블록 단위로 인코딩하는 장치이고, 분할부(102), 감산부(104), 변환부(106), 양자화부(108), 엔트로피 인코더(110), 역양자화부(112), 역변환부(114), 가산부(116), 블록 메모리(118), 루프 필터(120), 프레임 메모리(122), 인트라 예측부(124), 인터 예측부(126), 예측 제어부(128) 및 예측 파라미터 생성부(130)를 포함한다. 예시한 바와 같이, 인트라 예측부(124) 및 인터 예측부(126)는 예측 제어부의 부분이다.
인코더(100)는 예를 들어 일반적인 프로세서 및 메모리로 구현된다. 이 경우, 메모리에 저장된 소프트웨어 프로그램이 프로세서에 의해 실행될 때, 프로세서는 분할부(102), 감산부(104), 변환부(106), 양자화부(108), 엔트로피 인코더(110), 역양자화부(112), 역변환부(114), 가산부(116), 루프 필터(120), 인트라 예측부(124), 인터 예측부(126) 및 예측 제어부(128)로서 기능한다. 대안적으로, 인코더(100)는 분할부(102), 감산부(104), 변환부(106), 양자화부(108), 엔트로피 인코더(110), 역양자화부(112), 역변환부(114), 가산부(116), 루프 필터(120), 인트라 예측부(124), 인터 예측부(126), 및 예측 제어부(128)에 대응하는 하나 이상의 전용 전자 회로로서 구현될 수 있다.
(인코더의 장착 예)
도 8은 인코더(100)의 장착 예를 예시하는 기능 블록도이다. 인코더(100)는 프로세서(a1)와 메모리(a2)를 포함한다. 예를 들어, 도 7에 예시한 인코더(100)의 다수의 구성 요소는 도 8에 예시한 프로세서(a1)와 메모리(a2) 상에 장착된다.
프로세서(a1)는 정보 처리를 수행하는 회로이며, 메모리(a2)에 결합된다. 예를 들어, 프로세서(a1)는 이미지를 인코딩하는 전용 또는 범용 전자 회로이다. 프로세서(a1)는 CPU와 같은 프로세서일 수 도 있다. 게다가, 프로세서(a1)는 다수의 전자 회로의 집합일 수 도 있다. 게다가, 예를 들어, 프로세서(a1)는 도 7 등에 예시된 인코더(100)의 다수의 구성요소 중 2개 이상의 구성요소의 역할을 가질 수 도 있다.
메모리(a2)는, 이미지를 인코딩하기 위해 프로세서(a1)에 의해 사용되는 정보를 저장하기 위한 전용 또는 범용 메모리이다. 메모리(a2)는 전자 회로일 수 도 있으며, 프로세서(a1)에 연결될 수 도 있다. 게다가, 메모리(a2)는 프로세서(a1)에 포함될 수 도 있다. 게다가, 메모리(a2)는 다수의 전자 회로의 집합일 수 도 있다. 게다가, 메모리(a2)는 자기 디스크, 광 디스크 등일 수 도 있거나, 저장부, 기록 매체 등으로서 표현될 수 도 있다. 게다가, 메모리(a2)는 비휘발성 메모리나 휘발성 메모리일 수 도 있다.
예를 들어, 메모리(a2)는 인코딩된 이미지에 대응하는 비트스트림 또는 인코딩된 이미지를 저장할 수 도 있다. 게다가, 메모리(a2)는 프로세서(a1)가 이미지를 인코딩하게 하기 위한 프로그램을 저장할 수 도 있다.
게다가, 예를 들어, 메모리(a2)는 도 7 등에 예시한 인코더(100)의 다수의 구성요소 중 정보를 저장하기 위한 2개 이상의 구성요소의 역할을 가질 수 도 있다. 예를 들어, 메모리(a2)는 도 7에 예시한 블록 메모리(118) 및 프레임 메모리(122)의 역할을 가질 수 도 있다. 더욱 구체적으로, 메모리(a2)는 재구성된 블록, 재구성된 화상 등을 저장할 수 도 있다.
인코더(100)에서, 도 7 등에 나타낸 다수의 구성요소 모두는 구현되지 않을 수 도 있으며, 여기서 기재한 모든 처리는 수행되지 않을 수 도 있음을 주목해야 한다. 도 7 등에 나타낸 구성요소 중 일부는 다른 디바이스에 포함될 수 도 있거나, 여기서 기재한 처리 중 일부는 다른 장치에 의해 수행될 수 도 있다.
이하, 인코더(100)에 의해 수행되는 처리의 전체적인 흐름을 설명하고, 이후 인코더(100)에 포함된 각각의 구성요소를 설명한다.
(인코딩 처리의 전체 흐름)
도 9는 인코더(100)에 의해 수행되는 전체 인코딩 처리의 일례를 나타내는 흐름도이며, 편의상 도 7을 참조하여 설명할 것이다.
먼저, 인코더(100)의 분할부(102)는 입력 이미지에 포함된 각각의 화상을 고정된 크기(예를 들어, 128x128 픽셀)를 갖는 복수의 블록으로 분할한다(단계 Sa_1). 분할부(102)는 고정된 크기 블록에 대한 분할 패턴(블록 형상이라고도 함)을 선택한다(단계 Sa_2). 즉, 분할부(102)는 고정된 크기 블록을 선택된 분할 패턴을 형성하는 복수의 블록으로 더 분할한다. 인코더(100)는 블록(즉, 인코딩할 현재 블록)에 대한 단계(Sa_3 내지 Sa_9)를 복수의 블록 각각에 대해 수행한다.
예측 제어부(128) 및 예측 실행부(인트라 예측부(124) 및 인터 예측부(126)를 포함함)는 현재의 블록의 예측 이미지를 생성한다(단계 Sa_3). 예측 이미지는 예측 신호, 예측 블록 또는 예측 샘플로 또한 지칭될 수 도 있다.
다음으로, 감산부(104)는 예측 잔차(차이 블록이라고도 함)로서 현재 블록과 예측 이미지 간의 차이를 생성한다(단계 Sa_4). 예측 잔차는 또한 예측 오차로 지칭될 수 도 있다.
다음으로, 변환부(106)는 예측 이미지를 변환하고, 양자화부(108)는 결과를 양자화하여 복수의 양자화된 계수를 생성한다(단계 Sa_5). 다수의 양자화된 계수는 종종 계수 블록이라고도 지칭될 수 도 있다.
다음으로, 엔트로피 인코더(110)는 다수의 양자화된 계수 및 예측 이미지 생성에 관련된 예측 파라미터를 인코딩(구체적으로는 엔트로피 인코딩)하여, 스트림을 생성한다(단계 Sa_6). 스트림은 종종 인코딩된 비트스트림 또는 압축된 비트스트림으로도 지칭될 수 도 있다.
다음으로, 역양자화부(112)는 다수의 양자화된 계수의 역양자화를 수행하고, 역변환부(114)는 결과의 역변환을 수행하여 예측 잔차를 복원한다(단계 Sa_7).
다음으로, 가산부(116)는 복원된 예측 잔차에 예측 이미지를 가산하여 현재 블록을 재구성한다(단계 Sa_8). 이러한 방식으로, 재구성된 이미지가 생성된다. 재구성된 이미지는 또한 재구성된 블록 또는 디코딩된 이미지 블록으로 지칭될 수 도 있다.
재구성된 이미지가 생성되면 루프 필터(120)는 필요에 따라 재구성된 이미지의 필터링을 수행한다(단계 Sa_9).
인코더(100)는 전체 화상의 인코딩이 완료되었는지 여부를 결정한다(단계 Sa_10). 인코딩이 아직 완료되지 않은 것으로 결정된 경우(단계 Sa_10에서 아니오), 단계(Sa_2)부터의 처리의 수행은 그 다음 화상 블록에 대해 반복된다.
인코더(100)는 고정된 크기 블록에 대해 하나의 분할 패턴을 선택하고, 전술한 예에서 분할 패턴에 따라 각각의 블록을 인코딩하지만, 각각의 블록은 다수의 분할 패턴 중 대응하는 패턴에 따라 인코딩될 수 있다는 것이 주목된다. 이 경우, 인코더(100)는 복수의 분할 패턴 각각에 대해 비용을 평가할 수 있고, 예를 들어, 가장 적은 비용을 산출하는 분할 패턴에 따라 인코딩하는 것을 통해 획득될 수 있는 스트림을 출력되는 스트림으로서 선택할 수 있다.
도시된 바와 같이, 단계(Sa_1 내지 Sa_10)의 처리는 인코더(100)에 의해 순차적으로 수행된다. 대안적으로, 2개 이상의 처리가 병렬로 수행될 수 있고, 처리는 재정렬될 수 있는 등이 수행될 수 있다.
인코더(100)에 의해 이용되는 인코딩 처리는 예측 인코딩과 변환 인코딩을 사용하는 하이브리드 인코딩이다. 게다가, 예측 인코딩은 감산부(104), 변환부(106), 양자화부(108), 역양자화부(112), 역변환부(114), 가산부(116), 루프 필터(120), 블록 메모리(118), 프레임 메모리(122), 인트라 예측부(124), 인터 예측부(126) 및 예측 제어부(128)로 구성된 인코딩 루프에 의해 수행된다. 다시 말해, 인트라 예측부(124)와 인터 예측부(126)로 구성되는 예측 실행부가 인코딩 루프의 일부분이다.
(분할부)
분할부(102)는 원래의 이미지에 포함된 각각의 화상을 다수의 블록으로 분할하고, 각각의 블록을 감산부(104)에 출력한다. 예를 들어, 분할부(102)는 먼저 화상을 고정된 크기(예를 들어, 128×128 픽셀)의 블록으로 분할한다. 다른 고정된 블록 크기가 사용될 수 있다. 고정된 크기 블록은 코딩 트리 단위(coding tree unit: CTU)라고도 한다. 그런 다음 분할부(102)는 재귀적인 4진 트리 및/또는 2진 트리 블록 분할에 기초하여 각각의 고정된 크기 블록을 가변 크기의 블록(예를 들어, 64×64 픽셀 이하)으로 분할한다. 즉, 분할부(102)는 분할 패턴을 선택한다. 가변 크기 블록은 코딩 단위(CU), 예측 단위(PU) 또는 변환 단위(TU)라고도 지칭할 수 도 있다. 다양한 종류의 처리 예에서 CU, PU 및 TU 간을 구별할 필요가 없고, 화상의 블록의 전부 또는 일부가 CU, PU 또는 TU 단위로 처리될 수 있다는 것이 주목된다.
도 10은 일 실시예에 따른 블록 분할의 일례를 예시하기 위한 개념도이다. 도 10에서 실선은 4진 트리 블록 분할에 의해 분할된 블록의 블록 경계를 나타내고, 파선은 2진 트리 블록 분할에 의해 분할된 블록의 블록 경계를 나타낸다.
여기서, 블록(10)은 128×128 픽셀을 갖는 정사각형 블록(128×128 블록)이다. 이 128×128 블록(10)은 먼저 4개의 정사각형 64×64 픽셀 블록으로 분할된다(4진 트리 블록 분할).
좌측 상위 64×64 픽셀 블록은 2개의 직사각형 32×64 픽셀 블록으로 수직으로 더 분할되고, 좌측 32×64 픽셀 블록은 2개의 직사각형 16×64 픽셀 블록으로 수직으로 더 분할된다(2진 트리 블록 분할). 그 결과, 좌측 상위 64×64 픽셀 블록은 2개의 16×64 픽셀 블록(11 및 12) 및 하나의 32×64 픽셀 블록(13)으로 분할된다.
우측 상위 64×64 픽셀 블록은 2개의 직사각형 64×32 픽셀 블록(14 및 15)으로 수평으로 분할된다(2진 트리 블록 분할).
좌측 하위 64×64 픽셀 블록은 먼저 4개의 정사각형 32×32 픽셀 블록으로 분할된다(4진 트리 블록 분할). 4개의 정사각형 32×32 픽셀 블록 중 좌측 상위 블록과 우측 하위 블록이 더 분할된다. 좌측 상위 정사각형 32×32 픽셀 블록은 2개의 직사각형 16×32 픽셀 블록으로 수직으로 분할되고, 우측 16×32 픽셀 블록은 2개의 16×16 픽셀 블록으로 수평으로 더 분할된다(2진 트리 블록 분할). 우측 하위 32×32 픽셀 블록은 2개의 32×16 픽셀 블록으로 수평으로 분할된다(2진 트리 블록 분할). 우측 상위 정사각형 32×32 픽셀 블록은 2개의 직사각형 32×16 픽셀 블록으로 수평으로 분할된다(이진 트리 블록 분할). 그 결과, 좌측 하위 정사각형 64×64 픽셀 블록은 직사각형 16×32 픽셀 블록(16), 2개의 정사각형 16×16 픽셀 블록(17 및 18), 2개의 정사각형 32×32 픽셀 블록(19 및 20), 2개의 직사각형 32×16 픽셀 블록(21 및 22)으로 분할된다.
우측 하위 64×64 픽셀 블록(23)은 분할되지 않는다.
위에서 설명한 바와 같이, 도 10에서, 블록(10)은 재귀적인 4진 트리 및 2진 트리 블록 분할에 기초하여 13개의 가변 크기 블록(11 내지 23)으로 분할된다. 이러한 유형의 분할은 4진 트리 플러스 2진 트리(quadtree plus binary tree: QTBT) 분할이라고도 한다.
도 10에서, 하나의 블록은 4개의 또는 2개의 블록으로 분할되지만(4진 트리 또는 2진 트리 블록 분할), 분할은 이들 예로 제한되지 않는다는 것이 주목된다. 예를 들어, 하나의 블록은 3개의 블록으로 분할될 수 있다(3진 블록(ternary block) 분할). 이러한 3진 블록 분할을 포함하는 분할은 다중 유형 트리(Multi-Type Tree: MBT) 분할이라고도 한다.
도 11은 일 실시예에 따른 분할부(102)의 기능적 구성의 일례를 예시하는 블록도이다. 도 11에 예시한 바와 같이, 분할부(102)는 블록 분할 결정부(102a)를 포함할 수 도 있다. 블록 분할 결정부(102a)는 다음의 처리를 예로서 수행할 수 도 있다.
예를 들어, 불록 분할 결정부(102a)는 블록 메모리(118) 및/또는 프레임 메모리(122)로부터 블록 정보를 획득하거나 회수할 수 도 있으며, 블록 정보를 기초로 하여 분할 패턴(예를 들어, 앞서 설명한 분할 패턴)을 결정할 수 도 있다. 분할부(102)는 분할 패턴에 따라 원래의 이미지를 분할하며, 분할에 의해 획득한 적어도 하나의 블록을 감산부(104)에 출력한다.
게다가, 예를 들어, 블록 분할 결정부(102a)는 결정된 분할 패턴(예를 들어, 앞서 설명한 분할 패턴)을 나타내는 하나 이상의 파라미터를 변환부(106), 역변환부(114), 인트라 예측부(124), 인터 예측부(126) 및 엔트로피 인코더(110)에 출력한다. 변환부(106)는 하나 이상의 파라미터를 기초로 하여 예측 잔차를 변환할 수 도 있다. 인트라 예측부(124)와 인터 예측부(126)는 하나 이상의 파라미터를 기초로 하여 예측 이미지를 생성할 수 도 있다. 게다가, 엔트로피 인코더(110)는 하나 이상의 파라미터를 엔트로피 인코딩할 수 도 있다.
분할 패턴에 관련된 파라미터는 일례로서 아래에 나타낼 바와 같이 스트림에 기록될 수 도 있다.
도 12는 분할 패턴의 예를 예시하기 위한 개념도이다. 분할 패턴의 예는, 블록이 2개의 구역으로 수평 및 수직으로 모두 분할되는 4개의 구역으로의 분할(QT); 블록이 1:2:1의 비율로 동일한 방향으로 분할되는 3개의 구역으로의 분할(HT 또는 VT); 불록이 1:1의 비율로 동일한 방향으로 분할되는 2개의 구역으로의 분할(HB 또는 VB) 및 분할 않됨(NS)을 포함한다.
분할 패턴이 4개의 구역으로 분할되는 경우 및 분할되지 않는 경우에는 블록 분할 방향을 갖지 않으며, 분할 패턴은 2개의 구역이나 3개의 구역으로 분할되는 경우 분할 방향 정보를 가짐을 주목해야 한다.
도 13a는 분할 패턴의 신택스 트리의 일례를 예시하기 위한 개념도이다.
도 13b는 분할 패턴의 신택스 트리의 다른 예를 예시하기 위한 개념도이다.
도 13a 및 도 13b는 분할 패턴의 신택스 트리의 예를 예시하기 위한 개념도이다. 도 13a의 예에서, 먼저, 분할을 수행할지를 나타내는 정보(S: 분할 플래그)가 존재하며, 4개의 구역으로의 분할을 수행할지를 나타내는 정보(QT: QT 플래그)가 그 다음에 존재한다. 3개의 구역과 2개의 구역으로의 분할 중 어떤 것이 수행될지를 나타내는 정보(TT: TT 플래그 또는 BT: BT 플래그)가 그 다음에 존재하며, 분할 방향을 나타내는 정보(Ver: 수직 플래그 또는 Hor: 수평 플래그)가 그 다음의 존재한다. 그러한 분할 패턴에 따른 분할에 의해 획득된 적어도 하나의 블록 각각이 유사한 처리로 반복해서 더 분할될 수 도 있음을 주목해야 한다. 다시 말해, 일례로서, 분할이 수행될지, 4개의 구역으로의 분할이 수행될 지, 수평 방향과 수직 방향 중 어느 것이 분할 방법이 수행되는 방향인지, 3개의 구역으로의 분할과 2개의 구역으로의 분할 중 어느 것이 수행될지가 반복적으로 결정될 수 도 있으며, 결정 결과는 도 13a에 예시한 신택스 트리에 의해 개시된 인코딩 순서에 따라 스트림에 인코딩될 수 도 있다.
게다가, S, QT, TT 및 Ver을 각각 나타내는 정보 항목이 도 13a에 예시한 신택스 트리에서 나열한 순서로 배치되더라도, S, QT, Ver 및 BT를 각각 나타내는 정보 항목은 나열한 순서로 배치될 수 도 있다. 다시 말해, 도 13b의 예에서, 먼저, 분할을 수행할지를 나타내는 정보(S: 분할 플래그)가 존재하며, 4개의 구역으로의 분할을 수행할지를 나타내는 정보(QT: QT 플래그)가 그 다음에 존재한다. 분할 방향을 나타내는 정보(Ver: 수직 플래그 또는 Hor: 수평 플래그)가 그 다음의 존재하며, 2개의 구역으로의 분할과 3개의 구역으로의 분할 중 어떤 것이 수행될지를 나타내는 정보(BT: BT 플래그 또는 TT: TT 플래그)가 그 다음에 존재한다.
앞서 설명한 분할 패턴은 예이며, 이 설명한 분할 패턴 이외의 분할 패턴이 사용될 수 도 있거나, 이 설명한 분할 패턴의 일부가 사용될 수 도 있음을 주목해야 한다.
(감산부)
감산부(104)는 분할부(102)로부터 입력되고 분할부(102)에 의해 분할된 블록 단위로 원래의 이미지로부터 예측 이미지(아래에 표시된 예측 제어부(128)로부터 입력되는 예측 샘플)를 감산한다. 다시 말해, 감산부(104)는 현재의 블록의 예측 잔차(이하 오차로도 지칭됨)를 계산한다. 감산부(104)는 계산된 예측 잔차를 변환부(106)로 출력한다.
원래의 이미지는 비디오(예를 들어, 휘도 신호와 2개의 채도 신호)에 포함된 각각의 화상의 이미지를 나타내는 신호로서 인코더(100)에 입력된 이미지일 수 도 있다. 이미지를 나타내는 신호는 샘플이라고도 지칭할 수 도 있다.
(변환부)
변환부(106)는 공간 도메인의 예측 잔차를 주파수 도메인의 변환 계수로 변환하고, 변환 계수를 양자화부(108)에 출력한다. 보다 구체적으로, 변환부(106)는 예를 들어 규정된 이산 코사인 변환(DCT) 또는 이산 사인 변환(DST)을 공간 도메인의 예측 잔차에 적용한다. 규정된 DCT 또는 DST는 미리 규정될 수 있다.
변환부(106)는 다수의 변환 유형 중에서부터 변환 유형을 적응적으로 선택할 수 있고, 선택된 변환 유형에 대응하는 변환 기저 함수를 사용하여 예측 잔차를 변환 계수로 변환할 수 있다. 이러한 종류의 변환은 명시적 다중 코어 변환(explicit multiple core transform: EMT) 또는 적응적 다중 변환(adaptive multiple transform: AMT)이라고도 한다. 변환 기저 함수를 또한 기저로 지칭할 수 도 있다.
변환 유형은 예를 들어 DCT-II, DCT-V, DCT-VIII, DST-I 및 DST-VII를 포함한다. 이들 변환 유형은 DCT2, DCT5, DCT8, DST1 및 DST7로도 나타낼 수 있음을 주목해야 한다. 도 14는 예시적인 변환 유형에 대한 변환 기저 함수 예를 나타내는 차트이다. 도 14에서, N은 입력 픽셀의 수를 나타낸다. 예를 들어, 복수의 변환 유형 중에서부터 변환 유형의 선택은 예측 유형(인트라 예측과 인터 예측 중 하나)에 의존할 수 있고, 인트라 예측 모드에 의존할 수 있다.
이러한 EMT 또는 AMT 적용 여부를 나타내는 정보(예를 들어, EMT 플래그 또는 AMT 플래그라고 함) 및 선택한 변환 유형을 나타내는 정보는 일반적으로 CU 레벨에서 신호화된다. 이러한 정보의 신호화는 반드시 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 타일 레벨 또는 CTU 레벨)에서 수행될 수 있다는 것이 주목된다.
또한, 변환부(106)는 변환 계수(변환 결과)를 재변환할 수 있다. 이러한 재변환은 적응적 2차 변환(Adaptive Secondary transform: AST) 또는 분리 불가능한 2차 변환(non-separable secondary transform: NSST)라고도 한다. 예를 들어, 변환부(106)는 인트라 예측 잔차에 대응하는 변환 계수 블록에 포함된 서브 블록(예를 들어, 4×4 픽셀 서브 블록) 단위로 재변환을 수행한다. NSST 적용 여부를 나타내는 정보와 NSST에서 사용하기 위한 변환 행렬 관련 정보는 일반적으로 CU 레벨에서 신호화된다. 이러한 정보의 신호화는 반드시 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 타일 레벨 또는 CTU 레벨)에서 수행될 수 있다는 것이 주목된다.
변환부(106)는 분리 가능한 변환 및 분리 불가능한 변환을 사용할 수 있다. 분리 가능한 변환은 입력의 차원 수에 따라 다수의 방향 각각에 대해 개별적으로 변환을 수행함으로써 다수 회 변환을 수행하는 방법이다. 분리 불가능한 변환은 다차원 입력에서 2개 이상의 차원이 집합적으로 단일 차원으로 간주되는 집합적 변환을 수행하는 방법이다.
분리 불가능한 변환의 일례에서, 입력이 4×4 픽셀 블록인 경우, 4×4 픽셀 블록은 16개의 요소를 포함하는 단일 어레이로 간주되고, 변환은 16×16 변환 행렬을 어레이에 적용한다.
분리 불가능한 변환의 다른 예에서, 4×4 픽셀의 입력 블록은 16개의 요소를 포함하는 단일 어레이로 간주되고, 그런 다음 어레이에 대해 주어진 회전을 복수 회 수행하는 변환(하이퍼큐브(hypercube)가 제공된 변환)이 수행될 수 있다.
변환부(106)에서의 변환에서, CU의 구역에 따라 주파수 도메인으로 변환될 변환 기저 함수의 변환 유형은 전환될 수 있다. 예로는 공간적으로 변하는 변환(Spatially Varying Transform: SVT)을 포함한다.
도 15는 SVT의 일례를 예시하기 위한 개념도이다.
SVT에서, 도 15에 예시된 바와 같이, CU는 수평 또는 수직으로 2개의 동일한 구역으로 분할되고, 구역 중 하나만이 주파수 도메인으로 변환된다. 변환 기저 유형은 각각의 구역마다 설정될 수 있다. 예를 들어, DST7 및 DST8이 사용된다. 예를 들어, CU를 2개의 동일 구역으로 수직으로 분할함으로써 획득한 2개의 구역 중에서, DST7 및 ECT8이 위치 0에서 구역에 사용될 수 도 있다. 대안적으로, 2개의 구역 중, DST7이 위치 1의 구역에 사용된다. 마찬가지로, CU를 2개의 동일 구역으로 수평으로 분할함으로써 획득한 2개의 구역 중에서, DST7 및 ECT8이 위치 0에서 구역에 사용될 수 도 있다. 대안적으로, 2개의 구역 중, DST7이 위치 1의 구역에 사용된다. 도 15에 예시한 예에서 CU에서 2개의 구역 중 단 하나의 구역이 변환되며, 다른 하나의 구역은 변환되지 않을지라도, 2개의 구역 각각은 변환될 수도 있다. 게다가, 분할 방법은 2개의 구역으로의 분할 뿐만 아니라 4개의 구역으로의 분할도 포함할 수 도 있다. 게다가, 분할 방법은 유연할 수 있다. 예를 들어, 분할 방법을 나타내는 정보는 CU 분할과 동일한 방식으로 인코딩되며 신호화될 수 있다. SVT는 또한 서브 블록 변환(sub-block transform: SBT)으로 지칭될 수 도 있음을 주목해야 한다.
앞서 설명한 AMT 및 EMT는 MTS(Multiple Transform Selection)로도 지칭될 수 도 있다. MTS가 적용될 때, DST7, DCT8 등인 변환 유형을 선택할 수 있으며, 선택된 변환 유형을 나타내는 정보가 각 CU에 대해 인덱스 정보로서 인코딩될 수 도 있다. 인덱스 정보를 인코딩하지 않고 수행된 직교 변환에 대해 사용될 변환 유형을 선택하기 위한 처리로서 IMTS(Implicit MTS)로도 지칭되는 다른 처리가 있다. IMTS가 적용될 때, 예를 들어, CU가 직사각형 형상을 가질 때, 직사각형 형상의 직교 변환이 짧은 측에 대해 DST7을 사용하여 수행될 수 도 있으며, 긴 측에 대해, DST2를 사용하여 수행될 수 도 있다. 게다가, 예를 들어, CU가 정사각형 형상을 가질 때, 직사각형 형상의 직교 변환이 MTS가 시퀀스에서 효과적일 때 DCT2를 사용하며 MTS가 시퀀스에서 효과적이지 않을 때 DST7을 사용하여 수행될 수 도 있다. DCT2와 DST7은 단지 예이다. 다른 변환 유형이 사용될 수 도 있으며, 또한, 사용할 변환 유형의 조합을 다른 변환 유형의 조합으로 변경할 수 도 있다. IMTS는 인트라 예측 블록에 대해서만 사용될 수 있거나, 인트라 예측 블록과 인터 예측 블록 모두에 사용될 수 도 있다.
MTS, SBT 및 IMTS의 3개의 처리를 직교 변환에 사용하기 위한 변환 유형을 선택적으로 전환하기 위한 선택 처리로서 앞서 설명하였다. 그러나 3개의 선택 처리 모두가 사용될 수 도 있거나, 이들 선택 처리 중 일부만이 선택적으로 이용될 수 도 있다. 선택 처리 중 하나 이상이 이용될 지는 예를 들어 SPS와 같은 헤더에서의 플래그 정보 등을 기초로 식별될 수 도 있다. 예를 들어, 3개의 선택 처리 모두가 사용에 이용될 수 있을 때, 3개의 선택 처리 중 하나가 각 CU 마다 선택되며, CU의 직교 변환이 수행된다. 변환 유형을 선택적으로 전환하기 위한 선택 처리는 앞선 3개의 선택 처리와 상이한 선택 처리일 수도 있거나, 3개의 선택 처리 각각은 다른 처리로 교체될 수 도 있다. 통상적으로, 다음의 4개의 전송 함수[1] 내지 [4] 중 적어도 하나가 수행된다. 함수[1]는 전체 CU의 직교 변환을 수행하며, 이 변환에 사용되는 변환 유형을 나타내는 정보를 인코딩하는 함수이다. 함수[2]는 전체 CU의 직교 변환을 수행하며, 변환 유형을 나타내는 정보를 인코딩하지 않고 결정된 규칙에 기초하여 변환 유형을 결정하기 위한 함수이다. 함수[3]는 CU의 부분 구역의 직교 변환을 수행하며, 변환에 사용되는 변환 유형을 나타내는 정보를 인코딩하기 위한 함수이다. 함수[4]는 CU의 부분 구역의 직교 변환을 수행하며, 변환에 사용된 변환 유형을 나타내는 정보를 인코딩하지 않고 결정된 규칙에 기초하여 변환 유형을 결정하기 위한 함수이다. 결정된 규칙은 미리 결정할 수 도 있다.
MTS, IMTS 및/또는 SBT가 적용될지는 각 처리 단위 마다 결정될 수 도 있음을 주목해야 한다. 예를 들어, MTS, IMTS 및/또는 SBT가 적용될지는 각 시퀀스, 화상, 브릭, 슬라이스, CTU 또는 CU마다 결정될 수 도 있다.
본 개시에서 변환 유형을 선택적으로 전환하기 위한 툴이 변환 처리에 사용하기 위한 기저를 선택적으로 선택하기 위한 방법, 선택 처리 또는 기저를 선택하기 위한 처리로서 설명될 수 도 있다. 게다가, 변환 유형을 선택적으로 전환하기 위한 툴은 변환 유형을 적응적으로 선택하기 위한 모드로서 설명될 수 도 있다.
도 16은 변환부(106)에 의해 수행되는 처리의 일례를 예시하는 흐름도이며, 도 7을 참조하여 편의상 설명될 것이다.
예를 들어, 변환부(106)는 직교 변환을 수행할지를 결정한다(단계 St_1). 여기서, 직교 변환을 수행할 것을 결정할 때(단계 St_1에서 예), 변환부(106)는 다수의 변환 유형으로부터 직교 변환에 사용하기 위한 변환 유형을 선택한다(단계 St_2). 다음으로, 변환부(106)는 선택된 변환 유형을 현재의 블록의 예측 잔차에 적용함으로써 직교 변환을 수행한다(단계 St_3). 변환부(106)는 그 후 선택된 변환 유형을 나타내는 정보를 엔트로피 인코더(110)에 출력하여, 엔트로피 인코더(110)가 정보를 인코딩하게 한다(단계 St_4). 다른 한편, 직교 변환을 수행하지 않기로 결정할 때(단계 St_1에서 아니오), 변환부(106)는 직교 변환이 수행되지 않음을 나타내는 정보를 출력하여, 엔트로피 인코더(110)가 정보를 인코딩하게 한다(단계 St_5). 단계 St_1에서 직교 변환을 수행할지는 예를 들어 변환 블록의 크기, CU에 적용되는 예측 모드 등을 기초로 하여 결정될 수 도 있음을 주목해야 한다. 대안적으로, 직교 변환은 직교 변환에 사용하기 위한 변환 유형을 나타내는 정보를 인코딩하지 않고 규정된 변환 유형을 사용하여 수행될 수 도 있다. 규정된 변환 유형은 미리 규정될 수 도 있다.
도 17은 변환부(106)에 의해 수행되는 처리의 일례를 예시하는 흐름도이며, 도 7을 참조하여 편의상 설명될 것이다. 도 17에 예시한 예는 직교 변환에 사용하기 위한 변환 유형이 도 16에 예시한 예의 경우에서처럼 선택적으로 전환되는 경우에서의 직교 변환의 예이다
일례로서, 제1 변환 유형 그룹은 DCT2, DST7 및 DCT8을 포함할 수 도 있다. 다른 예로서, 제2 변환 유형 그룹은 DCT2를 포함할 수 도 있다. 제1 변환 유형 그룹에 포함된 변환 유형과 제2 변환 유형에 포함된 변환 유형은 서로 부분적으로 중첩될 수 도 있으며, 서로 완전히 상이할 수 도 있다.
변환부(106)는 변환 크기가 결정된 값보다 작거나 같은지를 결정한다(단계 Su_1). 여기서, 변환 크기가 결정된 값보다 작거나 같음을 결정할 때(단계 Su_1에서 예), 변환부(106)는 제1 변환 유형 그룹에 포함된 변환 유형을 사용하여 현재의 블록의 예측 잔차의 직교 변환을 수행한다(단계 Su_2). 다음으로, 변환부(106)는 제1 변환 유형 그룹에 포함된 적어도 하나의 변환 유형 중 사용될 변환 유형을 나타내는 정보를 엔트로피 인코더(110)에 출력하여, 엔트로피 인코더(110)가 정보를 인코딩하게 한다(단계 Su_3). 다른 한편, 변환 크기가 미리 결정된 값보다 작거나 같지 않을 때(단계 Su_1에서 아니오), 변환부(106)는 제2 변환 유형 그룹을 사용하여 현재의 블록의 예측 잔차의 직교 변환을 수행한다(단계 Su_4). 결정된 값은 임계값일 수 도 있으며, 미리 결정된 값일 수 도 있다.
단계 Su_3에서, 직교 변환에 사용하기 위하 변환 유형을 나타내는 정보가 현재의 블록에서 수직으로 적용될 변환 유형과 현재의 블록에서 수평으로 적용될 변환 유형의 조합을 나타내는 정보일 수 도 있다. 제1 유형 그룹은 단 하나의 변환 유형을 포함할 수 도 있으며, 직교 변환에 사용하기 위한 변환 유형을 나타내는 정보는 인코딩되지 않을 수 도 있다. 제2 변환 유형 그룹은 다수의 변환 유형을 포함할 수 도 있으며, 제2 변환 유형 그룹에 포함된 하나 이상의 변환 유형 중 직교 변환에 사용기 위한 변환 유형을 나타내는 정보는 인코딩될 수 도 있다.
대안적으로, 변환 유형은 변환 유형을 나타내는 정보를 인코딩하지 않고 변환 크기를 기초로 나타낼 수 도 있다. 그러한 결정은 변환 크기가 결정된 값보다 작거나 같은지에 대한 결정으로 제한되지 않으며, 다른 처리가 변환 크기를 기초로 직교 변환에 사용하기 위한 변환 유형 결정에 또한 가능함을 주목해야 한다.
(양자화부)
양자화부(108)는 변환부(106)로부터 출력된 변환 계수를 양자화한다. 보다 구체적으로, 양자화부(108)는 결정된 스캔 순서로 현재 블록의 변환 계수를 스캔하고, 변환 계수에 대응하는 양자화 파라미터(QP)에 기초하여 스캔된 변환 계수를 양자화한다. 양자화부(108)는 현재 블록의 양자화된 변환 계수(이하 양자화 계수라고도 함)를 엔트로피 인코더(110) 및 역양자화부(112)에 출력한다. 결정된 스캔 순서는 미리 결정될 수 있다.
결정된 스캔 순서는 변환 계수를 양자화/역양자화하는 순서이다. 예를 들어, 결정된 스캔 순서는 주파수의 오름차순으로(낮은 주파수에서부터 높은 주파수로) 또는 주파수의 내림차순으로(높은 주파수에서부터 낮은 주파수로) 규정될 수 있다.
양자화 파라미터(QP)는 양자화 단계(양자화 폭)를 규정하는 파라미터이다. 예를 들어, 양자화 파라미터의 값이 증가하면 양자화 단계도 증가한다. 즉, 양자화 파라미터의 값이 증가하면 양자화 계수에서의 오차(양자화 오차)는 증가한다.
게다가, 양자화를 위해 양자화 행렬이 사용될 수 있다. 예를 들어, 여러 종류의 양자화 행렬이 4×4 및 8×8과 같은 주파수 변환 크기, 인트라 예측 및 인터 예측과 같은 예측 모드, 휘도 및 채도 픽셀 성분과 같은 픽셀 성분에 대응하여 사용될 수 있다. 양자화는 결정된 레벨에 대응하여 결정된 간격으로 샘플링된 값을 디지털화하는 것을 의미한다는 것이 주목된다. 이 기술 분야에서, 양자화는 반올림 및 스케일링과 같은 다른 표현을 사용하여 언급될 수 있으며, 반올림 및 스케일링을 사용할 수 있다. 결정된 간격 및 결정된 레벨은 미리 결정될 수 있다.
양자화 행렬을 사용하는 방법은 인코더(100) 측에서 직접 설정된 양자화 행렬을 사용하는 방법, 및 디폴트로 설정된 양자화 행렬(디폴트 행렬)을 사용하는 방법을 포함할 수 도 있다. 인코더(100) 측에서 이미지의 특징에 적합한 양자화 행렬은 양자화 행렬을 직접 설정함으로써 설정될 수 있다. 그러나 이 경우, 양자화 행렬을 인코딩하기 위한 코딩 량이 증가하는 단점이 있을 수 도 있다. 현재의 블록을 양자화하는데 사용될 양자화 행렬은 디폴트 양자화 행렬이나 인코딩된 양자화 행렬을 바로 사용하는 대신 디폴트 양자화 행렬이나 인코딩된 양자화 행렬을 기초로 하여 생성될 수 도 있음을 주목해야 한다.
양자화 행렬을 사용하지 않고 고주파 계수와 저주파 계수를 양자화하는 방법이 있다. 이 방법은 계수가 동일한 값을 갖는 양자화 행렬(플랫 행렬)을 사용하는 방법과 등가인 것으로 볼 수 도 있음을 주목해야 한다.
양자화 행렬은 예를 들어 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 브릭 레벨 또는 CTU 레벨에서 인코딩될 수 도 있다. 양자화 행렬은 예를 들어, 시퀀스 파라미터 세트(sequence parameter set: SPS) 또는 화상 파라미터 세트(picture parameter set: PPS)를 사용하여 지정될 수 있다. SPS는 시퀀스에 사용되는 파라미터를 포함하고, PPS는 화상에 사용되는 파라미터를 포함한다. SPS 및 PPS 각각은 단순히 파라미터 세트라고 할 수 있다.
양자화 행렬을 사용할 때, 양자화부(108)는, 각 변환 계수에 대해, 예를 들어 양자화 행렬의 값을 사용하여, 양자화 파라미터 등을 기초로 하여 계산될 수 있는 양자화 폭을 스케일링한다. 양자화 행렬을 사용하지 않고 수행되는 양자화 처리는 양자화 파라미터 등을 기초로 하여 계산된 양자화 폭을 기초로 하여 변환 계수를 양자화하기 위한 처리일 수 도 있다. 임의의 양자화 행렬을 사용하지 않고 수행되는 양자화 처리에서, 양자화 폭은, 블록에서의 모든 변환 계수에 공통인 결정된 값으로 곱할 수 도 있음을 주목해야 한다. 결정된 값은 미리 결정할 수 도 있다.
도 18은 실시예에 따른 양자화부의 기능적 구성의 일례를 예시하는 블록도이다. 예를 들어, 양자화부(108)는 차이 양자화 파라미터 생성부(108a), 예측된 양자화 파라미터 생성부(108b), 양자화 파라미터 생성부(108c), 양자화 파라미터 저장부(108d) 및 양자화 실행부(108e)를 포함한다.
도 19는 양자화부(108)에 의해 수행되는 양자화 처리의 일례를 예시하는 흐름도이며, 편의상 도 7 및 도 18을 참조하여 설명할 것이다.
일례로서, 양자화부(108)는 도 19에 예시한 흐름도를 기초하여 각 CU 마다 양자화를 수행할 수 도 있다. 더욱 구체적으로, 양자화 파라미터 생성부(108c)는 양자화를 수행할지를 결정한다(단계 Sv_1). 여기서, 양자화를 수행하는 것을 결정할 때(단계 Sv_1에서 예), 양자화 파라미터 생성부(108c)는 현재의 블록에 대해 양자화 파라미터를 생성하며(단계 Sv_2), 양자화 파라미터를 양자화 파라미터 저장부(108d)에 저장한다(단계 Sv_3).
다음으로, 양자화 실행부(108e)는 단계 Sv_2에서 생성된 양자화 파라미터를 사용하여 현재의 블록의 변환 계수를 양자화한다(단계 Sv_4). 예측된 양자화 파라미터 생성부(108b)는 양자화 파라미터 저장부(108d)로부터 현재의 블록과 상이한 처리 단위에 대한 양자화 파라미터를 획득한다(단계 Sv_5). 예측된 양자화 파라미터 생성부(108b)는 획득한 양자화 파라미터를 기초로 하여 현재의 블록의 예측된 양자화 파라미터를 생성한다(단계 Sv_6). 차이 양자화 파라미터 생성부(108a)는 양자화 파라미터 생성부(108c)에 의해 생성된 현재의 블록의 양자화 파라미터와 예측된 양자화 파라미터 생성부(108b)에 의해 생성된 현재의 블록의 예측된 양자화 파라미터 사이의 차이를 계산한다(단계 Sv_7). 차이 양자화 파라미터는 차이를 계산함으로써 생성될 수 도 있다. 차이 양자화 파라미터 생성부(108a)는 차이 양자화 파라미터를 엔트로피 인코더(110)에 출력하여, 엔트로피 인코더(110)가 차이 양자화 파라미터를 인코딩하게 한다(단계 Sv_8).
차이 양자화 파라미터가 예를 들어 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 브릭 레벨 또는 CTU 레벨에서 인코딩될 수 도 있음을 주목해야 한다. 게다가, 양자화 파라미터의 초기 값은 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 브릭 레벨 또는 CTU 레벨에서 인코딩될 수도 있다. 초기화시, 양자화 파라미터는 양자화 파라미터 및 차이 양자화 파라미터의 초기 값을 사용하여 생성될 수 도 있다.
양자화부(108)는 다수의 양자화부를 포함할 수 도 있으며, 변환 계수가 다수의 양자화 방법으로부터 선택된 양자화 방법을 사용하여 양자화되는 종속적 양자화를 적용할 수 도 있다.
(엔트로피 인코더)
도 20은 실시예에 따른 엔트로피 인코더(110)의 기능적 구성의 일례를 예시하는 블록도이며, 편의상 도 7을 참조하여 설명할 것이다. 엔트로피 인코더(110)는 양자화부(108)로부터 입력되는 양자화된 계수와 예측 파라미터 생성부(130)로부터 입력된 예측 파라미터를 엔트로피 인코딩함으로써 스트림을 생성한다. 예를 들어, 컨텍스트-기반 적응형 이진 산술 코딩(CABAC)이 엔트로피 인코딩으로서 사용된다. 더욱 구체적으로, 예시한 엔트로피 인코더(110)는 이진화부(110a), 컨텍스트 제어부(110b) 및 이진 산술 인코더(110c)를 포함한다. 이진화부(110a)는 양자화된 계수와 예측 파라미터와 같은 멀티-레벨 신호가 이진 신호로 변환되는 이진화를 수행한다. 이진화 방법의 예는 트렁케이티드(truncated) 라이스 이진화, 지수 골롬(Golomb) 코드 및 고정 길이 이진화를 포함한다. 컨텍스트 제어부(110b)는 신택스 요소의 특성 또는 주변 상태, 즉 이진 신호의 발생 확률에 따라 컨텍스트 값을 도출한다. 컨텍스트 값을 도출하기 위한 방법의 예는, 계층 정보 등을 참조하는, 상위 및 좌측 인접 블록을 참조하는, 신택스 요소를 참조하는, 바이패스를 포함한다. 이진 산술 인코더(110c)는 도출된 컨텍스트를 사용하여 이진 신호를 산술적으로 인코딩한다.
도 21은 엔트로피 인코더(110)의 CABAC 처리의 흐름 예를 예시하기 위한 개념도이다. 먼저, 초기화는 엔트로피 인코더(110)의 CABAC에서 수행된다. 초기화에서, 이진 산술 인코더(110c)의 초기화와 초기화 컨텍스트 값의 설정이 수행된다. 예를 들어, 이진화부(110a) 및 이진 산술 인코더(110c)는 CTU에서 다수의 양자화 계수의 이진화 및 산술 인코딩을 순차적으로 수행할 수 도 있다. 컨텍스트 제어부(110b)는 산술 인코딩이 수행될 때마다 컨텍스트 값을 업데이트할 수 도 있다. 컨텍스트 제어부(110b)는 후 처리로서 컨텍스트 값을 저장할 수 도 있다. 저장된 컨텍스트 값은 예를 들어 그 다음 CTU에 대한 컨텍스트 값을 초기화하는데 사용될 수 도 있다.
(역양자화부)
역양자화부(112)는 양자화부(108)로부터 입력된 양자화된 계수를 역양자화한다. 보다 구체적으로, 역양자화부(112)는 현재 블록의 양자화된 계수를 결정된 스캔 순서로 역양자화한다. 그런 다음 역양자화부(112)는 현재 블록의 역양자화된 변환 계수를 역변환부(114)로 출력한다. 결정된 스캔 순서는 미리 결정될 수 있다.
(역변환부)
역변환부(114)는 역양자화부(112)로부터 입력된 변환 계수를 역변환함으로써 예측 잔차를 복원한다. 보다 구체적으로, 역변환부(114)는 변환부(106)에 의해 변환 계수에 적용된 변환에 대응하는 역변환을 수행함으로써 현재 블록의 예측 잔차를 복원한다. 역변환부(114)는 복원된 예측 잔차를 가산부(116)에 출력한다.
정보가 양자화 시에 일반적으로 손실되기 때문에 복원된 예측 잔차는 감산부(104)에 의해 계산된 예측 잔차와 일치하지 않는다는 것을 주목해야 한다. 즉, 복원된 예측 잔차는 일반적으로 양자화 오차를 포함한다.
(가산부)
가산부(116)는 역변환부(114)로부터 입력된 예측 잔차와, 예측 제어부(128)로부터 입력된 예측 이미지를 가산함으로써 현재 블록을 재구성한다. 결국, 재구성된 이미지를 생성한다. 그런 다음 가산부(116)는 블록 메모리(118) 및 루프 필터(120)에 재구성된 이미지를 출력한다. 재구성된 블록은 로컬 디코딩된 블록이라고도 칭할 수 도 있다.
(블록 메모리)
블록 메모리(118)는 예를 들어 인트라 예측에 사용하기 위한 현재의 화상에서 블록을 저장하기 위한 저장부이다. 보다 구체적으로, 블록 메모리(118)는 가산부(116)로부터 출력된 재구성된 이미지를 저장한다.
(프레임 메모리)
프레임 메모리(122)는 예를 들어 인터 예측에 사용하기 위한 참조 화상을 저장하기 위한 저장 매체이며, 프레임 버퍼라고도 한다. 보다 구체적으로, 프레임 메모리(122)는 루프 필터(120)에 의해 필터링된 재구성된 이미지를 저장한다.
(루프 필터)
루프 필터(120)는 가산부(116)에 의해 출력된 재구성된 이미지에 루프 필터를 적용하고, 필터링된 재구성된 이미지를 프레임 메모리(122)에 출력한다. 루프 필터는 인코딩 루프에서 사용되는 필터(인루프 필터)이다. 루프 필터의 예는, 예를 들어 적응형 루프 필터(ALF), 디블로킹 필터(DB 또는 DBF), 샘플 적응형 오프셋(sample adaptive offset: SAO) 필터 등을 포함한다.
도 22는 실시예에 따른 루프 필터(120)의 기능적 구성의 일례를 예시하는 블록도이다. 예를 들어, 도 22에 예시한 바와 같이, 루프 필터(120)는 디블로킹 필터 실행부(120a), SAO 실행부(120b) 및 ALF 실행부(120c)를 포함한다. 디블로킹 필터 실행부(120a)는 재구성된 이미지에 관한 디블로킹 필터 처리를 수행한다. SAO 실행부(120b)는 디블로킹 필터 처리된 후 재구성된 이미지에 관한 SAO 처리를 수행한다. ALF 실행부(120c)는 SAO 처리된 후 재구성된 이미지에 관한 ALF 처리를 수행한다. ALF 및 디블로킹 필터는 이후에 상세하게 설명될 것이다. SAO 처리는 링잉(ringing)(픽셀 값이 에지 주위의 파 처럼 왜곡되는 현상)을 감소시키며 픽셀 값의 편차를 보정함으로써 이미지 품질을 향상시키기 위한 처리이다. SAO 처리의 예는 에지 오프셋 처리와 대역 오프셋 처리를 포함한다. 루프 필터(120)는, 일부 실시예에서, 도 22에 개시한 모든 구성요소를 포함하지 않을 수 도 있으며, 구성요소 중 일부를 포함할 수 도 있고, 추가 요소를 포함할 수 도 있음을 주목해야 한다. 게다가, 루프 필터(120)는 도 22에 개시된 처리 순서와 상이한 처리 순서로 앞선 처리들을 수행하도록 구성될 수 도 있으며, 모든 처리 등을 수행하지 않을 수 도 있다.
(루프 필터 > 적응형 루프 필터)
ALF에서, 압축 아티팩트를 제거하기 위한 최소 제곱 오차 필터가 적용된다. 예를 들어, 로컬 구배의 방향 및 활동에 기초하여 다수의 필터 중에서 선택된 하나의 필터가 현재 블록에서의 2×2 픽셀 서브 블록 각각에 적용된다.
보다 구체적으로, 먼저, 각각의 서브 블록(예를 들어, 각각의 2×2 픽셀 서브 블록)은 다수의 클래스(예를 들어, 15개의 또는 25개의 클래스) 중 하나로 분류된다. 서브 블록의 분류는 예를 들어 구배 방향 및 활동에 기초한다. 예를 들어 분류 인덱스(C)(예를 들어, C = 5D + A)는 구배 방향(D)(예를 들어, 0 내지 2 또는 0 내지 4) 및 구배 활동(A)(예를 들어, 0 내지 4)에 기초하여 계산되거나 결정된다. 그런 다음, 분류 인덱스(C)에 기초하여 각각의 서브 블록은 다수의 클래스 중 하나로 분류된다.
예를 들어, 구배 방향(D)은 다수의 방향(예를 들어, 수평, 수직 및 2개의 대각선 방향)의 구배를 비교함으로써 계산된다. 또한, 예를 들어, 구배 활동(A)은 다수의 방향의 구배를 가산하고 가산의 결과를 양자화함으로써 계산된다.
각각의 서브 블록에 사용될 필터는 이러한 분류의 결과에 기초하여 다수의 필터 중에서 결정될 수 도 있다.
ALF에서 사용되는 필터 형상은 예를 들어 원형 대칭 필터 형상이다. 도 23a 내지 도 23c는 ALF에서 사용되는 필터 형상의 예를 예시하기 위한 개념도이다. 도 23a는 5×5 다이아몬드 형상 필터를 예시하고, 도 23b는 7×7 다이아몬드 형상 필터를 예시하며, 도 23c는 9×9 다이아몬드 형상 필터를 예시한다. 필터 형상을 나타내는 정보는 일반적으로 화상 레벨에서 신호화된다. 필터 형상을 나타내는 이러한 정보의 신호화는 반드시 화상 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 슬라이스 레벨, 타일 레벨, CTU 레벨, 또는 CU 레벨)에서 수행될 수 있다는 것이 주목된다.
ALF의 온(ON) 또는 오프(OFF)는 예를 들어 화상 레벨 또는 CU 레벨에서 결정될 수 도 있다. 예를 들어, 휘도에 ALF를 적용할지 여부는 CU 레벨에서 결정될 수 있고, 채도에 ALF를 적용할지 여부는 화상 레벨에서 결정될 수 있다. ALF의 온 또는 오프를 나타내는 정보는 일반적으로 화상 레벨 또는 CU 레벨에서 신호화된다. ALF의 온 또는 오프를 나타내는 정보의 신호화는 반드시 화상 레벨 또는 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 슬라이스 레벨, 타일 레벨, 또는 CTU 레벨)에서 수행될 수 있다는 것이 주목된다.
게다가, 앞서 설명한 바와 같이, 하나의 필터가 다수의 필터로부터 선택되며, 서브 블록의 ALF 처리가 수행된다. 다수의 필터(예를 들어, 최대 15개의 또는 25개의 필터) 각각에 사용되는 계수의 계수 세트는 일반적으로 화상 레벨에서 신호화된다. 계수 세트의 신호화는 반드시 화상 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 슬라이스 레벨, 타일 레벨, CTU 레벨, CU 레벨, 서브 블록 레벨)에서 수행될 수 있다는 것이 주목된다.
(루프 필터 > 교차 구성요소 적응형 루프 필터)
도 23d는 교차 구성요소 ALF(CC-ALF)의 흐름 예를 예시하기 위한 개념도이다. 도 23e는 도 23d의 CC-ALF와 같은 CC-ALF에서 사용되는 필터 형상의 예를 예시하기 위한 개념도이다. 도 23d 및 도 23e의 CC-ALF 예는 선형, 다이아몬드 형상 필터를 각 채도 구성요소 마다 휘도 채널에 적용함으로써 동작한다. 필터 계수는, 예를 들어 APS에서 송신될 수 도 있고, 2^10 배만큼 스케일링되며, 고정점 표현을 위해 사사오입될 수 도 있다. 예컨대, 도 23d에서, Y 샘플(제1 구성요소)은 Cb의 경우 CCALF에 및 Cr의 경우 CCALF(제1 구성요소와 상이한 구성요소)에 사용된다.
필터의 적용은 가변 블록 크기로 제어될 수 도 있으며, 샘플의 각 블록에 대해 수신된 컨텍스트-코딩된 플래그에 의해 신호화될 수 도 있다. CC-ALF 인에이블링 플로그와 함께 블록 크기가 각 채도 구성요소에 대해 슬라이스 레벨에서 수신될 수 도 있다. CC-ALF는 예컨대(채도 샘플에서) 16×16 픽셀, 32×32 픽셀, 64×64 픽셀, 128×128 픽셀과 같은 여러 블록 크기를 지원할 수 도 있다.
(루프 필터 > 공동 채도 교차 구성요소 적응형 루프 필터)
공동 채도-CCALF의 일례가 도 23f 및 도 23g에 예시된다. 도 23f는 공동 채도 CCALF의 흐름 예를 예시하기 위한 개념도이다. 도 23g는 가중 인덱스 후보 예를 예시하는 표이다. 예시한 바와 같이, 하나의 CCALF 필터는 하나의 색 구성요소마다 채도 개선 신호로서 하나의 CCALF 필터링된 출력을 생성하는데 사용되며, 동일한 채도 개선 신호의 가중된 버전이 다른 하나의 색 구성요소에 적용된다. 이런 식으로, 기존의 CCALF의 복잡도는 대략 1/2만큼 감소한다. 가중치는 부호 플래그와 가중 인덱스로 코딩될 수 도 있다. (가중_인덱스로서 표기되는) 가중 인덱스는 3비트로 코딩될 수 도 있으며, 비-제로 크기인 JC-CCALF 가중 JcCcWeight의 크기를 명시한다. JcCcWeight의 크기는 예를 들어 다음과 같이 결정될 수 도 있다:
가중_인덱스가 4보다 작거나 같으면, JcCcWeight는 가중_인덱스>>2이며;
그렇지 않다면, JcCcWeight는 4/(가중_인덱스 - 4)와 같다.
Cb 및 Cr에 대한 ALF 필터링의 블록 레벨 온/오프 제어는 별도가 될 수 도 있다. 이점은 CCALF에서와 동일하며, 2개의 별도의 블록 레벨 온/오프 제어 플래그 세트가 코딩될 수 도 있다. CCALF와 상이하게, 여기서, Cb, Cr 온/오프 제어 블록 크기는 동일하며, 그에 따라 하나의 블록 크기 변수만 코딩될 수 도 있다.
(루프 필터 > 디블로킹 필터)
디블록킹 필터 처리에서, 루프 필터(120)는 블록 경계에서 발생하는 왜곡을 줄이기 위해 재구성된 이미지의 블록 경계에서 필터 처리를 수행한다.
도 24는 디블로킹 필터로서 기능하는 루프 필터(120)(도 7 및 도 22 참조)의 디블로킹 필터 실행부(120a)의 구체적인 구성의 일례를 예시하는 블록도이다.
디블로킹 필터 실행부(120a)는 경계 결정부(1201); 필터 결정부(1203); 필터링 실행부(1205); 처리 결정부(1208); 필터 특성 결정부(1207); 및 전환부(switch)(1202, 1204 및 1206)를 포함한다.
경계 결정부(1201)는 디블록킹 필터링될 픽셀(즉, 현재 픽셀)이 블록 경계 주위에 존재하는지 여부를 결정한다. 경계 결정부(1201)는 그런 다음 결정 결과를 전환부(1202) 및 처리 결정부(1208)에 출력한다.
경계 결정부(1201)가 현재 픽셀이 블록 경계 주위에 존재한다고 결정한 경우, 전환부(1202)는 필터링되지 않은 이미지를 전환부(1204)에 출력한다. 경계 결정부(1201)가 현재 픽셀이 블록 경계 주위에 존재하지 않는다고 결정한 반대의 경우, 전환부(1202)는 필터링되지 않은 이미지를 전환부(1206)로 출력한다. 필터링되지 않은 이미지는 현재의 픽셀과 현재의 픽셀 주위에 위치하는 적어도 하나의 주변 픽셀로 구성되는 이미지임을 주목해야 한다.
필터 결정부(1203)는 현재 픽셀 주위에 위치된 적어도 하나의 주변 픽셀의 픽셀 값에 기초하여 현재 픽셀의 디블록킹 필터링을 수행할지 여부를 결정한다. 필터 결정부(1203)는 결정 결과를 전환부(1204) 및 처리 결정부(1208)에 출력한다.
필터 결정부(1203)가 현재 픽셀의 디블로킹 필터링을 수행하기로 결정한 경우, 전환부(1204)는 전환부(1202)를 통해 획득된 필터링되지 않은 이미지를 필터링 실행부(1205)로 출력한다. 필터 결정부(1203)가 현재 픽셀의 디블로킹 필터링을 수행하지 않기로 결정한 반대의 경우, 전환부(1204)는 전환부(1202)를 통해 획득된 필터링되지 않은 이미지를 전환부(1206)로 출력한다.
필터링되지 않은 이미지를 전환부(1202, 1204)를 통해 획득할 때, 필터링 실행부(1205)는 필터 특성 결정부(1207)에 의해 결정된 필터 특성을 사용하여 현재 픽셀에 디블로킹 필터링을 실행한다. 필터링 실행부(1205)는 필터링된 픽셀을 전환부(1206)로 출력한다.
처리 결정부(1208)에 의한 제어 하에, 전환부(1206)는 필터링 실행부(1205)에 의해 디블록킹 필터링되지 않은 픽셀과, 디블록킹 필터링된 픽셀 중 하나를 선택적으로 출력한다.
처리 결정부(1208)는 경계 결정부(1201) 및 필터 결정부(1203)에 의해 이루어진 결정의 결과에 기초하여 전환부(1206)를 제어한다. 즉, 경계 결정부(1201)가 현재 픽셀이 블록 경계 주위에 존재한다고 결정할 때 및 필터 결정부(1203)가 현재 픽셀의 디블록킹 필터링을 수행하기로 결정했을 때, 처리 결정부(1208)는 전환부(1206)가 디블록킹 필터링된 픽셀을 출력하게 한다. 또한, 상기 경우 이외에, 처리 결정부(1208)는 전환부(1206)가 디블록킹 필터링되지 않은 픽셀을 출력하게 한다. 필터링된 이미지는 이러한 방식으로 픽셀의 출력을 반복함으로써 전환부(1206)로부터 출력된다. 도 24에 예시한 구성은 디블로킹 필터 실행부(120a)에서의 구성의 일례임을 주목해야 한다. 디블로킹 필터 실행부(120a)는 여러 구성을 가질 수 도 있다.
도 25는 블록 경계에 대해 대칭 필터링 특성을 갖는 디블록킹 필터의 일례를 예시하기 위한 개념도이다.
디블로킹 필터 처리에서는, 픽셀 값과 양자화 파라미터를 사용하여 서로 다른 특성을 갖는 2개의 디블로킹 필터, 즉 강한 필터와 약한 필터 중 하나를 선택할 수 도 있다. 강한 필터의 경우, 도 25에 예시된 바와 같이 블록 경계에 걸쳐 픽셀(p0 내지 p2) 및 픽셀(q0 내지 q2)이 존재할 때, 각각의 픽셀(q0 내지 q2)의 픽셀 값은, 예를 들어, 이하의 수식에 따라 연산을 수행함으로써 픽셀 값(q'0 내지 q'2)으로 변한다.
q'0 =(p1 + 2 × p0 + 2 × q0 + 2 × q1 + q2 + 4)/8
q'1 =(p0 + q0 + q1 + q2 + 2)/4
q'2 =(p0 + q0 + q1 + 3 × q2 + 2 × q3 + 4)/8
상기 수식에서, p0 내지 p2 및 q0 내지 q2는 각각의 픽셀(p0 내지 p2) 및 픽셀(q0 내지 q2)의 픽셀 값이라는 것이 주목된다. 또한, q3은 블록 경계에 대해 픽셀(q2)의 반대쪽에 위치된 이웃 픽셀(q3)의 픽셀 값이다. 또한, 각각의 수식의 우측에서 디블록킹 필터링에 사용되는 픽셀의 각각의 픽셀 값과 곱해진 계수는 필터 계수이다.
또한, 디블록킹 필터링에서는 계산된 픽셀 값이 임계값보다 더 변화하지 않도록 클리핑(clipping)을 수행할 수 있다. 예를 들어, 클리핑 처리에서, 상기 수식에 따라 계산된 픽셀 값은 양자화 파라미터에 기초하여 결정된 임계값을 사용하여 "연산 픽셀 값±2×임계값"에 따라 획득된 값으로 클리핑될 수 도 있다. 이러한 방식으로, 과도한 평활화를 방지할 수 있다.
도 26은 디블로킹 필터 처리가 수행되는 블록 경계를 예시하기 위한 개념도이다. 도 27은 경계 강도(Bs) 값의 예를 예시하기 위한 개념도이다.
디블로킹 필터 처리가 수행되는 블록 경계는 예를 들어, 도 26에 예시된 8×8 픽셀 블록을 갖는 CU들, PU들 또는 TU들 사이의 경계이다. 디블록킹 필터 처리는 예를 들어 4개의 행 또는 4개의 열 단위로 수행될 수 있다. 먼저, 경계 강도(Bs) 값은 도 26에 예시된 블록(P) 및 블록(Q)에 대해 도 27에 표시된 바와 같이 결정된다.
도 27의 Bs 값에 따르면, 상이한 강도를 사용하여 동일한 이미지에 속하는 블록 경계의 디블로킹 필터 처리를 수행할지를 결정할 수 도 있다. 채도 신호에 대한 디블록킹 필터 처리는 Bs 값이 2일 때 수행된다. 휘도 신호에 대한 디블록킹 필터 처리는 Bs 값이 1 이상이고 결정된 조건이 충족될 때 수행된다. 결정된 조건은 미리 결정될 수 있다. Bs 값을 결정하기 위한 조건은 도 27에 표시된 조건으로 제한되지 않고, Bs 값은 다른 파라미터에 기초하여 결정될 수 있다는 것을 주목해야 한다.
(예측부(인트라 예측부, 인터 예측부, 예측 제어부))
도 28은 인코더(100)의 예측부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다. 예측부는 다음 구성요소, 즉 인트라 예측부(124); 인터 예측부(126); 및 예측 제어부(128)의 전부 또는 일부를 포함한다는 것이 주목된다. 예측 실행부는 예를 들어 인트라 예측부(124)와 인터 예측부(126)를 포함한다.
예측부는 현재 블록의 예측 이미지를 생성한다(단계 Sb_1). 이 예측 이미지는 예측 신호 또는 예측 블록이라고도 한다. 예측 신호는 예를 들어 인트라 예측 이미지(이미지 예측 신호) 또는 인터 예측 이미지(인터 예측 신호)라는 것을 주목해야 한다. 예측부는 예측 이미지의 생성, 예측 잔차의 생성, 양자화된 계수의 생성, 예측 잔차의 복원 및 예측 이미지의 가산을 통해 이미 획득된 재구성된 이미지를 이용하여 현재 블록의 예측 이미지를 생성한다.
재구성된 이미지는, 예를 들어, 참조 화상의 이미지일 수 있고, 또는 현재 블록을 포함하는 화상인 현재 화상의 인코딩된 블록(즉, 앞서 설명한 다른 블록)의 이미지일 수 있다. 현재 화상에서 인코딩된 블록은 예를 들어 현재 블록의 이웃한 블록이다.
도 29는 인코더(100)의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
예측부는 제1 방법을 사용하여 예측 이미지를 생성하고(단계 Sc_1a), 제2 방법을 사용하여 예측 이미지를 생성하고(단계 Sc_1b), 제3 방법을 사용하여 예측 이미지를 생성한다(단계 Sc_1c). 제1 방법, 제2 방법 및 제3 방법은 예측 이미지를 생성하는 서로 상이한 방법일 수 있다. 제1 내지 제3 방법 각각은 인터 예측 방법, 인트라 예측 방법 또는 다른 예측 방법일 수 있다. 이러한 예측 방법에는 전술한 재구성된 이미지가 사용될 수 있다.
다음으로, 예측부는 단계 Sc_1a, Sc_1b 및 Sc_1c에서 생성된 예측 이미지를 평가한다(단계 Sc_2). 예를 들어, 예측부는 단계 Sc_1a, Sc_1b 및 Sc_1c에서 생성된 예측 이미지의 비용(C)을 계산하여, 예측 이미지의 비용(C)을 비교함으로써 예측 이미지를 평가한다. 비용(C)은 예를 들어 R-D 최적화 모델의 수학식, 예를 들어 C = D + λ×R에 따라 계산될 수 도 있음을 주목해야 한다. 이 수학식에서, D는 예측 이미지의 압축 아티팩트를 나타내며, 예를 들어 현재 블록의 픽셀 값과 예측 이미지의 픽셀 값 사이의 절대 차이의 합으로서 나타내어 진다. 게다가, R은 스트림의 비트율을 나타낸다. 게다가, λ는 예를 들어 라그랑주 승수법에 따른 승수법을 나타낸다.
예측부는, 단계 Sc_1a, Sc_1b 및 Sc_1c에서 생성된 예측 이미지 중 하나를 선택한다(단계 Sc_3). 다시 말해, 예측부는 최종 예측 이미지를 획득하기 위한 방법이나 모드를 선택한다. 예를 들어, 예측부는, 예측 이미지를 위해 계산된 비용(C)을 기초로 하여 최소 비용(C)을 갖는 예측 이미지를 선택한다. 대안적으로, 단계 Sc_2에서의 평가와 단계 Sc_3에서의 예측 이미지의 선택은, 인코딩 처리에서 사용되는 파라미터에 기초하여 이루어질 수 있다. 인코더(100)는 선택된 예측 이미지, 방법 또는 모드를 식별하기 위한 정보를 스트림으로 변환할 수 있다. 정보는 예를 들어 플래그 등일 수 있다. 이러한 방식으로, 디코더(200)는, 이 정보에 기초하여 인코더(100)에 의해 선택된 방법 또는 모드에 따라 예측 이미지를 생성할 수 있다. 도 29에 도시된 예에서, 예측부는 각각의 방법을 사용하여 예측 이미지를 생성한 후 임의의 예측 이미지를 선택한다는 것이 주목된다. 그러나, 예측부는 예측 이미지를 생성하기 전에 전술한 인코딩 처리에서 사용하기 위한 파라미터에 기초하여 방법 또는 모드를 선택할 수 있고, 선택된 방법 또는 모드에 따라 예측 이미지를 생성할 수 있다.
예를 들어, 제1 방법 및 제2 방법은 각각 인트라 예측 및 인터 예측일 수 있고, 예측부는 예측 방법에 따라 생성된 예측 이미지로부터 현재 블록에 대한 최종 예측 이미지를 선택할 수 있다.
도 30은 인코더(100)의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
먼저, 예측부는 인트라 예측을 사용하여 예측 이미지를 생성하고(단계 Sd_1a), 인터 예측을 사용하여 예측 이미지를 생성한다(단계 Sd_1b). 인트라 예측에 의해 생성된 예측 이미지는 인트라 예측 이미지라고도 하고, 인터 예측에 의해 생성된 예측 이미지는 인터 예측 이미지라고도 한다는 것이 주목된다.
다음으로, 예측부는 인트라 예측 이미지와 인터 예측 이미지 각각을 평가한다(단계 Sd_2). 앞서 설명한 비용(C)은 평가하는 데 사용될 수 있다. 그런 다음 예측부는 인트라 예측 이미지와 인터 예측 이미지 중에서 최소 비용(C)으로 계산된 예측 이미지를 현재 블록에 대한 최종 예측 이미지로서 선택한다(단계 Sd_3). 즉, 현재 블록에 대한 예측 이미지를 생성하기 위한 예측 방법 또는 모드가 선택된다.
예측 프로세서는 그 후, 현재의 블록에 대한 최종 예측 이미지로서, 최소 비용(C)이 인트라 예측 이미지와 인터 예측 이미지 중에서 계산된 예측 이미지를 선택한다(단계 Sd_3). 다시 말해, 현재의 블록에 대한 예측 이미지를 생성하기 위한 예측 방법 또는 모드가 선택된다.
(인트라 예측부)
인트라 예측부(124)는 현재 화상에 있고 블록 메모리(118)에 저장된 블록 또는 블록들을 참조하여 현재 블록의 인트라 예측(인트라 프레임 예측이라고도 지칭됨)을 수행함으로써 예측 신호(즉, 인트라 예측 이미지)를 생성한다. 보다 구체적으로, 인트라 예측부(124)는 현재 블록에 이웃한 블록 또는 블록들의 픽셀 값(예를 들어, 휘도 및/또는 채도 값)을 참조하여 인트라 예측을 수행함으로써 인트라 예측 이미지를 생성하고, 인트라 예측 이미지를 예측 제어부(128)로 출력한다.
예를 들어, 인트라 예측부(124)는 규정된 복수의 인트라 예측 모드 중에서 하나의 모드를 사용하여 인트라 예측을 수행한다. 인트라 예측 모드는 통상 하나 이상의 비방향성 예측 모드 및 다수의 방향성 예측 모드를 포함한다. 규정된 모드는 미리 규정될 수 있다.
하나 이상의 비방향성 예측 모드는 예를 들어 H.265/HEVC(high-efficiency video coding) 표준에 규정된 평면 예측 모드 및 DC 예측 모드를 포함한다.
다수의 방향성 예측 모드는 예를 들어 H.265/HEVC 표준에 규정된 33개의 방향성 예측 모드를 포함한다. 다수의 방향성 예측 모드는 33개의 방향성 예측 모드에 더하여 32개의 방향성 예측 모드(총 65개의 방향성 예측 모드)를 더 포함할 수 있다는 것이 주목된다. 도 31은 인트라 예측에서 사용될 수 있는 총 67개의 인트라 예측 모드(2개의 비방향성 예측 모드 및 65개의 방향성 예측 모드)를 예시하기 위한 개념도이다. 실선 화살표는 H.265/HEVC 표준에 규정된 33개의 방향을 나타내고, 파선 화살표는 추가 32개의 방향을 나타낸다(2개의 비방향성 예측 모드는 도 31에 예시되지 않음).
다양한 종류의 처리 예에서, 휘도 블록은 채도 블록의 인트라 예측에서 참조될 수 있다. 즉, 현재 블록의 휘도 성분에 기초하여 현재 블록의 채도 성분을 예측할 수 있다. 이러한 인트라 예측은 성분 교차 선형 모델(cross-component linear model: CCLM) 예측이라고도 한다. 이러한 휘도 블록을 참조하는 채도 블록에 대한 인트라 예측 모드(예를 들어, CCLM 모드라고도 함)는 채도 블록에 대한 인트라 예측 모드 중 하나로서 추가될 수 있다.
인트라 예측부(124)는 수평/수직 참조 픽셀 구배에 기초하여 인트라 예측된 픽셀 값을 보정할 수 있다. 이러한 종류의 보정을 수반하는 인트라 예측은 위치 의존 인트라 예측 결합(Position Dependent Intra Prediction Combination: PDPC)라고도 한다. PDPC 적용 여부를 나타내는 정보(예를 들어 PDPC 플래그라고 함)는 일반적으로 CU 레벨에서 신호화된다. 이러한 정보의 신호화는 반드시 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 타일 레벨 또는 CTU 레벨)에서 수행될 수 있다는 것이 주목된다.
도 32는 인트라 예측부(124)에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
인트라 예측부(124)는 다수의 인트라 예측 모드로부터 하나의 인트라 예측 모드를 선택한다(단계 Sw_1). 인트라 예측부(124)는 그 후 선택된 인트라 예측 모드에 따라 예측 이미지를 생성한다(단계 Sw_2). 다음으로, 인트라 예측부(124)는 가장 유력한 모드(Most Probable Mode: MPM)를 결정한다(단계 Sw_3). MPM은 예를 들어 6개의 인트라 예측 모드를 포함한다. 예를 들어, 6개의 인트라 예측 모드 중 2개의 모드는 평면 모드 및 DC 예측 모드일 수 있으며, 다른 4개의 모드는 방향성 예측 모드일 수 도 있다. 인트라 예측부(124)는 단계 Sw_1에서 선택된 인트라 예측 모드가 MPM에 포함되는지를 결정한다(단계 Sw_4).
여기서, 단계 Sw_1에서 선택된 인트라 예측 모드가 MPM에 포함됨을 결정할 때(단계 Sw_4에서 예), 인트라 예측부(124)는 MPM 플래그를 1로 설정하며(단계 Sw_5), MPM 중 선택된 인트라 예측 모드를 나타내는 정보를 생성한다(단계 Sw_6). 1로 설정된 MPM 플래그와 인트라 예측 모드를 나타내는 정보는 엔트로피 인코더(110)에 의해 예측 파라미터로서 인코딩될 수 도 이음을 주목해야 한다.
선택된 인트라 예측 모드가 MPM에 포함되지 않음을 결정할 때(단계 Sw_4에서 아니오), 인트라 예측부(124)는 MPM 플래그를 0으로 설정한다(단계 Sw_7). 대안적으로, 인트라 예측부(124)는 어떠한 MPM 플래그도 설정하지 않는다. 인트라 예측부(124)는 그 후 MPM에 포함되지 않은 적어도 하나의 인트라 예측 모드 중 선택된 인트라 예측 모드를 나타내는 정보를 생성한다(단계 Sw_8). 0으로 설정된 MPM 플래그와 인트라 예측 모드를 나타내는 정보는 엔트로피 인코더(110)에 의해 예측 파라미터로서 인코딩될 수 도 있음을 주목해야 한다. 인트라 예측 모드를 나타내는 정보는 예를 들어 0 내지 60 중 임의의 하나를 나타낸다.
(인터 예측부)
인터 예측부(126)는 현재 화상과는 다르고 프레임 메모리(122)에 저장된 참조 화상의 블록 또는 블록들을 참조하여 현재 블록의 인터 예측(인터 프레임 예측이라고도 함)을 수행함으로써 예측 이미지(인터 예측 이미지)를 생성한다. 인터 예측은 현재 블록 또는 이 현재 블록에서의 현재 서브 블록(예를 들어, 4×4 블록) 단위로 수행된다. 서브 블록은 블록에 포함되며 블록보다 작은 단위이다. 서브 블록의 크기는 슬라이스, 브릭, 화상 등의 형태로 되어 있을 수 도 있다.
예를 들어, 인터 예측부(126)는 현재 블록 또는 현재 서브 블록에 대한 참조 화상에서 움직임 추정을 수행하고, 현재 블록 또는 현재 서브 블록과 가장 잘 매칭하는 참조 블록 또는 참조 서브 블록을 찾는다. 그런 다음 인터 예측부(126)는 참조 블록 또는 참조 서브 블록으로부터 현재 블록 또는 서브 블록으로 움직임 또는 변화를 보상하는 움직임 정보(예를 들어, 움직임 벡터)를 획득한다. 인터 예측부(126)는 움직임 정보에 기초하여 움직임 보상(또는 움직임 예측)을 수행함으로써 현재 블록 또는 서브 블록의 인터 예측 이미지를 생성한다. 인터 예측부(126)는 생성된 인터 예측 이미지를 예측 제어부(128)에 출력한다.
움직임 보상에 사용되는 움직임 정보는 다양한 형태의 인터 예측 신호로서 신호화될 수 있다. 예를 들어, 움직임 벡터가 신호화될 수 있다. 다른 예로서, 움직임 벡터와 움직임 벡터 예측자 사이의 차이가 신호화될 수 있다.
(참조 화상 리스트)
도 33은 참조 화상의 예를 예시하기 위한 개념도이다. 도 34는 참조 화상 리스트의 예를 예시하기 위한 개념도이다. 참조 화상 리스트는 프레임 메모리(122)에 저장된 적어도 하나의 참조 화상을 나타내는 리스트이다. 도 33에서, 직사각형 각각은 화상을 나타내고, 화살표 각각은 화상 참조 관계를 나타내고, 수평 축은 시간을 나타내고, 직사각형의 I, P 및 B는 각각 인트라 예측 화상, 단방향 예측 화상 및 양방향 예측 화상을 나타내며, 직사각형의 숫자는 디코딩 순서를 나타낸다. 도 33에 예시한 바와 같이, 화상의 디코딩 순서는 I0, P1, B2, B3 및 B4의 순서이며, 화상의 디스플레이 순서는 I0, B3, B2, B4 및 P1의 순서이다. 도 34에 예시한 바와 같이, 참조 화상 리스트는 참조 화상 후보를 나타내는 리스트이다. 예를 들어, 하나의 화상(또는 슬라이스)은 적어도 하나의 참조 화상 리스트를 포함할 수 도 있다. 예를 들어, 하나의 참조 화상 리스트는, 현재의 화상이 단방향 예측 화상일 때 사용되며, 2개의 참조 화상 리스트는, 현재의 화상이 양방향 참조 화상일 때 사용된다. 도 33 및 도 34의 예에서, 현재의 화상(currPic)인 화상(B3)은 L0 리스트와 L1 리스트인 2개의 참조 화상 리스트를 갖는다. 현재의 화상(currPic)이 화상(B3)일 때, 현재의 화상(currPic)에 대한 참조 화상 후보는 I0, P1 및 B2이며, (L0 리스트 및 L1 리스트인) 참조 화상 리스트는 이들 화상을 나타낸다. 인터 예측부(126) 또는 예측 제어부(128)는 각 참조 화상 리스트의 어떤 화상이 참조 화상 인덱스(refidxLx)의 형태로 실제로 참조될 것인지를 명시한다. 도 34에서, 참조 화상(P1 및 B2)은 참조 화상 인덱스(refIdxL0 및 refIdxL1)에 의해 명시된다.
그러한 참조 화상 리스트는 시퀀스, 화상, 슬라이스, 브릭, CTU 또는 CU와 같은 각 단위 마다 생성될 수 도 있다. 게다가, 참조 화상 리스트에 나타낸 참조 화상 중, 인터 예측으로 참조될 참조 화상을 나타내는 참조 화상 인덱스는 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 브릭 레벨, CTU 레벨 또는 CU 레벨에서 신호화될 수 도 있다. 게다가, 공통 참조 화상 리스트는 다수의 인터 예측 모드에서 사용될 수 도 있다.
(인터 예측의 기본 흐름)
도 35는 인터 예측 처리의 예시적인 기본 처리 흐름을 예시하는 흐름도이다.
먼저, 인터 예측부(126)는 예측 신호를 생성한다(단계 Se_1 내지 Se_3). 다음으로, 감산부(104)는 현재 블록과 예측 이미지 사이의 차이를 예측 잔차로서 생성한다(단계 Se_4).
여기서, 예측 이미지의 생성 시에 인터 예측부(126)는 현재 블록의 움직임 벡터(MV)의 결정(단계 Se_1 및 Se_2) 및 움직임 보상(단계 Se_3)을 통해 예측 이미지를 생성한다. 또한, MV를 결정할 때, 인터 예측부(126)는 움직임 벡터 후보(MV 후보)의 선택(단계 Se_1) 및 MV의 도출(단계 Se_2)을 통해 MV를 결정한다. MV 후보의 선택은 예를 들어 인터 예측부(126)가 MV 후보 리스트를 생성하며 MV 후보 리스트로부터 적어도 하나의 MV 후보를 선택함으로써 이루어진다. 과거에 도출된 MV가 MV 후보 리스트에 추가될 수 도 있음을 주목해야 한다. 대안적으로, MV를 도출할 때, 인터 예측부(126)는 나아가 적어도 하나의 MV 후보로부터 적어도 하나의 MV 후보를 선택하고, 선택된 적어도 하나의 MV 후보를 현재 블록에 대한 MV로서 결정할 수 있다. 대안적으로, 인터 예측부(126)는 선택된 적어도 하나의 MV 후보 각각에 의해 지정된 참조 화상 영역에서 추정을 수행함으로써 현재 블록에 대한 MV를 결정할 수 있다. 참조 화상 영역에서 추정은 움직임 추정이라고 할 수 있다는 것이 주목된다.
또한, 전술한 예에서는 단계(Se_1 내지 Se_3)가 인터 예측부(126)에 의해 수행되지만, 예를 들어, 단계(Se_1), 단계(Se_2) 등의 처리는 인코더(100)에 포함된 다른 구성요소에 의해 수행될 수 있다.
MV 후보 리스트는 인터 예측 모드에서 각 처리 마다 생성될 수 도 있거나, 공통 MV 후보 리스트가 다수의 인터 예측 모드에서 사용될 수 도 있음을 주목해야 한다. 단계 Se_3 및 Se_4에서의 처리는 각각 도 9에 예시한 단계 Sa_3 및 Sa_4에 대응한다. 단계 Se_3에서의 처리는 도 30에서 단계 Sd_1b에서의 처리에 대응한다.
(움직임 벡터 도출 흐름)
도 36은 움직임 벡터 도출 처리의 일례를 예시하는 흐름도이다.
인터 예측부(126)는 움직임 정보(예를 들어, MV)를 인코딩하는 모드에서 현재 블록의 MV를 도출할 수 도 있다. 이 경우, 예를 들어, 움직임 정보는 예측 파라미터로서 인코딩되어 신호화될 수 도 있다. 즉, 인코딩된 움직임 정보는 스트림에 포함된다.
대안적으로, 인터 예측부(126)는 움직임 정보를 인코딩하지 않는 모드에서 MV를 도출할 수 도 있다. 이 경우에, 스트림에는 움직임 정보가 포함되지 않는다.
여기서, MV 도출 모드는 후술하는 정상 인터 모드, 정상 병합 모드, FRUC 모드, 아핀 모드 등을 포함할 수 있다. 모드들 중에서 움직임 정보를 인코딩하는 모드는 정상 인터 모드, 정상 병합 모드, 아핀 모드(구체적으로는 아핀 인터 모드 및 아핀 병합 모드) 등을 포함한다. 움직임 정보는 MV를 포함할 뿐만 아니라 후술할 움직임 벡터 예측자 선택 정보를 포함할 수 있다는 것이 주목된다. 움직임 정보를 인코딩하지 않는 모드는 FRUC 모드 등을 포함한다. 인터 예측부(126)는 다수의 모드로부터 현재 블록의 MV를 도출하기 위한 모드를 선택하고, 선택된 모드를 사용하여 현재 블록의 MV를 도출한다.
도 37은 움직임 벡터를 도출하는 다른 예를 예시하는 흐름도이다.
인터 예측부(126)는 MV 차이를 인코딩하는 모드에서 현재 블록에 대한 MV를 도출할 수 도 있다. 이 경우, 예를 들어, MV 차이는 예측 파라미터로서 인코딩되고 신호화될 수 도 있다. 즉, 인코딩된 MV 차이는 스트림에 포함된다. MV 차이는 현재 블록의 MV와 MV 예측자 사이의 차이이다. MV 예측부는 움직임 벡터 예측부임을 주목해야 한다.
대안적으로, 인터 예측부(126)는 MV 차이를 인코딩하지 않는 모드에서 MV를 도출할 수 도 있다. 이 경우에, 스트림에는 인코딩된 MV 차이가 포함되지 않는다.
여기서 전술한 바와 같이, MV 도출 모드는 후술하는 정상 인터 모드, 정상 병합 모드, FRUC 모드, 아핀 모드 등을 포함한다. 모드 중에서 MV 차이를 인코딩하는 모드는 정상 인터 모드, 아핀 모드(구체적으로는 아핀 인터 모드) 등을 포함한다. MV 차이를 인코딩하지 않는 모드는 FRUC 모드, 정상 병합 모드, 아핀 모드(구체적으로는 아핀 병합 모드) 등을 포함한다. 인터 예측부(126)는 다수의 모드로부터 현재 블록의 MV를 도출하기 위한 모드를 선택하고, 선택된 모드를 사용하여 현재 블록의 MV를 도출한다.
(움직임 벡터 도출 모드)
도 38a 및 도 38b는 MV 도출을 위한 모드의 분류 예를 예시하기 위한 개념도이다. 예를 들어, 도 38a에 예시한 바와 같이, MV 도출 모드는 움직임 정보를 인코딩할지 및 MV 차이를 인코딩할지에 따라 3개의 모드로 대략적으로 분류된다. 3개의 모드는 인터 모드, 병합 모드 및 FRUC(Frame Rate Up-Conversion) 모드이다. 인터 모드는 움직임 추정이 수행되며 움직임 정보 및 MV 차이가 인코딩되는 모드이다. 예를 들어, 도 38b에 예시한 바와 같이, 인터 모드는 아핀 인터 모드와 정상 인터 모드를 포함한다. 병합 모드는 움직임 추정이 수행되지 않으며 MV가 인코딩된 주위 블록으로부터 선택되며 현재의 블록에 대한 MV가 이 MV를 사용하여 도출되는 모드이다. 병합 모드는 기본적으로 움직임 정보가 인코딩되며 MV 차이가 인코딩되지 않는 모드이다. 예를 들어, 도 38b에 예시한 바와 같이, 병합 모드는 (정상 병합 모드 또는 통상적 병합 모드로도 지칭되는) 정상 병합 모드를 포함하며, 움직임 벡터 차이(MMVD) 모드, 결합된 인터 병합/인트라 예측(CIIP) 모드, 삼각형 모드, ATMVP 모드 및 아핀 병합 모드와 병합된다. 여기서, MV 차이는 병합 모드에 포함된 모드 중 MMVD 모드에서 예외적으로 인코딩된다. 아핀 병합 모드와 아핀 인터 모드는 아핀 모드에 포함되는 모드임을 주목해야 한다. 아핀 모드는, 현재 블록의 MV로서, 현재 블록에 포함되는 다수의 서브 블록 각각의 MV를 도출하기 위한 모드이며, 아핀 변환을 가정한다. FRUC 모드는, 움직임 정보나 어떠한 MV 차이가 인코딩되지 않는 인코딩된 구역 사이의 추정을 수행함으로써 현재의 블록의 MV를 도출하기 위한 모드이다. 각각의 모드는 이후 더 상세하게 설명될 것임을 주목해야 한다.
도 38a 및 도 38b에 예시한 모드의 분류는 예이며, 분류는 이것으로 제한되지 않음을 주목해야 한다. 예를 들어, MV 차이가 CIIP 모드에서 인코딩될 때, CIIP 모드는 인터 모드로 분류된다.
(MV 도출 > 정상 인터 모드)
정상 인터 모드는 MV 후보에 의해 지정된 참조 화상 영역으로부터 현재 블록의 이미지와 유사한 블록에 기초하여 현재 블록의 MV를 도출하는 인터 예측 모드이다. 이 정상 인터 모드에서는 MV 차이가 인코딩된다.
도 39는 정상 인터 모드에서의 인터 예측 처리의 일례를 예시하는 흐름도이다.
먼저, 인터 예측부(126)는 현재 블록에서 시간적으로 또는 공간적으로 주변에 있는 다수의 인코딩된 블록의 MV와 같은 정보에 기초하여 현재 블록에 대한 다수의 MV 후보를 획득한다(단계 Sg_1). 즉, 인터 예측부(126)는 MV 후보 리스트를 생성한다.
다음으로, 인터 예측부(126)는 단계(Sg_1)에서 획득된 다수의 MV 후보로부터 N(2 이상의 정수)개의 MV 후보를 결정된 우선 순위에 따라 움직임 벡터 예측자 후보(MV 예측자 후보라고도 함)로서 추출한다(단계 Sg_2). 우선 순위는 N개의 MV 후보 각각에 대해 미리 결정될 수 있다는 것이 주목된다.
다음으로, 인터 예측부(126)는 N개의 움직임 벡터 예측자 후보로부터 하나의 움직임 벡터 예측자 후보를 현재 블록의 움직임 벡터 예측자(MV 예측자라고도 함)로서 선택한다(단계 Sg_3). 이때, 인터 예측부(126)는 선택된 움직임 벡터 예측자를 식별하기 위한 움직임 벡터 예측자 선택 정보를 스트림에서 인코딩한다. 다시 말해, 인터 예측부(126)는 예측 파라미터로서 MV 예측부 선택 정보를 예측 파라미터 생성부(130)를 통해 엔트로피 인코더(110)에 출력한다.
다음으로, 인터 예측부(126)는 인코딩된 참조 화상을 참조함으로써 현재 블록의 MV를 도출한다(단계 Sg_4). 이때, 인터 예측부(126)는 도출된 MV와 움직임 벡터 예측자 사이의 차이 값을 MV 차이로서 스트림에서 더 인코딩한다. 다시 말해, 인터 예측부(126)는 예측 파라미터로서 MV 차이를 예측 파라미터 생성부(130)를 통해 엔트로피 인코더(110)에 출력한다. 인코딩된 참조 화상은 인코딩된 후에 재구성된 다수의 블록을 포함하는 화상이라는 점을 주목해야 한다.
마지막으로, 인터 예측부(126)는 도출된 MV와 인코딩된 참조 화상을 사용하여 현재 블록의 움직임 보상을 수행함으로써 현재 블록에 대한 예측 이미지를 생성한다(단계 Sg_5). 단계 Sg_1 내지 Sg_5에서의 처리는 각 블록 마다 수행된다. 예를 들어, 단계 Sg_1 내지 Sg_5에서의 처리가 슬라이스에서 모든 블록에 수행될 때 정상 인터 모드를 사용하는 슬라이스의 인터 예측은 종료된다. 예를 들어, 단계 Sg_1 내지 Sg_5에서의 처리가 화상에서 모든 블록에 수행될 때, 정상 인터 모드를 사용하는 화상의 인터 예측은 종료된다. 슬라이스에 포함되는 모든 블록이 아니라도, 처리는 단계 Sg_1 내지 Sg_5를 겪게 될 수 도 있으며, 블록 중 일부가 처리를 겪게 될 때 정상 인터 모드를 사용하는 슬라이스의 인터 예측은 종료될 수 도 있음을 주목해야 한다. 이점은 또한 단계 Sg_1 내지 Sg_5에서의 처리에 적용된다. 정상 인터 모드를 사용하는 화상의 인터 예측은 처리가 화상에서 블록의 일부에 수행될 때 종료될 수 도 있다.
예측 이미지가 앞서 설명한 바와 같이 인터 예측 신호임을 주목해야 한다. 게다가, 예측 이미지를 생성하는데 사용되는 인터 예측 모드(상기 예에서는 정상 인터 모드)를 나타내는 정보는 예를 들어 인코딩된 신호에서 예측 파라미터로서 인코딩된다.
MV 후보 리스트가 또한 다른 모드에 사용하기 위한 리스트로서 사용될 수 도 있음을 주목해야 한다. 게다가, MV 후보 리스트에 관련된 처리는 다른 모드에 사용하기 위한 리스트에 관련된 처리에 적용할 수 도 있다. MV 후보 리스트에 관련된 처리는 예를 들어 MV 후보 리스트로부터 MV 후보의 추출이나 선택, MV 후보의 재정렬 또는 MV 후보의 삭제를 포함한다.
(MV 도출 > 정상 병합 모드)
병합 모드는 MV 후보 리스트로부터 MV 후보를 현재 블록의 MV로서 선택하여 MV를 도출하는 인터 예측 모드이다. 정상 병합 모드는 병함 모드의 유형이며, 간단히 병합 모드로 지칭될 수 도 있음을 주목해야 한다. 이 실시예에서, 정상 병합 모드와 병합 모드는 구별되며, 병합 모드는 더 넓은 의미로 사용된다.
도 40은 정상 병합 모드에서 인터 예측의 일례를 예시하는 흐름도이다.
먼저, 인터 예측부(126)는 현재 블록에서 시간적으로 또는 공간적으로 주변에 있는 다수의 인코딩된 블록의 MV와 같은 정보에 기초하여 현재 블록에 대한 다수의 MV 후보를 획득한다(단계 Sh_1). 즉, 인터 예측부(126)는 MV 후보 리스트를 생성한다.
다음으로, 인터 예측부(126)는 단계(Sh_1)에서 획득된 다수의 MV 후보로부터 하나의 MV 후보를 선택하여 현재 블록의 MV를 도출한다(단계 Sh_2). 이 때, 인터 예측부(126)는 선택된 MV 후보를 식별하기 위한 MV 선택 정보를 스트림에서 인코딩한다. 다시 말해, 인터 예측부(126)는 예측 파라미터로서 MV 선택 정보를 예측 파라미터 생성부(130)를 통해 엔트로피 인코더(110)에 출력한다.
마지막으로, 인터 예측부(126)는 도출된 MV와 인코딩된 참조 화상을 사용하여 현재 블록의 움직임 보상을 수행함으로써 현재 블록에 대한 예측 이미지를 생성한다(단계 Sh_3). 단계 Sh_1 내지 Sh_3에서의 처리는 예를 들어 각 블록에 수행된다. 예를 들어, 단계 Sh_1 내지 Sh_3에서의 처리가 슬라이스에서의 모든 블록에 수행될 때, 정상 병합 모드를 사용하는 슬라이스의 인터 예측은 종료된다. 게다가, 단계 Sh_1 내지 Sh_3에서의 처리가 화상에서의 모든 블록에 수행될 때, 정상 병합 모드를 사용하는 화상의 인터 예측은 종료된다. 슬라이스에 포함된 모든 블록이 단계 Sh_1 내지 Sh_3에서의 처리를 겪는 것은 아니며, 정상 병합 모드를 사용하는 슬라이스의 인터 예측이, 블록 중 일부가 이들 처리를 겪게 될 때 종료될 수 도 있음을 주목해야 한다. 이점은 또한 단계 Sh_1 내지 Sh_3에서의 처리에 적용된다. 정상 병합 모드를 사용하는 화상의 인터 예측은 처리가 화상에서의 블록 중 일부에 수행될 때 종료될 수 도 있다.
또한, 인코딩된 신호에 포함되고 예측 이미지를 생성하는데 사용되는 인터 예측 모드(위의 예에서 정상 병합 모드)를 나타내는 정보는 예를 들어 스트림에서 예측 파라미터로서 인코딩된다.
도 41은 정상 병합 모드에서 현재 화상의 움직임 벡터 도출 처리의 일례를 예시하기 위한 개념도이다.
먼저, 인터 예측부(126)는 MV 예측자가 등록된 MV 후보 리스트를 생성한다. MV 후보의 예로는, 현재 블록에서 공간적으로 주변에 있는 다수의 인코딩된 블록의 MV인 공간적으로 이웃한 MV 후보; 인코딩된 참조 화상에서 현재 블록의 위치가 투영되는 주변 블록의 MV인 시간적으로 이웃한 MV 후보; 공간적으로 이웃한 MV 후보의 MV 값과 시간적으로 이웃한 MV 예측자의 MV 값를 결합하여 생성된 MV인 결합된 MV 후보; 및 제로 값을 갖는 MV인 제로 MV 후보를 포함한다.
다음으로, 인터 예측부(126)는 MV 후보 리스트에 등록된 다수의 MV 후보로부터 하나의 MV 후보를 선택하고, 이 MV 후보를 현재 블록의 MV로서 결정된다.
또한, 엔트로피 인코더(110)는 MV 후보가 선택되었음을 나타내는 신호인 병합_idx를 기록하고 스트림에서 인코딩한다.
도 41에서 설명된 MV 후보 리스트에 등록된 MV 후보는 예시라는 점을 주목해야 한다. MV 후보의 수는 도면에서 MV 후보의 수와 다를 수 있으며, MV 후보 리스트는, 도면에서 MV 후보의 종류 중 일부가 포함되지 않을 수 있고 또는 도면에서 MV 후보의 종류 이외의 하나 이상의 MV 후보가 포함되는 방식으로 구성될 수 있다.
최종 MV는 정상 병합 모드에서 도출된 현재 블록의 MV를 사용하여 후술할 동적 움직임 벡터 리프레싱(DMVR)을 수행함으로써 결정될 수 있다. 정상 병합 모드에서, 움직임 정보는 인코딩되며, MV 차이는 인코딩되지 않음을 주목해야 한다. MMVD 모드에서, 하나의 MV 후보가 정상 병합 모드의 경우에서처럼 MV 후보 리스트로부터 선택되며, MV 차이가 인코딩된다. 도 38b에 예시한 바와 같이, MMVD는 정상 병합 모드와 함께 병합 모드로 분류될 수 도 있다. MMVD 모드에서의 MV 차이는 인터 모드에서 사용하기 위한 MV 차이와 항상 동일할 필요는 없음을 주목해야 한다. 예를 들어, MMVD 모드에서의 MV 차이 도출은 인터 모드에서의 MV 차이 도출에 필요한 처리량보다 적은 처리량을 필요로 하는 처리일 수 도 있다.
게다가, 결합된 인터 병합/인트라 예측(CIIP) 모드는 수행될 수 도 있다. 이 모드는 인터 예측에서 생성된 예측 이미지와 인트라 예측에서 생성된 예측 이미지를 중첩하여 현재의 블록에 대한 예측 이미지를 생성하기 위한 것이다.
MV 후보 리스트는 후보 리스트로 지칭될 수 도 있음을 주목해야 한다. 게다가, 병합_idx는 MV 선택 정보이다.
(MV 도출 > HMVP 모드)
도 42는 HMVP 병합 모드를 사용하여 현재의 화상에 대한 MV 도출 처리의 일례를 예시하기 위한 개념도이다.
정상 병합 모드에서, 예를 들어 현재 블록인 CU에 대한 MV는 인코딩된 블록(예를 들어 CU)를 참조함으로써 생성되는 MV 리스트로부터 하나의 MV 리스트를 선택함으로써 결정된다. 여기서, 다른 MV 후보가 MV 후보 리스트에서 등록될 수 도 있다. 그러한 다른 MV 후보가 등록되는 모드를 HMVP 모드로 지칭한다.
HMVP 모드에서, MV 후보는, 정상 병합 모드에 대한 MV 후보 리스트와 별도로, HMVP를 위한 선입선출(FIFO) 서버를 사용하여 관리된다.
FIFO 버퍼에서, 과거에 처리한 블록의 MV와 같은 움직임 정보가 먼저 최신으로 저장된다. FIFO 버퍼의 관리에서, 하나의 블록이 처리될 때마다, 최신 블록(즉 바로 직전에 처리된 CU)에 대한 MV가 FIFO 버퍼에 저장되며, 가장 오래된 CU(즉 가장 일찍 처리된 CU)의 MV가 FIFO 버퍼로부터 삭제된다. 도 42에 예시한 예에서, HMVP1이 최신 블록에 대한 MV이며, HMVP5가 가장 오래된 MV에 대한 MV이다.
인터 예측부(126)는 그 후 예를 들어 FIFO 버퍼에서 관리되는 각각의 MV가 HMVP1으로부터 시작하여 정상 병합 모드에 대한 MV 후보 리스트에 이미 등록된 모든 MV 후보와 상이한 MV인지를 점검한다. MV가 모든 MV 후보와 상이함을 결정할 때, 인터 예측부(126)는 정상 병합 모드를 위한 MV 후보 리스트에 FIFO 버퍼에 관리되는 MV를 MV 후보로서 추가할 수 도 있다. 이때, FIFO 버퍼의 하나 이상의 MV 후보가 등록될 수 도 있다(MV 후보 리스트에 추가될 수 도 있다).
이런 식으로 HMVP 모드를 사용함으로써, 현재의 블록에 공간적으로 또는 시간적으로 이웃하는 블록의 MV를 추가할 뿐만 아니라 과거에 처리된 블록에 대한 MV도 추가할 수 있다. 결국, 정상 병합 모드에 대한 MV 후보의 변동이 확장되어, 코딩 효율이 증가할수 있는 확률을 증가시킨다.
MV가 움직임 정보일 수 도 있음을 주목해야 한다. 다시 말해, MV 후보 리스트와 FIFO 버퍼에 저장된 정보는 MV 값뿐만 아니라 참조 화상 정보, 참조 방향, 화상 수 등을 포함할 수 도 있다. 게다가, 블록은 예컨대 CU일 수 도 있다.
도 42에 예시한 MV 후보 리스트와 FIFO 버퍼는 예임을 주목해야 한다. MV 후보 리스트와 FIFO 버퍼의 크기는 도 42에서의 후보 리스트와 버퍼의 크기와 상이할 수 있거나, 도 42에서의 순서와 상이한 순서로 MV 후보를 등록하도록 구성될 수 도 있음을 주목해야 한다. 게다가, 여기서 설명한 처리는 인코더(100)와 디코더(200) 사이에 공통일 수 도 있다.
HMVP 모드는 정상 병합 모드가 아닌 모드에 적용될 수 있음을 주목해야 한다. 예를 들어, 과거에 아핀 모드에서 처리된 블록의 MV와 같은 움직임 정보가 먼저 가장 최신으로 저장될 수 도 있으며, MV 후보로서 사용될 수 도 있어서 더 양호한 효율을 촉진할 수 도 있다. HMVP 모드를 아핀 모드에 적용함으로써 획득하는 모드를 이력 아핀 모드로 지칭할 수 도 있다.
(MV 도출 > FRUC 모드)
움직임 정보는 인코더 측으로부터 신호화되지 않고 디코더 측에서 도출될 수 있다. 예를 들어 디코더(200) 측에서 움직임 추정을 수행함으로써 움직임 정보를 도출할 수 있다. 일 실시예에서, 디코더 측에서, 움직임 추정은 현재 블록에서의 임의의 픽셀 값을 사용하지 않고 수행된다. 현재의 블록에서 임의의 픽셀 값을 사용하지 않고 디코더(200) 측에서 움직임 추정을 수행하기 위한 모드는 프레임 속도 업 변환(Frame Rate Up-Conversion: FRUC) 모드, 패턴 매칭 움직임 벡터 도출(PMMVD) 모드 등을 포함한다.
흐름도 형태의 FRUC 처리의 일례가 도 43에 예시되어 있다. 먼저, 리스트는, MV 후보로서, 현재의 블록에 공간적으로 또는 시간적으로 각각 이웃하는 인코딩된 블록에 대한 MV를 MV를 참조함으로써 나타낸다(리스트는 MV 후보 리스트일 수 도 있으며 또한 정상 병합 모드에 대한 MV 후보 리스트로서 사용될 수 도 있다(단계 Si_1).
다음으로, MV 후보 리스트에 등록된 다수의 MV 후보로부터 가장 좋은 MV 후보를 선택한다(단계 Si_2). 예를 들어, MV 후보 리스트에 포함된 각각의 MV 후보의 평가 값을 계산하고, 이 평가 값에 기초하여 하나의 MV 후보를 선택한다. 선택된 움직임 벡터 후보에 기초하여 현재 블록에 대한 움직임 벡터가 도출된다(단계 Si_4). 보다 구체적으로, 예를 들어, 선택된 움직임 벡터 후보(가장 좋은 MV 후보)는 현재 블록에 대한 움직임 벡터로서 직접 도출된다. 또한, 예를 들어, 현재 블록에 대한 움직임 벡터는 참조 화상 내의 위치가 선택된 움직임 벡터 후보에 대응하는, 참조 화상의 위치의 주변 영역에서 매칭하는 패턴을 사용하여 도출될 수 있다. 즉, 패턴 매칭과 평가 값을 사용한 추정은 가장 좋은 MV 후보의 주변 구역에서 수행될 수 있으며, 더 좋은 평가 값을 산출하는 MV가 있는 경우 가장 좋은 MV 후보는 더 나은 평가 값을 산출하는 MV로 업데이트될 수 있고, 업데이트된 MV는 현재 블록에 대한 최종 MV로서 결정될 수 있다. 일부 실시예에서, 더 좋은 평가 값을 산출하는 움직임 벡터의 업데이트가 수행되지 않을 수 도 있다.
마지막으로, 인터 예측부(126)는 도출된 MV와 인코딩된 참조 화상을 사용하여 현재 블록의 움직임 보상을 수행함으로써 현재 블록에 대한 예측 이미지를 생성한다(단계 Si_5). 단계 Si_1 내지 Si_5에서의 처리가 예를 들어 각 블록에 수행된다. 예를 들어, 단계 Si_1 내지 Si_5에서의 처리가 슬라이스에서 모든 블록에 수행될 때, FRUC 모드를 사용하는 슬라이스의 인터 예측이 종료된다. 예를 들어, 단계 Si_1 내지 Si_5에서의 처리가 화상에서 모든 블록에 수행될 때 FRUC 모드를 사용하는 화상의 인터 예측이 종료된다. 슬라이스에 포함되는 모든 블록이 단계 Si_1 내지 Si_5에서의 처리를 겪는 것은 아니며, FRUC 모드를 사용하는 슬라이스의 인터 예측은 블록의 일부가 이러한 처리를 겪게 될 때 종료될 수 도 있음을 주목해야 한다. 단계 Si_1 내지 Si_5에서의 처리가 유사하게 화상에 포함되는 블록의 일부에 수행될 때, FRUC 모드를 사용하는 화상의 인터 예측이 종료될 수 도 있다.
유사한 처리가 서브 블록 단위로 수행될 수 있다.
다양한 종류의 방법에 따라 평가 값을 계산할 수 있다. 예를 들어, 움직임 벡터에 대응하는 참조 화상의 구역의 재구성된 이미지와, 결정된 구역(이 구역은, 아래에 나타낸 바와 같이, 예를 들어, 다른 참조 화상의 구역 또는 현재 화상의 이웃한 블록의 구역일 수 있음)의 재구성된 이미지 간을 비교한다. 결정된 구역은 미리 결정될 수 있다.
2개의 재구성된 이미지의 픽셀 값들 사이의 차이는 움직임 벡터의 평가 값을 위해 사용될 수 있다. 차이의 값 이외의 정보를 사용하여 평가 값을 계산할 수 있다는 것이 주목된다.
다음으로 패턴 매칭의 일례를 상세히 설명한다. 먼저, MV 후보 리스트(예를 들어, 병합 리스트)에 포함된 하나의 MV 후보를 패턴 매칭에 의한 추정의 시작점으로서 선택한다. 예를 들어, 패턴 매칭으로서 제1 패턴 매칭 또는 제2 패턴 매칭이 사용될 수 있다. 제1 패턴 매칭 및 제2 패턴 매칭은 각각 양측 매칭 및 템플릿 매칭이라고도 지칭할 수 도 있다.
(MV 도출 > FRUC > 양측 매칭)
제1 패턴 매칭에서, 현재 블록의 움직임 궤적을 따라 위치하며 2개의 상이한 참조 화상에 포함되는 2개의 블록 사이에서 패턴 매칭이 수행된다. 따라서, 제1 패턴 매칭에서는 현재 블록의 움직임 궤적을 따라 다른 참조 화상의 구역이 전술한 후보의 평가 값을 계산하기 위한 결정 구역으로 사용된다. 결정된 구역은 미리 결정될 수 있다.
도 44는 움직임 궤적을 따라 2개의 참조 화상의 2개의 블록 사이의 제1 패턴 매칭(양측 매칭)의 일례를 예시하기 위한 개념도이다. 도 44에 예시된 바와 같이, 제1 패턴 매칭에서, 현재 블록(Cur block)의 움직임 궤적을 따라 위치하며 2개의 다른 참조 화상(Ref0, Ref1)에 포함되는 2개의 블록의 쌍 중에서 가장 잘 매칭하는 쌍을 추정함으로써 2개의 움직임 벡터(MV0, MV1)가 도출된다. 보다 구체적으로, MV 후보에 의해 지정된 제1 인코딩된 참조 화상(Ref0)의 지정된 위치에서 재구성된 이미지와, 디스플레이 시간 간격으로 MV 후보를 스케일링함으로써 얻어진 대칭 MV에 의해 지정된 제2 인코딩된 참조 화상(Ref1)의 지정된 위치에서 재구성된 이미지 사이의 차이가 현재 블록에 대해 도출되고, 획득된 차이의 값을 사용하여 평가 값을 계산한다. 다수의 MV 후보 중에서 가장 좋은 평가 값을 산출하고 좋은 결과를 얻을 가능성이 있는 MV 후보를 최종 MV로서 선택할 수 있다.
연속적인 움직임 궤적을 가정하면 2개의 참조 블록을 지정하는 움직임 벡터(MV0, MV1)는 현재 화상(Cur Pic)과 2개의 참조 화상(Ref0, Ref1) 사이의 시간적 거리(TD0, TD1)에 비례한다. 예를 들어, 현재 화상이 시간적으로 2개의 참조 화상 사이에 위치되고, 현재 화상으로부터 각각의 2개의 참조 화상까지의 시간적 거리가 서로 같을 때, 미러 대칭 양방향 움직임 벡터가 제1 패턴 매칭에서 도출된다.
(MV 도출 > FRUC > 템플릿 매칭)
제2 패턴 매칭(템플릿 매칭)에서, 패턴 매칭은 참조 화상의 블록과 현재 화상의 템플릿(이 템플릿은 현재 화상의 현재 블록에 이웃한 블록(이 이웃한 블록은 예를 들어, 상위 및/또는 좌측 이웃한 블록(들)임)) 사이에 수행된다. 따라서, 제2 패턴 매칭에서는 현재 화상의 현재 블록에 이웃한 블록이 전술한 MV 후보의 평가 값을 계산하기 위해 결정된 구역으로서 사용된다.
도 45는 현재 화상의 템플릿과 참조 화상의 블록 간의 패턴 매칭(템플릿 매칭)의 일례를 예시하기 위한 개념도이다. 도 45에 예시된 바와 같이, 제2 패턴 매칭에서, 현재 블록(Cur block)의 움직임 벡터는 현재 화상(Cur Pic)의 현재 블록에 이웃한 블록과 가장 잘 매칭하는 참조 화상(Ref0)의 블록을 추정함으로써 도출된다. 보다 구체적으로, 좌측과 위쪽 또는 좌측 또는 위쪽에 이웃한 인코딩된 구역의 재구성된 이미지와, 인코딩된 참조 화상(Ref0)에서 대응하는 구역에 있고 MV 후보에 의해 지정된 재구성된 이미지 사이의 차이를 도출하고, 얻어진 차이의 값을 사용하여 평가 값을 계산한다. 다수의 MV 후보 중에서 가장 좋은 평가 값을 산출한 MV 후보를 가장 좋은 MV 후보로서 선택할 수 있다.
이러한 FRUC 모드 적용 여부를 나타내는 정보(예를 들어, FRUC 플래그라고 함)는 CU 레벨에서 신호화될 수 있다. 또한, FRUC 모드가 적용되는 경우(예를 들어, FRUC 플래그가 참인 경우), 적용 가능한 패턴 매칭 방법(예를 들어, 제1 패턴 매칭 또는 제2 패턴 매칭)을 나타내는 정보가 CU 레벨에서 신호화될 수 있다. 이러한 정보의 신호화는 반드시 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 타일 레벨, CTU 레벨, 또는 서브 블록 레벨)에서 수행될 수 있다는 것이 주목된다.
(MV 도출 > 아핀 모드)
아핀 모드는 아핀 변환을 사용하여 MV를 생성하기 위한 모드이다. 예를 들어, MV는, 다수의 이웃한 블록의 움직임 벡터에 기초하여 서브 블록 단위로 도출될 수 도 있다. 이 모드는 아핀 움직임 보상 예측 모드라고도 한다.
도 46a는 다수의 이웃한 블록의 움직임 벡터에 기초하여 서브 블록 단위의 MV 도출의 일례를 예시하기 위한 개념도이다. 도 46a에서, 현재 블록은, 예를 들어 16개의 4×4 서브 블록을 포함한다. 여기서, 현재 블록의 좌측 상위 모서리(corner) 제어점에서의 움직임 벡터(V0)는 이웃한 블록의 움직임 벡터에 기초하여 도출되고, 마찬가지로 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(V1)는 이웃한 서브 블록의 움직임 벡터에 기초하여 도출된다. 아래에 제시된 수식(1A)에 따라 2개의 움직임 벡터(v0 및 v1)가 투영될 수 있으며, 현재 블록에서의 각각의 서브 블록에 대한 움직임 벡터(vx, vy)가 도출될 수 있다.
[수식 1]
Figure pct00001
여기서 x와 y는 각각 서브 블록의 수평 위치와 수직 위치를 나타내고, w는 결정된 가중 계수를 나타낸다. 결정된 가중 계수는 미리 결정될 수 있다.
이러한 아핀 모드를 나타내는 정보(예를 들어, 아핀 플래그라고 함)는 CU 레벨에서 신호화될 수 있다. 아핀 모드를 나타내는 정보의 신호화는 반드시 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 타일 레벨, CTU 레벨, 또는 서브 블록 레벨)에서 수행될 수 도 있다는 것이 주목된다.
또한, 아핀 모드는 좌측 상위 및 우측 상위 모서리 제어점에서 움직임 벡터를 도출하기 위한 다른 방법에 대한 여러 모드를 포함할 수 있다. 예를 들어, 아핀 모드는 아핀 인터 모드(아핀 정상 인터 모드라고도 함)와 아핀 병합 모드의 두 가지 모드를 포함한다.
(MV 도출 > 아핀 모드)
도 46b는 3개의 제어점을 사용하는 아핀 모드에서 서브 블록 단위의 MV 도출의 일례를 예시하기 위한 개념도이다. 도 46b에서, 현재 블록은 예를 들어 16개의 4×4 블록을 포함한다. 여기서, 현재 블록에서 좌측 상위 모서리 제어점에서의 움직임 벡터(v0)는 이웃한 블록의 움직임 벡터에 기초하여 도출된다. 여기서, 현재 블록에서 우측 상위 모서리 제어점에서의 움직임 벡터(V1)는 이웃한 블록의 움직임 벡터에 기초하여 도출되며, 마찬가지로 현재 블록에 대한 좌측 하위 모서리 제어점에서의 움직임 벡터(V2)는 이웃한 블록의 움직임 벡터에 기초하여 도출된다. 3개의 움직임 벡터(v0, v1, v2)는 아래에 제시된 수식(1B)에 따라 투영될 수 있고, 현재 블록에서의 각각의 서브 블록에 대한 움직임 벡터(vx, vy)가 도출될 수 있다.
[수식 2]
Figure pct00002
여기서 x와 y는 각각 서브 블록의 수평 위치와 수직 위치를 나타내고, w 및 h는, 미리 결정된 가중 계수일 수 도 있는 가중 계수일 수 도 있다. 실시예에서, w는 현재 블록의 폭을 나타낼 수 도 있으며, h는 현재 블록의 높이를 나타낼 수 도 있다.
상이한 개수의 제어점(예를 들어, 2개 및 3개의 제어점)을 사용하는 아핀 모드는 전환될 수 있고 CU 레벨에서 신호화될 수 있다. CU 레벨에서 사용되는 아핀 모드의 제어점의 수를 나타내는 정보는 다른 레벨(예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 타일 레벨, CTU 레벨, 또는 서브 블록 레벨)에서 신호화될 수 있다는 것이 주목된다.
게다가, 3개의 제어점을 사용하는 이러한 아핀 모드는 좌측 상위, 우측 상위, 좌측 하위 모서리 제어점에서 움직임 벡터를 도출하는 상이한 방법을 포함할 수 있다. 예를 들어, 3개의 제어점을 사용하는 아핀 모드는, 2개의 제어점을 사용하는 아핀 모드의 경우에서처럼, 아핀 인터 모드와 아핀 병합 모드의 두 가지 모드를 포함한다.
아핀 모드에서, 현재의 블록에 포함되는 각 서브 블록의 크기는 4×4 픽셀로 제한되지 않을 수 도 있으며, 다른 크기일 수 도 있음을 주목해야 한다. 예를 들어, 각 서브 블록의 크기는 8×8 픽셀일 수 도 있다.
(MV 도출 > 아핀 모드 > 제어점)
도 47a, 도 47b, 및 도 47c는 아핀 모드에서의 제어점에서 MV 도출의 예를 예시하기 위한 개념도이다.
도 47a에 예시된 바와 같이, 아핀 모드에서, 예를 들어, 현재 블록의 각각의 제어점에서의 움직임 벡터 예측자는 현재 블록에 이웃한 인코딩된 블록 A(좌측), 블록 B(상위), 블록 C(우측 상위), 블록 D(좌측 하위) 및 블록 E(좌측 상위) 중에서 아핀 모드에 따라 인코딩된 블록에 대응하는 다수의 움직임 벡터에 기초하여 계산된다. 보다 구체적으로, 인코딩된 블록 A(좌측), 블록 B(상위), 블록 C(우측 상위), 블록 D(좌측 하위) 및 블록 E(좌측 상위)은 나열된 순서로 점검되고, 아핀 모드에 따라 인코딩된 제1 유효 블록이 식별된다. 현재 블록의 제어점에서의 움직임 벡터 예측자는 식별된 블록에 대응하는 다수의 움직임 벡터에 기초하여 계산된다.
예를 들어, 도 47b에 예시된 바와 같이, 현재 블록의 좌측에 이웃한 블록 A이 2개의 제어점을 사용하는 아핀 모드에 따라 인코딩된 경우, 블록 A을 포함하는 인코딩된 블록의 좌측 상위 모서리 위치 및 우측 상위 모서리 위치에 투영된 움직임 벡터(v3 및 v4)가 도출된다. 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0)와, 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1)가 도출된 움직임 벡터(v3 및 v4)로부터 계산된다.
예를 들어, 도 47c에 예시된 바와 같이, 현재 블록의 좌측에 이웃한 블록 A이 3개의 제어점을 사용하는 아핀 모드에 따라 인코딩된 경우, 블록 A을 포함하는 인코딩된 블록의 좌측 상위 모서리 위치, 우측 상위 모서리 위치 및 좌측 하위 모서리 위치에서 투영된 움직임 벡터(v3, v4 및 v5)가 도출된다. 그런 다음 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0), 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1), 및 현재 블록의 좌측 하위 모서리 제어점에서의 움직임 벡터(v2)가 도출된 움직임 벡터(v3, v4 및 v5)로부터 계산된다.
도 47a 내지 도 47c에 예시한 MV 도출 방법은 도 50에 예시한 단계 Sk_1에서의 현재 블록에 대한 각 제어점에서의 MV 도출에 사용될 수 도 있거나, 이후에 설명할 도 51에 예시한 단계 Sj_1에서의 현재의 블록에 대한 각 제어점에서의 MV 예측부 도출에 사용될 수 도 있다.
도 48a 및 도 48b는 아핀 모드에서의 제어점에서 MV 도출의 예를 예시하기 위한 개념도이다.
도 48a는 2개의 제어점이 사용되는 아핀 모드 예를 예시하기 위한 개념도이다.
아핀 모드에서, 도 48b에 예시한 바와 같이, 현재의 블록에 이웃하는 인코딩된 블록 A, 블록 B 및 블록 C에서의 MV들로부터 선택되는 MV가 현재의 블록에 대한 좌측 상위 모서리 제어점에서 움직임 벡터(v0)로서 사용된다. 마찬가지로, 현재의 블록에 이웃하는 인코딩된 블록 D 및 블록 E에서의 MV들로부터 선택되는 MV가 현재의 블록에 대한 우측 상위 모서리 제어점에서 움직임 벡터(v1)로서 사용된다.
도 48b는 3개의 제어점이 사용되는 아핀 모드 예를 예시하기 위한 개념도이다.
아핀 모드에서, 도 48b에 예시한 바와 같이, 현재의 블록에 이웃하는 인코딩된 블록 A, 블록 B 및 블록 C에서의 MV들로부터 선택되는 MV가 현재의 블록에 대한 좌측 상위 모서리 제어점에서 움직임 벡터(v0)로서 사용된다. 마찬가지로, 현재의 블록에 이웃하는 인코딩된 블록 D 및 블록 E에서의 MV들로부터 선택되는 MV가 현재의 블록에 대한 우측 상위 모서리 제어점에서 움직임 벡터(v1)로서 사용된다. 더 나아가, 현재의 블록에 이웃하는 인코딩된 블록 F 및 블록 G에서의 MV들로부터 선택되는 MV가 현재의 블록에 대한 좌측 하위 모서리 제어점에서 움직임 벡터(v2)로서 사용된다.
도 48a 및 도 48b에 예시한 MV 도출 방법은 도 50에 예시한 단계 Sk_1에서의 현재 블록에 대한 각 제어점에서의 MV 도출에 사용될 수 도 있거나, 이후에 설명할 도 51에 예시한 단계 Sj_1에서의 현재의 블록에 대한 각 제어점에서의 MV 예측부 도출에 사용될 수 도 있다.
여기서, 상이한 수의 제어점(예를 들어, 2개 및 3개의 제어점)이 사용되는 아핀 모드가 CU 레벨에서 전환되며 신호화될 수 있을 때, 인코딩된 블록에 대한 제어점의 수와 현재의 블록에 대한 제어점의 수는 서로 상이할 수 도 있다.
도 49a 및 도 49b는, 인코딩된 블록에 대한 제어점의 수와 현재의 블록에 대한 제어점의 수가 서로 상이할 때 제어점에서 MV 도출을 위한 방법의 예를 예시하기 위한 개념도이다.
예를 들어, 도 49a에 예시한 바와 같이, 현재의 블록은 좌측 상위 모서리, 우측 상위 모서리 및 좌측 하위 모서리에서 3개의 제어점을 가지며, 현재의 블록의 좌측에 이웃하는 블록 A는 2개의 제어점이 사용되는 아핀 모드에 따라 인코딩되었다. 이 경우, 블록 A를 포함하는 인코딩된 블록에서 좌측 상위 모서리 위치와 우측 상위 모서리 위치에서 출발하는 움직임 벡터(v3 및 v4)를 도출한다. 현재의 블록에 대한 좌측 상위 모서리 제어점에서의 움직임 벡터(v0)와 우측 상위 모서리 제어점에서의 움직임 벡터(v1)는 이후 도출될 움직임 벡터(v3 및 v4)로부터 계산한다. 더 나아가, 좌측 하위 모서리 제어점에서의 움직임 벡터(v2)는 도출된 움직임 벡터(v0 및 v1)로부터 계산된다.
예를 들어, 도 49b에 예시한 바와 같이, 현재의 블록은 좌측 상위 모서리 및 우측 상위 모서리에서 2개의 제어점을 가지며, 현재의 블록의 좌측에 이웃하는 블록 A는 3개의 제어점이 사용되는 아핀 모드에 따라 인코딩되었다. 이 경우, 블록 A를 포함하는 인코딩된 블록에서 좌측 상위 모서리 위치, 인코딩된 블록에서 우측 상위 모서리 위치 및 인코딩된 블록에서 좌측 하위 모서리 위치에서 출발하는 움직임 벡터(v3, v4 및 v5)를 도출한다. 현재의 블록에 대한 좌측 상위 모서리 제어점에서의 움직임 벡터(v0)와 우측 상위 모서리 제어점에서의 움직임 벡터(v1)는 이후 도출된 움직임 벡터(v3, v4 및 v5)로부터 계산된다.
도 49a 및 도 49b에 예시한 MV 도출 방법은 도 50에 예시한 단계 Sk_1에서의 현재 블록에 대한 각 제어점에서의 MV 도출에 사용될 수 도 있거나, 이후에 설명할 도 51에 예시한 단계 Sj_1에서의 현재의 블록에 대한 각 제어점에서의 MV 예측부 도출에 사용될 수 도 있음을 주목해야 한다.
(MV 도출 > 아핀 모드 > 아핀 병합 모드)
도 50은 아핀 병합 모드에서의 처리의 일례를 예시하는 흐름도이다.
예시된 아핀 병합 모드에서, 먼저, 인터 예측부(126)는 현재 블록에 대한 각각의 제어점의 MV를 도출한다(단계 Sk_1). 제어점은 도 46a에 예시된 현재 블록의 좌측 상위 모서리 점과 현재 블록의 우측 상위 모서리 점이고, 또는 도 46b에 예시된 현재 블록의 좌측 상위 모서리 점, 현재 블록의 우측 상위 모서리 점, 및 현재 블록의 좌측 하위 모서리 점이다. 인터 예측부(126)는 스트림에서 2개 또는 3개의 도출된 MV를 식별하기 위한 MV 선택 정보를 인코딩할 수 도 있다.
예를 들어, 도 47a 내지 도 47c에 예시된 MV 도출 방법이 사용될 때, 도 47a에 예시된 바와 같이, 인터 예측부(126)는 인코딩된 블록 A(좌측), 블록 B(상위), 블록 C(우측 상위), 블록 D(좌측 하위) 및 블록 E(좌측 상위)을 나열된 순서로 점검하고, 아핀 모드에 따라 인코딩된 제1 유효 블록을 식별한다.
인터 예측부(126)는 식별된 아핀 모드에 따라 인코딩된 식별된 제1 유효 블록을 사용하여 제어점에서 MV를 도출한다. 예를 들어, 블록 A이 식별되고 블록 A이 2개의 제어점을 갖는 경우, 도 47b에 예시된 바와 같이, 인터 예측부(126)는, 인코딩된 블록의 우측 상위 모서리와 블록 A을 포함하는 인코딩된 블록의 좌측 상위 모서리의 움직임 벡터(v3 및 v4)로부터 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0) 및 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1)를 계산한다. 예를 들어, 인터 예측부(126)는 인코딩된 블록의 좌측 상위 모서리와 우측 상위 모서리에서의 움직임 벡터(v3 및 v4)를 현재 블록에 투영함으로써 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0) 및 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1)를 계산한다.
대안적으로, 블록 A이 식별되고 블록 A이 3개의 제어점을 갖는 경우, 도 47c에 도시된 바와 같이, 인터 예측부(126)는 인코딩된 블록의 좌측 상위 모서리, 인코딩된 블록의 우측 상위 모서리 및 블록 A을 포함하는 인코딩된 블록의 우측 하위 모서리에서의 움직임 벡터(v3, v4 및 v5)로부터 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0), 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1), 및 현재 블록의 좌측 하위 모서리 제어점에서의 움직임 벡터(v2)를 계산한다. 예를 들어, 인터 예측부(126)는 인코딩된 블록의 좌측 상위 모서리, 우측 상위 모서리 및 좌측 하위 모서리에서의 움직임 벡터(v3, v4 및 v5)를 현재 블록에 투영함으로써 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0), 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1), 및 현재 블록의 좌측 하위 모서리 제어점에서의 움직임 벡터(v2)를 계산한다.
앞서 설명한 도 49a에 예시한 바와 같이, 3개의 제어점에서의 MV는, 블록 A이 식별되며 블록 A이 2개의 제어점을 가질 때 계산될 수 도 있으며, 앞서 설명한 도 49b에 예시한 바와 같이, 2개의 제어점에서의 MV는, 블록 A이 식별되며 블록 A이 3개의 제어점을 가질 때 계산될 수 도 있음을 주목해야 한다.
다음으로, 인터 예측부(126)는 현재 블록에 포함된 다수의 서브 블록 각각의 움직임 보상을 수행한다. 다시 말해, 인터 예측부(126)는, 예를 들어 2개의 움직임 벡터(v0 및 v1) 및 위에서 설명한 수식(1A), 또는 3개의 움직임 벡터(v0, v1 및 v2) 및 위에서 설명한 수식(1B)을 사용함으로써 다수의 서브 블록 각각에 대해 MV를 아핀 MV로서 계산한다(단계 Sk_2). 그런 다음 인터 예측부(126)는 이들 아핀 MV 및 인코딩된 참조 화상을 사용하여 서브 블록의 움직임 보상을 수행한다(단계 Sk_3). 단계 Sk_2 및 Sk_3에서의 처리가 현재의 블록에 포함되는 모든 서브 블록 각각에 대해 수행될 때, 현재의 블록에 대한 아핀 병합 모드를 사용하여 예측 이미지를 생성하기 위한 처리는 종료된다. 다시 말해, 현재 블록의 움직임 보상이 수행되어 현재 블록의 예측 이미지가 생성된다.
앞서 설명한 MV 후보 리스트는 단계 Sk_1에서 생성될 수 도 있음을 주목해야 한다. MV 후보 리스트는 예를 들어 각각의 제어점에 대해 다수의 MV 도출 방법을 사용하여 도출된 MV 후보를 포함하는 리스트일 수 도 있다. 다수의 MV 도출 방법은 예컨대 도 47a 내지 도 47c에 예시한 MV 도출 방법, 도 48a 및 도 48b에 예시한 MV 도출 방법, 도 49a 및 도 49b에 예시한 MV 도출 방법 및 기타 MV 도출 방법의 임의의 조합일 수 도 있다.
MV 후보 리스트는, 아핀 모드가 아닌, 예측이 서브 블록 단위로 수행되는 모드에서 MV 후보를 포함할 수 도 있음 주목해야 한다.
예를 들어, 2개의 제어점이 사용되는 아핀 병합 모드와 3개의 제어점이 사용되는 아핀 병합 모드에서 MV 후보를 포함하는 MV 후보 리스트가 MV 후보 리스트로서 생성될 수 도 있음을 주목해야 한다. 대안적으로, 2개의 제어점이 사용되는 아핀 병합 모드에서의 MV 후보를 포함하는 MV 후보 리스트와 3개의 제어점이 사용되는 아핀 병합 모드에서의 MV 후보를 포함하는 MV 후보 리스트는 별도로 생성될 수 도 있다. 대안적으로, 2개의 제어점이 사용되는 아핀 병합 모드와 3개의 제어점이 사용되는 아핀 병합 모드 중 하나에서의 MV 후보를 포함하는 MV 후보 리스트가 생성될 수 도 있다. MV 후보(들)는 예를 들어 인코딩된 블록 A(좌측), 블록 B(상위), 블록 C(우측 상위), 블록 D(좌측 하위) 및 블록 E(좌측 상위)에 대한 MV 또는 블록 중 유효 블록에 대한 MV일 수 도 있다.
MV 후보 리스트에서의 MV 중 하나를 나타내는 인덱스가 MV 선택 정보로서 송신될 수 도 있음을 주목해야 한다.
(MV 도출 > 아핀 모드 > 아핀 인터 모드)
도 51은 아핀 인터 모드에서의 처리 일례를 예시하는 흐름도이다.
아핀 인터 모드에서, 먼저, 인터 예측부(126)는 현재 블록에 대한 각각 2개 또는 3개의 제어점의 MV 예측자((v0, v1) 또는 (v0, v1, v2))를 도출한다(단계 Sj_1). 제어점은, 예를 들어 도 46a 또는 도 46b 예시된 바와 같이 현재 블록에 대한 좌측 상위 모서리 점, 현재 블록의 우측 상위 모서리 점, 및 현재 블록에 대한 우측 상위 모서리 점일 수 도 있다.
예를 들어, 도 48a 및 도 48b에 예시한 MV 도출 방법이 사용될 때, 인터 예측부(126)는 도 48a 또는 도 48b에 예시된 현재 블록에 대한 각각의 제어점 부근의 인코딩된 블록 중에서 임의의 블록의 MV를 선택함으로써 현재 블록에 대한 각각의 2개 또는 3개의 제어점의 MV 예측자((v0, v1) 또는 (v0, v1, v2))를 도출한다. 이때, 인터 예측부(126)는 선택된 2개 또는 3개의 MV 예측자를 식별하기 위한 MV 예측자 선택 정보를 스트림에서 인코딩한다.
예를 들어, 인터 예측부(126)는 현재 블록에 이웃한 인코딩된 블록 중에서 제어점에서의 MV 예측자로서의 MV를 선택하는 기준이 되는 블록을 비용 평가 등을 사용하여 결정할 수 있고, 선택된 MV 예측자를 나타내는 플래그를 비트스트림에서 기술할 수 있다. 다시 말해, 인터 예측부(126)는, 예측 파라미터로서, 플래그와 같은 MV 예측자 선택 정보를 예측 파라미터 생성부(130)를 통해 엔트로피 인코더(110)에 출력한다.
다음으로, 인터 예측부(126)는 단계(Sj_1)에서 선택되거나 도출된 MV 예측자를 업데이트하면서(단계 Sj_2) 움직임 추정을 수행한다(단계 Sj_3 및 Sj_4). 즉, 인터 예측부(126)는 위에서 설명한 수식(1A) 또는 수식(1B)을 사용하여 업데이트된 MV 예측자에 대응하는 각각의 서브 블록의 MV를 아핀 MV로서 계산한다(단계 Sj_3). 그런 다음 인터 예측부(126)는 이들 아핀 MV 및 인코딩된 참조 화상을 사용하여 서브 블록의 움직임 보상을 수행한다(단계 Sj_4). 단계 Sj_3 및 Sj_4에서의 처리가, MV 예측자가 단계 Sj_2에서 업데이트될 때 현재의 블록에서의 모든 블록에 수행된다. 그 결과, 예를 들어, 인터 예측부(126)는 최소 비용을 산출하는 MV 예측자를 움직임 추정 루프의 제어점에서의 MV로서 결정한다(단계 Sj_5). 이때, 인터 예측부(126)는 결정된 MV와 MV 예측자 사이의 차이 값을 MV 차이로서 스트림에서 더 인코딩한다. 다시 말해, 인터 예측부(126)는 MV 차이를 예측 파라미터로서 예측 파라미터 생성부(130)를 통해 엔트로피 인코더(110)에 출력한다.
마지막으로, 인터 예측부(126)는 결정된 MV와 인코딩된 참조 화상을 사용하여 현재 블록의 움직임 보상을 수행함으로써 현재 블록에 대한 예측 이미지를 생성한다(단계 Sj_6).
앞서 기재한 MV 후보 리스트는 단계 Sj_1에서 생성될 수 도 있음을 주목해야 한다. MV 후보 리스트는 예를 들어 각각의 제어점에 대한 다수의 MV 도출 방법을 사용하여 도출한 MV 후보를 포함하는 리스트일 수 도 있다. 다수의 MV 도출 방법은 예를 들어 도 47a 내지 도 47c에 예시한 MV 도출 방법, 도 48a 내지 도 48b에 예시한 MV 도출 방법, 도 49a 및 도 49b에 예시한 MV 도출 방법 및 기타 MV 도출 방법의 임의의 조합일 수 도 있다.
MV 후보 리스트는, 아핀 모드가 아닌, 예측이 서브 블록 단위로 수행되는 모드에서 MV 후보를 포함할 수 도 있다.
예를 들어, 2개의 제어점이 사용되는 아핀 인터 모드와 3개의 제어점이 사용되는 아핀 인터 모드에서 MV 후보를 포함하는 MV 후보 리스트가 MV 후보 리스트로서 생성될 수 도 있음을 주목해야 한다. 대안적으로, 2개의 제어점이 사용되는 아핀 인터 모드에서 MV 후보를 포함하는 MV 후보 리스트와, 3개의 제어점이 사용되는 아핀 인터 모드에서 MV 후보를 포함하는 MV 후보 리스트가 개별적으로 생성될 수 도 있다. 대안적으로, 2개의 제어점이 사용되는 아핀 인터 모드와 3개의 제어점이 사용되는 아핀 인터 모드 중 하나에서 MV 후보를 포함하는 MV 후보 리스트가 생성될 수 도 있다. MV 후보(들)는 예를 들어 인코딩된 블록 A(좌측), 블록 B(상위), 블록 C(우측 상위), 블록 D(좌측 하위) 및 블록 E(좌측 상위)에 대한 MV 또는 블록 중 유효 블록에 대한 MV일 수 도 있다.
MV 후보 리스트에서 MV 후보 중 하나를 나타내는 인덱스가 MV 예측자 선택 정보로서 송신될 수 도 있음을 주목해야 한다.
(MV 도출 > 삼각형 모드)
인터 예측부(126)는 앞선 예에서 현재의 직사각형 블록에 대한 하나의 직사각형 예측 이미지를 생성한다. 그러나, 인터 예측부(126)는, 현재의 직사각형 블록에 대한 직사각형과는 상이한 형상을 각각 갖는 다수의 예측 이미지를 생성할 수 도 있으며, 다수의 예측 이미지를 결합하여 최종 직사각형 예측 이미지를 생성할 수 도 있다. 직사각형과 상이한 형상은 예컨대 삼각형일 수 도 있다.
도 52a는 2개의 삼각형 예측 이미지의 생성을 예시하기 위한 개념도이다.
인터 예측부(126)는, 삼각형 예측 이미지를 생성하기 위해, 제1 파티션의 제1 MV를 사용하여 현재의 블록에서 삼각형 형상을 갖는 제1 파티션의 움직임 보상을 수행함으로써 삼각형 예측 이미지를 생성한다. 마찬가지로, 인터 예측부(126)는, 삼각형 예측 이미지를 생성하기 위해, 제2 파티션의 제2 MV를 사용하여 현재의 블록에서 삼각형 형상을 갖는 제2 파티션의 움직임 보상을 수행함으로써 삼각형 예측 이미지를 생성한다. 인터 예측부(126)는 그 후, 이들 예측 이미지를 결합함으로써 현재의 블록의 직사각형 형상과 동일한 직사각형 형상을 갖는 예측 이미지를 생성한다.
현재의 블록에 대응하는 직사각형 형상을 갖는 제1 예측 이미지가 제1 MV를 사용하여 제1 파티션에 대한 예측 이미지로서 생성될 수 도 있음을 주목해야 한다. 게다가, 현재의 블록에 대응하는 직사각형 형상을 갖는 제2 예측 이미지가 제2 MV를 사용하여 제2 파티션에 대한 예측 이미지로서 생성될 수 도 있음을 주목해야 한다. 현재의 블록에 대한 예측 이미지는 제1 예측 이미지와 제2 예측 이미지의 가중된 가산을 수행함으로써 생성될 수 도 있다. 가중된 가산을 겪는 부분은 제1 파티션과 제2 파티션 사이의 경계에 걸친 부분 구역일 수 도 있음을 주목해야 한다.
도 52b는, 제2 파티션과 중첩하는 제1 파티션의 제1 부분, 및 보정 처리의 부분으로서 가중될 수 도 있는 제1 및 제2 샘플 세트의 예를 예시하기 위한 개념도이다. 제1 부분은 예를 들어 제1 파티션의 폭이나 높이의 1/4일 수 도 있다. 다른 예에서, 제1 부분은 제1 파티션의 모서리 인근에 N개의 샘플에 대응하는 폭을 가질 수 도 있으며, N은 0보다 큰 정수이며, 예를 들어 N은 정수 2일 수 도 있다. 예시한 바와 같이, 도 52b의 좌측 예는 제1 파티션의 폭의 1/4인 폭을 갖는 직사각형 부분을 갖는 직사각형 파티션을 도시하며, 제1 샘플 세트는 제1 부분 외부의 샘플과 제1 부분 내부의 샘플을 포함하며, 제2 샘플 세트는 제1 부분 내부의 샘플을 포함한다. 도 52b의 중앙 예는 제1 파티션의 높이의 1/4인 높이를 갖는 직사각형 부분을 갖는 직사각형 파티션을 도시하며, 제1 샘플 세트는 제1 부분 외부의 샘플과 제1 부분 내부의 샘플을 포함하며, 제2 샘플 세트는 제1 부분 내부의 샘플을 포함한다. 도 52b 우측 예는 2개의 샘플에 대응하는 높이를 갖는 다각형 부분을 갖는 삼각형 파티션을 도시하며, 제1 샘플 세트는 제1 부분 외부의 샘플과 제1 부분 내부의 샘플을 포함하며, 제2 샘플 세트는 제1 부분 내부의 샘플을 포함한다.
제1 부분은 인접한 파티션과 중첩하는 제1 파티션의 부분일 수 도 있다. 도 52c는, 인접한 파티션의 부분과 중첩하는 제1 파티션의 부분인 제1 파티션의 제1 부분을 예시하기 위한 개념도이다. 용이한 예시를 위해, 공간적으로 인접한 직사각형 파티션과 중첩 부분을 갖는 직사각형 파티션을 도시한다. 삼각형 파티션과 같은 다른 형상을 갖는 파티션을 이용할 수 도 있으며, 중첩 부분은 공간적으로나 시간적으로 인접한 파티션과 중첩할 수 도 있다.
게다가, 예측 이미지가 인터 예측을 사용하여 2개의 파티션 각각에 대해 생성되는 예를 기재하지만, 예측 이미지는 인트라 예측을 사용하여 적어도 하나의 파티션에 대해 생성될 수 도 있다.
도 53은 삼각형 모드에서의 처리의 일례를 예시하는 흐름도이다.
삼각형 모드에서, 먼저, 인터 예측부(126)는 현재의 블록을 제1 파티션과 제2 파티션으로 분할한다(단계 Sx_1). 이 때, 인터 예측부(126)는 예측 파라미터로서 파티션으로의 분할에 관한 정보인 파티션 정보를 스트림에서 인코딩할 수 도 있다. 다시 말해, 인터 예측부(126)는 파티션 정보를 예측 파라미터로서 예측 파라미터 생성기(130)를 통해 엔트로피 인코더(110)에 출력할 수 도 있다.
먼저, 인터 예측부(126)는 현재의 블록을 시간적으로나 공간적으로 둘러싸는 다수의 인코딩된 블록의 MV와 같은 정보를 기초로 하여 현재의 블록에 대한 다수의 MV 후보를 획득한다(단계 Sx_2). 다시 말해, 인터 예측부(126)는 MV 후보 리스트를 생성한다.
인터 예측부(126)는 그 후 단계 Sx_1에서 획득한 다수의 MV 후보로부터, 각각 제1 MV 및 제2 MV로서 제1 파티션에 대한 MV 후보와 제2 파티션에 대한 MV 후보를 선택한다. 이 때, 인터 예측부(126)는 선택된 MV 후보를 예측 파라미터로서 식별하기 위한 MV 선택 정보를 스트림에 인코딩한다. 다시 말해, 인터 예측부(126)는 MV 선택 정보를 예측 파라미터로서 예측 파라미터 생성기(130)를 통해 엔트로피 인코더(110)에 출력한다.
다음으로, 인터 예측부(126)는 선택된 제1 MV 및 인코딩된 참조 화상을 사용하여 움직임 보상을 수행함으로써 제1 예측 이미지를 생성한다(단계 Sx_4). 마찬가지로, 인터 예측부(126)는 선택된 제2 MV 및 인코딩된 참조 화상을 사용하여 움직임 보상을 수행함으로써 제2 예측 이미지를 생성한다(단계 Sx_5).
마지막으로, 인터 예측부(126)는 제1 예측 이미지와 제2 예측 이미지의 가중된 가산을 수행함으로써 현재의 블록에 대한 예측 이미지를 생성한다(단계 Sx_6).
제1 파티션과 제2 파티션이 도 52a에 예시한 예에서 삼각형이지만, 제1 파티션과 제2 파티션은 사다리꼴 또는 서로 상이한 다른 형상일 수 도 있음을 주목해야 한다. 더 나아가, 현재의 블록이 도 52a 및 도 52c에서 예시한 예에서 2개의 파티션을 포함할지라도, 현재의 블록은 3개 이상의 파티션을 포함할 수 도 있다.
게다가 제1 파티션과 제2 파티션은 서로 중첩할 수 도 있다. 다시 말해, 제1 파티션과 제2 파티션은 동일한 픽셀 구역을 포함할 수 도 있다. 이 경우, 현재의 블록에 대한 예측 이미지는 제1 파티션에서의 예측 이미지와 제2 파티션에서의 예측 이미지를 사용하여 생성될 수 도 있다.
게다가, 예측 이미지가 인터 예측을 사용하여 2개의 파티션 각각에 대해 생성되는 예가 예시되었지만, 예측 이미지는 인트라 예측을 사용하여 적어도 하나의 파티션에 대해 생성될 수 도 있음을 주목해야 한다.
제1 MV를 선택하기 위한 MV 후보 리스트와 제2 MV를 선택하기 위한 MV 후보 리스트가 서로 상이할 수 도 있거나, 제1 MV를 선택하기 위한 MV 후보 리스트가 또한 제2 MV를 선택하기 위한 MV 후보 리스트로 사용될 수 있음을 주목해야 한다.
파티션 정보는, 적어도 현재의 블록을 다수의 파티션으로 분할하는 분할 방향을 나타내는 인덱스를 포함할 수 도 있음을 주목해야 한다. MV 선택 정보는 선택된 제1 MV를 나타내는 인덱스와 선택된 제2 MV를 나타내는 인덱스를 포함할 수 도 있다. 하나의 인덱스는 다수의 정보를 나타낼 수 도 있다. 예컨대, 파티션 정보의 부분 또는 전체와 MV 선택 정보의 부분 또는 전체를 집합적으로 나타내는 하나의 인덱스가 인코딩될 수 도 있다.
(MV 도출 > ATMVP 모드)
도 54는 MV가 서브 블록의 단위로 도출되는 ATMVP(Advanced Temporal Motion Vector Prediction) 모드의 일례를 예시하기 위한 개념도이다.
ATMVP 모드는 병합 모드로 분류되는 모드이다. 예를 들어, ATMVP 모드에서, 각 서브 블록에 대한 MV 후보가 정상 병합 모드에서의 사용을 위해 MV 후보 리스트에 등록된다.
더욱 구체적으로, ATMVP 모드에서, 먼저, 도 54에 예시한 바와 같이, 현재의 블록과 관련되는 시간 MV 후보 블록이, 현재의 블록에 대한 좌측 하위 위치에 위치한 이웃 블록의 MV(MVO)에 의해 명시되는 인코딩된 참조 화상에 식별된다. 다음으로, 현재의 블록의 각 서브 블록에서, 시간 MV 참조 블록에서 서브 블록에 대응하는 구역을 인코딩하는데 사용되는 MV가 식별된다. 이런 식으로 식별된 MV는 현재의 블록에서 서브 블록에 대한 MV 후보로서 MV 후보 리스트에 포함된다. 각 서브 블록에 대한 MV 후보가 MV 후보 리스트로부터 선택될 때, 서브 블록은 MV 후보가 서브 블록에 대한 MV로서 사용되는 움직임 보상을 겪는다. 이런 식으로, 각 서브 블록에 대한 예측 이미지가 생성된다.
현재의 블록에 대한 좌측 하위 위치에 위치한 블록이 도 54에서 예시한 예에서 주변 MV 참조 블록으로서 사용되더라도, 다른 블록이 사용될 수 도 있음을 주목해야 한다. 게다가, 서브 블록의 크기는 4×4 픽셀, 8×8 픽셀 또는 다른 크기일 수 도 있다. 서브 블록의 크기는 슬라이스, 브릭, 화상 등과 같은 단위로 전환될 수 도 있다.
(MV 도출 > DMVR)
도 55는 병합 모드와 DMVR(Decoder Motion Vector Refinement) 사이의 관계를 예시하는 흐름도이다.
인터 예측부(126)는 병합 모드에 따라 현재 블록에 대한 움직임 벡터를 도출한다(단계 Sl_1). 다음으로, 인터 예측부(126)는 움직임 벡터의 추정, 즉 움직임 추정을 수행할지 여부를 결정한다(단계 Sl_2). 여기서, 움직임 추정을 수행하지 않기로 결정할 때(단계 Sl_2에서 아니오), 인터 예측부(126)는 단계(Sl_1)에서 도출된 움직임 벡터를 현재 블록에 대한 최종 움직임 벡터로서 결정한다(단계 S1_4). 즉, 이 경우 현재 블록의 움직임 벡터가 병합 모드에 따라 결정된다.
단계(Sl_1)에서 움직임 추정을 수행하기로 결정할 때(단계 Sl_2에서 예), 인터 예측부(126)는 단계(Sl_1)에서 도출된 움직임 벡터에 의해 지정된 참조 화상의 주변 영역을 추정함으로써 현재 블록에 대한 최종 움직임 벡터를 도출한다(단계 Sl_3). 즉, 이 경우 현재 블록의 움직임 벡터는 DMVR에 따라 결정된다.
도 56은 MV를 결정하기 위한 DMVR 처리의 일례를 예시하기 위한 개념도이다.
먼저, 예를 들어, 병합 모드에서 MV 후보(L0 및 L1)가 현재 블록에 대해 선택된다. 참조 픽셀은 MV 후보(L0)에 따라 L0 리스트에서 인코딩된 화상인 제1 참조 화상(L0)으로부터 식별된다. 마찬가지로, 참조 픽셀은 MV 후보(L1)에 따라 L1 리스트에서 인코딩된 화상인 제2 참조 화상(L1)으로부터 식별된다. 이러한 참조 픽셀의 평균을 계산함으로써 템플릿이 생성된다.
다음으로, 제1 참조 화상(L0) 및 제2 참조 화상(L1)의 MV 후보의 주변 구역 각각을 템플릿을 사용하여 추정하고, 가장 적은 비용을 산출하는 MV를 최종 MV로 결정한다. 비용은, 예를 들어, 템플릿에서의 각각의 픽셀 값과, 추정 구역에서의 픽셀 값, MV 후보의 값 등 중에서 대응하는 픽셀 값 사이의 차이 값을 사용하여 계산될 수 있다는 것이 주목된다.
여기에 설명된 것과 정확히 동일한 처리를 항상 수행할 필요는 없다. MV 후보의 주변 구역에서 추정함으로써 최종 MV를 도출할 수 있는 다른 처리를 사용할 수 있다.
도 57은 MV를 결정하기 위한 DMVR의 다른 예를 예시하기 위한 개념도이다. 도 56에 예시한 DMVR의 예와 달리, 도 57에 예시한 예에서, 비용은 템플릿을 생성하지 않고 계산된다.
먼저, 인터 예측부(126)는, 각 MV 후보 리스트로부터 획득한 MV 후보인 초기 MV를 기초로 하여, L0 리스트와 L1 리스트에서 참조 화상 각각에 포함된 참조 블록의 주변 구역을 추정한다. 예를 들어, 도 57에 예시한 바와 같이, L0 리스트에서 참조 블록에 대응하는 초기 MV는 IniMV_L0이며, L1 리스트에서 참조 블록에 대응하는 초기 MV는 IniMV_L1이다. 움직임 추정에서, 인터 예측부(126)는 먼저 L0 리스트에서 참조 화상에 대한 검색 위치를 설정한다. 구체적으로, 설정된 검색 위치를 나타내는 벡터 차이에 의해 나타내어진 위치, 초기 MV(즉, IniMV_L0)를 기초로 하여, 검색 위치에 대한 벡터 차이는 MVd_L0이다. 인터 예측부(126)는 그 후 L1 리스트의 참조 화상에서 추정 위치를 결정한다. 이 검색 위치는 초기 MV(즉, InitMV_L1)에 의해 나타내어진 위치로부터 검색 위치에 대한 벡터 차이에 의해 나타내어진다. 더욱 구체적으로, 인터 예측부(126)는 MVd_L0의 미러링에 의해 MVd_L1으로서 벡터 차이를 결정한다. 다시 말해, 인터 예측부(126)는, L0 리스트와 L1 리스트에서 각 참조 화상에서 검색 위치인 초기 MV에 의해 나타내어진 위치에 관해 대칭인 위치를 결정한다. 인터 예측부(126)는 각 검색 위치에 대해 비용으로서 블록에서의 검색 위치에서의 픽셀 값 사이의 절대차이에 대한 총 합(SADs)을 계산하여, 최소 비용을 산출하는 검색 위치를 찾아낸다.
도 58a는 DMVR에서 움직임 추정의 일례를 예시하기 위한 개념도이며, 도 58b는 움직임 추정의 처리의 일례를 예시하는 흐름도이다.
먼저, 단계 1에서, 인터 예측부(126)는 초기 MV에 의해 나타내어진 검색 위치(시작점으로도 지칭됨)와 8개의 주변 검색 위치 사이의 비용을 계산한다. 인터 예측부(126)는, 시작점 이외의 검색 위치 각각에서의 비용이 최소인지를 결정한다. 여기서, 시작점 이외의 검색 위치에서의 비용이 최소임을 결정할 때, 인터 예측부(126)는 최소 비용이 획득되는 검색 위치로 타겟을 변경하여, 단계 2에서의 처리를 수행한다. 시작점에서의 비용이 최소일 때, 인터 예측부(126)는 단계 2에서의 처리를 건너뛰며, 단계 3에서의 처리를 수행한다.
단계 2에서, 인터 예측부(126)는, 새로운 시작점으로서, 단계 1에서의 처리의 결과에 따른 타겟 변경 후 검색 위치에 관해, 단계 1에서의 처리와 유사한 검색을 수행한다. 인터 예측부(126)는 그 후, 시작점 이외의 검색 위치 각각에서의 비용이 최소인지를 결정한다. 여기서, 시작점 이외의 검색 위치에서의 비용이 최소임을 결정할 때, 인터 예측부(126)는 단계 4에서의 처리를 수행한다. 시작점에서의 비용이 최소일 때, 인터 예측부(126)는 단계 3에서의 처리를 수행한다.
단계 4에서, 인터 예측부(126)는 시작점에서의 검색 위치를 최종 검색 위치로서 고려하며, 초기 MV에 의해 나타내어진 위치와 최종 검색 위치 사이의 차이를 벡터 차이인 것으로 결정한다.
단계 3에서, 인터 예측부(126)는, 단계 1 또는 단계 2에서 시작점에 관한 상위, 하위, 좌측 및 우측 위치에 위치한 4개의 지점에서의 비용을 기초로 하여, 최소 비용이 획득되는 픽셀 위치를 서브 픽셀 정확도로 결정하며, 픽셀 위치를 최종 검색 위치로서 간주한다. 서브 픽셀 정확도에서의 픽셀 위치는, 가중치로서 4개의 검색 위치 중 대응하는 하나에서의 비용을 사용하여 4개의 상위, 하위, 좌측 및 우측 벡터((0, 1), (0, -1), (-1, 0) 및 (1, 0)) 각각의 가중된 가산을 수행하여 결정된다. 인터 예측부(126)는 그 후 초기 MV에 의해 나타내어진 위치와 최종 검색 위치 사이의 차이를 벡터 차이인 것으로 결정한다.
(움직임 보상 > BIO/OBMC/LIC)
움직임 보상은 예측 이미지를 생성하고 예측 이미지를 보정하는 모드를 포함한다. 이 모드는 예를 들어 후술할 BIO(Bi-directional Optical flow), OBMC(Overlapped Block Motion Compensation), LIC(Local Illumination Compensation) 등이다.
도 59는 예측 이미지 생성 처리의 일례를 예시하는 흐름도이다.
인터 예측부(126)는 예측 이미지를 생성하고(단계 Sm_1), 예를 들어 전술한 임의의 모드에 따라 예를 들어 예측 이미지를 보정한다(단계 Sm_2).
도 60은 예측 이미지 생성 처리의 다른 예를 예시하는 흐름도이다.
인터 예측부(126)는 현재 블록의 움직임 벡터를 결정한다(단계 Sn_1). 다음으로, 인터 예측부(126)는 움직임 벡터를 사용하여 예측 이미지를 생성하고(단계 Sn_2), 보정 처리를 수행할지 여부를 결정한다(단계 Sn_3). 여기서, 보정 처리를 수행하기로 결정할 때(단계 Sn_3에서 예), 인터 예측부(126)는 예측 이미지를 보정함으로써 최종 예측 이미지를 생성한다(단계 Sn_4). 후술될 LIC에서, 휘도 및 채도는 단계 Sn_4에서 보정될 수 도 있다. 보정 처리를 수행하지 않기로 결정한 경우(단계 Sn_3에서 아니오), 인터 예측부(126)는 예측 이미지를 보정하지 않고 예측 이미지를 최종 예측 이미지로서 출력한다(단계 Sn_5).
(움직임 보상 > OBMC)
움직임 추정에 의해 획득된 현재 블록에 대한 움직임 정보에 더하여 이웃한 블록에 대한 움직임 정보를 사용하여 인터 예측 이미지를 생성할 수 있다는 점을 주목해야 한다. 보다 구체적으로, 인터 예측 이미지는 (참조 화상에서) 움직임 추정에 의해 획득된 움직임 정보에 기초한 예측 이미지와 (현재 화상에서) 이웃한 블록에 대한 움직임 정보에 기초한 예측 이미지를 가중하여 가산을 수행함으로써 현재 블록에서의 각 서브 블록에 대해 생성될 수 있다. 이러한 인터 예측(움직임 보상)은 중첩된 블록 움직임 보상(OBMC) 또는 OBMC 모드라고도 한다.
OBMC 모드에서는 OBMC에 대한 서브 블록 크기(예를 들어, OBMC 블록 크기라고 함)를 나타내는 정보는 시퀀스 레벨에서 신호화될 수 있다. 또한, OBMC 모드 적용 여부를 나타내는 정보(예를 들어, OBMC 플래그라고 함)는 CU 레벨에서 신호화될 수 있다. 이러한 정보의 신호화는 반드시 시퀀스 레벨 및 CU 레벨에서 수행될 필요는 없고, 다른 레벨(예를 들어, 화상 레벨, 슬라이스 레벨, 브릭 레벨, CTU 레벨, 또는 서브 블록 레벨)에서 수행될 수 있다는 것이 주목된다.
OBMC 모드의 예를 더 자세히 설명한다. 도 61 및 도 62는 OBMC에 의해 수행되는 예측 이미지 보정 처리의 개요를 예시하기 위한 흐름도 및 개념도이다.
먼저, 도 62에 예시된 바와 같이, 정상적인 움직임 보상에 의해 획득된 예측 이미지(Pred)는 현재의 블록에 할당된 MV를 사용하여 획득된다. 도 62에서, 화살표 "MV"는 참조 화상을 가리키고, 예측 이미지를 얻기 위해 현재 화상의 현재 블록이 참조하는 대상을 나타낸다.
다음으로, 예측 이미지(Pred_L)는 현재 블록의 좌측에 이웃한 인코딩된 블록에 대해 이미 도출된 움직임 벡터(MV_L)를 (현재 블록에 대한 움직임 벡터를 재사용하여) 현재 블록에 적용함으로써 획득된다. 움직임 벡터(MV_L)는 현재 블록으로부터 참조 화상을 나타내는 화살표 "MV_L"로 표시된다. 2개의 예측 이미지(Pred, Pred_L)를 중첩시킴으로써 예측 이미지의 1차 보정을 수행한다. 이것은 이웃한 블록들 사이의 경계를 혼합하는 효과를 제공한다.
마찬가지로, 예측 이미지(Pred_U)는 현재 블록 위에 이웃한 인코딩된 블록에 대해 이미 도출된 MV(MV_U)를 (현재 블록에 대한 MV를 재사용하여) 현재 블록에 적용함으로써 획득된다. MV(MV_U)는 현재 블록으로부터 참조 화상을 나타내는 화살표 "MV_U"로 표시된다. 예측 이미지의 2차 보정은 1차 보정이 수행된 예측 이미지(예를 들어, Pred 및 Pred_L)에 예측 이미지(Pred_U)를 중첩시킴으로써 수행된다. 이것은 이웃한 블록들 사이의 경계를 혼합하는 효과를 제공한다. 2차 보정에 의해 획득된 예측 이미지는 이웃한 블록들 사이의 경계가 혼합된 (평활화된) 것이므로 현재 블록의 최종 예측 이미지가 된다.
위의 예는 좌측 및 상위 이웃한 블록을 이용한 2개의 경로 보정 방법이지만, 보정 방법은 또한 우측 이웃한 블록 및/또는 하위 이웃한 블록을 사용하는 3개 이상의 경로 보정 방법일 수 있다는 것이 주목된다.
이러한 중첩이 수행되는 구역은 전체 블록의 픽셀 구역이 아닌 블록 경계 부근의 구역의 단지 일부일 수 있다는 것이 주목된다.
추가 예측 이미지(Pred_L, Pred_U)를 중첩함으로써 하나의 참조 화상으로부터 하나의 예측 이미지(Pred)를 획득하기 위해 OBMC에 따른 예측 이미지 보정 처리는 앞서 설명되었다는 것이 주목된다. 그러나, 다수의 참조 이미지에 기초하여 예측 이미지를 보정하는 경우, 다수의 참조 화상 각각에 유사한 처리가 적용될 수 있다. 이러한 경우, 다수의 참조 화상에 기초하여 OBMC 이미지 보정을 수행함으로써 각각의 참조 화상으로부터 보정된 예측 이미지를 획득한 후, 획득된 보정된 예측 이미지를 더 중첩하여 최종 예측 이미지를 획득한다.
OBMC에서, 현재 블록 단위는 PU 또는 PU를 더 분할함으로써 획득되는 서브 블록 단위일 수 도 있다.
OBMC 적용 여부를 결정하는 방법의 일례로 OBMC 적용 여부를 나타내는 신호인 obmc_플래그를 사용하는 방법이 있다. 하나의 특정 예로서, 인코더(100)는 현재 블록이 복잡한 움직임이 있는 구역에 속하는지 여부를 결정할 수 도 있다. 인코더(100)는, 블록이 복잡한 움직임이 있는 구역에 속하고, 인코딩할 때 OBMC 처리를 적용하는 경우, obmc_플래그를 "1"의 값으로 설정하고, 블록이 복잡한 움직임이 있는 영역에 속하지 않고, OBMC를 적용하지 않고 블록을 인코딩하는 경우 obmc_플래그를 "0"의 값으로 설정한다. 디코더(200)는 스트림에 기록된 obmc_flag을 디코딩함으로써 OBMC의 적용과 적용하지 않음 사이를 전환한다.
(움직임 보상 > BIO)
다음으로 MV 도출 방법을 설명한다. 먼저, 균일한 선형 움직임을 가정한 모델에 기초하여 MV를 도출하는 모드를 설명한다. 이 모드는 양방향 광학 흐름(bi-directional optical flow: BIO) 모드라고도 한다. 게다가, 이 양방향 광학 흐름을 BIO 대신 BDOF로 기록할 수 도 있다.
도 63은 균일한 선형 움직임을 가정한 모델을 예시하기 위한 개념도이다. 도 63에서 (vx, vy)는 속도 벡터를 나타내고, τ0과 τ1은 현재 화상(Cur Pic)과 2개의 참조 화상(Ref0, Ref1) 사이의 시간적 거리를 나타낸다. (MVx0, MVy0)는 참조 화상(Ref0)에 대응하는 MV를 나타내고, (MVx1, MVy1)은 참조 화상(Ref1)에 대응하는 MV를 나타낸다.
여기서, 속도 벡터(vx, vy)에 의해 나타나는 균일한 선형 움직임이라는 가정 하에, (MVx0, MVy0) 및 (MVx1, MVy1)은 각각 (vxτ0, vyτ0) 및 (-vxτ1, -vyτ1)으로 표시되고, 다음과 같은 광학 흐름 수식(2)이 주어진다.
[수식 3]
Figure pct00003
여기서, I(k)는 움직임 보상 후 참조 화상 k(k = 0, 1)의 움직임 보상된 휘도 값을 나타낸다. 이 광학 흐름 수식은 (i) 휘도 값의 시간 미분, (ii) 참조 이미지의 공간 구배의 수평 성분과 수평 속도의 곱, 및 (iii) 참조 이미지의 공간 구배의 수직 성분과 수직 속도의 곱의 합이 0과 같은 것을 보여준다. 예를 들어, MV 후보 리스트로부터 획득된 각각의 블록의 움직임 벡터는 광학 흐름 수식과 헤르마이트(Hermite) 보간의 조합에 기초하여 픽셀 단위로 보정될 수 있다.
움직임 벡터는 균일한 선형 움직임을 가정한 모델에 기초하여 움직임 벡터를 도출하는 것이 아닌 방법을 사용하여 디코더(200) 측에서 도출될 수 있다는 것이 주목된다. 예를 들어, 움직임 벡터는 다수의 이웃한 블록의 움직임 벡터에 기초하여 서브 블록 단위로 도출될 수 있다.
도 64는 BIO에 따른 인터 예측 처리의 일례를 예시하는 흐름도이다. 도 65는, BIO에 따른 인터 예측을 수행할 수 도 있는 인터 예측부(126)의 기능적 구성의 일례를 예시하는 기능 블록도이다.
도 65에 예시한 바와 같이, 인터 예측부(126)는 예를 들어 메모리(126a), 보간된 이미지 도출부(126b), 구배 이미지 도출부(126c), 광학 흐름 도출부(126d), 보정치 도출부(126e) 및 예측 이미지 보정부(126f)를 포함한다. 메모리(126a)는 프레임 메모리(122)일 수 도 있음을 주목해야 한다.
인터 예측부(126)는, 현재의 블록을 포함하는 화상(Cur Pic)과 상이한 2개의 참조 화상(Ref0, Ref1)을 사용하여, 2개의 움직임 벡터(M0, M1)를 도출한다. 인터 예측부(126)는 그 후 2개의 움직임 벡터(M0, M1)를 사용하여 현재의 블록에 대한 예측 이미지를 도출한다(단계 Sy_1). 움직임 벡터(M0)는 참조 화상(Ref0)에 대응하는 움직임 벡터(MVx0, MVy0)이며, 움직임 벡터(M1)는 참조 화상(Ref1)에 대응하는 움직임 벡터(MVx1, MVy1)임을 주목해야 한다.
다음으로, 보간된 이미지 도출부(126b)는, 메모리(126a)를 참조함으로써 참조 화상(L0)과 움직임 벡터(M0)를 사용하여 현재의 블록에 대한 보간된 이미지(I0)를 도출한다. 다음으로, 보간된 이미지 도출부(126b)는, 메모리(126a)를 참조함으로써 참조 화상(L1)과 움직임 벡터(M1)를 사용하여 현재의 블록에 대한 보간된 이미지(I1)를 도출한다. 여기서, 보간된 이미지(I0)는 참조 화상(Ref0)에 포함되며 현재 블록에 대해 도출될 이미지이며, 보간된 이미지(I1)는 참조 화상(Ref1)에 포함되며 현재의 블록에 대해 도출될 이미지이다. 보간된 이미지(I0)와 보간된 이미지(I1) 각각은 현재의 블록과 동일한 크기일 수 도 있다. 대안적으로, 보간된 이미지(I0)와 보간된 이미지(I1) 각각은 현재의 블록보다 큰 이미지일 수 도 있다. 더 나아가, 보간된 이미지(I0)와 보간된 이미지(I1)는 움직임 벡터(M0, M1)와 참조 화상(L0, L1)을 사용하여 움직임 보상 필터를 적용함으로써 획득된 예측 이미지를 포함할 수 도 있다.
게다가, 구배 이미지 도출부(126c)는 보간된 이미지(I0)와 보간된 이미지(I1)로부터 현재 블록의 구배 이미지(Ix0, Ix1, Iy0, Iy1)를 도출한다(단계 Sy_3). 수평 방향에서의 구배 이미지는 (Ix0, Ix1)이며, 수직 방향에서의 구배 이미지는 (Iy0, Iy1)이다. 구배 이미지 도출부(126c)는 예를 들어 보간된 이미지에 구배 필터를 적용함으로써 각각의 구배 이미지를 도출할 수 도 있다. 구배 이미지는 수평 방향을 따라, 수직 방향을 따라 또는 둘 모두를 따라 픽셀 값의 공간 변경량을 나타낼 수 도 있다.
다음으로, 광학 흐름 도출부(126d)는, 현재의 블록의 각 서브 블록에 대해, 보간된 이미지(I0, I1)와 구배 이미지(Ix0, Ix1, Iy0, Iy1)를 사용하여, 속도 벡터인 광학 흐름(vx, vy)을 도출한다(단계 Sy_4). 광학 흐름은 공간 픽셀 움직임의 양을 보정하기 위한 계수를 나타내며, 로컬 움직임 추정치, 보정된 움직임 벡터 또는 보정된 가중 벡터로 지칭될 수 도 있다. 일례로서, 서브 블록은 4×4 픽셀 서브 CU일 수 도 있다. 광학 흐름 도출은 각 서브 블록에 대해 수행되는 대신 각 픽셀 단위 등에 대해 수행될 수 도 있다.
다음으로, 인터 예측부(126)는 광학 흐름(vx, vy)을 사용하여 현재의 블록에 대한 예측 이미지를 보정한다. 예를 들어, 보정치 도출부(126e)는, 광학 흐름(vx, vy)을 사용하여, 현재의 블록에 포함되는 픽셀의 값에 대한 보정치를 도출한다(단계 Sy_5). 예측 이미지 보정부(126f)는 그 후 보정치를 사용하여 현재의 블록에 대한 예측 이미지를 보정할 수 도 있다(단계 Sy_6). 보정치는 픽셀 단위로 도출될 수 도 있거나, 다수의 픽셀 단위 또는 서브 블록 단위로 도출될 수 도 있음을 주목해야 한다.
BIO 처리 흐름은 도 64에 개시한 처리로 제한되지 않음을 주목해야 한다. 예를 들어, 도 64에 개시한 처리의 일부만이 수행될 수 도 있거나, 상이한 처리가 추가되거나 대체로서 사용될 수 도 있거나, 처리는 상이한 처리 순서로 수행될 수 도 있는 등이 가능하다.
(움직임 보상 > LIC)
다음으로, 로컬 조도 보상(LIC) 처리를 사용하여 예측 이미지(예측)를 생성하는 모드의 일례를 설명한다.
도 66a는 LIC에 의해 수행되는 휘도 보정 처리를 사용한 예측 이미지 생성 방법 처리의 일례를 예시하기 위한 개념도이다. 도 66b는 LIC를 사용한 예측 이미지 생성 방법의 처리의 일례를 예시하는 흐름도이다.
먼저, 인터 예측부(126)는 인코딩된 참조 화상으로부터 MV를 도출하고, 현재 블록에 대응하는 참조 이미지를 획득한다(단계 Sz_1).
다음으로, 인터 예측부(126)는, 현재의 블록에 대해, 현재의 블록과 참조 화상 사이의 휘도 값이 변화된 정도를 나타내는 정보를 추출한다(단계 Sz_2). 이러한 추출은 (참조 영역 주변) 인코딩된 좌측 이웃 참조 구역과 현재 화상에서의 (참조 영역 주변) 인코딩된 상위 이웃 참조 구역의 휘도 픽셀 값, 및 도출된 MV에 의해 지정된 참조 화상에서 대응하는 위치에서의 휘도 픽셀 값에 기초하여 수행된다. 인터 예측부(126)는 휘도 보정 파라미터를 휘도 값이 변화된 정도를 나타내는 정보를 사용하여 계산한다(단계 Sz_3).
인터 예측부(126)는 휘도 보정 파라미터가 MV에 의해 지정된 참조 화상에서 참조 이미지에 적용되는 휘도 보정 처리를 수행함으로써 현재의 블록에 대해 예측 이미지를 생성한다(단계 Sz_4). 다시 말해, MV에 의해 지정되는 참조 화상에서 참조 이미지인 예측 이미지는 휘도 보정 파라미터를 기초로 하여 보정을 겪는다. 이 보정에서, 휘도가 보정될 수 도 있거나, 채도가 보정될 수 도 있거나 두 가지 모두가 가능할 수 도 있다. 다시 말해, 채도 보정 파라미터가 채도가 변경된 정도를 나타내는 정보를 사용하여 계산될 수 도 있으며, 채도 보정 처리가 수해될 수 도 있다.
도 66a에 예시된 주변 참조 구역의 형상은 단지 하나의 예이고; 다른 형상이 사용될 수 도 있음을 주목해야 한다.
또한, 단일 참조 화상으로부터 예측 이미지를 생성하는 처리를 여기서 설명했지만, 다수의 참조 화상으로부터 예측 이미지를 생성하는 경우도 동일한 방식으로 설명할 수 있다. 예측 이미지는 전술한 바와 같은 방법으로 참조 화상으로부터 획득된 참조 이미지의 휘도 보정 처리를 수행한 후 생성될 수 있다.
LIC 적용 여부를 결정하는 방법의 일례로 LIC 적용 여부를 나타내는 신호인 lic_플래그를 사용하는 방법이 있다. 하나의 특정 예로서, 인코더(100)는 현재 블록이 휘도 변화가 있는 구역에 속하는지 여부를 결정한다. 인코더(100)는, 블록이 휘도 변화가 있는 구역에 속하고, 인코딩할 때 LIC를 적용하는 경우 lic_플래그를 "1"의 값으로 설정하고, 블록이 휘도 변화가 있는 구역에 속하지 않고, LIC를 적용하지 않고 인코딩을 수행하는 경우 lic_플래그를 "0"의 값으로 설정한다. 디코더(200)는, 플래그 값에 따라 LIC의 적용과 비-적용 간을 전환함으로써 스트림에 기록된 lic_플래그를 디코딩하고 현재 블록을 디코딩할 수 있다.
LIC 처리를 적용할지 여부를 결정하는 다른 방법의 일례로 LIC 처리가 주변 블록에 적용되었는지 여부에 따라 결정하는 방법이 있다. 하나의 특정 예로서, 현재 블록이 병합 모드로 처리되었을 경우, 인터 예측부(126)는, 병합 모드에서 MV 도출에서 선택된 인코딩된 주변 블록이 LIC를 사용하여 인코딩되었는지를 결정한다. 인터 예측부(126)는 결과에 따라 LIC의 적용과 비-적용 간을 전환함으로써 인코딩을 수행한다. 이 예에서도 동일한 처리가 디코더(200) 측에서의 처리에 적용된다는 점을 주목해야 한다.
휘도 보정(LIC) 처리는 도 66a 및 도 66b를 참조하여 설명하였으며, 이하에서 더 설명한다.
먼저, 인터 예측부(126)는 인코딩된 화상인 참조 화상으로부터 인코딩될 현재 블록에 대응하는 참조 이미지를 획득하기 위한 MV를 도출한다.
다음으로, 인터 예측부(126)는 현재 블록의 좌측 및 위쪽에 이웃한 인코딩된 주변 참조 구역의 휘도 픽셀 값과, MV에 의해 지정된 참조 화상에서 대응하는 위치의 휘도 값을 사용하여 참조 화상의 휘도 값이 현재 화상의 휘도 값으로 변화된 정도를 나타내는 정보를 추출하고, 휘도 보정 파라미터를 계산한다. 예를 들어, 현재 화상에서의 주변 참조 구역에서 주어진 픽셀의 휘도 픽셀 값이 p0이고, 참조 화상에서의 주변 참조 영역에서 주어진 픽셀에 대응하는 픽셀의 휘도 픽셀 값은 p1이라고 가정한다. 인터 예측부(126)는 주변 참조 영역의 다수의 픽셀에 대한 휘도 보정 파라미터로서 A × p1 + B = p0을 최적화하기 위한 계수(A 및 B)를 계산한다.
다음으로, 인터 예측부(126)는 현재 블록에 대한 예측 이미지를 생성하기 위해 MV에 의해 지정된 참조 화상의 참조 이미지에 대한 휘도 보정 파라미터를 사용하여 휘도 보정 처리를 수행한다. 예를 들어, 참조 이미지의 휘도 픽셀 값은 p2이고, 예측 이미지의 휘도 보정된 휘도 픽셀 값이 p3이라고 가정한다. 인터 예측부(126)는 참조 이미지의 각각의 픽셀에 대해 A × p2 + B = p3을 계산함으로써 휘도 보정 처리를 거친 후 예측 이미지를 생성한다.
예를 들어, 상위 이웃 픽셀과 좌측 이웃 픽셀 각각으로부터 추출된 정해진 개수의 픽셀이 있는 구역은 주변 참조 구역으로서 사용될 수 있다. 또한, 주변 참조 구역은 현재 블록에 이웃한 구역으로 제한되지 않고, 현재 블록에 이웃하지 않은 구역일 수 있다. 도 66a에 예시된 예에서, 참조 화상에서 주변 참조 구역은 현재 화상의 주변 참조 구역으로부터 현재 화상의 다른 MV에 의해 지정된 구역이다. 예를 들어, 다른 MV는 현재 화상에서 주변 참조 구역의 MV일 수 있다.
인코더(100)에 의해 수행되는 동작이 여기서 설명되었지만, 디코더(200)는 유사한 동작을 수행한다는 것이 주목된다.
LIC는 휘도에 적용될 뿐만 아니라 채도에도 적용될 수 있다는 점을 주목해야 한다. 이때, 보정 파라미터는 Y, Cb, Cr 각각에 대해 개별적으로 도출될 수 있고, 또는 공통 보정 파라미터는 Y, Cb, Cr 중 임의의 것에 사용될 수 있다.
또한, LIC 처리는 서브 블록 단위로 적용될 수 있다. 예를 들어, 현재 서브 블록의 주변 참조 구역과 현재 서브 블록의 MV에 의해 지정된 참조 화상의 참조 서브 블록의 주변 참조 구역을 사용하여 보정 파라미터를 도출할 수 있다.
(예측 제어부)
예측 예측부(128)는 인트라 예측 신호(인트라 예측부(124)로부터 출력된 이미지나 신호)와 인터 예측 신호(인터 예측부(126)로부터 출력된 이미지나 신호) 중 하나를 선택하고, 선택된 예측 이미지를 예측 신호로서 감산부(104) 및 가산부(116)에 출력한다.
(예측 파라미터 생성부)
예측 파라미터 생성부(130)는 인트라 예측, 인터 예측, 예측 제어부(128)에서의 예측 이미지의 선택 등에 관한 정보를 예측 파라미터로서 엔트로피 인코더(110)에 출력할 수 도 있다. 엔트로피 인코더(110)는 예측 파라미터 생성부(130)로부터 입력되는 예측 파라미터 및 양자화부(108)로부터 입력되는 양자화된 계수에 기초하여 스트림을 생성할 수 있다. 예측 파라미터는 디코더(200)에서 사용될 수 있다. 디코더(200)는 스트림을 수신하고 디코딩하며, 인트라 예측부(124), 인터 예측부(126) 및 예측 제어부(128)에 의해 수행되는 예측 처리와 동일한 처리를 수행할 수 있다. 예측 파라미터는 예를 들어 (i) 선택 예측 신호(예를 들어, 인트라 예측부(124) 또는 인터 예측부(126)에 의해 사용되는 MV, 예측 유형 또는 예측 모드), 또는 (ii) 인트라 예측부(124), 인터 예측부(126) 및 예측 제어부(128) 각각에서 수행된 예측 처리에 기초하거나, 예측 처리를 나타내는 선택적 인덱스, 플래그 또는 값을 포함할 수 있다.
(디코더)
다음으로, 전술한 인코더(100)로부터 출력된 스트림을 디코딩할 수 있는 디코더(200)를 설명한다. 도 67은 본 실시예에 따른 디코더(200)의 기능적 구성을 예시하는 블록도이다. 디코더(200)는 블록 단위로 인코딩된 이미지인 스트림을 디코딩하는 장치이다.
도 67에 예시된 바와 같이, 디코더(200)는 엔트로피 디코더(202), 역양자화부(204), 역변환부(206), 가산부(208), 블록 메모리(210), 루프 필터(212), 프레임 메모리(214), 인트라 예측부(216), 인터 예측부(218), 예측 제어부(220), 예측 파라미터 생성부(222) 및 분할 결정부(224)를 포함한다. 인트라 예측부(216)와 인터 예측부(218)는 예측 실행부의 일부로서 구형됨을 주목해야 한다.
(디코더의 장착 예)
도 68은 디코더(200)의 장착 예를 예시하는 기능적 블록도이다. 디코더(200)는 프로세서(b1)와 메모리(b2)를 포함한다. 예를 들어, 도 67에 예시한 디코더(200)의 다수의 구성요소가 도 68에 예시한 프로세서(b1)와 메모리(b2)에 장착된다.
프로세서(b1)는 정보 처리를 수행하며 메모리(b2)에 결합되는 회로이다. 예를 들어 프로세서(b1)는 스트림을 디코딩하는 전용 또는 범용 전자 회로이다. 프로세서(b1)는 CPU와 같은 프로세서일 수 도 있다. 게다가, 프로세서(b1)는 다수의 전자 회로의 집합일 수 도 있다. 게다가, 예를 들어, 프로세서(b1)는, 도 67 등에서 예시한 디코더(200)의 다수의 구성요소로부터 정보를 저장하기 위한 구성요소 외의 2개 이상의 구성요소의 역할을 가질 수 도 있다.
메모리(b2)는 스트림을 디코딩하기 위해 프로세서(b1)에 의해 사용되는 정보를 저장하기 위한 전용 또는 범용 메모리이다. 메모리(b2)는 전자 회로일 수 도 있으며, 프로세서(b1)에 연결될 수도 있다. 게다가, 메모리(b2)는 프로세서(b1)에 포함될 수 도 있다. 게다가, 메모리(b2)는 다수의 전자 회로의 집합일 수 도 있다. 게다가, 메모리(b2)는 자기 디스크, 광 디스크 등일 수 도 있으며, 저장부, 기록 매체 등으로 나타낼 수 도 있다. 게다가, 메모리(b2)는 비휘발성 메모리 또는 휘발성 메모리일 수 도 있다.
예를 들어, 메모리(b2)는 이미지나 스트림을 저장할 수 도 있다. 게다가, 메모리(b2)는 프로세서(b1)가 스트림을 디코딩하게 하기 위한 프로그램을 저장할 수 도 있다.
게다가, 예를 들어, 메모리(b2)는, 도 67 등에 예시한 디코더(200)의 다수의 구성요소로부터 정보를 저장하기 위한 2개 이상의 구성요소의 역할을 할 수 도 있다. 더욱 구체적으로, 메모리(b2)는 도 67에 예시한 프레임 메모리(214)와 블록 메모리(210)의 역할을 할 수 도 있다. 더욱 구체적으로, 메모리(b2)는 재구성된 이미지(구체적으로, 재구성된 블록, 재구성된 화상 등)를 저장할 수 도 있다.
디코더(200)에서, 도 67 등에 예시한 다수의 구성요소 모두가 구현될 수 있는 것은 아니며, 여기서 설명한 처리 모두가 수행될 수 있는 것은 아님을 주목해야 한다. 도 67 등에 나타낸 구성요소의 일부는 다른 디바이스에 포함될 수 도 있거나, 여기서 설명한 처리의 일부는 다른 디바이스에 의해 수행될 수 도 있다.
이후, 디코더(200)에 의해 수행되는 처리의 전체 흐름을 설명하며, 디코더(200)에 포함되는 구성요소 각각을 이때 설명한다. 디코더(200)에 포함되는 구성요소 일부는 인코더(100)의 일부에 의해 수행되는 것과 동일한 처리를 수행하며, 그에 따라 동일한 처리는 상세하게 반복해서 설명하지는 않을 것임을 주목해야 한다. 예를 들어, 디코더(200)에 포함되는 역양자화부(204), 역변환부(206), 가산부(208), 블록 메모리(210), 프레임 메모리(214), 인트라 예측부(216), 인터 예측부(218), 예측 제어부(220) 및 루프 필터(212)는 각각 디코더(200)에 포함되는 역양자화부(112), 역변환부(114), 가산부(116), 블록 메모리(118), 프레임 메모리(122), 인트라 예측부(124), 인터 예측부(126), 예측 제어부(128) 및 루프 필터(120)에 의해 수행되는 유사한 처리를 수행한다.
(디코딩 처리의 전체 흐름)
도 69는 디코더(200)에 의해 수행되는 전체 디코딩 처리의 일례를 예시하는 흐름도이다.
먼저, 디코더(200)의 분할 결정부(224)는 엔트로피 디코더(202)로부터 입력된 파라미터를 기초로 하여 화상에 포함된 다수의 고정된 크기 블록(예를 들어, 128×128 픽셀) 각각의 분할 패턴을 결정한다(단계 Sp_1). 이 분할 패턴은 인코더(100)에 의해 선택된 분할 패턴이다. 그런 다음 디코더(200)는 분할 패턴의 다수의 블록 각각에 대해 단계(Sp_2 내지 Sp_6)의 처리를 수행한다.
엔트로피 디코더(202)는 인코딩된 양자화된 계수 및 현재 블록의 예측 파라미터를 디코딩(특히, 엔트로피 디코딩)한다(단계 Sp_2).
다음으로, 역양자화부(204)는 다수의 양자화된 계수의 역양자화를 수행하고, 역변환부(206)는 결과의 역변환을 수행하여 예측 잔차(즉, 차이 블록)를 복원한다(단계 Sp_3).
다음으로, 인트라 예측부(216), 인터 예측부(218) 및 예측 제어부(220)의 전부 또는 일부를 포함하는 예측 실행부는 현재 블록의 예측 신호를 생성한다(단계 Sp_4).
다음으로, 가산부(208)는 예측 이미지를 예측 잔차에 가산하여 현재 블록의 재구성된 이미지(디코딩된 이미지 블록이라고도 함)를 생성한다(단계 Sp_5).
재구성된 이미지가 생성되면 루프 필터(212)는 재구성된 이미지의 필터링을 수행한다(단계 Sp_6).
그런 다음 디코더(200)는 전체 화상의 디코딩이 완료되었는지 여부를 결정한다(단계 Sp_7). 디코딩이 아직 완료되지 않았다고 결정한 경우(단계 Sp_7에서 아니오), 디코더(200)는 단계(Sp_1)에서 시작하는 처리를 반복한다.
이들 단계(Sp_1 내지 Sp_7)의 처리는 디코더(200)에 의해 순차적으로 수행될 수 도 있거나, 2개 이상의 처리가 병렬로 수행될 수 있음을 주목해야 한다. 2개 이상의 처리의 처리 순서가 변경될 수 있다.
(분할 결정부)
도 70은 일실시예에서 분할 결정부(224)와 기타 구성요소 사이의 관계를 예시하기 위한 개념도이다. 분할 결정부(224)는 예로서 다음의 처리를 수행할 수 도 있다.
예를 들어, 분할 결정부(224)는 블록 메모리(210) 또는 프레임 메모리(214)로부터 블록 정보를 수집하여, 엔트로피 디코더(202)로부터 파라미터를 획득한다. 분할 결정부(224)는 이 블록 정보 및 파라미터를 기초로 하여 고정 크기 블록의 분할 패턴을 결정할 수 도 있다. 분할 결정부(224)는 그 후 결정된 분할 패턴을 나타내는 정보를 역변환부(206), 인트라 예측부(216) 및 인터 예측부(218)에 출력할 수도 있다. 역변환부(206)는 분할 결정부(224)로부터의 정보에 의해 나타낸 분할 패턴을 기초로 하여 변환 계수의 역변환을 수행할 수 도 있다. 인트라 예측부(216) 및 인터 예측부(218)는 분할 결정부(224)로부터의 정보에 의해 나타낸 분할 패턴을 기초로 하여 예측 이미지를 생성할 수 도 있다.
(엔트로피 디코더)
도 71은 엔트로피 디코더(202)의 기능적 구성의 일례를 예시하는 블록도이다.
엔트로피 디코더(202)는 스트림을 엔트로피 디코딩함으로써 분할 패턴에 관련된 파라미터, 양자화된 계수 및 예측 파라미터를 생성한다. 예를 들어 CABAC는 엔트로피 디코딩에 사용된다. 더욱 구체적으로, 엔트로피 디코더(202)는 예를 들어 이진 산술 디코더(202a), 컨텍스트 제어부(202b) 및 디바이너라이저(debinarizer)(202c)를 포함한다. 이진 산술 디코더(202a)는 컨텍스트 제어부(202b)에 의해 도출된 컨텍스트 값을 사용하여 스트림을 이진 신호로 산술적으로 디코딩한다. 컨텍스트 제어부(202b)는, 인코더(100)의 컨텍스트 제어부(110b)에 의해 수행되는 방식과 동일한 방식으로, 특성 또는 신택스 요소의 주변 상태, 즉 이진 신호의 발생 확률에 따라 컨텍스트 값을 도출한다. 디바이너라이저(202c)는 이진 산술 디코더(202a)로부터 출력된 이진 신호를 앞서 설명한 바와 같이 양자화된 계수를 나타내는 멀티-레벨 신호로 변환하기 위한 디바이너라이제이션을 수행한다. 이 이진화는 앞서 설명한 이진화 방법에 따라 수행될 수 도 있다.
이를 통해 엔트로피 디코더(202)는 각각의 블록의 양자화된 계수를 역양자화부(204)에 출력한다. 엔트로피 디코더(202)는 스트림에 포함된 예측 파라미터(도 1 참조)를 인트라 예측부(216), 인터 예측부(218) 및 예측 제어부(220)에 출력할 수 있다. 인트라 예측부(216), 인터 예측부(218) 및 예측 제어부(220)는 인코더(100) 측에서 인트라 예측부(124), 인터 예측부(126) 및 예측 제어부(128)에 의해 수행되는 것과 동일한 예측 처리를 실행할 수 있다.
도 72는 엔트로피 디코더(202)에서 CABAC 처리의 예의 흐름을 예시하기 위한 개념도이다.
먼저, 초기화가 엔트로피 디코더(202)의 CABAC에서 수행된다. 초기화에서, 이진 산술 디코더(202a)의 초기화와 초기 컨텍스트 값의 설정이 수행된다. 이진 산술 디코더(202a)와 디바이너라이저(202c)는 그 후 예를 들어 CTU의 인코딩된 데이터의 산술 디코딩과 디바이너라이제이션을 수행한다. 이 때, 컨텍스트 제어부(202b)는 산술 디코딩이 수행될 때마다 컨텍스트 값을 업데이트한다. 컨텍스트 제어부(202b)는 그 후 후 처리로서 컨텍스트 값을 저장한다. 저장된 컨텍스트 값은 예를 들어 그 다음 CTU에 대한 컨텍스트 값을 초기화하는데 사용된다.
(역양자화부)
역양자화부(204)는 엔트로피 디코더(202)로부터의 입력인 현재 블록의 양자화된 계수를 역양자화한다. 보다 구체적으로, 역양자화부(204)는 양자화된 계수에 대응하는 양자화 파라미터에 기초하여 현재 블록의 양자화된 계수를 역양자화한다. 그런 다음 역양자화부(204)는 현재 블록의 (변환 계수인) 역양자화된 변환 계수를 역변환부(206)로 출력한다.
도 73은 역양자화부(204)의 기능적 구성의 일례를 예시하는 블록도이다.
역양자화부(204)는 예를 들어 양자화 파라미터 생성부(204a), 예측된 양자화 파라미터 생성부(204b), 양자화 파라미터 저장부(204d) 및 역양자화 실행부(204e)를 포함한다.
도 74는 역양자화부(204)에 의해 수행된 역양자화 처리의 일례를 예시하는 흐름도이다.
역양자화부(204)는 도 74에 예시한 흐름을 기초로 하여 각 CU에 대한 일례로서 역양자화 처리를 수행할 수 도 있다. 더욱 구체적으로, 양자화 파라미터 생성부(204a)는 역양자화를 수행할지를 결정한다(단계 Sv_11). 여기서, 역양자화를 수행한다고 결정할 때(단계 Sv_11에서 예), 양자화 파라미터 생성부(204a)는 엔트로피 디코더(202)로부터 현재의 블록에 대한 차이 양자화 파라미터를 획득한다(단계 Sv_12).
다음으로, 예측된 양자화 파라미터 생성부(204b)는 그 후 양자화 파라미터 저장부(204d)로부터 현재의 블록과 상이한 처리 단위에 대한 양자화 파라미터를 획득한다(단계 Sv_13). 예측된 양자화 파라미터 생성부(204b)는 획득한 양자화 파라미터를 기초로 하여 현재의 블록의 예측된 양자화 파라미터를 생성한다(단계 Sv_14).
양자화 파라미터 생성부(204a)는 그 후 엔트로피 디코더(202)로부터 획득한 현재의 블록에 대한 차이 양자화 파라미터와 예측된 양자화 파라미터 생성부(204b)에 의해 생성된 현재의 블록에 대한 예측된 양자화 파라미터를 기초로 하여 현재의 블록에 대한 양자화 파라미터를 생성한다(단계 Sv_15). 예를 들어, 엔트로피 디코더(202)로부터 획득한 현재의 블록에 대한 차이 양자화 파라미터와 예측된 양자화 파라미터 생성부(204b)에 의해 생성된 현재의 블록에 대한 예측된 양자화 파라미터는 함께 가산되어 현재의 블록에 대한 양자화 파라미터를 생성할 수 도 있다. 게다가, 양자화 파라미터 생성부(204a)는 양자화 파라미터 저장부(204d)에 현재의 블록에 대한 양자화 파라미터를 저장한다(단계 Sv_16).
다음으로, 역양자화 실행부(204e)는 단계 Sv_15에서 생성된 양자화 파라미터를 사용하여 현재의 블록의 양자화된 계수를 변환 계수로 역양자화한다(단계 Sv_17).
차이 양자화 파라미터가 비트 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 브릭 레벨 또는 CTU 레벨에서 디코딩될 수 도 있음을 주목해야 한다. 게다가, 양자화 파라미터의 초기 값은 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 브릭 레벨 또는 CTU 레벨에서 디코딩될 수 도 있다. 이 때, 양자화 파라미터는 차이 양자화 파라미터와 양자화 파라미터의 초기 값을 사용하여 생성될 수 도 있다.
역양자화부(204)는 다수의 역양자화부를 포함할 수 도 있으며, 다수의 역양자화 방법으로부터 선택되는 역양자화 방법을 사용하여 양자화된 계수를 역양자화할 수 도 있다.
(역변환부)
역변환부(206)는 역양자화부(204)로부터의 입력인 변환 계수를 역변환함으로써 예측 오차를 복원한다.
예를 들어, 스트림으로부터 파싱된 정보가 EMT 또는 AMT가 적용될 것임을 나타내는 경우(예를 들어, AMT 플래그가 참인 경우), 역변환부(206)는 파싱된 변환 유형을 나타내는 정보에 기초하여 현재 블록의 변환 계수를 역변환한다.
더욱이, 예를 들어, 스트림으로부터 파싱된 정보가 NSST가 적용될 것임을 나타내는 경우, 역변환부(206)는 변환 계수에 2차 역변환을 적용한다.
도 75는 역변환부(206)에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
예를 들어, 역변환부(206)는 직교 변환이 수행되지 않음을 나타내는 정보가 스트림에 존재하는지를 결정한다(단계 St_11). 여기서, 그러한 정보가 존재하지 않음을 결정할 때(단계 St_11에서 아니오)(예를 들어, 직교 변환이 수행될지에 대한 임의의 지시의 부재; 직교 변환이 수행될 것이라는 지시의 존재); 역변환부(206)는 엔트로피 디코더(202)에 의해 디코딩된 변환 유형을 나타내는 정보를 획득한다(단계 St_12). 다음으로, 이 정보를 기초로 하여, 역변환부(206)는 인코더(100)에서 직교 변환에 사용된 변환 유형을 결정한다(단계 St_13). 역변환부(206)는 그 후 결정된 변환 유형을 사용하여 역직교 변환을 수행한다(단계 St_14). 도 75에 예시한 바와 같이, 직교 변환이 수행되지 않음을 나타내는 정보가 존재함을 결정할 때(단계 St_11에서 예)(예를 들어, 직교 변환이 수행되지 않는다는 명확한 지시; 직교 변환이 수행된다는 지시의 부재), 직교 변환은 수행되지 않는다.
도 76은 역변환부(206)에 의해 수행되는 처리의 일례를 예시하는 흐름도이다.
예를 들어, 역변환부(206)는 변환 크기가 결정된 값 이하인지를 결정한다(단계 Su_11). 결정된 값은 미리 결정될 수 도 있다. 여기서, 변환 크기가 결정된 값 이하임을 결정할 때(단계 Su_11에서 예), 역변환부(206)는 엔트로피 디코더(202)로부터 어떠한 변환 유형이 제1 변환 유형 그룹에 포함된 적어도 하나의 변환 유형 중에서 인코더(100)에 의해 사용되었는지를 나타내는 정보를 획득한다(단계 Su_12). 그러한 정보는 엔트로피 디코더(202)에 의해 디코딩되어 역변환부(206)에 출력됨을 주목해야 한다.
이 정보를 기초로 하여, 역변환부(206)는 인코더(100)에서 직교 변환에 사용되는 변환 유형을 결정한다(단계 Su_13). 역변환부(206)는 그 후 결정된 변환 유형을 사용하여 현재의 블록의 변환 계수를 역직교 변환한다(단계 Su_14). 변환 크기가 결정된 값 이하가 아님을 결정할 때(단계 Su_11에서 아니오), 역변환부(206)는 제2 변환 유형 그룹을 사용하여 현재의 블록의 변환 계수를 역변환한다(단계 Su_15).
역변환부(206)에 의한 역직교 변환은 일례로서 각 TU에 대해 도 75 또는 도 76에 예시한 흐름에 따라 수행될 수 도 있음을 주목해야 한다. 게다가, 역직교 변환은 직교 변환에 사용된 변환 유형을 나타내는 정보를 디코딩하지 않고도 규정된 변환 유형을 사용하여 수행될 수 도 있다. 규정된 변환 유형은 미리 규정된 변환 유형이나 디폴트 변환 유형일 수 도 있다. 게다가, 변환 유형은 구체적으로는 DST7, DCT8 등일 수 도 있다. 역직교 변환에서, 변환 유형에 대응하는 역변환 기저 함수가 사용된다.
(가산부)
가산부(208)는 역변환부(206)로부터의 입력인 예측 잔차와, 예측 제어부(220)로부터의 입력인 예측 이미지를 가산함으로써 현재 블록을 재구성한다. 다시 말해, 현재의 블록의 재구성된 이미지가 생성된다. 가산부(208)는 현재의 블록의 재구성된 이미지를 블록 메모리(210) 및 루프 필터(212)에 출력한다.
(블록 메모리)
블록 메모리(210)는 현재의 화상 화상에 포함되며 인트라 예측에서 참조될 블록을 저장하는 저장부이다. 보다 구체적으로, 블록 메모리(210)는 가산부(208)로부터 출력된 재구성된 이미지를 저장한다.
(루프 필터)
루프 필터(212)는 가산부(208)에 의해 생성된 재구성된 이미지에 루프 필터를 적용하고, 필터링된 재구성된 이미지를 프레임 메모리(214)에 출력하며, 디코더(200)의 출력을 예를 들어 제공하며 디스플레이 디바이스 등에 출력한다.
스트림으로부터 파싱된 ALF의 온 또는 오프를 나타내는 정보가 ALF가 온임을 나타내는 경우, 다수의 필터 중에서 하나의 필터가 예를 들어 로컬 구배의 방향과 활동에 기초하여 선택되고, 선택된 필터는 재구성된 이미지에 적용된다.
도 77은 루프 필터(212)의 기능적 구성의 일례를 예시하는 블록도이다. 루프 필터(212)는 인코더(100)의 루프 필터(120)의 구성과 유사한 구성을 가짐을 주목해야 한다.
예를 들어, 도 77에 예시한 바와 같이, 루프 필터(212)는 디블로킹 필터 실행부(212a), SAO 실행부(212b) 및 ALF 실행부(212c)를 포함한다. 디블로킹 필터 실행부(212a)는 재구성된 이미지에 디블로킹 필터 처리를 수행한다. SAO 실행부(212b)는 디블로킹 필터 처리를 겪은 후 재구성된 이미지에 SAO 처리를 수행한다. ALF 실행부(212c)는 SAO 처리를 겪은 후 재구성된 이미지에 ALF 처리를 수행한다. 루프 필터(212)는 도 77에 개시한 구성요소 모두를 항상 포함할 필요는 없으며, 구성요소 중 일부만을 포함함을 주목해야 한다. 게다가, 루프 필터(212)는 도 77에 개시한 처리 순서와 상이한 처리 순서로 상기 처리들을 수행하도록 구성될 수 도 있으며, 도 77 등에 예시한 처리 모두를 수행하지 않을 수 도 있다.
(프레임 메모리)
프레임 메모리(214)는 예를 들어 인터 예측에 사용하기 위한 참조 화상을 저장하기 위한 저장부이고, 프레임 버퍼라고도 지칭할 수 도 있다. 보다 구체적으로, 프레임 메모리(214)는 루프 필터(212)에 의해 필터링된 재구성된 이미지를 저장한다.
(예측부(인트라 예측부, 인터 예측부, 예측 제어부))
도 78은 디코더(200)의 예측부에 의해 수행되는 처리의 일례를 예시하는 흐름도이다. 예측 실행부는 다음의 구성요소, 즉 인트라 예측부(216); 인터 예측부(218); 및 예측 제어부(220) 모두 또는 일부를 포함할 수 도 있음을 주목해야 한다. 예측 실행부는 예를 들어 인트라 예측부(216) 및 인터 예측부(218)를 포함한다.
예측부는 현재 블록의 예측 이미지를 생성한다(단계 Sq_1). 이 예측 이미지는 예측 신호 또는 예측 블록이라고도 한다. 예측 신호는 예를 들어 인트라 예측 신호 또는 인터 예측 신호임을 주목해야 한다. 더욱 구체적으로, 예측부는, 예측 이미지의 생성, 예측 잔차의 복원 및 예측 이미지의 가산을 통해 다른 블록에 대해 이미 획득된 재구성된 이미지를 사용하여 현재 블록의 예측 이미지를 생성한다. 디코더(200)의 예측부는 인코더(100)의 예측부에 의해 생성되는 예측 이미지와 동일한 예측 이미지를 생성한다. 다시 말해, 예측 이미지는 예측부 사이 또는 상호 대응하는 방법 사이의 공통인 방법에 따라 생성된다.
재구성된 이미지는, 예를 들어, 참조 화상의 이미지일 수 있고, 또는 현재 블록을 포함하는 화상인 현재 화상의 디코딩된 블록(즉, 앞서 설명한 다른 블록)의 이미지일 수 있다. 현재 화상의 디코딩된 블록은 예를 들어 현재 블록의 이웃한 블록이다.
도 79는 디코더(200)의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
예측부는 예측 이미지를 생성하기 위한 방법 또는 모드를 결정한다(단계 Sr_1). 예를 들어, 방법 또는 모드는 예를 들어 예측 파라미터 등에 기초하여 결정될 수 있다.
제1 방법을 예측 이미지를 생성하는 모드로서 결정할 때, 예측부는 제1 방법에 따라 예측 이미지를 생성한다(단계 Sr_2a). 제2 방법을 예측 이미지를 생성하는 모드로서 결정할 때, 예측부는 제2 방법에 따라 예측 이미지를 생성한다(단계 Sr_2b). 제3 방법을 예측 이미지를 생성하는 모드로서 결정할 때, 예측부는 제3 방법에 따라 예측 이미지를 생성한다(단계 Sr_2c).
제1 방법, 제2 방법 및 제3 방법은 예측 이미지를 생성하는 서로 다른 방법일 수 있다. 제1 내지 제3 방법 각각은 인터 예측 방법, 인트라 예측 방법 또는 다른 예측 방법일 수 있다. 전술한 재구성된 이미지는 이러한 예측 방법에서 사용될 수 있다.
도 80은 디코더(200)의 예측부에 의해 수행되는 처리의 다른 예를 예시하는 흐름도이다.
예측부는 일례로서 도 80에 예시한 흐름에 따른 예측 처리를 수행할 수 도 있다. 도 80에 예시한 인트라 블록 복제가 인터 예측에 속하며 현재의 화상에 포함된 블록이 참조 이미지나 참조 블록으로 참조되는 하나의 모드임을 주목해야 한다. 다시 말해, 현재의 화상과 상이한 화상을 인트라 블록 복제에서 참조되지 않는다. 게다가, 도 80에 예시한 PCM 모드는 인트라 예측에 속하며 변환과 양자화가 수행되지 않은 하나의 모드이다.
(인트라 예측부)
인트라 예측부(216)는, 현재의 블록의 예측 이미지(즉, 인트라 예측 블록)을 생성하기 위해, 스트림으로부터 파싱된 인트라 예측 모드에 기초하여, 블록 메모리(210)에 저장된 현재 화상 내의 블록을 참조하여 인트라 예측을 수행한다. 보다 구체적으로, 인트라 예측부(216)는 현재 블록에 이웃한 블록 또는 블록들의 픽셀 값(예를 들어, 휘도 및/또는 채도 값)을 참조하여 인트라 예측을 수행하여 인트라 예측 이미지를 생성한 다음, 인트라 예측 이미지를 예측 제어부(220)에 출력한다.
휘도 블록이 채도 블록의 인트라 예측에서 참조되는 인트라 예측 모드가 선택되는 경우 인트라 예측부(216)는 현재 블록의 휘도 성분에 기초하여 현재 블록의 채도 성분을 예측할 수 있다는 것이 주목된다.
더욱이, 스트림으로부터 파싱된 정보가 PDPC가 적용될 것임을 나타내는 경우, 인트라 예측부(216)는 수평/수직 참조 픽셀 구배에 기초하여 인트라 예측된 픽셀 값을 보정한다.
도 81은 디코더(200)의 인트라 예측부(216)에 의해 수행되는 처리의 일례를 예시하는 도면이다.
인트라 예측부(216)는 먼저 MPM이 이용될지를 결정한다. 도 81에 예시한 바와 같이, 인트라 예측부(216)는 1을 나타내는 MPM 플래그가 스트림에 존재하는지를 결정한다(단계 Sw_11). 여기서, 1을 나타내는 MPM 플래그가 존재함을 결정할 때(단계 Sw_11에서 예), 인트라 예측부(216)는, 엔트로피 디코더(202)로부터, MPM 중 인코더(100)에서 선택된 인트라 예측 모드를 나타내는 정보를 획득한다. 그러한 정보는 엔트로피 디코더(202)에 의해 디코딩되어 인트라 예측부(216)에 출력됨을 주목해야 한다. 다음으로, 인트라 예측부(216)는 MPM들을 결정한다(단계 Sw_13). MPM들은 예를 들어 6개의 인트라 예측 모드를 포함한다. 인트라 예측부(216)는 그 후, MPM들에 포함되는 다수의 인트라 예측 모드에 포함되며 단계 Sw_12에서 획득한 정보에 의해 나타내어진 인트라 예측 모드를 결정한다(단계 Sw_14).
1을 나타내는 MPM 플래그가 존재하지 않음을 결정할 때(단계 Sw_11에서 아니오), 인트라 예측부(216)는 인코더(100)에서 선택된 인트라 예측 모드를 나타내는 정보를 획득한다(단계 Sw_15). 다시 말해, 인트라 예측부(216)는, 엔트로피 디코더(202)로부터, MPM들에 포함되지 않는 적어도 하나의 인트라 예측 모드 중에서 인코더(100)에서 선택된 인트라 예측 모드를 나타내는 정보를 획득한다. 그러한 정보는 엔트로피 디코더(202)에 의해 디코딩되어 인트라 예측부(216)에 출력됨을 주목해야 한다. 인트라 예측부(216)는 그 후 MPM들에 포함되는 다수의 인트라 예측 모드에 포함되지 않으며 단계 Sw_15에서 획득한 정보에 의해 나타내어지는 인트라 예측 모드를 결정한다(단계 Sw_17).
인트라 예측부(216)는 단계 Sw_14 또는 단계 Sw_17에서 결정되는 인트라 예측 모드에 따라 예측 이미지를 생성한다(단계 Sw_18).
(인터 예측부)
인터 예측부(218)는 프레임 메모리(214)에 저장된 참조 화상을 참조함으로써 현재 블록을 예측한다. 예측은 현재 블록이나 현재 블록에서의 현재 서브 블록 단위로 수행된다. 서브 블록은 블록에 포함되며 블록보다 작은 단위임을 주목해야 한다. 서브 블록의 크기는 4×4 픽셀, 8×8 픽셀 또는 다른 크기일 수도 있다. 서브 블록의 크기는 슬라이스, 브릭, 화상 등과 같은 단위에 대해 전환될 수 도 있다.
예를 들어, 인터 예측부(218)는 스트림(예를 들어, 엔트로피 디코더(202)로부터 출력된 예측 파라미터)으로부터 파싱된 움직임 정보(예를 들어, MV)를 사용하여 움직임 보상을 수행함으로써 현재의 블록 또는 현재의 서브 블록의 인터 예측 이미지를 생성하고, 인터 예측 이미지를 예측 제어부(220)로 출력한다.
스트림으로부터 파싱된 정보가 OBMC 모드가 적용될 것임을 나타내는 경우, 인터 예측부(218)는 움직임 추정을 통해 획득된 현재 블록의 움직임 정보에 더하여 이웃 블록의 움직임 정보를 사용하여 인터 예측 이미지를 생성한다.
게다가, 스트림으로부터 파싱된 정보가 FRUC 모드가 적용될 것임을 나타내는 경우, 인터 예측부(218)는 스트림으로부터 파싱된 패턴 매칭 방법(예를 들어, 양측 매칭 또는 템플릿 매칭)에 따라 움직임 추정을 수행함으로써 움직임 정보를 도출한다. 그런 다음 인터 예측부(218)는 도출된 움직임 정보를 사용하여 움직임 보상(예측)을 수행한다.
게다가, BIO 모드가 적용될 경우, 인터 예측부(218)는 균일한 선형 움직임을 가정한 모델에 기초하여 MV를 도출한다. 게다가, 스트림으로부터 파싱된 정보가 아핀 모드가 적용될 것임을 나타내는 경우, 인터 예측부(218)는 다수의 이웃한 블록의 MV에 기초하여 각각의 서브 블록에 대한 MV를 도출한다.
(MV 도출 흐름)
도 82는 디코더(200)에서 MV 도출 처리의 일례를 예시하는 흐름도이다.
인터 예측부(218)는 예를 들어 움직임 정보(예를 들어, MV)를 디코딩할 지를 결정한다. 예를 들어, 인터 예측부(218)는 스트림에 포함된 예측 모드에 따라 이 결정을 내릴 수 도 있거나, 스트림에 포함된 다른 정보를 기초로 하여 이 결정을 내릴 수 도 있다. 여기서, 움직임 정보를 디코딩한다고 결정할 때, 인터 예측부(218)는 움직임 정보가 디코딩되는 모드에서 현재의 블록에 대한 MV를 도출한다. 움직임 정보를 디코딩하지 않는다고 결정할 때, 인터 예측부(218)는 움직임 정보가 디코딩되지 않는 모드에서 MV를 도출한다.
여기서, MV 도출 방법은 정상 인터 모드, 정상 병합 모드, FRUC 모드, 아핀 모드 등 - 이후에 설명될 것임 - 을 포함한다. 움직임 정보가 모드 중에서 디코딩되는 모드는 정상 인터 모드, 정상 병합 모드, 아핀 모드(구체적으로, 아핀 인터 모드 및 아핀 병합 모드) 등을 포함한다. 움직임 정보는 MV를 포함할 뿐만 아니라 이후에 설명될 MV 예측자 선택 정보를 포함할 수 도 있음을 주목해야 한다. 움직임 정보가 디코딩되지 않는 모드는 FRUC 모드 등을 포함한다. 인터 예측부(218)는 다수의 모드로부터 현재의 블록에 대한 MV를 도출하기 위한 모드를 선택하여, 선택된 모드를 사용하여 현재의 블록에 대한 MV를 도출한다.
도 83은 디코더(200)에서 MV 도출 처리의 일례를 예시하는 흐름도이다.
예를 들어, 인터 예측부(218)는 MV 차이를 디코딩할지를 결정할 수 도 있으며, 즉 예를 들어 스트림에 포함되는 예측 모드에 따라 이 결정을 내릴 수 도 있거나, 스트림에 포함되는 다른 정보를 기초로 이 결정을 내릴 수 도 있다. 여기서, MV 차이를 디코딩하는 것으로 결정할 때, 인터 예측부(218)는 MV 차이가 디코딩되는 모드에서 현재의 블록에 대한 MV를 도출할 수 도 있다. 이 경우, 예를 들어, 스트림에 포함되는 MV 차이는 예측 파라미터로서 디코딩된다.
임의의 MV 차이를 디코딩하지 않는다고 결정할 때, 인터 예측부(218)는 MV 차이가 디코딩되지 않는 모드에서 MV를 도출한다. 이 경우, 인코딩된 MV 차이는 스트림에 포함되지 않는다.
여기서, 앞서 설명한 바와 같이, MV 도출 모드는 정상 인터 모드, 정상 병합 모드, FRUC 모드, 아핀 모드 등 - 이후에 설명될 것임 - 을 포함한다. MV 차이가 모드 중에서 인코딩되는 모드는 정상 인터 모드 및 아핀 모드(구체적으로, 아핀 인터 모드) 등을 포함한다. MV 차이가 인코딩되지 않는 모드는 FRUC 모드, 정상 병합 모드, 아핀 모드(구체적으로는 아핀 병합 모드) 등을 포함한다. 인터 예측부(218)는 다수의 모드로부터 현재의 블록에 대한 MV를 도출하기 위한 모드를 선택하여, 선택된 모드를 사용하여 현재의 블록에 대한 MV를 도출한다.
(MV 도출 > 정상 인터 모드)
예를 들어, 스트림으로부터 파싱된 정보가 정상 인터 모드가 적용될 것을 나타내는 경우, 인터 예측부(218)는 스트림으로부터 파싱된 정보에 기초하여 MV를 도출하고, MV를 사용하여 움직임 보상(예측)을 수행한다.
도 84는 디코더(200)에서 정상 인터 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
디코더(200)의 인터 예측부(218)는 각각의 블록에 대한 움직임 보상을 수행한다. 먼저, 인터 예측부(218)는 현재 블록에서 시간적으로 또는 공간적으로 주변에 있는 복수의 디코딩된 블록의 MV와 같은 정보에 기초하여 현재 블록에 대한 복수의 MV 후보를 획득한다(단계 Sg_11). 다시 말해, 인터 예측부(218)는 MV 후보 리스트를 생성한다.
다음으로, 인터 예측부(218)는 단계(Sg_11)에서 획득된 다수의 MV 후보로부터 N(2 이상의 정수)개의 MV 후보를 우선 순서의 결정된 순위에 따라 움직임 벡터 예측자 후보(MV 예측자 후보라고도 함)로서 추출한다(단계 Sg_12). 우선 순위의 순위는 N개의 MV 예측자 후보 각각에 대해 먼저 결정되어 미리 결정될 수 도 있음을 주목해야 한다.
다음으로, 인터 예측부(218)는 입력 스트림으로부터 MV 예측자 선택 정보를 디코딩하고, 디코딩된 MV 예측자 선택 정보를 이용하여 N개의 MV 예측자 후보 중에서 하나의 MV 예측자 후보를 현재 블록의 MV 예측자로서 선택한다(단계 Sg_13).
다음으로, 인터 예측부(218)는 입력 스트림으로부터 MV 차이를 디코딩하고, 디코딩된 MV 차이인 차이 값과, 선택된 MV 예측자를 가산함으로써 현재 블록에 대한 MV를 도출한다(단계 Sg_14).
마지막으로, 인터 예측부(218)는 도출된 MV와 디코딩된 참조 화상을 이용하여 현재 블록의 움직임 보상을 수행함으로써 현재 블록에 대한 예측 이미지를 생성한다(단계 Sg_15). 단계 Sg_11 내지 Sg_15에서의 처리는 각 블록에서 수행된다. 예를 들어, 단계 Sg_11 내지 Sg_15에서의 처리가 슬라이스에서의 모든 블록 각각에서 수행될 때, 정상 인터 모드를 사용한 슬라이스의 인터 예측이 종료된다. 예를 들어, 단계 Sg_11 내지 Sg_15에서의 처리가 화상에서의 모든 블록 각각에서 수행될 때, 정상 인터 모드를 사용한 화상의 인터 예측이 종료된다. 슬라이스에 포함된 모든 블록이 단계 Sg_11 내지 Sg_15에서의 처리를 겪지는 않을 수 도 있과, 정상 인터 모드를 사용한 슬라이스의 인터 예측이 블록 중 일부가 이들 처리를 겪게 될 때 종료할 수 도 있음을 주목해야 한다. 이점은 단계 Sg_11 내지 Sg_15에서 화상에도 적용된다. 정상 인터 모드를 사용한 화상의 인터 예측은 이들 처리가 화상에서의 블록 중 일부에서 수행될 때 종료될 수 도 있다.
(MV 도출 > 정상 병합 모드)
예를 들어, 스트림으로부터 파싱된 정보가 정상 병합 모드가 적용될 것임을 나타낼 때, 인터 예측부(218)는 MV를 도출하여 MV를 사용하여 움직임 보상(예측)을 수행한다.
도 85는 디코더(200)에서 정상 병합 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
먼저, 인터 예측부(218)는 현재의 블록에 시간적으로 또는 공간적으로 주변에 있는 다수의 디코딩된 블록의 MV와 같은 정보를 기초로 하여 현재의 블록에 대한 다수의 MV 후보를 획득한다(단계 Sh_11). 다시 말해, 인터 예측부(218)는 MV 후보 리스트를 생성한다.
다음으로, 인터 예측부(218)는 단계 Sh_11에서 획득한 다수의 MV 후보로부터 하나의 MV 후보를 선택하여, 현재의 블록에 대한 MV를 도출한다(단계 Sh_12). 더욱 구체적으로, 인터 예측부(218)는 스트림에서 후보 파라미터로서 포함되는 MV 선택 정보를 획득하여, MV 선택 정보에 의해 식별되는 MV 후보를 현재의 블록에 대한 MV로서 선택한다.
마지막으로, 인터 예측부(218)는, 도출된 MV와 디코딩된 참조 화상을 사용하여 현재의 블록의 움직임 보상을 수행함으로써 현재의 블록에 대한 예측 이미지를 생성한다(단계 Sh_13). 단계 Sh_11 내지 Sh_13에서의 처리는 예를 들어 각 블록에서 수행된다. 예를 들어, 단계 Sh_11 내지 Sh_13에서의 처리가 슬라이스에서의 모든 블록 각각에서 수행될 때, 정상 병합 모드를 사용하는 슬라이스의 인터 예측은 종료된다. 게다가, 단계 Sh_11 내지 Sh_13에서의 처리가 화상에서의 모든 블록 각각에서 수행될 때, 정상 병합 모드를 사용하는 화상의 인터 예측이 종료된다. 슬라이스에 포함되는 모든 블록이 단계 Sh_11 내지 Sh_13에서의 처리를 겪게 되지는 않음과, 정상 병합 모드를 사용하는 슬라이스의 인터 예측이 블록 중 일부가 이러한 처리를 겪게 될 때 종료될 수 도 있음을 주목해야 한다. 이점은 단계 Sh_11 내지 Sh_13에서의 화상에도 적용된다. 정상 병합 모드를 사용하는 화상의 인터 예측은, 이들 처리가 화상에서의 블록 중 일부에서 수행될 때 종료될 수 도 있다.
(MV 도출 > FRUC 모드)
예를 들어, 스트림으로부터 파싱된 정보가 FRUC 모드가 적용될 것임을 나타낼 때, 인터 예측부(218)는 FRUC 모드에서 MV를 도출하여 MV를 사용하여 움직임 보상(예측)을 수행한다. 이 경우, 움직임 정보는 인코더(100) 측으로부터 신호화되지 않고도 디코더(200) 측에서 도출된다. 예를 들어, 디코더(200)는 움직임 추정을 수행함으로써 움직임 정보를 도출할 수 도 있다. 이 경우, 디코더(200)는 현재의 블록에서의 임의의 픽셀 값을 사용하지 않고도 움직임 추정을 수행한다.
도 86은 디코더(200)에서의 FRUC 모드에 의한 인터 예측 처리의 일례를 예시하는 흐름도이다.
먼저, 인터 예측부(218)는 MV 후보로서 MV를 참조함으로서 현재의 블록에 공간적으로나 시간적으로 이웃하는 디코딩된 블록의 MV를 나타내는 리스트를 생성한다(이 리스트는 MV 후보 리스트이며, 예를 들어 정상 병합 모드에 대한 MV 후보 리스트로서 또한 사용될 수 도 있다)(단계 Si_11). 다음으로, 최상의 MV 후보를 MV 후보 리스트에서 등록된 다수의 MV 후보로부터 선택한다(단계 Si_12). 예를 들어, 인터 예측부(218)는 MV 후보 리스트에 포함되는 각 MV 후보의 평가치를 계산하여, 평가치를 기초로 하여 최상의 MV 후보로서 MV 후보 중 하나를 선택한다. 선택된 최상의 MV 후보를 기초로 하여, 인터 예측부(218)는 현재의 블록에 대한 MV를 도출한다(단계 Si_14). 더욱 구체적으로, 예를 들어, 선택된 최상의 MV 후보는 현재의 블록에 대한 MV로서 직접 도출된다. 게다가, 예를 들어, 현재의 블록에 대한 MV는, 참조 화상에 포함되며 선택된 최상의 MV 후보에 대응하는 위치의 주변 영역에서 패턴 매칭을 사용하여 도출될 수 도 있다. 다시 말해, 참조 화상과 평가치에서의 패턴 매칭을 사용한 추정이 최상의 MV 후보의 주변 영역에서 수행될 수 도 있으며, 더 양호한 평가치를 산출하는 MV가 있을 때, 최상의 MV 후보는 이 더 양호한 평가치를 산출하는 MV로 업데이트될 수 도 있으며, 이 업데이트된 MV가 현재의 블록에 대한 최종 MV로서 결정될 수 도 있다. 실시예에서, 더 양호한 평가치를 산출하는 MV로 업데이트하는 것이 수행되지 않을 수 도 있다.
마지막으로, 인터 예측부(218)는 도출된 MV 및 디코딩된 참조 화상을 사용하여 현재의 블록의 움직임 보상을 수행함으로써 현재의 블록에 대한 예측 이미지를 생성한다(단계 Si_15). 단계 Si_11 내지 Si_15에서의 처리는 예를 들어 각 블록에서 수행된다. 예를 들어, 단계 Si_11 내지 Si_15에서의 처리가 슬라이스에서의 모든 블록 각각에서 수행될 때, FRUC 모드를 사용하는 슬라이스의 인터 예측이 종료된다. 예를 들어, 단계 Si_11 내지 Si_15에서의 처리가 화상에서의 모든 블록 각각에서 수행될 때, FRUC 모드를 사용하는 화상의 인터 예측은 종료된다. 각각의 서브 블록은 각 블록의 경우와 유사하게 처리될 수 도 있다.
(MV 도출 > FRUC 모드)
예를 들어, 스트림으로부터 파싱된 정보가 아핀 병합 모드가 적용될 것임을 나타낼 때, 인터 예측부(218)는 아핀 병합 모드에서 MV를 도출하여 MV를 사용하여 움직임 보상(예측)을 수행한다.
도 87은 디코더(200)에서 아핀 병합 모드에 의한 인터 예측 처리의 예를 예시하는 흐름도이다.
아핀 병합 모드에서, 먼저, 인터 예측부(218)는 현재의 블록에 대한 각각의 제어점에서 MV를 도출한다(단계 Sk_11). 제어점은 도 46a에 예시한 바와 같이 현재의 블록의 좌측 상위 모서리 점 및 현재의 블록의 우측 상위 모서리 점이거나, 도 46b에 예시한 바와 같이 현재의 블록의 좌측 상위 모서리 점, 현재의 블록의 우측 상위 모서리 점 및 현재의 블록의 좌측 하위 모서리 점이다.
예를 들어, 도 47a 내지 도 47c에 예시한 MV 도출 방법이 사용될 때, 도 47a에 예시한 바와 같이, 인터 예측부(218)는 디코딩된 블록 A(좌측), 블록 B(상위), 블록 C(우측 상위), 블록 D(좌측 하위) 및 블록 E(좌측 상위)를 이 순서로 점검하여, 아핀 모드에 따라 디코딩된 제1 유효 블록을 식별한다. 인터 예측부(218)는 아핀 모드에 따라 디코딩된 식별된 제1 유효 블록을 사용하여 제어점에서 MV를 도출한다. 예를 들어, 블록 A이 식별되며, 블록 A이 도 47b에 예시한 바와 같이 2개의 제어점을 가질 때, 인터 예측부(218)는, 현재 블록의 좌측 상위 모서리 제어점에서의 움직임 벡터(v0)와, 현재 블록의 우측 상위 모서리 제어점에서의 움직임 벡터(v1)를, 블록 A을 포함하는 디코딩된 블록의 우측 상위 모서리와 좌측 상위 모서리에서의 움직임 벡터(v3 및 v4)로부터 계산한다. 이런 식으로 각 제어점에서의 MV가 도출된다.
도 49a에 예시한 바와 같이, 3개의 제어점에서의 MV가 블록 A이 식별되며 블록 A가 2개의 제어점을 가질 때 계산될 수 도 있으며, 도 49b에 예시한 바와 같이, 2개의 제어점에서의 MV가 블록 A이 식별되며 블록 A이 3개의 제어점을 가질 때 계산될 수 도 있다.
게다가, MV 선택 정보가 스트림에서 예측 파라미터로서 포함될 때, 인터 예측부(218)는 MV 선택 정보를 사용하여 현재의 블록에 대한 각 제어점에서 MV를 도출할 수 도 있다.
다음으로, 인터 예측부(218)는 현재의 블록에 포함된 다수의 서브 블록 각각의 움직임 보상을 수행한다. 다시 말해, 인터 예측부(218)는, 2개의 움직임 벡터(v0 및 v1)와 상기 수식(1A)이나 3개의 움직임 벡터(v0, v1 및 v2)와 상기 수식(1B) 중 어느 하나를 사용하여 다수의 서브 블록 각각에 대한 MV를 아핀 MV로서 계산한다(단계 Sk_12). 인터 예측부(218)는 그 후 이들 아핀 MV와 디코딩된 참조 화상을 사용하여 서브 블록의 움직임 보상을 수행한다(단계 Sk_13). 단계 Sk_12 및 Sk_13에서의 처리가 현재의 블록에 포함되는 서브 블록 각각에 대해 수행될 때, 현재의 블록에 대한 아핀 병합 모드를 사용하는 인터 예측이 종료된다. 다시 말해, 현재의 블록의 움직임 보상이 현재의 블록의 예측 이미지를 생성하도록 수행된다.
앞서 설명한 MV 후보 리스트가 단계 Sk_11에서 생성될 수 도 있음을 주목해야 한다. MV 후보 리스트가 예를 들어 각 제어점에 대한 다수의 MV 도출 방법을 사용하여 도출되는 MV 후보를 포함하는 리스트일 수 도 있다. 다수의 MV 도출 방법은 예를 들어 도 47a 내지 도 47c에 예시한 MV 도출 방법, 도 48a 및 도 48b에 예시한 MV 도출 방법, 도 49a 및 도 49b에 예시한 MV 도출 방법 및 기타 MV 도출 방법의 임의의 조합일 수 도 있다.
MV 후보 리스트는, 예측이 서브 블록 단위로 수행되는, 아핀 모드가 아닌 모드에서 MV 후보를 포함할 수 도 있음을 주목해야 한다.
예를 들어, 2개의 제어점이 사용되는 아핀 병합 모드와 3개의 제어점이 사용되는 아핀 병합 모드에서 MV 후보를 포함하는 MV 후보 리스트가 MV 후보 리스트로서 생성될 수 도 있음을 주목해야 한다. 대안적으로, 2개의 제어점이 사용되는 아핀 병합 모드에서의 MV 후보를 포함하는 MV 후보 리스트와 3개의 제어점이 사용되는 아핀 병합 모드에서의 MV 후보를 포함하는 MV 후보 리스트가 별도로 생성될 수 도 있다. 대안적으로, 2개의 제어점이 사용되는 아핀 병합 모드와 3개의 제어점이 사용되는 아핀 병합 모드 중 하나에서의 MV 후보를 포함하는 MV 후보 리스트가 생성될 수 도 있다.
(MV 도출 > 아핀 인터 모드)
예를 들어, 스트림으로부터 파싱된 정보가 아핀 인터 모드가 적용될 것임을 나타낼 때, 인터 예측부(218)는 아핀 인터 모드에서 MV를 도출하여 MV를 사용하여 움직임 보상(예측)을 수행한다.
도 88은 디코더(200)에서 아핀 인터 모드에 의한 인터 예측 처리의 예를 예시하는 흐름도이다.
아핀 인터 모드에서, 먼저, 인터 예측부(218)는 현재의 블록에 대한 각각의 2개 또는 3개 제어점의 MV 예측자(v0, v1 또는 v0, v1, v2)를 도출한다(단계 Sj_11). 제어점은 도 46a 또는 도 46b에 예시한 바와 같이 현재의 블록의 좌측 상위 모서리 점 및 현재의 블록의 우측 상위 모서리 점 및 현재의 블록의 좌측 하위 모서리 점이다.
인터 예측부(218)는 스트림에서 예측 파라미터로서 포함되는 MV 예측자 선택 정보를 획득하여, MV 예측자 선택 정보에 의해 식별되는 MV를 사용하여 현재의 블록에 대한 각 제어점에서의 MV 예측자를 도출한다. 예를 들어, 도 48a 및 도 48b에 예시한 MV 도출 방법이 사용될 때, 인터 예측부(218)는, 도 48a 및 도 48b 중 어느 하나에 예시한 현재의 블록에 대한 각 제어점의 인근의 디코딩된 블록 중 MV 예측자 선택 정보에 의해 식별되는 블록의 MV를 선택함으로써 현재의 블록에 대한 제어점에서 움직임 벡터 예측자(v0, v1 또는 v0, v1, v2)를 도출한다.
다음으로, 인터 예측부(218)는 스트림에서 예측 파라미터로서 포함되는 각 MV 차이를 획득하여, 현재의 블록에 대한 각 제어점에서 MV 예측자와 MV 예측자에 대응하는 MV 차이를 가산한다(단계 Sj_12). 이런 식으로, 현재의 블록에 대한 각 제어점에서의 MV가 도출된다.
다음으로, 인터 예측부(218)는 현재의 블록에 포함되는 다수의 서브 블록 각각의 움직임 보상을 수행한다. 다시 말해, 인터 예측부(218)는, 2개의 움직임 벡터(v0 및 v1)와 상기 수식(1A)이나 3개의 움직임 벡터(v0, v1 및 v2)와 상기 수식(1B) 중 어느 하나를 사용하여 다수의 서브 블록 각각에 대한 MV를 아핀 MV로서 계산한다(단계 Sj_13). 인터 예측부(218)는 그 후 이들 아핀 MV와 디코딩된 참조 화상을 사용하여 서브 블록의 움직임 보상을 수행한다(단계 Sj_14). 단계 Sj_13 및 Sj_14에서의 처리가 현재의 블록에 포함되는 서브 블록 각각에 대해 수행될 때, 현재의 블록에 대한 아핀 병합 모드를 사용하는 인터 예측이 종료된다. 다시 말해, 현재의 블록의 움직임 보상이 현재의 블록의 예측 이미지를 생성하도록 수행된다.
상기 설명한 MV 후보 리스트는 단계 Sk_11에서처럼 단계 Sj_11에서 생성될 수 도 있음을 주목해야 한다.
(MV 도출 > 삼각형 모드)
예를 들어, 스트림으로부터 파싱된 정보가 삼각형 모드가 적용될 것임을 나타낼 때, 인터 예측부(218)는 삼각형 모드에서 MV를 도출하여 MV를 사용하여 움직임 보상(예측)을 수행한다.
도 89는 디코더(200)에서 삼각형 모드에 의한 인터 예측 처리의 예를 예시하는 흐름도이다.
삼각형 모드에서, 먼저, 인터 예측부(218)는 현재의 블록을 제1 파티션과 제2 파티션으로 분할한다(단계 Sx_11). 예를 들어, 인터 예측부(218)는, 스트림으로부터 분할에 관한 정보인 파티션 정보를 예측 파라미터로서 획득할 수 도 있다. 인터 예측부(126)는 그 후 파티션 정보에 따라 현재의 블록을 제1 파티션과 제2 파티션으로 분할할 수 도 있다.
다음으로, 인터 예측부(218)는 현재의 블록에 시간적으로나 공간적으로 주변에 있는 다수의 디코딩되는 블록의 MV와 같은 정보를 기초로 하여 현재의 블록에 대한 다수의 MV 후보를 획득한다(단계 Sx_12). 다시 말해, 인터 예측부(218)는 MV 후보 리스트를 생성한다.
인터 예측부(218)는 그 후 단계 Sx_11에서 획득한 다수의 MV 후보로부터 제1 파티션에 대한 MV 후보와 제2 파티션에 대한 MV 후보를 각각 제1 MV 및 제2 MV로서 선택한다. 이 때, 인터 예측부(218)는, 스트림으로부터, 각 선택된 MV 후보를 식별하기 위한 MV 선택 정보를 예측 파라미터로서 획득할 수 도 있다. 인터 예측부(218)는 그 후 MV 선택 정보에 따라 제1 MV와 제2 MV를 선택할 수 도 있다.
다음으로, 인터 예측부(218)는 선택된 제1 MV 및 디코딩된 참조 화상을 사용하여 움직임 보상을 수행함으로서 제1 예측 이미지를 생성한다(Sx_14). 마찬가지로, 인터 예측부(218)는 선택된 제2 MV 및 디코딩된 참조 화상을 사용하여 움직임 보상을 수행함으로서 제2 예측 이미지를 생성한다(Sx_15).
마지막으로, 인터 예측부(218)는 제1 예측 이미지 및 제2 예측 이미지의 가중된 가산을 수행함으로써 현재의 블록에 대한 예측 이미지를 생성한다(단계 Sx_16).
(MV 추정 > DMVR)
예를 들어, 스트림으로부터 파싱된 정보가 DMVR이 적용될 것임을 나타낼 때, 인터 예측부(218)는 DMVR을 사용하여 움직임 추정을 수행한다.
도 90은 디코더(200)에서 DMVR에 의한 움직임 추정 처리의 예를 예시하는 흐름도이다.
인터 예측부(218)는 병합 모드에 따라 현재 블록에 대한 MV를 도출한다(단계 Sl_11). 다음으로, 인터 예측부(218)는 Sl_11에서 도출된 MV에 의해 나타내어진 참조 화상 주변의 영역을 찾아 현재의 블록에 대한 최종 MV를 도출한다(단계 Sl_12). 다시 말해, 이 경우, 현재의 블록의 MV는 DMVR에 따라 결정된다.
도 91은 디코더(200)에서 DMVR에 의한 움직임 추정 처리의 예를 예시하는 흐름도이며, 도 58b와 동일하다.
먼저, 도 58a에 예시한 단계 1에서, 인터 예측부(218)는 초기 MV에 의해 나타내어진 검색 위치(시작점으로도 지칭됨)와 8개의 주변 검색 위치 사이의 비용을 계산한다. 인터 예측부(126)는, 시작점 이외의 검색 위치 각각에서의 비용이 최소인지를 결정한다. 여기서, 시작점 이외의 검색 위치 중 하나에서의 비용이 최소임을 결정할 때, 인터 예측부(218)는 최소 비용이 획득되는 검색 위치로 타겟을 변경하여, 도 58a에 예시한 단계 2에서의 처리를 수행한다. 시작점에서의 비용이 최소일 때, 인터 예측부(218)는 도 58a에 예시한 단계 2에서의 처리를 건너뛰며, 단계 3에서의 처리를 수행한다.
도 58a에 예시한 단계 2에서, 인터 예측부(218)는, 새로운 시작점으로서, 단계 1에서의 처리의 결과에 따른 타겟 변경 후 검색 위치에 관해 단계 1에서의 처리와 유사한 검색을 수행한다. 인터 예측부(218)는 그 후, 시작점 이외의 검색 위치 각각에서의 비용이 최소인지를 결정한다. 여기서, 시작점 이외의 검색 위치 중 하나에서의 비용이 최소임을 결정할 때, 인터 예측부(126)는 단계 4에서의 처리를 수행한다. 시작점에서의 비용이 최소일 때, 인터 예측부(218)는 단계 3에서의 처리를 수행한다.
단계 4에서, 인터 예측부(218)는 시작점에서의 검색 위치를 최종 검색 위치로서 고려하며, 초기 MV에 의해 나타내어진 위치와 최종 검색 위치 사이의 차이를 벡터 차이인 것으로 결정한다.
도 58a에 예시한 단계 3에서, 인터 예측부(218)는, 단계 1 또는 단계 2에서 시작점에 관한 상위, 하위, 좌측 및 우측 위치에 위치한 4개의 지점에서의 비용을 기초로 하여, 최소 비용이 획득되는 서브 픽셀 정확도로 픽셀 위치를 결정하며, 픽셀 위치를 최종 검색 위치로서 간주한다.
서브 픽셀 정확도에서의 픽셀 위치는, 가중치로서 4개의 검색 위치 중 대응하는 하나에서의 비용을 사용하여 4개의 상위, 하위, 좌측 및 우측 벡터((0, 1), (0, -1), (-1, 0) 및 (1, 0)) 각각의 가중된 가산을 수행하여 결정된다. 인터 예측부(218)는 그 후 초기 MV에 의해 나타내어진 위치와 최종 검색 위치 사이의 차이를 벡터 차이인 것으로 결정한다.
(움직임 보상 > BIO/OBMC/LIC)
예를 들어, 스트림으로부터 파싱된 정보가 예측 이미지의 보정이 수행될 것임을 나타낼 때, 예측 이미지를 생성하면, 인터 예측부(218)는 보정을 위한 모드를 기초로 하여 예측 이미지를 보정한다. 모드는 예를 들어 앞서 설명한 BIO, OBMC 및 LIC 중 하나이다.
도 92는 디코더(200)에서 예측 이미지 생성 처리의 일례를 예시하는 흐름도이다.
인터 예측부(218)는 예측 이미지를 생성하고(단계 Sm_11), 전술한 임의의 모드에 따라 예를 들어 예측 이미지를 보정한다(단계 Sm_12).
도 93은 디코더(200)에서 예측 이미지 생성 처리의 다른 예를 예시하는 흐름도이다.
인터 예측부(218)는 현재 블록에 대한 MV를 결정한다(단계 Sn_11). 다음으로, 인터 예측부(218)는 MV를 사용하여 예측 이미지를 생성하고(단계 Sn_12), 보정 처리를 수행할지 여부를 결정한다(단계 Sn_13). 예를 들어 인터 예측부(218)는 스트림에 포함된 예측 파라미터를 획득하여, 예측 파라미터를 기초로 하여 보정 처리를 수행할 지를 결정한다. 이 예측 파라미터는 예를 들어 전술한 모드 중 하나 이상이 적용될지를 나타내는 플래그이다. 여기서, 보정 처리를 수행하기로 결정할 때(단계 Sn_13에서 예), 인터 예측부(218)는 예측 이미지를 보정함으로써 최종 예측 이미지를 생성한다(단계 Sn_14). LIC에서, 휘도 및 채도는 단계 Sn_14에서 보정될 수 도 있음을 주목해야 한다. 보정 처리를 수행하지 않기로 결정한 경우(단계 Sn_13에서 아니오), 인터 예측부(218)는 예측 이미지를 보정하지 않고 최종 예측 이미지를 출력한다(단계 Sn_15).
(움직임 보상 > OBMC)
예를 들어, 스트림으로부터 파싱된 정보가 OBMC가 수행될 것임을 나타낼 대, 예측 이미지를 생성하면, 인터 예측부(218)는 OBMC에 따라 예측 이미지를 보정한다.
도 94는 디코더(200)에서 OBMC에 의한 예측 이미지의 보정 처리의 예를 예시하는 흐름도이다. 도 94에서의 흐름도가 도 62에 예시한 참조 화상과 현재의 화상을 사용한 예측 이미지의 보정 흐름을 나타냄을 주목해야 한다.
먼저, 도 62에 예시한 바와 같이, 인터 예측부(218)는 현재의 블록에 할당된 MV를 사용하여 정상 움직임 보상에 의해 예측 이미지(Pred)를 획득한다.
다음으로, 인터 예측부(218)는 현재 블록의 왼쪽에 이웃한 인코딩된 블록에 대해 이미 도출된 움직임 벡터(MV_L)를 (현재 블록에 대한 움직임 벡터를 재사용하여) 현재 블록에 적용함으로써 예측 이미지(Pred_L)를 획득한다. 인터 예측부(218)는 2개의 예측 이미지(Pred, Pred_L)를 중첩시킴으로써 예측 이미지의 1차 보정을 수행한다. 이것은 이웃한 블록들 사이의 경계를 혼합하는 효과를 제공한다.
마찬가지로, 인터 예측부(218)는 현재 블록 위에 이웃한 인코딩된 블록에 대해 이미 도출된 MV(MV_U)를 (현재 블록에 대한 MV를 재사용하여) 현재 블록에 적용함으로써 예측 이미지(Pred_U)를 획득한다. 인터 예측부(218)는 그 후 1차 보정이 수행된 예측 이미지(예를 들어, Pred 및 Pred_L)에 예측 이미지(Pred_U)를 중첩시킴으로써 예측 이미지의 2차 보정을 수행한다. 이것은 이웃한 블록들 사이의 경계를 혼합하는 효과를 제공한다. 2차 보정에 의해 획득된 예측 이미지는 이웃한 블록들 사이의 경계가 혼합된 (평활화된) 것이므로 현재 블록의 최종 예측 이미지가 된다.
마찬가지로, 인터 예측부(218)는, 현재 블록 위에 이웃한 디코딩된 블록에 대해 이미 도출된 MV(MV_U)를 (현재 블록에 대한 움직임 벡터를 재사용하여) 현재 블록에 적용함으로써 예측 이미지(Pred_U)를 획득한다. 인터 예측부(218)는, 1차 보정이 수행된 예측 이미지(예를 들어, Pred 및 Pred_L)에 예측 이미지(Pred_U)를 중첩시킴으로써 예측 이미지의 2차 보정을 수행한다. 이것은 이웃한 블록들 사이의 경계를 혼합하는 효과를 제공한다. 2차 보정에 의해 획득된 예측 이미지는 이웃한 블록들 사이의 경계가 혼합된 (평활화된) 것이므로 현재 블록의 최종 예측 이미지가 된다.
(움직임 보상 > BIO)
예를 들어, 스트림으로부터 파싱된 정보가 BIO가 수행될 것임을 나타낼 때, 예측 이미지를 생성하면, 인터 예측부(218)는 BIO에 따라 예측 이미지를 보정한다.
도 95는 디코더(200)에서 BIO에 의한 예측 이미지 보정 처리의 일례를 예시하는 흐름도이다.
도 63에 예시한 바와 같이, 인터 예측부(218)는, 현재의 블록을 포함하는 화상(Cur Pic)과 상이한 2개의 참조 화상(Ref0, Ref1)을 사용하여, 2개의 움직임 벡터(M0, M1)를 도출한다. 인터 예측부(218)는 그 후 2개의 움직임 벡터(M0, M1)를 사용하여 현재의 블록에 대한 예측 이미지를 도출한다(단계 Sy_11). 움직임 벡터(M0)는 참조 화상(Ref0)에 대응하는 움직임 벡터(MVx0, MVy0)이며, 움직임 벡터(M1)는 참조 화상(Ref1)에 대응하는 움직임 벡터(MVx1, MVy1)임을 주목해야 한다.
다음으로, 인터 예측부(218)는 참조 화상(L0)과 움직임 벡터(M0)를 사용하여 현재의 블록에 대한 보간된 이미지(I0)를 도출한다. 게다가, 인터 예측부(218)는, 참조 화상(L1)과 움직임 벡터(M1)를 사용하여 현재의 블록에 대한 보간된 이미지(I1)를 도출한다(단계 Sy_12). 여기서, 보간된 이미지(I0)는 참조 화상(Ref0)에 포함되며 현재 블록에 대해 도출될 이미지이며, 보간된 이미지(I1)는 참조 화상(Ref1)에 포함되며 현재의 블록에 대해 도출될 이미지이다. 보간된 이미지(I0)와 보간된 이미지(I1) 각각은 현재의 블록과 동일한 크기일 수 도 있다. 대안적으로, 보간된 이미지(I0)와 보간된 이미지(I1) 각각은 현재의 블록보다 큰 이미지일 수 도 있다. 더 나아가, 보간된 이미지(I0)와 보간된 이미지(I1)는 움직임 벡터(M0, M1)와 참조 화상(L0, L1)을 사용하여 움직임 보상 필터를 적용함으로써 획득된 예측 이미지를 포함할 수 도 있다.
게다가, 인터 예측부(218)는 보간된 이미지(I0)와 보간된 이미지(I1)로부터 현재 블록의 구배 이미지(Ix0, Ix1, Iy0, Iy1)를 도출한다(단계 Sy_13). 수평 방향에서의 구배 이미지는 (Ix0, Ix1)이며, 수직 방향에서의 구배 이미지는 (Iy0, Iy1)임을 주목해야 한다. 인터 예측부(218)는, 예를 들어 보간된 이미지에 구배 필터를 적용함으로써 구배 이미지를 도출할 수 도 있다. 구배 이미지는 수평 방향을 따른 픽셀 값의 공간 변화량이나 수직 방향을 따른 픽셀 값의 공간 변경량을 각각 나타내는 구배 이미지일 수 도 있다.
다음으로, 인터 예측부(218)는, 현재의 블록의 각 서브 블록에 대해, 보간된 이미지(I0, I1)와 구배 이미지(Ix0, Ix1, Iy0, Iy1)를 사용하여, 속도 벡터인 광학 흐름(vx, vy)을 도출한다(단계 Sy_14). 일례로서, 서브 블록은 4×4 픽셀 서브 CU일 수 도 있다.
다음으로, 인터 예측부(218)는 광학 흐름(vx, vy)을 사용하여 현재의 블록에 대한 예측 이미지를 보정한다. 예를 들어, 인터 예측부(218)는, 광학 흐름(vx, vy)을 사용하여, 현재의 블록에 포함되는 픽셀의 값에 대한 보정치를 도출한다(단계 Sy_15). 인터 예측부(218)는 그 후 보정치를 사용하여 현재의 블록에 대한 예측 이미지를 보정할 수 도 있다(단계 Sy_16). 보정치는 픽셀 단위로 도출될 수 도 있거나, 다수의 픽셀 단위 또는 서브 블록 단위로 도출될 수 도 있음을 주목해야 한다.
BIO 처리 흐름은 도 95에 개시된 처리로 제한되지 않음을 주목해야 한다. 도 95에 개시한 처리의 일부만이 수행될 수 도 있거나, 상이한 처리가 추가되거나 대체로서 사용될 수 도 있거나, 처리들이 상이한 처리 순서로 수행될 수 도 있다.
(움직임 보상 > LIC)
예를 들어, 스트림으로부터 파싱된 정보가 LIC가 수행될 것임을 나타낼 때, 예측 이미지를 생성하면, 인터 예측부(218)는 LIC에 따른 예측 이미지를 보정한다.
도 96은 디코더(200)에서 LIC에 의한 예측 이미지 보정 처리의 예를 예시하는 흐름도이다.
먼저, 인터 예측부(218)는 MV를 사용하여 디코딩된 참조 화상으로부터 현재의 블록에 대응하는 참조 이미지를 획득한다(단계 Sz_11).
다음으로, 인터 예측부(218)는, 현재의 블록에 대해, 현재의 화상과 참조 화상 사이의 휘도 값이 변화된 정도를 나타내는 정보를 추출한다(단계 Sz_12). 이러한 추출은 (참조 영역 주변) 디코딩된 좌측 이웃 참조 영역과 (참조 영역 주변) 디코딩된 상위 이웃 참조 영역에 대한 휘도 픽셀 값, 및 도출된 MV에 의해 지정된 참조 화상에서 대응하는 위치에서의 휘도 픽셀 값에 기초하여 수행된다. 인터 예측부(218)는 휘도 보정 파라미터를 휘도 값이 변화된 정도를 나타내는 정보를 사용하여 계산한다(단계 Sz_13).
인터 예측부(218)는 휘도 보정 파라미터가 MV에 의해 지정된 참조 화상에서 참조 이미지에 적용되는 휘도 보정 처리를 수행함으로써 현재의 블록에 대해 예측 이미지를 생성한다(단계 Sz_14). 다시 말해, MV에 의해 지정되는 참조 화상에서 참조 이미지인 예측 이미지는 휘도 보정 파라미터를 기초로 하여 보정을 겪는다. 이 보정에서, 휘도가 보정될 수 도 있거나, 채도가 보정될 수 도 있다.
(예측 제어부)
예측 제어부(220)는 인트라 예측 이미지 또는 인터 예측 이미지를 선택하고, 선택된 예측 이미지를 가산부(208)에 출력한다. 전체적으로, 디코더(200) 측에서 예측 제어부(220), 인트라 예측부(216) 및 인터 예측부(218)의 구성, 기능 및 처리는 인코더(100) 측에서 예측 제어부(128), 인트라 예측부(124) 및 인터 예측부(126)의 구성, 기능 및 처리에 대응할 수 있다.
(예측된 채도 샘플을 사용한 디코딩)
제1 양태에서, 휘도 샘플을 사용하여 현재 블록의 채도 샘플의 블록을 예측할 수 있는지 여부에 대한 결정이 이루어지며, 여기서 예측된 채도 샘플은 블록을 디코딩하는 데 사용된다. 예를 들어, 일 실시예는 디코딩 방법 또는 인코딩 방법에서 휘도 신호의 디코딩 결과를 사용하여 CCLM과 같은 도구가 색차 신호를 예측할 수 있는지 여부를 결정하는 처리를 사용할 수 있다.
도 97은, 예를 들어 도 7의 인코더(100)에 의해 또는 도 67의 디코더(200)에 의해 수행될 수 도 있는, 예측된 채도 샘플을 사용한 블록 디코딩 처리(1000)의 일례를 예시하는 흐름도이다. 편의상, 도 97은 도 67의 디코더(200)를 참조하여 기재될 것이다.
S1001에서, 디코더(200)는 현재 채도 블록이 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는지 여부를 결정한다. 도 99 및 도 100은 현재 채도 블록이 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는지 여부를 결정하는 예를 예시하기 위한 개념도이다. YUV420 형식과 같은 일부 형식에서, 색차의 16x16 픽셀 영역은 휘도의 32x32 픽셀 영역에 대응한다. 도 99 및 도 100에 도시된 바와 같이, 16x16 색차 격자와 정렬된 32x32 휘도 영역 내에 있는 색차 블록은 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는 것으로 결정된다. 32x32 휘도 영역 내에 있지 않은 색차 블록은 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내에 있는 것으로 결정되지 않는다. 현재 채도 블록이 대응하는 휘도 블록의 경계를 넘더라도, 동일한 VPDU에 포함되어 있다면, 휘도 샘플은 채도 샘플을 획득하는 데 사용될 수 있다. 예를 들어, 도 99에서 채도 블록(A)은 휘도 블록(B)의 대응하는 샘플을 사용하여 채도 블록(A-1)의 샘플, 및 휘도 블록(C)의 대응하는 샘플을 사용하여 채도 블록(A-2)의 샘플을 예측한다.
도 100에 도시된 바와 같이, 예시된 채도 블록의 채도 샘플은, 채도 블록이 격자(도시된 바와 같이, 16x16 격자)에 포함되어 있고, 같이 위치된 휘도 블록도 같이 위치된 32x32 영역 내에 있기 때문에 채도 블록에 대한 휘도 샘플을 사용하여 예측될 수 있다.
일부 실시예에서, 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는 것으로 결정되지 않은 블록의 색차 샘플은 휘도 샘플을 사용하여 예측되지 않을 수 있는 반면에, 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있는 것으로 결정된 블록의 색차 샘플은, 예를 들어, S1002를 참조하여 아래에서 논의되는 것과 같이, 다른 조건이 충족될 때, 예를 들어, 디폴트에 의해 휘도 샘플을 사용하여 예측될 수 있다.
도 97에 예시된 바와 같이, S1001에서 현재 채도 블록이 채도 샘플의 MxN 격자와 정렬된 MxN 비중첩 영역 내부에 있다고 결정되지 않을 때, 처리(1000)는 S1001에서 S1004로 진행하고, 여기서 디코더(200)는 휘도 샘플을 사용하지 않고 블록의 채도 샘플을 예측한다. 처리(1000)는 S1004에서 S1005로 진행하고, 여기서 디코더(200)는 예측된 채도 샘플을 사용하여 블록을 디코딩한다. S1001에서 현재 채도 블록이 MxN 비중첩 영역 내에 있다고 결정될 때, 처리(1000)는 S1001에서 S1002로 진행한다.
S1002에서, 디코더(200)는 현재 휘도 VPDU를 더 작은 블록으로 분할할지 여부를 결정한다. VPDU는 인코딩 또는 디코딩 처리에서 병렬 처리의 단위이고, 예를 들어, 64x64의 크기이다. VPDU의 크기는 표준 등에 의해 결정될 수 있고, 또는 스트림으로 인코딩될 수 있다.
현재 휘도 VPDU를 더 작은 블록으로 분할할지 여부에 대한 결정은 다양한 방식으로 이루어질 수 있고, 일부 예는 도 102 및 도 103을 참조하여 아래에서 보다 상세히 논의된다.
S1002에서 현재 휘도 VPDU를 더 작은 블록으로 분할하지 않는 것으로 결정될 때, 처리(1000)는 S1002에서 S1004로 진행하고, 여기서 디코더(200)는 휘도 샘플을 사용하지 않고 블록의 채도 샘플을 예측한다. 처리(1000)는 S1004에서 S1005로 진행하고, 여기서 디코더(200)는 예측된 채도 샘플을 사용하여 블록을 디코딩한다. S1002에서 현재 휘도 VPDU를 더 작은 블록으로 분할하는 것으로 결정될 때, 처리(1000)는 S1002에서 S1003으로 진행하고, 여기서 디코더(200)는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측한다. 처리(1000)는 S1003에서 S1005로 진행하고, 여기서 디코더(200)는 예측된 채도 샘플을 사용하여 블록을 디코딩한다. 일부 실시예에서, 예를 들어, 도 104 내지 도 110을 참조하여 아래에서 논의되는 바와 같이, 휘도 샘플을 사용하여 블록의 채도 샘플을 디코딩할지 여부를 결정하기 위해 추가적인 고려사항을 고려할 수 있다.
도 98은 예를 들어 도 7의 인코더(100) 또는 도 67의 디코더(200)에 의해 수행될 수 있는, 예측된 채도 샘플을 사용하여 블록을 디코딩하는 처리(2000)의 다른 예를 예시하는 흐름도이다. 편의상, 도 98은 도 67의 디코더(200)를 참조하여 설명한다.
S2001에서, 디코더(200)는 제1 VPDU와 제2 VPDU를 더 작은 블록으로 분할할지 여부를 결정한다. 현재 휘도 VPDU를 더 작은 블록으로 분할할지 여부에 대한 결정은 다양한 방식으로 이루어질 수 있고, 일부 예는 도 102 및 도 103을 참조하여 아래에서 보다 상세히 논의된다.
S2001에서 제1 VPDU를 더 작은 블록으로 분할하지 않고 제2 VPDU를 더 작은 블록으로 분할하는 것으로 결정되면, 처리(2000)는 S2001에서 S2002로 진행하고, 여기서 디코더(200)는 휘도 샘플을 사용하지 않고 블록의 채도 샘플을 예측한다. 처리(2000)는 S2002에서 S2004로 진행하고, 여기서 디코더(200)는 예측된 채도 샘플을 사용하여 블록을 디코딩한다.
S2001에서 제1 휘도 VPDU를 더 작은 블록으로 분할하지 않고 제2 VPDU를 더 작은 블록으로 분할하는 것으로 결정되지 않을 때, 처리(2000)는 S2001에서 S2003으로 진행하고, 여기서 디코더(200)는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측한다. 처리(2000)는 S2003에서 S2004로 진행하고, 여기서 디코더(200)는 예측된 채도 샘플을 사용하여 블록을 디코딩한다. 일부 실시예에서, 예를 들어, 도 104 내지 도 110을 참조하여 아래에서 논의되는 바와 같이, 휘도 샘플을 사용하여 블록의 채도 샘플을 디코딩할지 여부를 결정하기 위해 추가 고려사항을 고려할 수 있다.
도 101은 VPDU를 예시하기 위한 개념도이다. VPDU는 비중첩되고, 파이프라인 단계를 위한 버퍼 크기를 나타낸다. 도 101의 좌측(a로 표시)은 4개의 64x64 VPDU를 갖는 128x128 CTU의 일례를 보여준다. 도 101의 우측(b로 표시)은 16개의 32x32 VPDU를 갖는 128x128 CTU의 일례를 보여준다. VPDU가 64x64인 경우, 예를 들어, M과 N은 모두 16으로 설정된다. VPDU를 더 분할하는 경우 분할 후 CU 크기는 2Mx2N(32x32) 이하로 된다. YUV420 형식에서, 16x16 색차 영역은 32x32 휘도 영역에 대응하므로 16x16 색차 격자의 픽셀은 대응하는 32x32 휘도 격자의 픽셀에 기초하여 예측될 수 있다. 따라서, 32x32 휘도 영역의 디코딩이 완료될 때, 휘도로부터 색차를 예측하는 처리의 디코딩은 16x16 색차 영역에서 시작될 수 있다. YUV444 형식의 경우, MxN 휘도 영역은 MxN 색차 영역에 대응한다. 2Mx2N이 수평과 수직으로 모두 VPDU 크기의 절반인 경우, 도 97의 단계(S1002) 또는 도 98의 단계(S2001)에서, VPDU를 하나 이상의 층으로, 그러나 VPDU의 1/4인 경우로 더 분할할지 여부가 결정될 수 있다. 일 실시예는 분할 후의 CU를 2Mx2N 이하로 할지 여부, 예를 들어, CU를 2개 이상의 층으로 더 분할할지 여부를 결정할 수 있다.
도 102는 휘도 VPDU를 블록으로 분할할지 여부에 기초하여 현재 VPDU가 휘도 샘플을 사용하여 채도 샘플의 블록을 예측할 수 있는지 여부를 결정하는 일례를 예시하기 위한 개념도로서, 여기서 좌측은 휘도 CTU를 예시하고 우측은 대응하는 채도 CTU를 예시한다. 예시된 바와 같이, 휘도 VPDU0은 블록으로 분할되는 것이고, 휘도 VPDU1은 블록으로 분할되지 않는 것이다. 따라서, 도 97의 처리(1000)를 참조하면, VPDU0의 채도 샘플은 휘도 샘플을 이용하여 예측될 수 있고, VPDU1의 채도 샘플은 휘도 샘플을 이용하여 예측되지 않을 수 있다.
도 103은 휘도 VPDU를 더 작은 블록으로 분할할지 여부를 결정하는 두 가지 예시적인 방식을 예시하기 위한 개념도이다. 도 103의 좌측(a로 표시됨)에 도시된 제1 예에서, 휘도 VPDU를 분할할지 여부에 대한 결정은 휘도 VPDU와 연관된 분할 플래그에 기초하여 이루어질 수 있다. 예시된 바와 같이, 분할 플래그의 값이 1일 때, VPDU는 분할된다(그리고, 도 97의 처리(1000)를 참조하면, 블록의 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다). 분할 플래그의 값이 0일 때, VPDU는 분할되지 않는다(그리고, 도 97의 처리(1000)를 참조하면, 블록의 채도 샘플은 휘도 샘플을 사용하여 예측되지 않을 수 있다). 휘도 VPDU를 분할할지 여부를 결정하기 위해 다른 분할 플래그 값을 사용할 수 있다.
도 103의 우측(b로 표시됨)에 도시된 제2 예에서, 휘도 VPDU를 분할할지 여부에 대한 결정은 VPDU의 휘도 블록의 4진 트리 분할 깊이에 기초하여 이루어질 수 있다. 예시된 바와 같이, VPDU0의 휘도 블록의 4진 트리 분할 깊이는 1보다 크므로, 도 97의 처리(1000)를 참조하면, VPDU0의 블록을 디코딩할 때, 채도 샘플은 휘도 샘플을 이용하여 예측될 수 있다. 이와 달리, VPDU1의 블록의 4진 트리 분할 깊이는 1 이하이고, 그래서, 도 97의 처리(1000)를 참조하면, VPDU0의 블록을 디코딩할 때, 채도 샘플은 휘도 샘플을 이용하여 예측되지 않을 수 있다. 휘도 VPDU를 분할할지 여부를 결정하기 위해 다른 분할 깊이 값을 사용할 수 있다.
도 104는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정하기 위해 고려될 수 있는 추가 고려사항을 예시하기 위한 개념도이다. 예시된 바와 같이, 현재 블록 크기가 임계 블록 크기 이하인지 여부는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정하기 위한 추가 고려사항으로 사용될 수 있다.
임계 블록 크기는 디폴트 블록 크기, 신호화된 블록 크기 또는 결정된 블록 크기일 수 있고, 휘도 또는 채도 블록 크기일 수 있다. 예를 들어, 임계 블록 크기가 16x16 휘도 블록 크기이면, VPDU0의 휘도 블록 크기는 16x16보다 크므로 휘도 샘플을 사용하여 블록의 채도 샘플을 결정하지 않는 것으로 결정될 수 있다. 임계 블록 크기는 휘도 VPDU를 더 작은 블록으로 분할할지 여부를 결정하기 위해 도 97의 S1002 또는 도 98의 S2001에서 사용될 수 있다.
도 97의 처리(1000)의 양태와 도 98의 처리(2000)의 양태는 다양한 방식으로 수정될 수 있다. 예를 들어, 처리(1000 또는 2000)는 예시된 것보다 더 많은 동작을 수행하도록 수정될 수 있고, 예시된 것보다 더 적은 동작을 수행하도록 수정될 수 있고, 다양한 순서로 동작을 수행하도록 수정될 수 있고, 결합 또는 분할, 동작 등을 수행하도록 수정될 수 있다. 예를 들어, S1001 또는 S1002 이전에, 처리(1000)는 도 103을 참조하여 논의된 바와 같이 현재 블록의 크기와 같은 다른 고려사항에 기초하여 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정하도록 수정될 수 있다. 다른 예에서, 처리(1000)는 S1001을 생략하도록 수정될 수 있다. 다른 예에서, 도 98의 처리(2000)의 일 실시예는 단계(S2001)를 수행하기 전에 단계(S1001)를 수행하도록 수정될 수 있다. 다른 예에서, S2001은 제1 VPDU와 제2 VPDU를 더 작은 블록으로 분할할지 여부를 결정할 수 있다.
도 105는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 일례를 예시하기 위한 개념도이다. 도 105에 예시된 바와 같이, 예시적인 조합 조건은 휘도 VPDU와 대응하는 채도 VPDU 모두가 2 이상의 4진 트리 분할 깊이를 갖는지 여부이다. 휘도 VPDU0은 2 이상의 4진 트리 깊이를 갖고, 채도 VPDU0은 2 이상의 4진 트리 분할 깊이를 가져서, 채도 VPDU0에 대한 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다. 그러나, 휘도 VPDU1은 2 미만의 4진 트리 분할 깊이를 가져서, 조건 중 하나가 충족되지 않고, 채도 VPDU1에 대한 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다.
도 106은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 다른 예를 예시하기 위한 개념도이다. 도 106에 예시된 바와 같이, 조건의 예시적인 조합은 (i) 휘도 VPDU 4진 트리 분할 깊이가 2 이상인지 여부; (ii) 대응하는 채도 VPDU 4진 트리 분할 깊이가 1인지 여부; 및 (iii) 32x32의 채도 분할 임계 조건이 충족되는지 여부(예를 들어, 채도 크기가 32x32인 경우 블록이 분할되지 않음)이다. 휘도 VPDU0은 2 이상의 4진 트리 깊이를 가져서, 조건 (i)을 충족하고; 채도 VPDU0은 1과 같은 4진 트리 분할 깊이를 가져서, 조건 (ii)를 충족하고, 채도 VPDU는 32x32 미만의 크기의 블록으로 분할되지 않아서, 3가지 조건이 모두 충족되고, VPDU0의 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다. 그러나, 채도 VPDU1은 32x32 임계값 미만의 크기의 블록을 가져서, 조건 (iii)을 충족하지 않고, VPDU1에 대한 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다.
도 107은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 다른 예를 예시하기 위한 개념도이다. 도 107에 예시된 바와 같이, 조건의 예시적인 조합은 (i) 휘도 VPDU 4진 트리 분할 깊이가 2 이상인지 여부; (ii) 대응하는 채도 VPDU 4진 트리 분할 깊이가 1인지 여부; 및 (iii) 32x32의 채도 분할 임계 조건이 충족될지 여부(예를 들어, 채도 크기가 32x32인 경우 블록이 분할되지 않음)이다. 도 107의 qtDepthC는 채도 4진 트리 분할 깊이를 나타내고, 도 107의 mtDepthC는 채도 멀티트리 분할 깊이를 나타낸다. 4진 트리 분할 뒤에는 다른 4진 트리 분할 또는 다중 유형 트리 분할(이진 또는 3진 분할)이 뒤따를 수 있다. 채도 4진 트리 분할이 깊이 1에서 종료되는 것을 지정하기 위해, 채도 분할 32x32 == CU_DONT_SPLIT 조건이 추가되며(조건 iii은 도 106을 참조하여 논의됨), 이는 채도 32x32 레벨에서 더 분할되지 않는 것을 의미한다. 휘도 4진 트리 분할 깊이 qtDepthl가 2 이상이라고 가정하면, 채도 VPDU0만이 세 가지 조건을 모두 충족하고, VPDU0에 대한 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다. 채도 VPDU1은 채도 4진 트리 분할 깊이가 2이고, 블록이 32x32보다 더 작은 블록으로 분할되어서, VPDU1에 대한 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다. 채도 VPDU2는 채도 4진 트리 분할 깊이가 1이지만 블록이 32x32 미만의 블록으로 분할되어서, VPDU2에 대한 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다. 채도 VPDU3은 채도 4진 트리 분할 깊이가 1이지만 블록이 32x32 미만의 블록으로 분할되어서, VPDU3에 대한 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다.
도 108은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 다른 예를 예시하기 위한 개념도이다. 이 예에서 조건의 조합은 (i) 휘도 VPDU 4진 트리 분할 깊이가 2 이상인지 여부; (ii) 대응하는 채도 VPDU 4진 트리 분할 깊이가 1인지 여부; 및 (iii) 크기 32x32의 수평 채도 분할 후에 수직 또는 수평 3진 분할이 뒤따르지 않는지 여부이다. VPDU0의 경우, 조건이 충족되고; VPDU는 2개의 16x32 블록으로 수평 분할되고, 이러한 블록은 수평 또는 수직 3진 분할을 사용하여 더 분할되지 않는다. 따라서, VPDU0의 모든 블록에서 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다. VPDU1의 경우, 추가 3진 분할이 없는 하위 16x32 블록에 대한 조건이 충족되고, 하위 16x32 블록의 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다. VPDU1의 상위 16x32 블록에 대한 조건은 충족되지 않는 데, 그 이유는 추가 수직 3진 분할이 있고 VPDU1의 상위 16x32 블록의 채도 샘플이 휘도 샘플을 사용하지 않고 예측되기 때문이다.
도 109는 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 다른 예를 예시하기 위한 개념도이다. 도 109에 예시된 바와 같이, 조건의 예시적인 조합은 (i) 휘도 VPDU 4진 트리 분할 깊이가 1과 같은지 여부; (ii) 64x64의 휘도 분할 임계 조건이 충족되는지 여부(예를 들어, 휘도 크기가 64x64인 경우 블록은 분할되지 않음); (iii) 대응하는 채도 VPDU 4진 트리 분할 깊이가 1인지 여부; 및 (iv) 32x32의 채도 분할 임계 조건이 충족되는지 여부(예를 들어, 채도 크기가 32x32인 경우 블록이 분할되지 않음)이다. VPDU0은 4가지 조건을 모두 충족하고, VPDU0에 대한 채도 샘플은 휘도 샘플을 사용하여 예측될 수 있다. 채도 VPDU1은 채도 4진 트리 분할 깊이가 2이고, 블록이 32x32 미만의 블록으로 분할되어서, VPDU1에 대한 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다.
도 110은 휘도 샘플을 사용하여 블록의 채도 샘플을 예측할지 여부를 결정할 때 조건의 조합을 고려하는 다른 예를 예시하기 위한 개념도이다. 도 110에 예시된 바와 같이, 조건 중 임의의 조건이 참인 경우, 휘도 샘플은 블록의 채도 샘플을 예측하는 데 사용될 수 있다. 조건의 예시적인 조합은 (i) 휘도 VPDU 4진 트리 분할 깊이가 2 이상이고 채도 VPDU 4진 트리 분할 깊이가 2 이상인지 여부; (ii) 휘도 VPDU 4진 트리 분할 깊이가 1이고, 64x64의 휘도 분할 임계 조건이 충족되는지 여부(예를 들어, 휘도 크기가 64x64인 경우 블록은 분할되지 않음), 대응하는 채도 VPDU 4진 트리 분할 깊이가 1이고, 32x32의 채도 분할 임계 조건이 충족되는지 여부(예를 들어, 채도 크기가 32x32인 경우 블록은 분할되지 않음); (iii) 휘도 VPDU 4진 트리 분할 깊이가 2 이상이고, 대응하는 채도 VPDU 4진 트리 분할 깊이가 1이고, 32x32의 채도 분할 임계 조건이 충족되는지 여부(예를 들어, 채도 크기가 32x32인 경우 블록은 분할되지 않음); 및 (iv) 휘도 VPDU 4진 트리 분할 깊이가 2 이상이고, 대응하는 채도 VPDU 4진 트리 분할 깊이가 1이고, 32x32 블록의 채도 분할은 수평 분할이고, 32x32 미만의 채도 블록은 분할되지 않거나 수직으로 분할될지 여부이다. VPDU1의 블록은 4가지 조건을 모두 위반하여서 VPDU1의 채도 샘플은 휘도 샘플을 사용하지 않고 예측된다. 도 110의 예시적인 조건은 스캔 순서를 고려하여 32x32 샘플 내에서 (휘도 샘플로부터) 채도 예측 대기 시간을 제한하는 데 사용될 수 있다. 예를 들어, VPDU1에서 채도 블록0은 예측을 위해 휘도 블록0의 재구성을 기다려야 한다. 채도 블록1은 예측을 위해 휘도 블록0 및 블록1의 재구성을 기다려야 한다. 이러한 대기 시간을 피하기 위해 휘도 샘플을 사용하지 않고 채도 예측을 수행할 수 있다.
각각의 양태에서 설명된 블록은 직사각형 또는 비-직사각형 파티션으로 대체될 수 있다. 도 111은 비-삼각형 파티션, 예를 들어, 삼각형 파티션, L자형 파티션, 오각형 파티션, 육각형 파티션, 및 다각형 파티션의 예를 예시한다. 다른 비-직사각형 파티션이 사용될 수 있고, 다양한 형상의 조합이 사용될 수 있다. 각각의 양태에서 설명된 "파티션"이라는 용어는 "예측 단위"라는 용어로 대체될 수 있다. 각각의 양태에서 설명된 "파티션"이라는 용어는 "서브 예측 단위"라는 용어로도 대체될 수 있다. 각각의 양태에서 설명된 "파티션"이라는 용어는 또한 "코딩 단위"라는 용어로 대체될 수도 있다.
다른 조건이 사용될 수 있다. 예를 들어, 일 실시예에서, CCLM과 같이 휘도로부터 색차를 예측하기 위한 코딩 모드가 활성화되면 VPDU의 제1 분할은 항상 4진 분할일 수 있다. 다른 실시예에서, CTU의 적어도 하나의 VPDU의 VPDU, 예를 들어, 스캔 순서에서 CTU의 헤드 VPDU에 결정된 수의 4진 분할이 적용되지 않는 경우, CTU의 모든 VPDU에서 CCLM이 비활성화될 수 있다.
CCLM은 인트라_채도_pred_모드와 같은 모드 정보를 사용한 인트라 예측 모드로 정의될 수 있다. 인트라 예측 모드를 나타내는 인덱스 번호와 각각의 모드는 표에서 일대일 대응 관계로 연관될 수 있지만, CCLM이 비활성화된 경우, CCLM에 대한 표의 항목이 필요치 않아서, 인덱스 번호를 인코딩하고, 신호를 인코딩하는 비트 수를 줄일 수 있다. 일 실시예에서, 인트라 예측 모드를 나타내는 표는 CCLM이 유효인지 또는 무효인지 여부에 따라 전환될 수 있다. 예를 들어, 휘도의 4진 분할을 나타내는 분할 플래그 정보를 참조하여, VPDU에서 휘도가 결정된 크기 이하로 분할되지 않는 경우, CCLM이 무효인 것으로 결정될 수 있고, CCLM이 무효인 경우에 대응하는 표를 사용한다. 그렇지 않은 경우, CCLM이 사용될 수 있는 경우에 사용되는 대응하는 표를 사용할 수 있다. 일 실시예에서, CCLM에 대한 항목을 포함하는 표는 표를 전환하지 않고 사용될 수 있지만, CCLM이 무효인 경우에는 CCLM에 대한 항목을 참조하지 않을 수 있다.
도 98을 참조하면, 예를 들어, 일부 실시예에서, 현재 블록은 제1 VPDU에 있을 수 있다. 일부 실시예에서, 현재 블록은 제2 VPDU에 있을 수 있다. 일부 실시예에서, 제1 VPDU는 휘도 VPDU이다. 일부 실시예에서, 제1 VPDU는 채도 VPDU이다. 일부 실시예에서, 제2 VPDU는 휘도 VPDU이다. 일부 실시예에서, 제2 VPDU는 채도 VPDU이다. 일부 실시예에서, 제1 VPDU는 휘도 VPDU이고, 제2 VPDU는 채도 VPDU이다. 일부 실시예에서, VPDU를 더 작은 블록으로 분할할지 여부는 VPDU와 연관된 분할 플래그에 기초하여 결정될 수 있다. 일부 실시예에서, 분할 플래그는 4진 트리 분할 플래그이다. 일부 실시예에서, 분할 플래그는 이진 트리 분할 플래그이다. 일부 실시예에서, 분할 플래그는 3진 트리 분할 플래그이다. 일부 실시예에서, VPDU를 더 작은 블록으로 분할할지 여부를 결정하는 것은 VPDU와 연관된 복수의 분할 플래그에 기초할 수 있다. 일부 실시예에서, VPDU를 더 작은 블록으로 분할할지 여부를 결정하는 것은 블록 분할 깊이에 기초할 수 있다. 일부 실시예에서, 블록 분할 깊이는 4진 트리 분할 깊이이다. 일부 실시예에서, 블록 분할 깊이는 이진 트리 분할 깊이이다. 일부 실시예에서, 블록 분할 깊이는 3진 트리 분할 깊이이다. 일부 실시예에서, VPDU를 분할할지 여부를 결정하는 것은 임계 블록 크기에 도달할 때까지 반복된다. 일부 실시예에서, 임계 블록 크기는 미리 결정될 수 있는 디폴트 임계 블록 크기이다. 일부 실시예에서, 임계 블록 크기는 신호화된다. 일부 실시예에서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한된다. 이들 예는 디코더 및 디코딩 처리를 참조하여 논의되었지만, 이러한 예시적인 실시예는 인코더 또는 인코딩 처리에서 사용될 수 있다.
다른 장점 중에서, 현재의 블록을 디코딩하는데 사용되는 채도 샘플이 휘도 샘플을 사용하여 예측될 수 도 있는지를 결정하는 것은 재구성 지연을 감소시키며 하드웨어 구현 융통성을 증가시키는 것을 용이하게 한다.
본 명세서에 개시된 하나 이상의 양태는 본 개시의 다른 양태의 적어도 일부와 결합함으로써 수행될 수 있다. 또한, 본 명세서에 개시된 하나 이상의 양태는 양태에 따라 임의의 흐름도에 표시된 처리의 일부, 임의의 디바이스의 구성의 일부, 신택스의 일부 등을 다른 양태와 결합시킴으로써 수행될 수 있다. 인코더의 구성요소를 참조하여 설명한 양태는 디코더의 대응 구성요소에 의해 유사하게 수행될 수 도 있다.
(구현 및 응용)
위의 각각의 실시예에서 설명된 바와 같이, 각각의 기능 또는 동작 블록은 일반적으로 예를 들어 마이크로 프로세싱 유닛(micro processing unit: MPU) 및 메모리로서 실현될 수 있다. 또한, 각각의 기능 블록에 의해 수행되는 처리는 ROM과 같은 기록 매체에 기록된 소프트웨어(프로그램)를 판독하고 실행하는 프로세서와 같은 프로그램 실행 유닛으로서 실현될 수 있다. 소프트웨어는 분배될 수 있다. 소프트웨어는 반도체 메모리와 같은 다양한 기록 매체에 기록될 수 있다. 각각의 기능 블록은 하드웨어(전용 회로)로서 실현될 수도 있다는 것이 주목된다. 하드웨어와 소프트웨어의 다양한 조합이 사용될 수 있다.
각각의 실시예에서 설명된 처리는 단일 장치(시스템)를 사용하여 통합 처리를 통해 실현될 수 있고, 대안적으로 복수의 장치를 사용하여 분산 처리를 통해 실현될 수 있다. 또한, 전술한 프로그램을 실행하는 프로세서는 단일 프로세서일 수도 있고 또는 복수의 프로세서일 수도 있다. 즉, 통합 처리가 수행될 수 있으며, 대안적으로 분산 처리가 수행될 수 있다.
본 발명의 실시예는 상기 예시적인 실시예로 제한되지 않고; 예시적인 실시예에 다양한 수정이 이루어질 수 있으며, 그 결과도 본 발명의 실시예의 범위 내에 포함된다.
다음으로, 위의 각각의 실시예에서 설명된 동화상 인코딩 방법(이미지 인코딩 방법) 및 동화상 디코딩 방법(이미지 디코딩 방법)의 응용 예뿐만 아니라 이 응용 예를 구현하는 다양한 시스템도 설명한다. 이러한 시스템은 이미지 인코딩 방법을 사용하는 이미지 인코더, 이미지 디코딩 방법을 사용하는 이미지 디코더, 또는 이미지 인코더와 이미지 디코더를 모두 포함하는 이미지 인코더-디코더를 포함하는 것을 특징으로 할 수 있다. 이러한 시스템의 다른 구성은 경우에 따라 수정될 수 있다.
(사용 예)
도 112는 콘텐츠 분배 서비스를 구현하기에 적합한 콘텐츠 제공 시스템(ex100)의 전체 구성을 예시한다. 통신 서비스가 제공되는 영역은 원하는 크기의 셀로 분할되고, 예시된 예에서 고정된 무선국인 기지국(ex106, ex107, ex108, ex109, 및 ex110)은 각각의 셀에 위치된다.
콘텐츠 제공 시스템(ex100)에서, 컴퓨터(ex111), 게임 디바이스(ex112), 카메라(ex113), 홈 기기(ex114) 및 스마트 폰(ex115)을 포함하는 디바이스들은 인터넷 서비스 제공자(ex102) 또는 통신 네트워크(ex104) 및 기지국(ex106 내지 ex110)을 통해 인터넷(ex101)에 연결된다. 콘텐츠 제공 시스템(ex100)은 이들 디바이스의 임의의 조합과 결합하고 연결될 수 있다. 다양한 구현예에서, 디바이스들은 기지국(ex106 내지 ex110)을 통하는 것이 아니라 전화 네트워크 또는 근거리 통신을 통해 직접 또는 간접 함께 연결될 수 있다. 또한, 스트리밍 서버(ex103)는 예를 들어 인터넷(ex101)을 통해 컴퓨터(ex111), 게임 디바이스(ex112), 카메라(ex113), 홈 기기(ex114) 및 스마트 폰(ex115)을 포함하는 디바이스들에 연결될 수 있다. 스트리밍 서버(ex103)는 또한 예를 들어 위성(ex116)을 통해 비행기(ex117)의 핫스팟 내 단자에 연결될 수 있다.
기지국(ex106 내지 ex110) 대신에 무선 액세스 포인트 또는 핫스팟이 사용될 수 있다는 것이 주목된다. 스트리밍 서버(ex103)는 인터넷(ex101) 또는 인터넷 서비스 제공자(ex102) 대신에 통신 네트워크(ex104)에 직접 연결될 수 있고, 위성(ex116) 대신에 비행기(ex117)에 직접 연결될 수 있다.
카메라(ex113)는 디지털 카메라와 같은 정지 이미지 및 비디오를 캡처할 수 있는 디바이스일 수 도 있다. 스마트 폰(ex115)은, 2G, 3G, 3.9G, 4G 시스템의 이동 통신 시스템 표준 하에서 동작할 수 있는 스마트 폰 디바이스, 휴대폰, 또는 개인 휴대 전화 시스템(PHS) 폰뿐만 아니라 차세대 5G 시스템일 수 도 있다.
홈 기기(ex114)는, 예를 들어, 냉장고 또는 가정용 연료 전지 열병합 발전 시스템(cogeneration system)에 포함되는 디바이스이다.
콘텐츠 제공 시스템(ex100)에서, 이미지 및/또는 비디오 캡처 기능을 포함하는 단말은 예를 들어 기지국(ex106)을 통해 스트리밍 서버(ex103)에 연결됨으로써 라이브 스트리밍이 가능하다. 라이브 스트리밍할 때, 단말(예를 들어, 컴퓨터(ex111), 게임 디바이스(ex112), 카메라(ex113), 홈 기기(ex114), 스마트 폰(ex115), 또는 비행기(ex117) 내의 단말)은 상기 실시예에서 설명된 인코딩 처리를 단말을 통해 사용자가 캡처한 정지 이미지 또는 비디오 콘텐츠에 수행할 수 있으며, 인코딩을 통해 획득된 비디오 데이터와, 비디오에 대응하는 오디오를 인코딩하여 획득된 오디오 데이터를 다중화할 수 있고, 획득된 데이터를 스트리밍 서버(ex103)로 전송할 수 있다. 다시 말해, 단말은 본 발명의 일 양태에 따른 이미지 인코더로서 기능한다.
스트리밍 서버(ex103)는 전송된 콘텐츠 데이터를 스트림을 요청하는 클라이언트로 스트리밍한다. 클라이언트 예는 위에서 설명한 인코딩된 데이터를 디코딩할 수 있는 컴퓨터(ex111), 게임 디바이스(ex112), 카메라(ex113), 홈 기기(ex114), 스마트 폰(ex115), 및 비행기(ex117) 내 단말을 포함한다. 스트리밍된 데이터를 수신하는 디바이스는 수신된 데이터를 디코딩하고 재생할 수 있다. 즉, 각각의 디바이스는 본 개시의 일 양태에 따라 이미지 디코더로서 기능할 수 있다.
(분산 처리)
스트리밍 서버(ex103)는 데이터의 처리, 기록 및 스트리밍과 같은 작업을 분할하여 처리하는 복수의 서버 또는 컴퓨터로서 실현될 수 있다. 예를 들어, 스트리밍 서버(ex103)는 전 세계에 걸쳐 위치된 다수의 에지 서버를 연결하는 네트워크를 통해 콘텐츠를 스트리밍하는 콘텐츠 전달 네트워크(CDN)로서 실현될 수 있다. CDN에서, 클라이언트에 물리적으로 가까운 에지 서버가 동적으로 클라이언트에 할당될 수 있다. 콘텐츠는 로드 시간을 줄이기 위해 캐시되고 에지 서버로 스트리밍된다. 예를 들어, 트래픽 급증으로 인해 일부 유형의 오차 또는 연결 변경이 발생하는 경우, 예를 들어, 복수의 에지 서버 사이에 처리를 분할하거나 또는 스트리밍 임무를 다른 에지 서버로 전환하고 스트리밍을 계속하는 것에 의해 네트워크의 영향을 받은 부분을 피할 수 있으므로 데이터를 고속으로 안정적으로 스트리밍할 수 있다.
분산화는 스트리밍 처리를 분할하는 것만으로 제한되지 않고; 캡처된 데이터의 인코딩은 단말에 의해, 서버에서 또는 이 둘 모두에 의해 수행될 수 있고 이들 간에 분할되어 처리될 수 있다. 일례로, 일반적인 인코딩에서 처리는 2개의 루프에서 수행된다. 제1 루프는 프레임별로 또는 장면별로 이미지의 복잡도를 검출하거나 인코딩 부하를 검출하는 것이다. 제2 루프는 이미지 품질을 유지하고 인코딩 효율성을 개선하는 처리를 위한 것이다. 예를 들어, 단말이 인코딩의 제1 루프를 수행하게 하고 콘텐츠를 수신한 서버 측이 인코딩의 제2 루프를 수행하게 함으로써 단말의 처리 부하를 줄이고 콘텐츠의 품질 및 인코딩 효율성을 개선할 수 있다. 이러한 경우, 디코딩 요청을 수신하면, 하나의 단말에 의해 수행된 제1 루프로부터 발생한 인코딩된 데이터는 거의 실시간으로 다른 단말에서 수신되어 재생될 수 있다. 이를 통해 원활한 실시간 스트리밍을 실현할 수 있다.
다른 예에서, 카메라(ex113) 등은 이미지로부터 특징 량(특징 또는 특성의 양)을 추출하고, 특징 량에 관련된 데이터를 메타데이터로서 압축하고, 압축된 메타데이터를 서버로 전송한다. 예를 들어, 서버는 특징 량에 기초하여 객체의 중요도를 결정하고 이에 따라 양자화 정확도를 변경하여 이미지의 의미(또는 콘텐츠 중요성)에 적합한 압축을 수행한다. 특징 량 데이터는 서버가 수행하는 제2 압축 통과 동안 움직임 벡터 예측의 정밀도와 효율성을 개선하는 데 특히 효과적이다. 또한 가변 길이 코딩(VLC)과 같이 상대적으로 낮은 처리 부하를 갖는 인코딩은 단말에 의해 처리될 수 있으며, 상황 적응성 2진 산술 코딩(CABAC)과 같이 상대적으로 높은 처리 부하를 갖는 인코딩은 서버에 의해 처리될 수 있다.
또 다른 예에서, 예를 들어, 경기장, 쇼핑몰 또는 공장에 있는 복수의 단말에 의해 거의 동일한 장면의 복수의 비디오가 캡처되는 경우가 있다. 이러한 경우, 예를 들어, 비디오를 캡처한 복수의 단말과, 만약 필요한 경우, 비디오를 캡처하지 않은 다른 단말과 서버 사이에 처리 작업을 단위별로 분할 처리함으로써 인코딩을 분산시킬 수 있다. 단위는 예를 들어, 화상 그룹(GOP), 화상 또는 화상을 분할한 결과인 타일일 수 있다. 이를 통해 로드 시간을 줄이고 실시간에 가까운 스트리밍을 달성할 수 있다.
비디오가 거의 동일한 장면이기 때문에, 관리 및/또는 명령은 단말에 의해 캡처된 비디오를 상호 참조할 수 있도록 서버에 의해 수행될 수 있다. 또한, 서버는 단말로부터 인코딩된 데이터를 수신하거나, 데이터 항목 간의 참조 관계를 변경하거나, 또는 화상 자체를 보정하거나 대체한 다음 인코딩을 수행할 수 있다. 이를 통해 개별 데이터 항목에 대해 향상된 품질과 효율성으로 스트림을 생성할 수 있다.
또한, 서버는 비디오 데이터의 인코딩 포맷을 변환하기 위해 트랜스코딩을 수행한 후 비디오 데이터를 스트리밍할 수 있다. 예를 들어, 서버는 인코딩 형식을 MPEG로부터 VP(예를 들어, VP9)로 변환할 수 있고, 또는 H.264를 H.265로 변환할 수 있고, 등을 수행할 수 있다.
이러한 방식으로, 인코딩은 단말 또는 하나 이상의 서버에 의해 수행될 수 있다. 따라서, 이하의 설명에서는 인코딩을 수행하는 디바이스는 "서버" 또는 "단말"이라고 칭하지만, 서버가 수행하는 처리의 일부 또는 전부는 단말에 의해 수행될 수 있고, 마찬가지로 단말이 수행하는 처리의 일부 또는 전부는 서버에 의해 수행될 수 있다. 이것은 디코딩 처리에도 적용된다.
(3D, 다중 각도)
카메라(ex113) 및/또는 스마트 폰(ex115)과 같은 복수의 단말에 의해 동시에 캡처된 다른 장면 또는 다른 각도에서 캡처된 동일한 장면의 이미지 또는 비디오로부터 결합된 이미지 또는 비디오를 사용하는 것이 증가하고 있다. 단말에 의해 캡처된 비디오는, 예를 들어, 단말 사이의 개별적으로 획득된 상대적 위치 관계 또는 매칭하는 특징 점을 갖는 비디오 내의 영역에 기초하여 결합될 수 있다.
2차원 동화상을 인코딩하는 것에 더하여, 서버는 동화상의 장면 분석에 기초하여 예를 들어 자동으로 또는 사용자가 지정한 시점에서 정지 이미지를 인코딩하고, 인코딩된 정지 이미지를 수신 단말로 전송할 수 있다. 또한, 서버가 2차원 동화상에 더하여 비디오 캡처 단말 사이의 상대적인 위치 관계를 획득할 수 있는 경우, 서버는 다른 각도에서 캡처된 동일한 장면의 비디오에 기초하여 장면의 3차원 기하학적 형상을 생성할 수 있다. 서버는 예를 들어 포인트 클라우드로부터 생성된 3차원 데이터를 개별적으로 인코딩할 수 있으며, 3차원 데이터를 이용하여 사람 또는 물체를 인식 또는 추적한 결과에 기초하여, 복수의 단말이 캡처한 비디오로부터 수신 단말로 전송할 비디오를 선택하거나 재구성하고 생성할 수 있다.
이를 통해 사용자는 비디오 캡처 단말에 대응하는 비디오를 자유롭게 선택함으로써 장면을 즐길 수 있고, 사용자는 복수의 이미지 또는 비디오로부터 재구성된 3차원 데이터로부터 선택된 관점의 비디오를 추출함으로써 획득된 콘텐츠를 즐길 수 있다. 또한, 비디오에서와 마찬가지로, 사운드도 상대적으로 다른 각도에서 녹음될 수 있으며, 서버는 대응하는 비디오와 특정 각도 또는 공간의 오디오를 다중화하고 다중화된 비디오 및 오디오를 전송할 수 있다.
최근에는, 실제 세계와 가상 세계, 예를 들어, 가상 현실(VR)과 증강 현실(AR) 콘텐츠를 합성한 콘텐츠도 인기를 끌고 있다. VR 이미지의 경우, 서버는 왼쪽 눈과 오른쪽 눈의 관점에서 이미지를 생성할 수 있고, 다중-뷰 코딩(multi-view coding: MVC)과 같은 두 관점 이미지 간의 참조를 허용하는 인코딩을 수행할 수 있고, 대안적으로, 이미지를 참조 없이 별개의 스트림으로서 인코딩할 수 있다. 이미지가 별개의 스트림으로서 디코딩되는 경우, 스트림은 재생될 때 동기화되어 사용자의 관점에 따라 가상의 3차원 공간을 재생성할 수 있다.
AR 이미지의 경우, 서버는 예를 들어 사용자의 관점에서 3차원 위치 또는 움직임에 기초하여 실제 세계 공간을 나타내는 카메라 정보에 가상 공간에 존재하는 가상 객체 정보를 중첩할 수 있다. 디코더는 가상 객체 정보 및 3차원 데이터를 획득 또는 저장하고, 사용자의 관점에서 움직임에 기초하여 2차원 이미지를 생성한 다음, 이미지를 끊김 없이 연결함으로써 중첩된 데이터를 생성할 수 있다. 대안적으로, 디코더는 가상 객체 정보에 대한 요청에 더하여 사용자의 관점에서 움직임을 서버로 전송할 수 있다. 서버는 수신된 움직임에 따라 서버에 저장된 3차원 데이터에 기초하여 중첩된 데이터를 생성하고, 생성된 중첩된 데이터를 인코딩하여 디코더로 스트리밍할 수 있다. 중첩된 데이터는 일반적으로 RGB 값에 더하여 투명도를 나타내는 α 값을 포함하고, 서버는 3차원 데이터에서 생성된 객체 이외의 구획에 대한 α 값을 예를 들어 0으로 설정하고, 이들 구획이 투명한 동안 인코딩을 수행할 수 있다는 것이 주목된다. 대안적으로, 서버는 채도 키와 같은 결정된 RGB 값으로 배경을 설정하고, 객체 이외의 영역이 배경으로 설정된 데이터를 생성할 수 있다. 결정된 RGB 값은 미리 결정될 수 있다.
유사하게 스트리밍된 데이터의 디코딩은 클라이언트(예를 들어, 단말)에 의해 서버 측에서 수행되거나 이들 간에 분할되어 처리될 수 있다. 일례로, 하나의 단말은 수신 요청을 서버로 전송할 수 있고, 요청된 콘텐츠는 다른 단말에 의해 수신 및 디코딩될 수 있으며, 디코딩된 신호는 디스플레이를 갖는 디바이스로 전송될 수 있다. 통신 단말 자체의 처리 능력에 관계없이 처리를 분산하고 콘텐츠를 적절하게 선택함으로써 고품질의 이미지 데이터를 재생할 수 있다. 또 다른 예에서, 예를 들어 TV가 크기가 큰 이미지 데이터를 수신하는 동안, 화상을 분할하여 획득된 타일과 같은 화상의 영역이 디코딩되어 TV의 시청자 또는 시청자들의 개인용 단말 또는 단말들에 디스플레이될 수 있다. 이를 통해 시청자들은 큰 화상 뷰를 공유할 수 있을 뿐만 아니라 각각의 시청자가 자신의 할당된 영역을 체크하거나 영역을 더 자세히 가까이에서 살펴볼 수 있다.
근거리, 중거리 및 원거리에 걸쳐 실내 또는 실외에서 복수의 무선 연결이 가능한 상황에서, MPEG-DASH와 같은 스트리밍 시스템 표준을 사용하여 콘텐츠를 끊김 없이 수신할 수 있다. 사용자는 자신의 단말, 실내 또는 실외에 배열된 디스플레이 등을 포함하는 디코더 또는 디스플레이 장치를 자유롭게 선택하면서 실시간으로 데이터 간을 전환할 수 있다. 게다가, 예를 들어, 사용자의 위치 정보를 이용하여 디코딩을 처리하는 단말과 콘텐츠의 디스플레이를 처리하는 단말 간을 전환하면서 디코딩을 수행할 수 있다. 이를 통해 사용자가 목적지로 이동하는 동안, 콘텐츠를 디스플레이할 수 있는 디바이스가 내장된 인근 건물의 벽에 또는 지면의 일부에 정보를 매핑하고 디스플레이할 수 있다. 게다가, 예를 들어, 인코딩된 데이터가 수신 단말로부터 빠르게 액세스 가능한 서버에 캐시될 때 또는 인코딩된 데이터가 콘텐츠 전달 서비스의 에지 서버로 복사될 때, 네트워크에서 인코딩된 데이터에 대한 접근성에 기초하여 수신된 데이터의 비트 전송률을 전환할 수도 있다.
(웹 페이지 최적화)
도 113는 예를 들어 컴퓨터(ex111) 상의 웹 페이지의 디스플레이 화면의 일례를 예시한다. 도 114는 예를 들어 스마트 폰(ex115) 상의 웹 페이지의 디스플레이 화면의 일례를 예시한다. 도 113 및 도 114에 예시된 바와 같이, 웹 페이지는 이미지 콘텐츠에 대한 링크인 복수의 이미지 링크를 포함할 수 있으며, 웹 페이지를 시청하는 데 사용되는 디바이스에 따라 웹 페이지의 외관이 다를 수 있다. 사용자가 명시적으로 이미지 링크를 선택할 때까지 또는 이미지 링크가 화면의 대략 중앙에 있거나 전체 이미지 링크가 화면에 맞을 때까지 화면에서 복수의 이미지 링크를 볼 수 있는 경우, 디스플레이 장치(디코더)는 콘텐츠에 포함된 정지 이미지 또는 I 화상을 이미지 링크로서 디스플레이할 수 있고; 복수의 정지 이미지 또는 I 화상을 사용하여 애니메이션 gif와 같은 비디오를 디스플레이할 수 있고, 또는 기저 층만을 수신하고 비디오를 디코딩하고 디스플레이할 수 있다.
사용자에 의해 이미지 링크가 선택된 경우, 디스플레이 장치는 예를 들어, 기저 층에 가장 높은 우선 순위를 부여하면서 디코딩을 수행한다. 콘텐츠가 스케일링 가능하다는 것을 나타내는 정보가 웹 페이지의 HTML 코드에 있는 경우, 디스플레이 장치는 향상 층까지 디코딩할 수 있다는 것이 주목된다. 또한, 실시간 재생을 용이하게 하기 위해 선택이 이루어지기 전에 또는 대역폭이 심하게 제한되었을 때, 디스플레이 장치는 순방향 참조 화상(I 화상, P 화상, 순방향 참조 B 화상)만을 디코딩하여 디스플레이함으로써 선행 화상이 디코딩되는 시점과 디코딩된 화상이 디스플레이되는 시점 사이의 지연(즉, 콘텐츠를 디코딩하기 시작하는 시점으로부터 콘텐츠를 디스플레이하는 시점까지의 지연)을 줄일 수 있다. 더 나아가, 디스플레이 장치는 의도적으로 화상 간의 참조 관계를 무시하고, 모든 B 및 P 화상을 순방향 참조 화상으로서 대략적으로 디코딩한 후, 시간이 지나면서 수신되는 화상의 수가 증가함에 따라 정상적인 디코딩을 수행할 수 있다.
(자율 주행)
자동차의 자율 주행 또는 운전 보조를 위한 2차원 또는 3차원 지도 정보와 같은 정지 이미지 또는 비디오 데이터를 송신 및 수신할 때, 수신 단말은, 하나 이상의 층에 속하는 이미지 데이터에 더하여, 예를 들어, 날씨 또는 도로 공사에 대한 정보를 메타데이터로서 수신하고, 디코딩할 때 메타데이터를 이미지 데이터와 연관시킬 수 있다. 메타데이터는 층별로 할당될 수 있으며, 대안적으로 단순히 이미지 데이터와 다중화될 수 있다는 것이 주목된다.
이 경우에, 수신 단말을 포함하는 자동차, 드론, 비행기 등은 이동 가능하기 때문에, 수신 단말은 수신 단말의 위치를 나타내는 정보를 전송함으로써 기지국(ex106 내지 ex110) 중에서 기지국 간을 전환하면서 끊김 없이 수신하고 디코딩을 수행할 수 있다. 또한, 사용자에 의해 이루어진 선택, 사용자의 상황 및/또는 연결 대역폭에 따라, 수신 단말은 메타데이터가 수신되는 범위 또는 예를 들어 지도 정보가 업데이트되는 범위를 동적으로 선택할 수 있다.
콘텐츠 제공 시스템(ex100)에서 클라이언트는 사용자가 전송한 인코딩된 정보를 실시간으로 수신, 디코딩 및 재생할 수 있다.
(개별 콘텐츠의 스트리밍)
콘텐츠 제공 시스템(ex100)에서 고품질의 이미지에 더하여 비디오 분배 엔티티에 의해 분배되는 긴 콘텐츠, 저품질의 이미지의 유니캐스트 또는 멀티캐스트 스트리밍, 및 개인으로부터의 짧은 콘텐츠도 가능하다. 개인으로부터의 이러한 콘텐츠는 인기가 더욱 높아질 가능성이 있다. 서버는 개별 콘텐츠를 정제하기 위해 인코딩 처리 전에 콘텐츠에 대한 편집 처리를 먼저 수행할 수 있다. 예를 들어 다음 구성을 사용하여 이를 달성할 수 있다.
실시간으로 비디오 또는 이미지 콘텐츠를 캡처하는 동안 또는 콘텐츠가 캡처 및 누적된 후, 서버는 캡처 오차 처리, 장면 검색 처리, 의미 분석 및/또는 객체 검출 처리와 같은 원시 데이터 또는 인코딩된 데이터에 기초하여 인식 처리를 수행한다. 그런 다음, 인식 처리 결과에 기초하여, 서버는, 예를 들어 프롬프트될 때 또는 자동으로, 콘텐츠를 편집하고, 그 예로는 초점 및/또는 움직임 흐려짐 보정과 같은 보정; 다른 화상에 비해 밝기가 낮거나 초점이 맞지 않는 장면과 같이 우선 순위가 낮은 장면의 제거; 객체 에지 조절; 및 색조 조절을 포함한다. 서버는 편집 결과에 기초하여 편집된 데이터를 인코딩한다. 지나치게 긴 비디오는 조회수가 적은 경향이 있는 것으로 알려져 있다. 따라서, 콘텐츠를 원본 비디오의 길이에 따라 스케일링된 특정 길이 내에 유지하기 위해, 서버는, 위에서 설명한 낮은 우선 순위 장면에 더하여, 이미지 처리 결과에 기초하여 움직임이 적은 장면을 자동으로 잘라낼 수 있다. 대안적으로, 서버는 장면의 의미를 분석한 결과에 기초하여 비디오 다이제스트를 생성하고 인코딩할 수 있다.
개별 콘텐츠가 저작권, 인격권, 초상권 등을 침해하는 콘텐츠를 포함할 수 있는 경우가 있을 수 있다. 이러한 경우 제작자가 의도한 범위를 넘어 콘텐츠를 공유하는 경우와 같이 제작자에게 불리한 상황이 발생할 수 있다. 따라서, 인코딩 전에 서버는 예를 들어 화면 주변에 있는 사람의 얼굴을 흐리게 하거나 예를 들어 집 내부를 흐리게 하도록 이미지를 편집할 수 있다. 또한, 서버는 인코딩될 이미지에서 등록된 사람이 아닌 사람의 얼굴을 인식하도록 구성될 수 있으며, 이러한 얼굴이 이미지에 나타날 경우, 예를 들어, 사람의 얼굴에 모자이크 필터를 적용할 수 있다. 대안적으로, 인코딩을 위한 전처리 또는 후처리로서, 사용자는 저작권의 이유로 사람을 포함하는 이미지의 영역 또는 처리할 배경 영역을 지정할 수 있다. 서버는 예를 들어 이 영역을 다른 이미지로 대체하거나 이 영역을 흐리게 처리함으로써 지정된 영역을 처리할 수 있다. 이 영역이 사람을 포함하는 경우 동화상에서 사람을 추적할 수 있으며, 사람이 움직일 때 사람의 머리 영역을 다른 이미지로 대체할 수 있다.
개인이 제작한 콘텐츠를 실시간으로 볼 수 있는 요구가 있어서 데이터 크기가 작아지는 경향이 있기 때문에, 디코더는 기저 층을 가장 높은 우선 순위로 먼저 수신하고, 디코딩 및 재생을 수행할 수 있지만, 이것은 대역폭에 따라 다를 수 있다. 콘텐츠가 2회 이상 재생되는 경우, 예를 들어, 디코더가 기저 층의 디코딩 및 재생 동안 향상 층을 수신하고 재생을 반복하는 경우, 디코더는 향상 층을 포함하는 고품질의 이미지 비디오를 재생할 수 있다. 이러한 스케일링 가능한 인코딩을 사용하여 스트림을 인코딩하면, 비디오가 선택되지 않은 상태에 있을 때 또는 비디오를 시작할 때에는 비디오 품질이 낮을 수 있지만, 스트림의 이미지 품질이 지능적으로 점진적으로 증가하는 경험을 제공할 수 있다. 이것은 스케일링 가능한 인코딩만으로 제한되지 않고; 처음 재생된 저품질 스트림으로부터 단일 스트림을 구성하고, 제1 스트림을 참조로 사용하여 인코딩된 제2 스트림을 구성함으로써 동일한 경험을 제공할 수 있다.
(기타 구현 및 적용 예)
인코딩 및 디코딩은 일반적으로 각각의 단말에 포함된 대규모 집적 회로부(large scale integration circuitry: LSI)(ex500)(도 112 참조)에 의해 수행될 수 있다. LSI(ex500)는 단일 칩 또는 복수의 칩으로 구성될 수 있다. 동화상을 인코딩하고 디코딩하기 위한 소프트웨어는 예를 들어, 컴퓨터(ex111)로 판독될 수 있는 일부 유형의 기록 매체(예를 들어, CD-ROM, 플렉시블 디스크, 또는 하드 디스크)에 통합될 수 있으며, 인코딩 및 디코딩은 소프트웨어를 이용하여 수행될 수 있다. 또한, 스마트 폰(ex115)에 카메라가 장착된 경우, 카메라에서 획득한 비디오 데이터가 전송될 수 있다. 이 경우, 비디오 데이터는 스마트 폰(ex115)에 포함된 LSI(ex500)에 의해 코딩될 수 있다.
LSI(ex500)는 애플리케이션을 다운로드하고 활성화하도록 구성될 수 있다는 것이 주목된다. 이 경우에, 단말은 콘텐츠를 인코딩하는 데 사용되는 방식과 호환 가능한지 여부 또는 특정 서비스를 실행할 수 있는지 여부를 먼저 결정한다. 단말이 콘텐츠의 인코딩 방식과 호환 가능하지 않는 경우 또는 단말이 특정 서비스를 실행할 수 없는 경우, 단말은 코덱 또는 애플리케이션 소프트웨어를 먼저 다운로드한 다음 콘텐츠를 획득하고 재생할 수 있다.
인터넷(ex101)을 사용하는 콘텐츠 제공 시스템(ex100)의 예를 제외하고, 상기 실시예에서 설명한 적어도 동화상 인코더(이미지 인코더) 또는 동화상 디코더(이미지 디코더)가 디지털 방송 시스템에서 구현될 수 있다. 동일한 인코딩 처리 및 디코딩 처리가, 예를 들어, 위성을 사용하여 다중화된 오디오 및 비디오 데이터와 중첩된 방송 전파를 송수신하는 데 적용될 수 있지만, 위성은 멀티캐스트에 맞춰져 있는 반면, 콘텐츠 제공 시스템(ex100)에서는 유니캐스트가 더 쉽다.
(하드웨어 구성)
도 115는 도 112에 도시된 스마트 폰 예(ex115)의 추가 세부 사항을 예시한다. 도 116은 스마트 폰(ex115)의 기능적 구성 예를 예시한다. 스마트 폰(ex115)은 기지국(ex110)과 무선 전파를 송수신하기 위한 안테나(ex450), 비디오 및 정지 이미지를 캡처할 수 있는 카메라(ex465), 및 카메라(ex465)에 의해 캡처된 비디오 및 안테나(ex450)에 의해 수신된 비디오와 같은 디코딩된 데이터를 디스플레이하는 디스플레이(ex458)를 포함한다. 스마트 폰(ex115)은 터치 패널과 같은 사용자 인터페이스부(ex466), 음성 또는 기타 오디오를 출력하기 위한 스피커와 같은 오디오 출력 유닛(ex457), 오디오 입력을 위한 마이크로폰과 같은 오디오 입력 유닛(ex456), 캡처된 비디오 또는 정지 이미지, 녹음된 오디오, 수신된 비디오 또는 정지 이미지, 메일뿐만 아니라 디코딩된 데이터와 같은 디코딩된 데이터를 저장할 수 있는 메모리(ex467), 및 네트워크 및 다양한 데이터에 대한 액세스를 승인하기 위한 SIM(ex468)용 인터페이스부인 슬롯(ex464)을 더 포함한다. 메모리(ex467) 대신에 또는 그에 추가하여 외부 메모리가 사용될 수 있다는 것이 주목된다.
디스플레이(ex458) 및 사용자 인터페이스부(ex466)를 포괄적으로 제어할 수 있는 주 제어부(ex460), 전력 공급 회로(ex461), 사용자 인터페이스부 입력 제어부(ex462), 비디오 신호 프로세서(ex455), 카메라 인터페이스부(ex463), 디스플레이 제어부(ex459), 변조부/복조부(ex452), 다중화부/역다중화부(ex453), 오디오 신호 프로세서(ex454), 슬롯(ex464), 및 메모리(ex467)는 버스(ex470)를 통해 연결된다.
사용자가 전력 공급 회로(ex461)의 전력 버튼을 켜면, 스마트 폰(ex115)이 동작 가능한 상태로 켜지고, 각각의 구성요소에 예를 들어 배터리 팩의 전력이 공급된다.
스마트 폰(ex115)은 CPU, ROM 및 RAM을 포함하는 주 제어부(ex460)에 의해 수행되는 제어에 기초하여 예를 들어 통화 및 데이터 전송을 위한 처리를 수행한다. 통화를 할 때 오디오 입력 유닛(ex456)에 의해 녹음된 오디오 신호는 오디오 신호 프로세서(ex454)에 의해 디지털 오디오 신호로 변환되며, 이 오디오 신호에는 변조부/복조부(ex452) 및 디지털-아날로그 변환에 의해 확산 스펙트럼 처리가 적용되고, 주파수 변환 처리는 송신부/수신부(ex451)에 의해 적용되고, 결과 신호는 안테나(ex450)를 통해 전송된다. 수신된 데이터는 증폭, 주파수 변환, 아날로그-디지털 변환되고, 변조부/복조부(ex452)에 의한 역확산 스펙트럼 처리되고, 오디오 신호 프로세서(ex454)에 의해 아날로그 오디오 신호로 변환된 후 오디오 출력 유닛(ex457)으로부터 출력된다.
데이터 전송 모드에서, 텍스트, 정지 이미지 또는 비디오 데이터는 예를 들어 본체의 사용자 인터페이스부(ex466)의 동작에 기초하여 사용자 인터페이스부 입력 제어부(ex462)를 통해 주 제어부(ex460)의 제어 하에 전송될 수 있다. 유사한 송수신 처리가 수행된다. 데이터 전송 모드에서, 비디오, 정지 이미지 또는 비디오 및 오디오를 전송할 때, 비디오 신호 프로세서(ex455) 압축은 위의 실시예에서 설명된 동화상 인코딩 방법을 통해 메모리(ex467)에 저장된 비디오 신호 또는 카메라(ex465)로부터 입력된 비디오 신호를 인코딩하고, 인코딩된 비디오 데이터를 다중화부/역다중화부(ex453)로 전송한다. 오디오 신호 프로세서(ex454)는 카메라(ex465)가 비디오 또는 정지 이미지를 캡처하는 동안 오디오 입력 유닛(ex456)에 의해 녹음된 오디오 신호를 인코딩하고, 인코딩된 오디오 데이터를 다중화부/역다중화부(ex453)로 전송한다. 다중화부/역다중화부(ex453)는 결정된 방식을 사용하여 인코딩된 비디오 데이터와 인코딩된 오디오 데이터를 다중화하고, 변조부/복조부(변조부/복조부 회로)(ex452) 및 송신부/수신부(ex451)를 사용하여 데이터를 변조 및 변환한 후, 안테나(ex450)를 통해 결과를 전송한다. 결정된 방식은 미리 결정될 수 있다.
이메일이나 채팅에 첨부된 비디오, 또는 웹 페이지로부터 링크된 비디오가 수신되면, 예를 들어, 안테나(ex450)를 통해 수신된 다중화된 데이터를 디코딩하기 위해, 다중화부/역다중화부(ex453)는 다중화된 데이터를 역다중화하여 다중화된 데이터를 비디오 데이터의 비트스트림과 오디오 데이터의 비트스트림으로 분할하고, 인코딩된 비디오 데이터를 동기 버스(ex470)를 통해 비디오 신호 프로세서(ex455)에 공급하고, 인코딩된 오디오 데이터를 동기 버스(ex470)를 통해 오디오 신호 프로세서(ex454)에 공급한다. 비디오 신호 프로세서(ex455)는 상기 실시예에서 설명된 동화상 인코딩 방법에 대응하는 동화상 디코딩 방법을 사용하여 비디오 신호를 디코딩하고, 링크된 동화상 파일에 포함된 비디오 또는 정지 이미지는 디스플레이 제어부(ex459)를 통해 디스플레이(ex458)에 디스플레이된다. 오디오 신호 프로세서(ex454)는 오디오 신호를 디코딩하고, 오디오 출력 유닛(ex457)으로부터 오디오를 출력한다. 실시간 스트리밍이 점점 대중화되면서 사용자 환경에 따라 오디오 재생이 사회적으로 부적절할 수 있는 경우가 있을 수 있다. 따라서, 초기 값으로서 비디오 데이터만이 재생되는 구성, 즉 오디오 신호는 재생되지 않는 구성이 바람직할 수 있고; 오디오는 사용자가 비디오 데이터를 클릭할 때와 같은 입력이 수신될 때만 동기화되고 재생될 수 있다.
위의 예에서 스마트 폰(ex115)이 사용되었지만 다른 구현예도 생각할 수 있는 데, 예를 들어, 트랜시버 단말이 인코더와 디코더를 모두 포함하는 경우; 송신기 단말이 인코더만을 포함하는 경우; 및 수신기 단말이 디코더만을 포함하는 경우도 생각할 수 있다. 디지털 방송 시스템의 설명에서 비디오 데이터와 오디오 데이터를 다중화한 결과 획득된 다중화된 데이터를 수신하거나 또는 전송하는 예가 제시된다. 그러나, 다중화된 데이터는 비디오와 관련된 텍스트 데이터와 같이 오디오 데이터 이외의 데이터와 다중화된 비디오 데이터일 수 있다. 또한, 다중화된 데이터가 아닌 비디오 데이터 자체가 수신되거나 또는 전송될 수 있다.
CPU를 포함하는 주 제어부(ex460)는 인코딩 또는 디코딩 처리를 제어하는 것으로 설명되었지만 다양한 단말은 종종 그래픽 처리 유닛(Graphic Porcessing Unit: GPU)를 포함한다. 따라서 CPU와 GPU가 공유하는 메모리, 또는 CPU와 GPU가 공통적으로 사용할 수 있도록 관리되는 어드레스를 포함하는 메모리, 또는 별도의 메모리를 통해 GPU의 성능 능력을 이용하여 한 번에 넓은 영역을 처리하는 구성이 가능하다. 이를 통해 인코딩 시간을 단축하고 스트림의 실시간 특성을 유지하며 지연을 줄일 수 있다. 특히, 움직임 추정, 디블로킹 필터링, 샘플 적응 오프셋(SAO), 및 변환/양자화와 관련된 처리는 CPU 대신에 GPU에 의해, 화상 단위로, 예를 들어, 한번에 모두 효과적으로 수행될 수 있다.

Claims (89)

  1. 인코더로서,
    회로부; 및
    상기 회로부에 결합된 메모리를 포함하고;
    상기 회로부는, 동작 시에,
    제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하고; 그리고
    예측된 채도 샘플을 사용하여 상기 블록을 인코딩하는 것을 수행하는, 인코더.
  2. 제1항에 있어서, 현재 블록은 상기 제1 VPDU에 있는, 인코더.
  3. 제1항에 있어서, 현재 블록은 상기 제2 VPDU에 있는, 인코더.
  4. 제1항에 있어서, 상기 제1 VPDU는 휘도 VPDU인, 인코더.
  5. 제1항에 있어서, 상기 제1 VPDU는 채도 VPDU인, 인코더.
  6. 제1항에 있어서, 상기 제2 VPDU는 휘도 VPDU인, 인코더.
  7. 제1항에 있어서, 상기 제2 VPDU는 채도 VPDU인, 인코더.
  8. 제1항에 있어서, 상기 회로부는, 동작 시에, VPDU와 연관된 분할 플래그에 기초하여 상기 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는, 인코더.
  9. 제8항에 있어서, 상기 분할 플래그는 4진 트리 분할 플래그인, 인코더.
  10. 제8항에 있어서, 상기 분할 플래그는 이진 트리 분할 플래그인, 인코더.
  11. 제8항에 있어서, 상기 분할 플래그는 3진 트리 분할 플래그인, 인코더.
  12. 제1항에 있어서, 상기 회로부는, 동작 시에, 블록 분할 깊이에 기초하여 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는, 인코더.
  13. 제12항에 있어서, 상기 블록 분할 깊이는 4진 트리 분할 깊이인, 인코더.
  14. 제12항에 있어서, 상기 블록 분할 깊이는 이진 트리 분할 깊이인, 인코더.
  15. 제12항에 있어서, 상기 블록 분할 깊이는 3진 트리 분할 깊이인, 인코더.
  16. 제1항에 있어서, 상기 회로부는, 동작 시에, 임계 블록 크기에 도달할 때까지 VPDU가 분할되는지 여부에 대한 결정을 반복하는, 인코더.
  17. 제16항에 있어서, 상기 임계 블록 크기는 디폴트 임계 블록 크기인, 인코더.
  18. 제16항에 있어서, 상기 임계 블록 크기는 신호화되는, 인코더.
  19. 제1항에 있어서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한되는, 인코더.
  20. 인코더로서,
    동작 시에, 제1 이미지를 복수의 블록으로 분할하는 블록 분할부;
    동작 시에, 상기 제1 이미지에 포함된 참조 블록을 사용하여 상기 제1 이미지에 포함된 블록을 예측하는 인트라 예측부;
    동작 시에, 상기 제1 이미지와는 다른 제2 이미지에 포함된 참조 블록을 사용하여 상기 제1 이미지에 포함된 블록을 예측하는 인터 예측부;
    동작 시에, 상기 제1 이미지에 포함된 블록을 필터링하는 루프 필터;
    동작 시에, 상기 인트라 예측부 또는 상기 인터 예측부에 의해 생성된 예측 신호와 원본 신호 사이의 예측 오차를 변환하여 변환 계수를 생성하는 변환부;
    동작 시에, 상기 변환 계수를 양자화하여 양자화된 계수를 생성하는 양자화부; 및
    동작 시에, 상기 양자화된 계수를 가변 인코딩하여 인코딩된 양자화된 계수 및 제어 정보를 포함하는 인코딩된 비트스트림을 생성하는 엔트로피 인코더를 포함하고,
    블록을 예측하는 것은,
    제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하는 것을 포함하는, 인코더.
  21. 제20항에 있어서, 현재 블록은 상기 제1 VPDU에 있는, 인코더.
  22. 제20항에 있어서, 현재 블록은 상기 제2 VPDU에 있는, 인코더.
  23. 제20항에 있어서, 상기 제1 VPDU는 휘도 VPDU인, 인코더.
  24. 제20항에 있어서, 상기 제1 VPDU는 채도 VPDU인, 인코더.
  25. 제20항에 있어서, 상기 제2 VPDU는 휘도 VPDU인, 인코더.
  26. 제20항에 있어서, 상기 제2 VPDU는 채도 VPDU인, 인코더.
  27. 제20항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 상기 VPDU와 연관된 분할 플래그에 기초하는, 인코더.
  28. 제27항에 있어서, 상기 분할 플래그는,
    4진 트리 분할 플래그;
    이진 트리 분할 플래그; 및
    3진 트리 분할 플래그
    중에서 선택된 적어도 하나의 분할 플래그인, 인코더.
  29. 제28항에 있어서, 상기 적어도 하나의 분할 플래그는 이진 트리 분할 플래그 및 3진 트리 분할 플래그를 포함하는, 인코더.
  30. 제20항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 블록 분할 깊이에 기초하는, 인코더.
  31. 제30항에 있어서, 상기 블록 분할 깊이는,
    4진 트리 분할 깊이;
    이진 트리 분할 깊이; 및
    3진 트리 분할 깊이
    중에서 선택된 적어도 하나의 블록 분할 깊이인, 인코더.
  32. 제20항에 있어서, VPDU가 분할되는지 여부를 결정하는 것은 임계 블록 크기에 도달할 때까지 반복되는, 인코더.
  33. 제32항에 있어서, 상기 임계 블록 크기는 디폴트 임계 블록 크기인, 인코더.
  34. 제32항에 있어서, 상기 임계 블록 크기는 신호화되는, 인코더.
  35. 제20항에 있어서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한되는, 인코더.
  36. 디코더로서,
    회로부; 및
    상기 회로부에 연결된 메모리를 포함하고;
    상기 회로부는, 동작 시에,
    제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하고; 그리고
    예측된 채도 샘플을 사용하여 상기 블록을 디코딩하는 것을 수행하는, 디코더.
  37. 제36항에 있어서, 현재 블록은 상기 제1 VPDU에 있는, 디코더.
  38. 제36항에 있어서, 현재 블록은 상기 제2 VPDU에 있는, 디코더.
  39. 제36항에 있어서, 상기 제1 VPDU는 휘도 VPDU인, 디코더.
  40. 제36항에 있어서, 상기 제1 VPDU는 채도 VPDU인, 디코더.
  41. 제36항에 있어서, 상기 제2 VPDU는 휘도 VPDU인, 디코더.
  42. 제36항에 있어서, 상기 제2 VPDU는 채도 VPDU인, 디코더.
  43. 제36항에 있어서, 상기 제1 VPDU는 휘도 VPDU이고, 상기 제2 VPDU는 채도 VPDU인, 디코더.
  44. 제36항에 있어서, 상기 회로부는, 동작 시에, VPDU와 연관된 분할 플래그에 기초하여 상기 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는, 디코더.
  45. 제44항에 있어서, 상기 분할 플래그는 4진 트리 분할 플래그인, 디코더.
  46. 제44항에 있어서, 상기 분할 플래그는 이진 트리 분할 플래그인, 디코더.
  47. 제44항에 있어서, 상기 분할 플래그는 3진 트리 분할 플래그인, 디코더.
  48. 제36항에 있어서, 상기 회로부는, 동작 시에, VPDU와 연관된 복수의 분할 플래그에 기초하여 상기 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는, 디코더.
  49. 제36항에 있어서, 상기 회로부는, 동작 시에, 블록 분할 깊이에 기초하여 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는, 디코더.
  50. 제49항에 있어서, 상기 블록 분할 깊이는 4진 트리 분할 깊이인, 디코더.
  51. 제49항에 있어서, 상기 블록 분할 깊이는 이진 트리 분할 깊이인, 디코더.
  52. 제49항에 있어서, 상기 블록 분할 깊이는 3진 트리 분할 깊이인, 디코더.
  53. 제36항에 있어서, 상기 회로부는, 동작 시에, 임계 블록 크기에 도달할 때까지 VPDU가 분할되는지 여부에 대한 결정을 반복하는, 디코더.
  54. 제53항에 있어서, 상기 임계 블록 크기는 디폴트 임계 블록 크기인, 디코더.
  55. 제53항에 있어서, 상기 임계 블록 크기는 신호화되는, 디코더.
  56. 제36항에 있어서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한되는, 디코더.
  57. 디코딩 디바이스로서,
    동작 시에, 인코딩된 비트스트림을 디코딩하여 양자화된 계수를 출력하는 디코더;
    동작 시에, 상기 양자화된 계수를 역양자화하여 변환 계수를 출력하는 역양자화부;
    동작 시에, 상기 변환 계수를 역변환하여 예측 오차를 출력하는 역변환부;
    동작 시에, 제1 이미지에 포함된 참조 블록을 사용하여 제1 이미지에 포함된 블록을 예측하는 인트라 예측부;
    동작 시에, 상기 제1 이미지와는 다른 제2 이미지에 포함된 참조 블록을 사용하여 상기 제1 이미지에 포함된 블록을 예측하는 인터 예측부;
    동작 시에, 상기 제1 이미지에 포함된 블록을 필터링하는 루프 필터; 및
    동작 시에, 상기 제1 이미지를 포함하는 화상을 출력하는 출력부를 포함하고,
    블록을 예측하는 것은,
    제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하고;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측하고;
    상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하고; 그리고
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하는 것을 포함하는, 디코딩 디바이스.
  58. 제57항에 있어서, 현재 블록은 상기 제1 VPDU에 있는, 디코딩 디바이스.
  59. 제57항에 있어서, 현재 블록은 상기 제2 VPDU에 있는, 디코딩 디바이스.
  60. 제57항에 있어서, 상기 제1 VPDU는 휘도 VPDU인, 디코딩 디바이스.
  61. 제57항에 있어서, 상기 제1 VPDU는 채도 VPDU인, 디코딩 디바이스.
  62. 제57항에 있어서, 상기 제2 VPDU는 휘도 VPDU인, 디코딩 디바이스.
  63. 제57항에 있어서, 상기 제2 VPDU는 채도 VPDU인, 디코딩 디바이스.
  64. 제57항에 있어서, 상기 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 상기 VPDU와 연관된 분할 플래그에 기초하는, 디코딩 디바이스.
  65. 제64항에 있어서, 상기 분할 플래그는,
    4진 트리 분할 플래그;
    이진 트리 분할 플래그; 및
    3진 트리 분할 플래그
    중에서 선택된 적어도 하나의 분할 플래그인, 디코딩 디바이스.
  66. 제57항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 블록 분할 깊이에 기초하는, 디코딩 디바이스.
  67. 제66항에 있어서, 상기 블록 분할 깊이는,
    4진 트리 분할 깊이;
    이진 트리 분할 깊이; 및
    3진 트리 분할 깊이
    중에서 선택된 적어도 하나의 분할 깊이인, 디코딩 디바이스.
  68. 제57항에 있어서, VPDU가 분할되는지 여부를 결정하는 것은 임계 블록 크기에 도달할 때까지 반복되는, 디코딩 디바이스.
  69. 제68항에 있어서, 상기 임계 블록 크기는 디폴트 임계 블록 크기인, 디코딩 디바이스.
  70. 제68항에 있어서, 상기 임계 블록 크기는 신호화되는, 디코딩 디바이스.
  71. 제57항에 있어서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한되는, 디코딩 디바이스.
  72. 인코딩 방법으로서,
    제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 단계;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측하는 단계;
    상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하는 단계;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하는 단계; 및
    예측된 채도 샘플을 사용하여 상기 블록을 인코딩하는 단계를 포함하는, 인코딩 방법.
  73. 제72항에 있어서, 현재 블록은 상기 제1 VPDU에 있는, 인코딩 방법.
  74. 제72항에 있어서, 현재 블록은 상기 제2 VPDU에 있는, 인코딩 방법.
  75. 제72항에 있어서, 상기 제1 VPDU는 휘도 VPDU인, 인코딩 방법.
  76. 제72항에 있어서, 상기 제1 VPDU는 채도 VPDU인, 인코딩 방법.
  77. 제72항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 상기 VPDU와 연관된 분할 플래그에 기초하는, 인코딩 방법.
  78. 제72항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 블록 분할 깊이에 기초하는, 인코딩 방법.
  79. 제72항에 있어서, VPDU가 분할되는지 여부를 결정하는 것은 임계 블록 크기에 도달할 때까지 반복되는, 인코딩.
  80. 제72항에 있어서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한되는, 인코딩 방법.
  81. 디코딩 방법으로서,
    제1 가상 파이프라인 디코딩 단위(VPDU)가 더 작은 블록으로 분할되는지 여부 및 제2 VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 단계;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하지 않고 채도 샘플의 블록을 예측하는 단계;
    상기 제1 VPDU가 더 작은 블록으로 분할된다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할된다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하는 단계;
    상기 제1 VPDU가 더 작은 블록으로 분할되지 않는다는 결정과, 상기 제2 VPDU가 더 작은 블록으로 분할되지 않는다는 결정에 응답하여, 휘도 샘플을 사용하여 채도 샘플의 블록을 예측하는 단계; 및
    예측된 채도 샘플을 사용하여 상기 블록을 디코딩하는 단계를 포함하는, 디코딩 방법.
  82. 제81항에 있어서, 현재 블록은 상기 제1 VPDU에 있는, 디코딩 방법.
  83. 제81항에 있어서, 현재 블록은 상기 제2 VPDU에 있는, 디코딩 방법.
  84. 제81항에 있어서, 상기 제1 VPDU는 휘도 VPDU인, 디코딩 방법.
  85. 제81항에 있어서, 상기 제1 VPDU는 채도 VPDU인, 디코딩 방법.
  86. 제81항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 상기 VPDU와 연관된 분할 플래그에 기초하는. 디코딩 방법.
  87. 제81항에 있어서, VPDU가 더 작은 블록으로 분할되는지 여부를 결정하는 것은 블록 분할 깊이에 기초하는, 디코딩 방법.
  88. 제81항에 있어서, VPDU가 분할되는지 여부를 결정하는 단계는 임계 블록 크기에 도달할 때까지 반복되는, 디코딩.
  89. 제81항에 있어서, 더 작은 블록의 파티션 형상은 결정된 형상 세트로 제한되고, 더 작은 블록의 블록 크기는 결정된 블록 크기 세트로 제한되는, 디코딩 방법.
KR1020217040636A 2019-06-21 2020-06-18 비디오 코딩 시스템 및 방법 KR20220024008A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962864783P 2019-06-21 2019-06-21
US62/864,783 2019-06-21
PCT/JP2020/024047 WO2020256085A1 (en) 2019-06-21 2020-06-18 System and method for video coding

Publications (1)

Publication Number Publication Date
KR20220024008A true KR20220024008A (ko) 2022-03-03

Family

ID=71452696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217040636A KR20220024008A (ko) 2019-06-21 2020-06-18 비디오 코딩 시스템 및 방법

Country Status (7)

Country Link
US (2) US11909998B2 (ko)
JP (2) JP7510443B2 (ko)
KR (1) KR20220024008A (ko)
CN (1) CN114026862A (ko)
BR (1) BR112021020641A2 (ko)
MX (1) MX2021012503A (ko)
WO (1) WO2020256085A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523112B2 (en) * 2020-04-09 2022-12-06 Tencent America LLC Intra coding with L-type partitioning tree
US11432018B2 (en) * 2020-05-11 2022-08-30 Tencent America LLC Semi-decoupled partitioning for video coding
WO2024153085A1 (en) * 2023-01-16 2024-07-25 Mediatek Inc. Video coding method and apparatus of chroma prediction

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6005520B2 (ja) * 2009-12-04 2016-10-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置
JP2013034163A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
US9264710B2 (en) * 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
US20150358633A1 (en) * 2013-01-17 2015-12-10 Samsung Electronics Co., Ltd. Method for encoding video for decoder setting and device therefor, and method for decoding video on basis of decoder setting and device therefor
CN105159895A (zh) * 2014-05-28 2015-12-16 国际商业机器公司 用于存储和查询数据的方法和系统
US9392272B1 (en) * 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
KR20230125329A (ko) * 2016-10-10 2023-08-29 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
EP3503550A4 (en) * 2016-10-10 2019-06-26 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ENCODING OR DECODING A LUMINANCE BLOCK AND A CHROMINANCE BLOCK
CN116743998A (zh) * 2016-10-28 2023-09-12 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
EP3577898A4 (en) * 2017-01-31 2020-06-24 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING A VIDEO BLOCK IMAGE FOR VIDEO CODING
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
EP4415366A2 (en) 2017-08-03 2024-08-14 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
EP3662666B1 (en) * 2017-09-08 2024-08-07 HFI Innovation Inc. Methods and apparatuses of processing pictures in an image or video coding system
US10694195B2 (en) * 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding
US10735730B2 (en) * 2018-03-07 2020-08-04 Tencent America LLC Flexible tree structure
EP3738315B1 (en) * 2018-04-19 2022-01-26 Huawei Technologies Co., Ltd. Luma and chroma block partitioning
WO2019210829A1 (en) * 2018-04-30 2019-11-07 Mediatek Inc. Signaling for illumination compensation
US20190364295A1 (en) * 2018-05-25 2019-11-28 Tencent America LLC Method and apparatus for video coding
AU2018204786A1 (en) * 2018-06-29 2020-01-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
TWI723444B (zh) * 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念
US10743029B2 (en) 2018-07-30 2020-08-11 Tencent America LLC Constraints on coding unit partition
US10812819B2 (en) * 2018-10-07 2020-10-20 Tencent America LLC Method and apparatus for video coding
US11418796B2 (en) * 2018-10-27 2022-08-16 Qualcomm Incorporated Intra block copy prediction restrictions in video coding
CN112997481B (zh) 2018-11-16 2024-01-12 寰发股份有限公司 带有约束的亮度-色度单独的编码树编解码的方法和设备
US10999594B2 (en) * 2018-12-20 2021-05-04 Qualcomm Incorporated Virtual search area for current picture referencing (CPR) and intra block copy (IBC)
US20200213595A1 (en) * 2018-12-31 2020-07-02 Comcast Cable Communications, Llc Methods, Systems, And Apparatuses For Adaptive Processing Of Non-Rectangular Regions Within Coding Units
US20200252608A1 (en) * 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
US11671595B2 (en) * 2019-03-12 2023-06-06 Qualcomm Incorporated Reconstruction of blocks of video data using block size restriction
US11277618B2 (en) * 2019-06-21 2022-03-15 Qualcomm Incorporated Increasing decoding throughput of intra-coded blocks

Also Published As

Publication number Publication date
US20240146947A1 (en) 2024-05-02
JP7510443B2 (ja) 2024-07-03
BR112021020641A2 (pt) 2022-03-03
JP2022537989A (ja) 2022-08-31
US20200404312A1 (en) 2020-12-24
JP2024111231A (ja) 2024-08-16
CN114026862A (zh) 2022-02-08
WO2020256085A1 (en) 2020-12-24
US11909998B2 (en) 2024-02-20
MX2021012503A (es) 2021-11-12

Similar Documents

Publication Publication Date Title
WO2021054424A1 (en) System and method for video coding
WO2021025165A1 (en) System and method for video coding
JP7389283B2 (ja) 符号化装置及び復号装置
WO2020235511A1 (en) System and method for video coding
WO2021025169A1 (en) System and method for video coding
JP7545997B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
WO2020171046A1 (en) Image encoder and image decoder
US20220191487A1 (en) System and method for video coding
WO2020256086A1 (en) System and method for video coding
WO2021049593A1 (en) System and method for video coding
JP7337222B2 (ja) 符号化装置及び復号装置
JP2023096081A (ja) 符号化装置、復号装置、符号化方法および復号方法
JP7503607B2 (ja) 符号化方法及び復号方法
JP7529874B2 (ja) 復号装置及び符号化装置
WO2020256085A1 (en) System and method for video coding
WO2021025168A1 (en) System and method for video coding
JP2023060057A (ja) 符号化装置及び符号化方法
JP2024063232A (ja) 符号化装置及び符号化方法
WO2021025166A1 (en) System and method for video coding
KR20220047757A (ko) 부호화 장치, 복호 장치, 부호화 방법, 및 복호 방법
JP2023001298A (ja) 復号装置及び復号方法
WO2021025167A1 (en) System and method for video coding
JP7482864B2 (ja) 符号化装置、復号装置、符号化方法、および復号方法
JP7564114B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2024069422A (ja) 符号化装置、復号装置、符号化方法、および復号方法