KR102542433B1 - 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램 - Google Patents

비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102542433B1
KR102542433B1 KR1020217003190A KR20217003190A KR102542433B1 KR 102542433 B1 KR102542433 B1 KR 102542433B1 KR 1020217003190 A KR1020217003190 A KR 1020217003190A KR 20217003190 A KR20217003190 A KR 20217003190A KR 102542433 B1 KR102542433 B1 KR 102542433B1
Authority
KR
South Korea
Prior art keywords
ctu
row
current
ctu row
hmvp
Prior art date
Application number
KR1020217003190A
Other languages
English (en)
Other versions
KR20210025645A (ko
Inventor
아난드 메헤르 코트라
세미 이센릭
젠러 첸
뱌오 왕
한 가오
즈제 자오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020237019168A priority Critical patent/KR20230087621A/ko
Publication of KR20210025645A publication Critical patent/KR20210025645A/ko
Application granted granted Critical
Publication of KR102542433B1 publication Critical patent/KR102542433B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

비디오 처리 방법으로서, 현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU 행에 대한 HMVP 리스트를 초기화하는 단계; 및 HMVP 리스트에 기초하여 현재 CTU 행을 처리하는 단계를 포함한다. 이러한 방법을 수행하는 것에 의해, 인코딩 효율 및 디코딩 효율이 개선된다.

Description

비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램
본 출원(개시내용)의 실시예들은 일반적으로 비디오 코딩의 분야, 더 상세하게는 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램에 관련된다.
비디오 코딩(비디오 인코딩 및 디코딩)은 광범위한 디지털 비디오 애플리케이션들, 예를 들어, 방송 디지털 TV, 인터넷 및 모바일 네트워크들을 통한 비디오 송신, 비디오 채팅과 같은 실시간 대화 애플리케이션들, 비디오 회의, DVD 및 Blu-ray 디스크들, 비디오 콘텐츠 취득 및 편집 시스템들, 및 보안 애플리케이션들의 캠코더들에서 사용된다.
1990년대 H.261 표준에서의 블록-기반 하이브리드 비디오 코딩 접근법의 개발 이후로, 새로운 비디오 코딩 기법들 및 툴들이 개발되고 새로운 비디오 코딩 표준들에 대한 기반을 형성하였다. 추가의 비디오 코딩 표준들은 MPEG-1 비디오, MPEG-2 비디오, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, AVC(Advanced Video Coding), ITU-T H.265/HEVC(High Efficiency Video Coding), ITU-T H.266/VVC(Versatile video coding) 및 이러한 표준들의 확장들, 예를 들어, 스케일가능성 및/또는 3D(three-dimensional) 확장들을 포함한다. 비디오 생성 및 사용이 점점 더 보편화됨에 따라, 비디오 트래픽은 통신 네트워크들 및 데이터 스토리지에 대한 가장 큰 부하이고, 따라서, 대부분의 비디오 코딩 표준들의 목표들 중 하나는 화상 품질을 희생하지 않고 그 선행의 것에 비해 비트레이트 감소를 달성하는 것이었다. 훨씬 최근의 HEVC(High Efficiency video coding)는 품질을 희생하지 않고 AVC보다 약 2배만큼 비디오를 압축할 수 있고, HEVC와 비교하여 비디오들을 추가로 압축할 필요가 있다.
본 출원의 실시예들은, 코딩 효율을 개선하기 위한, 비디오 처리 방법 및 대응하는 장치를 제공한다.
전술한 그리고 다른 목적들이 독립 청구항들의 주제에 의해 달성된다. 추가의 구현 형태들이 종속 청구항들, 설명 및 도면들로부터 명백하다.
본 발명의 제1 양태는 비디오 처리 방법을 제공하고, 이는, 현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU(coding tree unit) 행에 대한 HMVP(history-based motion vector prediction) 리스트를 초기화하는 단계; 및 HMVP 리스트에 기초하여 현재 CTU 행을 처리하는 단계를 포함한다. 시작 CTU는 시작 CTU라고 또한 지칭될 수 있고, 처리되는 동일한 CTU 행의 CTU들 중 첫번째 CTU이다.
현재 CTU 행에 대한 HMVP 리스트가 현재 CTU 행을 처리하기 위해 시작에서 초기화되고, 현재 CTU 행의 프로세스는 이전 CTU 행의 HMVP 리스트에 기초할 필요가 없고, 따라서 인코딩 효율 및 디코딩 효율을 개선시킬 수 있다는 점을 알 수 있다.
제1 양태를 참조하여, 제1 양태의 제1 가능한 구현 방식에서, 초기화된 HMVP 리스트에서의 후보 모션 벡터들의 수량은 제로이다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제2 가능한 구현 방식에서, 현재 CTU 행은 복수의 CTU 행들로 구성되는 화상 영역에 속하고, 현재 CTU 행은 복수의 CTU 행들 중 어느 하나, 예를 들어, 화상 영역의 첫번째(예를 들어, 상단) CTU 행, 두번째 CTU 행, ... 및 마지막(예를 들어, 하단) CTU 행이다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제3 가능한 구현 방식에서, 이러한 방법은, 현재 CTU 행을 제외한 복수의 CTU 행들 각각에 대한 HMVP 리스트를 초기화하는 단계- 복수의 CTU 행들에 대한 HMVP 리스트들은 동일하거나 또는 상이함 -를 추가로 포함한다. 다시 말해서, 실시예들은 화상 영역의 모든 다른 CTU 행들에 대한 HMVP 리스트들을 추가적으로 초기화할 수 있다, 즉, 화상 영역의 모든 CTU 행들에 대한 HMVP 리스트들을 초기화할 수 있다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제4 가능한 구현 방식에서, HMVP 리스트에 기초하여 현재 CTU 행을 처리하는 단계는, 현재 CTU 행의 현재 CTU를 처리하는 단계; 처리된 현재 CTU에 기초하여 초기화된 HMVP 리스트를 업데이트하는 단계; 및 업데이트된 HMVP 리스트에 기초하여 현재 CTU 행의 두번째 CTU를 처리하는 단계를 포함한다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제5 가능한 구현 방식에서, HMVP 리스트는 현재 CTU 행의 처리된 CTU에 따라 업데이트된다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제6 가능한 구현 방식에서, 현재 CTU 행에 대한 HMVP 리스트는 다음: 현재 CTU 행에 대한 HMVP 리스트를 비우는 단계로서 초기화된다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제7 가능한 구현 방식에서, HMVP 리스트에 기초하여 현재 CTU 행을 처리하는 단계는, 현재 CTU 행의 두번째 CTU로부터의 HMVP 리스트에 기초하여 현재 CTU 행을 처리하는 단계- 두번째 CTU는 시작 CTU에 인접함 -를 포함한다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제8 가능한 구현 방식에서, 복수의 CTU 행들은 WPP(wavefront parallel processing) 모드에서 처리된다.
현재 CTU 행에 대한 HMVP 리스트가 현재 CTU 행을 처리하기 위해 시작에서 초기화됨에 따라, WPP 모드와 조합될 때, 화상 프레임 또는 화상 영역의 CTU 행들이 병렬로 처리될 수 있고, 따라서 인코딩 효율 및 디코딩 효율을 추가로 개선시킬 수 있다는 점을 알 수 있다.
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제9 가능한 구현 방식에서, 현재 CTU 행은 이전 CTU 행의 특정 CTU가 처리될 때 처리되기 시작한다(또는 현재 CTU 행의 처리가 시작된다).
제1 양태 또는 제1 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제10 가능한 구현 방식에서, 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단 또는 위에 있는 CTU 행이다.
제1 양태의 제9 구현 방식 또는 제1 양태의 제10 구현 방식을 참조하여, 제1 양태의 제11 가능한 구현 방식에서, 이전 CTU 행의 특정 CTU는 이전 CTU 행의 두번째 CTU이거나; 또는 이전 CTU 행의 특정 CTU는 이전 CTU 행의 첫번째 CTU이다.
본 발명의 제2 양태는 비디오 처리 장치를 제공하고, 이는, 현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU(coding tree unit) 행에 대한 HMVP(history-based motion vector prediction) 리스트를 초기화하도록 구성되는 초기화 유닛; 및 HMVP 리스트에 기초하여 현재 CTU 행을 처리하도록 구성되는 처리 유닛을 포함한다.
제2 양태를 참조하여, 제2 양태의 제1 가능한 구현 방식에서, 초기화된 HMVP 리스트에서의 후보 모션 벡터들의 수량은 제로이다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제2 가능한 구현 방식에서, 현재 CTU 행은 복수의 CTU 행들로 구성되는 화상 영역에 속하고, 현재 CTU 행은 복수의 CTU 행들 중 어느 하나이다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제3 가능한 구현 방식에서, 초기화 유닛은 현재 CTU 행을 제외한 복수의 CTU 행들 각각에 대한 HMVP 리스트를 초기화하도록 추가로 구성되고, 복수의 CTU 행에 대한 HMVP 리스트들은 동일하거나 또는 상이하다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제4 가능한 구현 방식에서, 처리 유닛은, 현재 CTU 행의 현재 CTU를 처리하도록; 처리된 현재 CTU에 기초하여 초기화된 HMVP 리스트를 업데이트하도록; 그리고 업데이트된 HMVP 리스트에 기초하여 현재 CTU 행의 두번째 CTU를 처리하도록 추가로 구성된다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제5 가능한 구현 방식에서, HMVP 리스트는 현재 CTU 행의 처리된 CTU에 따라 업데이트된다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제6 가능한 구현 방식에서, 초기화 유닛은 다음과 같이 현재 CTU 행에 대한 HMVP 리스트를 초기화하도록: 현재 CTU 행에 대한 HMVP 리스트를 비우도록 추가로 구성된다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제7 가능한 구현 방식에서, 처리 유닛은 다음과 같이 HMVP 리스트에 기초하여 현재 CTU 행을 처리하도록: 현재 CTU 행의 두번째 CTU로부터의 HMVP 리스트에 기초하여 현재 CTU 행을 처리하도록- 두번째 CTU는 시작 CTU에 인접함 - 추가로 구성된다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제8 가능한 구현 방식에서, 복수의 CTU 행들은 WPP(wavefront parallel processing) 모드에서 처리된다.
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제9 가능한 구현 방식에서, 현재 CTU 행은 이전 CTU 행의 특정 CTU가 처리될 때 처리되기 시작한다(또는 현재 CTU 행의 처리가 시작된다).
제2 양태 또는 제2 양태의 전술된 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제10 가능한 구현 방식에서, 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단에 있는 CTU 행이다.
제2 양태의 제9 구현 방식 또는 제2 양태의 제10 구현 방식을 참조하여, 제2 양태의 제11 가능한 구현 방식에서, 이전 CTU 행의 특정 CTU는 이전 CTU 행의 두번째 CTU이거나; 또는 이전 CTU 행의 특정 CTU는 이전 CTU 행의 첫번째 CTU이다.
본 발명의 제3 양태는 디코딩 디바이스에 의해 구현되는 코딩의 방법을 제공하고, 이는, 현재 CTU 행에 대한 HMVP 리스트를 구성/초기화하는 단계; 및 구성된/초기화된 HMVP 리스트에 기초하여 현재 CTU 행의 CTU를 처리하는 단계를 포함한다.
제3 양태를 참조하여, 제3 양태의 제1 가능한 구현 방식에서, 현재 CTU 행에 대한 HMVP 리스트는 다음: 현재 CTU 행에 대한 HMVP 리스트를 비우는 단계; 및/또는 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 단계; 및/또는 이전 CTU 행의 CTU의 HMVP 리스트에 기초하여 현재 CTU 행에 대한 HMVP 리스트를 구성/초기화하는 단계로서 구성/초기화된다.
제3 양태의 제1 가능한 구현 방식을 참조하여, 제3 양태의 제2 가능한 구현 방식에서, 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 단계는, HMVP 리스트의 MV를 단일-예측 방식의 MV로서 채우는 단계- 단일-예측 방식의 MV는 제로 모션 벡터이거나 또는 제로 모션 벡터가 아니고, 참조 화상들은 L0 리스트에서의 제1 참조 화상을 포함함 -; 및/또는 HMVP 리스트의 MV를 쌍방-예측 방식의 MV로서 채우는 단계- 쌍방-예측 방식의 MV는 제로 모션 벡터이거나 또는 제로 모션 벡터가 아니고, 참조 화상들은 L0 리스트에서의 제1 참조 화상 및 L1 리스트에서의 제1 참조 화상을 포함함 -를 포함한다.
제3 양태의 제1 가능한 구현 방식을 참조하여, 제3 양태의 제3 가능한 구현 방식에서, 각각의 공동-위치된 화상은 각각의 CTU 행에 대한 또는 전체 화상에 대한 시간적 HMVP 리스트를 저장할 수 있고, 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 단계는, 시간적 HMVP 리스트에 기초하여 현재 CTU 행에 대한 HMVP 리스트를 초기화/구성하는 단계를 포함한다.
제3 양태의 제1 가능한 구현 방식을 참조하여, 제3 양태의 제4 가능한 구현 방식에서, 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단에 있는 CTU 행이다.
제3 양태의 제4 가능한 구현 방식을 참조하여, 제3 양태의 제5 가능한 구현 방식에서, 이전 CTU 행의 CTU는 이전 CTU 행의 두번째 CTU이다.
제3 양태의 제4 가능한 구현 방식을 참조하여, 제3 양태의 제5 가능한 구현 방식에서, 이전 CTU 행의 CTU는 이전 CTU 행의 첫번째 CTU이다.
본 발명의 제4 양태는 인코딩 디바이스에 의해 구현되는 코딩의 방법을 제공하고, 이는, 현재 CTU 행에 대한 HMVP 리스트를 구성/초기화하는 단계; 구성된/초기화된 HMVP 리스트에 기초하여 현재 CTU 행의 CTU를 처리하는 단계를 포함한다.
제4 양태를 참조하여, 제4 양태의 제1 가능한 구현 방식에서, 현재 CTU 행에 대한 HMVP 리스트는 다음: 현재 CTU 행에 대한 HMVP 리스트를 비우는 단계; 및/또는 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 단계; 및/또는 이전 CTU 행의 CTU의 HMVP 리스트에 기초하여 현재 CTU 행에 대한 HMVP 리스트를 구성/초기화하는 단계로서 구성/초기화된다.
제4 양태의 제1 가능한 구현 방식을 참조하여, 제4 양태의 제2 가능한 구현 방식에서, 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 단계는, HMVP 리스트의 MV를 단일-예측 방식의 MV로서 채우는 단계- 단일-예측 방식의 MV는 제로 모션 벡터이거나 또는 제로 모션 벡터가 아니고, 참조 화상들은 L0 리스트에서의 제1 참조 화상을 포함함 -; 및/또는 HMVP 리스트의 MV를 쌍방-예측 방식의 MV로서 채우는 단계- 쌍방-예측 방식의 MV는 제로 모션 벡터이거나 또는 제로 모션 벡터가 아니고, 참조 화상들은 L0 리스트에서의 제1 참조 화상 및 L1 리스트에서의 제1 참조 화상을 포함함 -를 포함한다.
제4 양태의 제1 가능한 구현 방식을 참조하여, 제4 양태의 제3 가능한 구현 방식에서, 각각의 공동-위치된 화상은 각각의 CTU 행에 대한 또는 전체 화상에 대한 시간적 HMVP 리스트를 저장할 수 있고, 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 단계는, 시간적 HMVP 리스트에 기초하여 현재 CTU 행에 대한 HMVP 리스트를 초기화/구성하는 단계를 포함한다.
제4 양태의 제1 가능한 구현 방식을 참조하여, 제4 양태의 제4 가능한 구현 방식에서, 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단 또는 위에 있는 CTU 행이다.
제4 양태의 제4 가능한 구현 방식을 참조하여, 제4 양태의 제5 가능한 구현 방식에서, 이전 CTU 행의 CTU는 이전 CTU 행의 두번째 CTU이다.
제4 양태의 제4 가능한 구현 방식을 참조하여, 제4 양태의 제6 가능한 구현 방식에서, 이전 CTU 행의 CTU는 이전 CTU 행의 첫번째 CTU이다.
본 발명의 제5 양태는 제1 양태 또는 제1 양태의 구현 방식들 중 어느 하나에 따른, 또는 제3 양태 또는 제3 양태의 구현 방식들 중 어느 하나에 따른, 또는 제4 양태 또는 제4 양태의 구현 방식들 중 어느 하나에 따른 방법을 수행하기 위한 처리 회로를 포함하는 인코더를 제공한다. 예를 들어, 이러한 인코더는 현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU(coding tree unit) 행에 대한 HMVP(history-based motion vector prediction) 리스트를 초기화하도록 구성되는 초기화 회로; 및 HMVP 리스트에 기초하여 현재 CTU 행을 처리하도록 구성되는 처리 회로를 포함할 수 있다.
본 발명의 제6 양태는 제1 양태 또는 제1 양태의 구현 방식들 중 어느 하나에 따른, 또는 제3 양태 또는 제3 양태의 구현 방식들 중 어느 하나에 따른, 또는 제4 양태 또는 제4 양태의 구현 방식들 중 어느 하나에 따른 방법을 수행하기 위한 처리 회로를 포함하는 디코더를 제공한다. 예를 들어, 이러한 디코더는 현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU(coding tree unit) 행에 대한 HMVP(history-based motion vector prediction) 리스트를 초기화하도록 구성되는 초기화 회로; 및 HMVP 리스트에 기초하여 현재 CTU 행을 처리하도록 구성되는 처리 회로를 포함할 수 있다.
본 발명의 제7 양태는 제1 양태 또는 제1 양태의 구현 방식들 중 어느 하나에 따른, 또는 제3 양태 또는 제3 양태의 구현 방식들 중 어느 하나에 따른, 또는 제4 양태 또는 제4 양태의 구현 방식들 중 어느 하나에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 제공한다.
본 발명의 제8 양태는, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 제1 양태 또는 제1 양태의 구현 방식들 중 어느 하나에 따른, 또는 제3 양태 또는 제3 양태의 구현 방식들 중 어느 하나에 따른, 또는 제4 양태 또는 제4 양태의 구현 방식들 중 어느 하나에 따른 방법을 수행하게 하는, 컴퓨터 명령어들을 저장하는 컴퓨터-판독가능 저장 매체를 제공한다.
본 발명의 제9 양태는 디코더를 제공하고, 이는, 하나 이상의 프로세서; 및 프로세서들에 연결되는 그리고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 프로그래밍은, 프로세서들에 의해 실행될 때, 제1 양태 또는 제1 양태의 구현 방식들 중 어느 하나에 따른, 또는 제3 양태 또는 제3 양태의 구현 방식들 중 어느 하나에 따른, 또는 제4 양태 또는 제4 양태의 구현 방식들 중 어느 하나에 따른 방법을 수행하도록 디코더를 구성함 -를 포함한다.
본 발명의 제10 양태는 인코더를 제공하고, 이는, 하나 이상의 프로세서; 및 프로세서들에 연결되는 그리고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 프로그래밍은, 프로세서들에 의해 실행될 때, 제1 양태 또는 제1 양태의 구현 방식들 중 어느 하나에 따른, 또는 제3 양태 또는 제3 양태의 구현 방식들 중 어느 하나에 따른, 또는 제4 양태 또는 제4 양태의 구현 방식들 중 어느 하나에 따른 방법을 수행하도록 인코더를 구성함 -를 포함한다.
본 발명의 다음의 실시예들은 첨부 도면들 및 도해들을 참조하여 보다 상세히 설명된다.
도 1a는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 예를 도시하는 블록도이다.
도 1b는 본 발명의 실시예들을 구현하도록 구성되는 비디오 코딩 시스템의 다른 예를 도시하는 블록도이다.
도 2는 본 발명의 실시예들을 구현하도록 구성되는 비디오 인코더의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시예들을 구현하도록 구성되는 비디오 디코더의 예시적인 구조를 도시하는 블록도이다.
도 4는 인코딩 장치 또는 디코딩 장치의 예를 예시하는 블록도이다.
도 5는 인코딩 장치 또는 디코딩 장치의 다른 예를 예시하는 블록도이다.
도 6은 병합 및 AMVP 후보 리스트 구성에서 사용되는 공간적 이웃 블록들의 위치들을 도시한다.
도 7은 HMVP 방법의 디코딩 흐름도이다.
도 8은 WPP 처리 순서를 예시하는 블록도이다.
도 9는 실시예에 따른 비디오 디코더의 예시적인 동작을 예시하는 흐름도이다.
도 10은 실시예에 따른 예시적인 동작을 예시하는 흐름도이다.
도 11은 비디오 처리 장치의 예를 예시하는 블록도이다.
다음에서 동일한 참조 부호들은 이러한 동일한 참조 부호들의 차이에 관한 어떠한 구체적인 언급도 존재하지 않으면 동일한 또는 적어도 기능적으로 동등한 특징들을 지칭한다.
다음의 설명에서, 본 개시내용의 일부분을 형성하는, 그리고, 본 발명의 실시예들의 구체적인 양태들 또는 본 발명의 실시예들이 사용될 수 있는 구체적인 양태들을, 예시의 방식에 의해, 도시하는 첨부 도면들이 참조된다. 본 발명의 실시예들은 다른 양태들에서 사용될 수 있고 도면들에 묘사되지 않은 구조적 또는 논리적 변경들을 포함한다는 점이 이해된다. 따라서, 다음의 상세한 설명은 제한적인 의미로 취해져서는 안 되며, 본 발명의 범위는 첨부된 청구항들에 의해 정의된다.
예를 들어, 설명된 방법과 관련된 개시내용은 해당 방법을 수행하도록 구성되는 대응하는 디바이스 또는 시스템에 대해 또한 유효할 수 있고 그 반대의 경우도 마찬가지라는 점이 이해된다. 예를 들어, 하나의 또는 복수의 구체적 방법 단계가 설명되면, 이러한 하나 이상의 유닛이 도면들에서 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 디바이스는 설명된 하나의 또는 복수의 방법 단계를 수행하는 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛(예를 들어, 하나의 또는 복수의 단계를 수행하는 하나의 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)을 포함할 수 있다. 다른 한편으로, 예를 들어, 구체적 장치가 하나의 또는 복수의 유닛, 예를 들어, 기능 유닛들에 기초하여 설명되면, 이러한 하나의 또는 복수의 단계가 도면들에 명시적으로 설명되거나 또는 예시되지 않더라도, 대응하는 방법은 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계(예를 들어, 하나의 또는 복수의 유닛의 기능성을 수행하는 하나의 단계, 또는 복수의 유닛 중 하나 이상의 유닛의 기능성을 각각 수행하는 복수의 단계)를 포함할 수 있다. 추가로, 구체적으로 달리 주목되지 않는 한, 본 명세서에 설명되는 다양한 예시적인 실시예들 및/또는 양태들의 특징들은 서로 조합될 수 있다는 점이 이해된다.
비디오 코딩은, 비디오 또는 비디오 시퀀스를 형성하는, 화상들의 시퀀스의 처리를 통상적으로 지칭한다. "화상(picture)"이라는 용어 대신에 "프레임(frame)" 또는 "이미지(image)"라는 용어가 비디오 코딩의 분야에서 동의어로서 사용될 수 있다. 본 출원 (또는 본 개시내용)에서 사용되는 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 표시한다. 비디오 인코딩은 소스 측에서 수행되고, (보다 효율적인 저장 및/또는 송신을 위해) 비디오 화상들을 표현하는데 요구되는 데이터의 양을 감소시키기 위해 원래의 비디오 화상들을 (예를 들어, 압축에 의해) 처리하는 것을 통상적으로 포함한다. 비디오 디코딩은 목적지 측에서 수행되고 비디오 화상들을 재구성하기 위해 인코더에 비해 역 처리를 통상적으로 포함한다. 비디오 화상들(또는, 나중에 설명되는 바와 같이, 일반적으로 화상들)의 "코딩(coding)"을 참조하는 실시예들은 비디오 시퀀스에 대한 "인코딩(encoding)" 또는 "디코딩(decoding)"에 관련되는 것으로 이해될 것이다. 인코딩 부분과 디코딩 부분의 조합은 CODEC(Coding and Decoding)이라고 또한 지칭된다.
무손실 비디오 코딩의 경우, 원래 비디오 화상들이 재구성될 수 있다, 즉, 재구성된 비디오 화상들은 원래 비디오 화상들과 동일한 품질을 갖는다(저장 또는 송신 동안 어떠한 송신 손실 또는 다른 데이터 손실도 없다고 가정함). 손실 비디오 코딩의 경우, 디코더에서 완전히 재구성될 수 없는, 즉, 재구성된 비디오 화상들의 품질이 원래의 비디오 화상들의 품질에 비해 더 낮은 또는 더 나쁜, 비디오 화상들을 표현하는 데이터의 양을 감소시키기 위해, 예를 들어, 양자화에 의한, 추가 압축이 수행된다.
H.261 이후의 몇몇 비디오 코딩 표준들은 "손실 하이브리드 비디오 코덱들(lossy hybrid video codecs)"의 그룹에 속한다(즉, 샘플 도메인에서의 공간적 및 시간적 예측과 변환 도메인에서의 양자화를 적용하기 위한 2D 변환 코딩을 조합함). 비디오 시퀀스의 각각의 화상은 비-중첩 블록들의 세트로 통상적으로 파티셔닝되고, 코딩은 블록 레벨에서 통상적으로 수행된다. 다시 말해서, 인코더에서는 비디오가, 예를 들어, 공간적 (인트라 화상) 예측 및 시간적 (인터 화상) 예측을 사용하여 예측 블록을 생성하고, 현재 블록(현재 처리되는/처리될 블록)으로부터 예측 블록을 감산하여 잔차 블록을 획득하고, 잔차 블록을 변환하고 변환 도메인에서 잔차 블록을 양자화하여 송신될 데이터의 양을 감소(압축)시키는 것에 의해, 블록(비디오 블록) 레벨에서 통상적으로 처리, 즉, 인코딩되는 반면, 디코더에서는 인코더에 비해 역 처리가 인코딩된 또는 압축된 블록에 부분적으로 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더 처리 루프를 복제하여, 양자 모두가 후속 블록들을 처리, 즉, 코딩하기 위해 동일한 예측들(예를 들어, 인트라 및 인터 예측들) 및/또는 재-구성들을 생성할 것이다.
본 명세서에서 사용될 때, "블록(block)"이라는 용어는 화상 또는 프레임의 부분일 수 있다. 설명의 편의를 위해, 본 발명의 실시예들은, ITU-T VCEG(Video Coding Experts Group) 및 ISO/IEC MPEG(Motion Picture Experts Group)의 JCT-VC(Joint Collaboration Team on Video Coding)에 의해 개발된, HEVC(High-Efficiency Video Coding) 또는 VVC(Versatile video coding)의 참조 소프트웨어를 참조하여 본 명세서에 설명된다. 해당 분야에서의 통상의 기술자는 본 발명의 실시예들이 HEVC 또는 VVC에 제한되지 않는다는 점을 이해할 것이다. 이것은 CU, PU, 및 TU를 지칭할 수 있다. HEVC에서, CTU는 코딩 트리로서 표기되는 쿼드-트리 구조를 사용하여 CU들로 분열된다. 인터 화상 (시간적) 또는 인트라 화상 (공간적) 예측을 사용하여 화상 영역을 코딩할지의 결정이 CU 레벨에서 이루어진다. 각각의 CU는 PU 분열 타입에 따라 하나의, 2개의 또는 4개의 PU로 추가로 분열될 수 있다. 하나의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보가 PU 기반으로 디코더에 송신된다. PU 분열 타입에 기초하여 예측 프로세스를 적용하는 것에 의해 잔차 블록을 획득한 후에, CU는 CU에 대한 코딩 트리와 유사한 다른 쿼드트리 구조에 따라 TU들(transform units)로 파티셔닝될 수 있다. 비디오 압축 기술의 최신 개발에서, 코딩 블록을 파티셩하기 위해 QTBT(Qual-tree and binary tree) 파티셔닝 프레임이 사용된다. QTBT 블록 구조에서, CU는 정사각형 또는 직사각형 형상을 가질 수 있다. 예를 들어, CTU(coding tree unit)가 쿼드트리 구조에 의해 먼저 파티셔닝된다. 쿼드트리 리프 노드들이 바이너리 트리 구조에 의해 추가로 파티셔닝된다. 이러한 바이너리 트리 리프 노드들은 CU들(coding units)이라고 불리고, 어떠한 추가의 파티셔닝도 없이 예측 및 변환 처리를 위해 해당 세그먼트화가 사용된다. 이러한 것은 CU, PU 및 TU가 QTBT 코딩 블록 구조에서 동일한 블록 크기를 갖는다는 점을 의미한다. 병렬로, 곱셈 파티션, 예를 들어, 트리플 트리 파티션이 QTBT 블록 구조와 함께 사용되도록 또한 제안되었다.
다음에서는 인코더(20), 디코더(30) 및 코딩 시스템(10)의 실시예들이 도 1 내지 3에 기초하여 설명된다.
도 1a는 본 출원(본 개시내용)의 기법들을 이용할 수 있는 예시적인 코딩 시스템(10), 예를 들어, 비디오 코딩 시스템(10)을 예시하는 개념적 또는 개략적 블록도이다. 비디오 코딩 시스템(10)의 인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30))는 본 출원에서 설명되는 다양한 예들에 따른 기법들을 수행하도록 구성될 수 있는 디바이스들의 예들을 표현한다. 도 1a에 도시되는 바와 같이, 코딩 시스템(10)은 인코딩된 데이터(13), 예를 들어, 인코딩된 화상(13)을, 예를 들어, 인코딩된 데이터(13)를 디코딩하기 위한 목적지 디바이스(14)에 제공하도록 구성되는 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하고, 추가적으로, 즉, 선택적으로, 화상 소스(16), 전처리 유닛(18), 예를 들어, 화상 전처리 유닛(18), 및 통신 인터페이스 또는 통신 유닛(22)을 포함할 수 있다.
화상 소스(16)는, 예를 들어, 현실-세계 화상을 캡처하기 위한 임의의 종류의 화상 캡처 디바이스, 및/또는 임의의 종류의 화상 또는 코멘트(스크린 콘텐츠 코딩을 위해, 스크린 상의 일부 텍스트들은 인코딩될 화상 또는 이미지의 일부분으로 또한 고려됨) 생성 디바이스, 예를 들어, 컴퓨터 애니메이션 화상을 생성하기 위한 컴퓨터-그래픽 프로세서, 또는 현실-세계 화상을 획득 및/또는 제공하기 위한 임의의 종류의 디바이스, 컴퓨터 애니메이션 화상(예를 들어, 스크린 콘텐츠, VR(virtual reality) 화상) 및/또는 이들의 임의의 조합(예를 들어, AR(augmented reality) 화상)을 포함하거나 또는 이들일 수 있다.
(디지털) 화상은 강도 값들이 있는 샘플들의 2-차원 어레이 또는 행렬이거나 또는 그것으로 간주될 수 있다. 이러한 어레이에서의 샘플은 픽셀(짧은 형태의 화상 엘리먼트) 또는 화소라고 또한 지칭될 수 있다. 어레이 또는 화상의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 화상의 크기 및/또는 해상도를 정의한다. 컬러의 표현을 위해, 통상적으로 3개의 컬러 성분들이 이용된다, 즉, 화상은 3개의 샘플 어레이들로서 표현되거나 또는 이를 포함할 수 있다. RBG 포맷 또는 컬러 공간에서 화상은 대응하는 적색, 녹색 및 청색 샘플 어레이를 포함한다. 그러나, 비디오 코딩에서 각각의 픽셀은 휘도/색차 포맷 또는 컬러 공간, 예를 들어, Y에 의해 표시되는 휘도 성분 (때때로 또한 L이 대신 사용됨) 및 Cb 및 Cr에 의해 표시되는 2개의 색차 성분들을 포함하는, YCbCr로 통상적으로 표현된다. 휘도(줄여서 루마) 성분 Y는 (예를 들어, 그레이-스케일 화상에서와 같이) 밝기 또는 그레이 레벨 강도를 표현하고, 한편 2개의 색차(줄여서 크로마) 성분들 Cb 및 Cr은 색도 또는 컬러 정보 성분들을 표현한다. 따라서, YCbCr 포맷에서의 화상은 휘도 샘플 값들(Y)의 휘도 샘플 어레이, 및 색차 값들(Cb 및 Cr)의 2개의 색차 샘플 어레이들을 포함한다. RGB 포맷에서의 화상들은 YCbCr 포맷으로 변환 또는 변환될 수 있고, 그 반대의 경우도 가능하며, 이러한 프로세스는 컬러 변환 또는 변환이라고 또한 알려져 있다. 화상이 흑백이면, 화상은 휘도 샘플 어레이만을 포함할 수 있다.
흑백 샘플링에서는, 루마 어레이로 명목상 고려되는 하나의 샘플 어레이만이 존재한다.
4:2:0 샘플링에서, 2개의 크로마 어레이들 각각은 루마 어레이의 높이의 1/2 및 폭의 1/2을 갖는다.
4:2:2 샘플링에서, 2개의 크로마 어레이들 각각은 루마 어레이의 동일한 높이 및 1/2 폭을 갖는다.
4:4:4 샘플링에서, separate_colour_plane_flag의 값에 의존하여, 다음이 적용된다:
- separate_colour_plane_flag가 0과 동일하면, 2개의 크로마 어레이들 각각은 루마 어레이와 동일한 높이 및 폭을 갖고;
- 그렇지 않으면(separate_colour_plane_flag가 1과 동일하면), 3개의 컬러 평면들은 흑백 샘플링된 화상들로서 개별적으로 처리된다.
화상 소스(16)(예를 들어, 비디오 소스(16))는, 예를 들어, 화상을 캡처하기 위한 카메라, 이전에 캡처된 또는 생성된 화상을 포함하거나 또는 저장하는 메모리, 예를 들어, 화상 메모리, 및/또는 화상을 획득하거나 또는 수신하기 위한 임의의 종류의 인터페이스(내부 또는 외부)일 수 있다. 카메라는, 예를 들어, 소스 디바이스에서 집적되는 로컬 또는 집적형 카메라일 수 있고, 메모리는, 예를 들어, 소스 디바이스에서 집적되는 로컬 또는 집적형 메모리일 수 있다. 인터페이스는, 예를 들어, 외부 비디오 소스, 예를 들어, 카메라와 같은 외부 화상 캡처 디바이스, 외부 메모리, 또는 외부 화상 생성 디바이스, 예를 들어, 외부 컴퓨터-그래픽 프로세서, 컴퓨터 또는 서버로부터 화상을 수신하는 외부 인터페이스일 수 있다. 인터페이스는, 임의의 독점적 또는 표준화된 인터페이스 프로토콜에 따른, 임의의 종류의 인터페이스, 예를 들어, 유선 또는 무선 인터페이스, 광 인터페이스일 수 있다. 화상 데이터(17)를 획득하기 위한 인터페이스는 통신 인터페이스(22)와 동일한 인터페이스 또는 그 일부분일 수 있다.
전처리 유닛(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 구별하여, 화상 또는 화상 데이터(17)(예를 들어, 비디오 데이터(16))는 원시 화상 또는 원시 화상 데이터(17)라고 또한 지칭될 수 있다.
전처리 유닛(18)은 (원시) 화상 데이터(17)를 수신하도록 그리고 화상 데이터(17)에 전처리를 수행하여 전처리된 화상(19) 또는 전처리된 화상 데이터(19)를 획득하도록 구성된다. 전처리 유닛(18)에 의해 수행되는 전처리는, 예를 들어, 트리밍, (예를 들어, RGB로부터 YCbCr로의) 컬러 포맷 변환, 컬러 보정, 또는 노이즈-제거를 포함할 수 있다. 전처리 유닛(18)은 선택적 컴포넌트일 수 있다는 점이 이해될 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20))는 전처리된 화상 데이터(19)를 수신하도록 그리고 인코딩된 화상 데이터(21)를 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 2 또는 도 4에 기초하여 아래에 설명될 것이다).
소스 디바이스(12)의 통신 인터페이스(22)는 인코딩된 화상 데이터(21)를 수신하도록 그리고 이것을, 저장 또는 직접 재구성을 위해, 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하도록, 또는 인코딩된 데이터(13)를 저장하는 것 및/또는 디코딩 또는 저장하기 위해 인코딩된 데이터(13)를 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하는 것 전에 각각에 대해 인코딩된 화상 데이터(21)를 처리하도록 구성될 수 있다.
목적지 디바이스(14)는 디코더(30)(예를 들어, 비디오 디코더(30))를 포함하고, 추가적으로, 즉, 선택적으로, 통신 인터페이스 또는 통신 유닛(28), 후처리 유닛(32) 및 디스플레이 디바이스(34)를 포함할 수 있다.
목적지 디바이스(14)의 통신 인터페이스(28)는 인코딩된 화상 데이터(21) 또는 인코딩된 데이터(13)를, 예를 들어, 소스 디바이스(12)로부터 직접 또는 임의의 다른 소스, 예를 들어, 저장 디바이스, 예를 들어, 인코딩된 화상 데이터 저장 디바이스로부터 수신하도록 구성된다.
통신 인터페이스(22) 및 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 직접 통신 링크, 예를 들어, 직접 유선 또는 무선 접속을 통해, 또는 임의의 종류의 네트워크, 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 종류의 사설 및 공용 네트워크, 또는 이들의 임의의 종류의 조합을 통해, 인코딩된 화상 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다.
통신 인터페이스(22)는, 예를 들어, 통신 링크 또는 통신 네트워크를 통한 송신을 위해, 인코딩된 화상 데이터(21)를 적절한 포맷, 예를 들어, 패킷들로 패키징하도록 구성될 수 있다.
통신 인터페이스(22)의 상대방을 형성하는 통신 인터페이스(28)는, 예를 들어, 인코딩된 데이터(13)를 패키징-해제하여 인코딩된 화상 데이터(21)를 획득하도록 구성될 수 있다.
통신 인터페이스(22) 및 통신 인터페이스(28) 양자 모두는 소스 디바이스(12)로부터 목적지 디바이스(14)를 포인팅하는 도 1a에서의 인코딩된 화상 데이터(13)에 대한 화살표로 표시되는 바와 같은 단방향 통신 인터페이스들로서, 또는 양방향 통신 인터페이스들로서 구성될 수 있고, 통신 링크 및/또는 데이터 송신, 예를 들어, 인코딩된 화상 데이터 송신에 관련된 임의의 다른 정보를 확인응답하고 교환하기 위해, 예를 들어, 메시지들을 전송 및 수신하도록, 예를 들어, 접속을 셋 업하도록, 구성될 수 있다.
디코더(30)는 인코딩된 화상 데이터(21)를 수신하도록 그리고 디코딩된 화상 데이터(31) 또는 디코딩된 화상(31)을 제공하도록 구성된다(추가의 상세사항들은, 예를 들어, 도 3 또는 도 5에 기초하여 아래에 설명될 것임).
목적지 디바이스(14)의 후처리기(32)는 디코딩된 화상 데이터(31)(재구성된 화상 데이터라고 또한 불림), 예를 들어, 디코딩된 화상(31)을 후처리하여, 후처리된 화상 데이터(33), 예를 들어, 후처리된 화상(33)을 획득하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는, 예를 들어, (예를 들어, YCbCr로부터 RGB로의) 컬러 포맷 변환, 컬러 보정, 트리밍, 또는 재-샘플링, 또는, 예를 들어, 디스플레이 디바이스(34)에 의한 디스플레이를 위해, 예를 들어, 디코딩된 화상 데이터(31)를 준비하기 위한, 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는, 예를 들어, 사용자 또는 뷰어에게, 화상을 디스플레이하기 위해 후처리된 화상 데이터(33)를 수신하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 화상을 표현하기 위한 임의의 종류의 디스플레이, 예를 들어, 집적된 또는 외부 디스플레이 또는 모니터이거나 또는 이를 포함할 수 있다. 이러한 디스플레이들은, 예를 들어, LCD(liquid crystal displays), OLED(organic light emitting diodes) 디스플레이들, 플라즈마 디스플레이들, 프로젝터들, 마이크로 LED 디스플레이들, LCoS(liquid crystal on silicon), DLP(digital light processor) 또는 임의의 종류의 다른 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12) 및 목적지 디바이스(14)를 개별 디바이스들로서 묘사하더라도, 디바이스들의 실시예들은 양자 모두 또는 양자 모두의 기능성들, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성을 또한 포함할 수 있다. 이러한 실시예들에서, 소스 디바이스(12) 또는 대응하는 기능성 및 목적지 디바이스(14) 또는 대응하는 기능성은 동일한 하드웨어 및/또는 소프트웨어를 사용하여 또는 개별 하드웨어 및/또는 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다.
이러한 설명에 기초하여 기술자에게는 명백할 바와 같이, 도 1a에 도시되는 바와 같은 소스 디바이스(12) 및/또는 목적지 디바이스(14) 내의 상이한 유닛들 또는 기능성들의 기능성들의 존재 및 (정확한) 분열은 실제 디바이스 및 애플리케이션에 의존하여 달라질 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30)) 각각은, 하나 이상의 마이크로프로세서, DSP(digital signal processors), ASIC(application-specific integrated circuits), FPGA(field-programmable gate arrays), 이산 로직, 하드웨어, 비디오 코딩 전용 또는 이들의 임의의 조합과 같은, 다양한 적합한 회로 중 임의의 것으로서 구현될 수 있다. 이러한 기법들이 부분적으로 소프트웨어로 구현되면, 디바이스는 소프트웨어에 대한 명령어들을 적합한, 비-일시적 컴퓨터-판독가능 저장 매체에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서를 사용하여 하드웨어로 이러한 명령어들을 실행할 수 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는) 전술한 것 중 임의의 것이 하나 이상의 프로세서인 것으로 고려될 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 이들 중 어느 하나는 각각의 디바이스에서 조합된 인코더/디코더(CODEC)의 일부분으로서 집적될 수 있다.
소스 디바이스(12)는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치라고 지칭될 수 있다. 목적지 디바이스(14)는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치라고 지칭될 수 있다. 소스 디바이스(12) 및 목적지 디바이스(14)는 비디오 코딩 디바이스들 또는 비디오 코딩 장치들의 예들일 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는, 임의의 종류의 핸드헬드 또는 고정 디바이스들, 예를 들어, 노트북 또는 랩톱 컴퓨터들, 모바일 폰들, 스마트 폰들, 태블릿들 또는 태블릿 컴퓨터들, 카메라들, 데스크톱 컴퓨터들, 셋-톱 박스들, 텔레비전들, 디스플레이 디바이스들, 디지털 매체 플레이어들, 비디오 게이밍 콘솔들, (콘텐츠 서비스 서버들 또는 콘텐츠 전달 서버들과 같은) 비디오 스트리밍 디바이스들, 방송 수신기 디바이스, 방송 송신기 디바이스 등을 포함하는 광범위한 디바이스들 중 임의의 것을 포함할 수 있고, 어떠한 운영 체제도 사용하지 않거나 또는 임의의 종류의 운영 체제를 사용할 수 있다.
일부 경우들에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신을 위해 구비될 수 있다. 따라서, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신 디바이스들일 수 있다.
일부 경우들에서, 도 1a에 예시되는 비디오 코딩 시스템(10)은 단지 예일 뿐이고, 본 출원의 기법들은 인코딩 및 디코딩 디바이스들 사이의 임의의 데이터 통신을 반드시 포함하는 것은 아닌 비디오 코딩 설정들(예를 들어, 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 검색되거나, 네트워크를 통해 스트리밍되거나, 등이다. 비디오 인코딩 디바이스는 데이터를 인코딩하여 메모리에 저장할 수 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 검색하고 디코딩할 수 있다. 일부 예들에서, 인코딩 및 디코딩은 서로 통신하지 않지만 데이터를 메모리에 단순히 인코딩하고 및/또는 메모리로부터 데이터를 검색 및 디코딩하는 디바이스들에 의해 수행된다.
비디오 인코더(20)를 참조하여 설명되는 위 예들 각각에 대해, 비디오 디코더(30)는 상반되는 프로세스를 수행하도록 구성될 수 있다는 점이 이해되어야 한다. 신택스 엘리먼트들을 시그널링하는 것에 관하여, 비디오 디코더(30)는 이러한 신택스 엘리먼트를 수신 및 파싱하도록 그리고 따라서 연관된 비디오 데이터를 디코딩하도록 구성될 수 있다. 일부 예들에서, 비디오 인코더(20)는 하나 이상의 신택스 엘리먼트를 인코딩된 비디오 비트스트림으로 엔트로피 인코딩할 수 있다. 이러한 예들에서, 비디오 디코더(30)는 이러한 신택스 엘리먼트를 파싱하고 따라서 연관된 비디오 데이터를 디코딩할 수 있다.
도 1b는 예시적인 실시예에 따른 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 다른 예시적인 비디오 코딩 시스템(40)의 예시적인 도면이다. 시스템(40)은 본 출원에서 설명되는 다양한 예들에 따른 기법들을 구현할 수 있다. 예시된 구현예에서, 비디오 코딩 시스템(40)은 이미징 디바이스(들)(41), 비디오 인코더(100), 비디오 디코더(30)(및/또는 처리 유닛(들)(46)의 로직 회로(47)를 통해 구현되는 비디오 코더), 안테나(42), 하나 이상의 프로세서(들)(43), 하나 이상의 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
예시되는 바와 같이, 이미징 디바이스(들)(41), 안테나(42), 처리 유닛(들)(46), 로직 회로(47), 비디오 인코더(20), 비디오 디코더(30), 프로세서(들)(43), 메모리 저장소(들)(44), 및/또는 디스플레이 디바이스(45)는 서로 통신하는 것이 가능할 수 있다. 논의되는 바와 같이, 비디오 인코더(20) 및 비디오 디코더(30) 양자 모두로 예시되더라도, 비디오 코딩 시스템(40)은 다양한 예들에서 비디오 인코더(20)만 또는 비디오 디코더(30)만을 포함할 수 있다.
도시되는 바와 같이, 일부 예들에서, 비디오 코딩 시스템(40)은 안테나(42)를 포함할 수 있다. 안테나(42)는, 예를 들어, 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수 있다. 추가로, 일부 예들에서, 비디오 코딩 시스템(40)은 디스플레이 디바이스(45)를 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 도시되는 바와 같이, 일부 예들에서, 로직 회로(47)는 처리 유닛(들)(46)을 통해 구현될 수 있다. 처리 유닛(들)(46)은 ASIC(application-specific integrated circuit) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 포함할 수 있다. 비디오 코딩 시스템(40)은, ASIC(application-specific integrated circuit) 로직, 그래픽 프로세서(들), 범용 프로세서(들) 등을 유사하게 포함할 수 있는, 선택적 프로세서(들)(43)를 또한 포함할 수 있다. 일부 예들에서, 로직 회로(47)는 하드웨어, 비디오 코딩 전용 하드웨어 등을 통해 구현될 수 있고, 프로세서(들)(43)는 범용 소프트웨어, 운영 체제들 등을 통해 구현될 수 있다. 또한, 메모리 저장소(44)는 휘발성 메모리(예를 들어, SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등) 또는 비-휘발성 메모리(예를 들어, 플래시 메모리 등) 등과 같은 임의의 타입의 메모리일 수 있다. 비-제한적인 예에서, 메모리 저장소(들)(44)는 캐시 메모리에 의해 구현될 수 있다. 일부 예들에서, 로직 회로(47)는 (예를 들어 이미지 버퍼의 구현을 위해) 메모리 저장소(들)(44)에 액세스할 수 있다. 다른 예들에서, 로직 회로(47) 및/또는 처리 유닛(들)(46)은 이미지 버퍼 등의 구현을 위해 메모리 저장소(예를 들어, 캐시 등)를 포함할 수 있다.
일부 예들에서, 로직 회로를 통해 구현되는 비디오 인코더(100)는, (예를 들어, 처리 유닛(들)(46) 또는 메모리 저장소(들)(44)를 통한) 이미지 버퍼 및 (예를 들어, 처리 유닛(들)(46)을 통한) 그래픽 처리 유닛을 포함할 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 연결될 수 있다. 그래픽 처리 유닛은 도 2에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 인코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 바와 같은 비디오 인코더(100)를 포함할 수 있다. 로직 회로는 본 명세서에서 논의되는 바와 같은 다양한 동작들을 수행하도록 구성될 수 있다.
비디오 디코더(30)는 도 3의 디코더(30)에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 것과 유사한 방식으로 구현될 수 있다. 일부 예들에서, 비디오 디코더(30)는 (예를 들어, 처리 유닛(들)(420) 또는 메모리 저장소(들)(44)를 통한) 이미지 버퍼 및 (예를 들어, 처리 유닛(들)(46)을 통한) 그래픽 처리 유닛을 포함할 수 있는 로직 회로를 통해 구현될 수 있다. 그래픽 처리 유닛은 이미지 버퍼에 통신가능하게 연결될 수 있다. 그래픽 처리 유닛은 도 3에 관하여 논의되는 바와 같은 다양한 모듈들 및/또는 본 명세서에 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)를 통해 구현되는 비디오 디코더(30)를 포함할 수 있다.
일부 예들에서, 비디오 코딩 시스템(40)의 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 논의되는 바와 같이, 인코딩된 비트스트림은, 코딩 파티션과 연관된 데이터(예를 들어, 변환 계수들 또는 양자화된 변환 계수들, (논의되는 바와 같은) 선택적 표시자들, 및/또는 코딩 파티션을 정의하는 데이터)와 같은, 본 명세서에서 논의되는 바와 같은 비디오 프레임을 인코딩하는 것과 연관된 데이터, 표시자들, 인덱스 값들, 모드 선택 데이터 등을 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 연결되는 그리고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(30)를 또한 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임들을 제시하도록 구성된다.
인코더 및 인코딩 방법
도 2는 본 출원의 기법들을 구현하도록 구성되는 예시적인 비디오 인코더(20)의 개략적인/개념적인 블록도를 도시한다. 도 2의 예에서, 비디오 인코더(20)는 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 역 양자화 유닛(210), 및 역 변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), DPB(decoded picture buffer)(230), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)을 포함한다. 예측 처리 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254) 및 모드 선택 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛 및 모션 보상 유닛(도시되지 않음)을 포함할 수 있다. 도 2에 도시되는 바와 같은 비디오 인코더(20)는 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱에 따른 비디오 인코더라고 또한 지칭될 수 있다.
예를 들어, 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 예측 처리 유닛(260) 및 엔트로피 인코딩 유닛(270)은 인코더(20)의 순방향 신호 경로를 형성하는 반면, 예를 들어, 역 양자화 유닛(210), 역 변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터(220), DPB(decoded picture buffer)(230), 예측 처리 유닛(260)은 인코더의 역방향 신호 경로를 형성하며, 인코더의 역방향 신호 경로는 디코더의 신호 경로에 대응한다(도 3의 디코더(30) 참조).
인코더(20)는, 예를 들어, 입력(202)에 의해, 화상(201) 또는 화상(201)의 블록(203), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 화상들의 시퀀스의 화상을 수신하도록 구성된다. 화상 블록(203)은 현재 화상 블록 또는 코딩될 화상 블록이라고 또한 지칭될 수 있고, 화상(201)은 (특히 비디오 코딩에서 현재 화상을 다른 화상들, 예를 들어, 동일한 비디오 시퀀스, 즉, 현재 화상을 또한 포함하는 비디오 시퀀스의 이전에 인코딩된 및/또는 디코딩된 화상들과 구별하기 위해) 코딩될 현재 화상 또는 화상이라고 또한 지칭될 수 있다.
파티셔닝
인코더(20)의 실시예들은 화상(201)을 복수의 블록들, 예를 들어, 블록(203)과 같은 블록으로, 통상적으로 복수의 비-중첩 블록들로 파티셔닝하도록 구성되는 파티셔닝 유닛(도 2에 묘사되지 않음)을 포함할 수 있다. 파티셔닝 유닛은 비디오 시퀀스의 모든 화상들 및 블록 크기를 정의하는 대응하는 그리드에 대해 동일한 블록 크기를 사용하도록, 또는 화상들 또는 화상들의 서브세트들 또는 그룹들 사이에서 블록 크기를 변경하도록, 그리고 각각의 화상을 대응하는 블록들로 파티셔닝하도록 구성될 수 있다.
하나의 예에서, 비디오 인코더(20)의 예측 처리 유닛(260)은 위에 설명된 파티셔닝 기법들의 임의의 조합을 수행하도록 구성될 수 있다.
화상(201)과 같이, 블록(203)은 다시, 화상(201)보다 더 작은 치수의 것이더라도, 강도 값들(샘플 값들)이 있는 샘플들의 2-차원 어레이 또는 행렬이거나 또는 그것으로 간주될 수 있다. 다시 말해서, 블록(203)은, 적용된 컬러 포맷에 의존하여, 예를 들어, 하나의 샘플 어레이(예를 들어, 흑백 화상(201)의 경우에는 루마 어레이) 또는 3개의 샘플 어레이들(예를 들어, 컬러 화상(201)의 경우에는 루마 및 2개의 크로마 어레이들) 또는 임의의 다른 수 및/또는 종류의 어레이들을 포함할 수 있다. 블록(203)의 수평 및 수직 방향(또는 축)에서의 샘플들의 수는 블록(203)의 크기를 정의한다.
도 2에 도시되는 바와 같은 인코더(20)는 화상(201)을 블록 단위로 인코딩하도록 구성된다, 예를 들어, 인코딩 및 예측이 블록(203) 당 수행된다.
잔차 계산
잔차 계산 유닛(204)은, 예를 들어, 화상 블록(203)의 샘플 값들로부터 예측 블록(265)의 샘플 값들을 샘플 단위로(픽셀 단위로) 감산하여 샘플 도메인에서 잔차 블록(205)을 획득하는 것에 의해, 화상 블록(203) 및 예측 블록(265)에 기초하여 잔차 블록(205)을 계산하도록 구성된다(예측 블록(265)에 관한 추가의 상세사항들이 나중에 제공됨).
변환
변환 처리 유닛(206)은, 변환 도메인에서 변환 계수들(207)을 획득하기 위해 잔차 블록(205)의 샘플 값들에, 변환, 예를 들어, DCT(discrete cosine transform) 또는 DST(discrete sine transform)를 적용하도록 구성될 수 있다. 변환 계수들(207)은 변환 잔차 계수들이라고 또한 지칭될 수 있고, 변환 도메인에서 잔차 블록 205를 표현할 수 있다.
변환 처리 유닛(206)은, HEVC/H.265에 대해 명시되는 변환들과 같은, DCT/DST의 정수 근사화들을 적용하도록 구성될 수 있다. 직교 DCT 변환에 비해, 이러한 정수 근사화들은 특정 인자에 의해 통상적으로 스케일링된다. 순방향 및 역 변환들에 의해 처리되는 잔차 블록의 놈(norm)을 보존하기 위해, 추가적인 스케일링 인자들이 변환 프로세스의 부분으로서 적용된다. 이러한 스케일링 인자들은 스케일링 인자들이 시프트 연산에 대한 2의 거듭제곱, 변환 계수들의 비트 심도, 정확도와 구현 비용들 사이의 트레이드오프 등인 것과 같이 특정 제약들에 기초하여 통상적으로 선택된다. 구체적 스케일링 인자들은, 디코더(30)에서, 예를 들어, 역 변환 처리 유닛(212)에 의해 역 변환(및, 예를 들어, 인코더(20)에서 역 변환 처리 유닛(212)에 의해 대응하는 역 변환)에 대해, 예를 들어, 명시되고, 인코더(20)에서, 예를 들어, 변환 처리 유닛(206)에 의해, 순방향 변환에 대한 대응하는 스케일링 인자들이 따라서 명시될 수 있다.
양자화
양자화 유닛(208)은, 예를 들어, 스칼라 양자화 또는 벡터 양자화를 적용하는 것에 의해, 변환 계수들(207)을 양자화하여 양자화된 변환 계수들(209)을 획득하도록 구성된다. 양자화된 변환 계수들(209)은 양자화된 잔차 계수들(209)이라고 또한 지칭될 수 있다. 양자화 프로세스는 변환 계수들(207)의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 라운딩 다운될 수 있으며, 여기서 n은 m 초과이다. 양자화의 정도는 QP(quantization parameter)를 조정하는 것에 의해 수정될 수 있다. 예를 들어, 스칼라 양자화에 대해, 더 미세한 또는 더 거친 양자화를 달성하기 위해 상이한 스케일링이 적용될 수 있다. 더 작은 양자화 단계 크기들은 더 미세한 양자화에 대응하는 반면, 더 큰 양자화 단계 크기들은 더 거친 양자화에 대응한다. 적용가능한 양자화 단계 크기는 QP(quantization parameter)에 의해 표시될 수 있다. 양자화 파라미터는 예를 들어 미리 정의된 세트의 적용가능한 양자화 단계 크기들에 대한 인덱스일 수 있다. 예를 들어, 작은 양자화 파라미터들은 미세한 양자화(작은 양자화 단계 크기들)에 대응할 수 있고 큰 양자화 파라미터들은 거친 양자화(큰 양자화 단계 크기들)에 대응할 수 있거나 또는 그 반대일 수 있다. 양자화는 양자화 단계 크기에 의한 제산을 포함할 수 있고, 예를 들어, 역 양자화 유닛(210)에 의한, 대응하는 또는 역인 양자화해제는 양자화 단계 크기에 의한 승산을 포함할 수 있다. 일부 표준들, 예를 들어, HEVC에 따른 실시예들은 양자화 파라미터를 사용하여 양자화 단계 크기를 결정하도록 구성될 수 있다. 일반적으로, 양자화 단계 크기는 제산을 포함하는 방정식의 고정 소수점 근사화를 사용하여 양자화 파라미터에 기초하여 계산될 수 있다. 잔차 블록의 놈(norm)을 복원하기 위해 양자화 및 양자화해제에 대해 추가적인 스케일링 인자들이 도입될 수 있고, 이는 양자화 단계 크기 및 양자화 파라미터에 대한 방정식의 고정 소수점 근사화에서 사용되는 스케일링 때문에 수정될 수 있다. 하나의 예시적인 구현에서, 역 변환 및 양자화해제의 스케일링이 조합될 수 있다. 대안적으로, 맞춤화된 양자화 테이블들이 사용되어 인코더로부터 디코더로, 예를 들어, 비트스트림으로 시그널링될 수 있다. 양자화는 손실 동작이며, 손실은 양자화 단계 크기들이 증가함에 따라 증가한다.
역 양자화 유닛(210)은, 예를 들어, 양자화 유닛(208)과 동일한 양자화 단계 크기에 기초하여 또는 이를 사용하여 양자화 유닛(208)에 의해 적용되는 양자화 스킴의 역을 적용하는 것에 의해, 양자화 유닛(208)의 역 양자화를 양자화된 계수들에 적용하여 양자화해제된 계수들(211)을 획득하도록 구성된다. 양자화해제된 계수들(211)은 양자화해제된 잔차 계수들(211)이라고 또한 지칭될 수 있고, -양자화에 의한 손실로 인해 변환 계수들과 통상적으로 동일하지 않더라도- 변환 계수들(207)에 대응할 수 있다.
역 변환 처리 유닛(212)은 변환 처리 유닛(206)에 의해 적용되는 변환의 역 변환, 예를 들어, 역 DCT(discrete cosine transform) 또는 역 DST(discrete sine transform)를 적용하여, 샘플 도메인에서 역 변환 블록(213)을 획득하도록 구성된다. 역 변환 블록(213)은 역 변환 양자화해제된 블록(213) 또는 역 변환 잔차 블록(213)이라고 또한 지칭될 수 있다.
재구성 유닛(214)(예를 들어, 합산기(214))은, 예를 들어, 재구성된 잔차 블록(213)의 샘플 값들 및 예측 블록(265)의 샘플 값들을 가산하는 것에 의해, 역 변환 블록(213)(즉, 재구성된 잔차 블록(213))을 예측 블록(265)에 가산하여 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
선택적으로, 버퍼 유닛(216)(줄여서 "버퍼"(216)), 예를 들어, 라인 버퍼(216)는, 재구성된 블록(215) 및 각각의 샘플 값들을, 예를 들어, 인트라 예측을 위해, 버퍼링하도록 또는 저장하도록 구성된다. 추가 실시예들에서, 인코더는 임의의 종류의 추정 및/또는 예측, 예를 들어, 인트라 예측을 위해 필터링되지 않은 재구성된 블록들 및/또는 버퍼 유닛(216)에 저장되는 각각의 샘플 값들을 사용하도록 구성될 수 있다.
인코더(20)의 실시예들은, 예를 들어, 버퍼 유닛(216)이 인트라 예측(254)을 위해 뿐만 아니라 루프 필터 유닛(220)을 위해 재구성된 블록들(215)을 저장하기 위해 사용되도록(도 2에 도시되지 않음), 및/또는, 예를 들어, 버퍼 유닛(216) 및 디코딩된 화상 버퍼 유닛(230)이 하나의 버퍼를 형성하도록 구성될 수 있다. 추가 실시예들은 필터링된 블록들(221) 및/또는 디코딩된 화상 버퍼(230)로부터의 블록들 또는 샘플들(양자 모두 도 2에 도시되지 않음)을 인트라 예측(254)을 위한 입력 또는 기반으로서 사용하도록 구성될 수 있다.
루프 필터 유닛(220)(줄여서 "루프 필터"(220))은, 재구성된 블록(215)을 필터링하여 필터링된 블록(221)을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 그렇지 않으면 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 블록화-해제 필터, SAO(sample-adaptive offset) 필터 또는 다른 필터들, 예를 들어, 쌍방 필터 또는 ALF(adaptive loop filter) 또는 샤프닝 또는 평활화 필터들 또는 협업 필터들과 같은 하나 이상의 루프 필터를 표현하도록 의도된다. 루프 필터 유닛(220)이 인 루프 필터인 것으로서 도 2에 도시되더라도, 다른 구성들에서, 루프 필터 유닛(220)은 포스트 루프 필터로서 구현될 수 있다. 필터링된 블록(221)은 필터링된 재구성된 블록(221)이라고 또한 지칭될 수 있다. 루프 필터 유닛(220)이 재구성된 코딩 블록에 대해 필터링 동작을 수행한 후에, 디코딩된 화상 버퍼(230)는 재구성된 코딩 블록을 저장할 수 있다.
인코더(20)의 실시예들(각각 루프 필터 유닛(220))은, 예를 들어, 디코더(30)가 디코딩을 위해 동일한 루프 필터 파라미터들을 수신하고 적용할 수 있도록, 예를 들어, 직접 또는 엔트로피 인코딩 유닛(270) 또는 임의의 다른 엔트로피 코딩 유닛을 통해 엔트로피 인코딩되는 (샘플 적응적 오프셋 정보와 같은) 루프 필터 파라미터들을 출력하도록 구성될 수 있다.
DPB(decoded picture buffer)(230)는 비디오 인코더(20)에 의해 비디오 데이터를 인코딩함에 있어서 사용하기 위해 참조 화상 데이터를 저장하는 참조 화상 메모리일 수 있다. DPB(230)는, SDRAM(synchronous DRAM), MRAM(magnetoresistive RAM), RRAM(resistive RAM), 또는 다른 타입들의 메모리 디바이스들을 포함하는, DRAM(dynamic random access memory)과 같은, 다양한 메모리 디바이스들 중 임의의 것에 의해 형성될 수 있다. DPB(230) 및 버퍼(216)는 동일한 메모리 디바이스 또는 개별 메모리 디바이스들에 의해 제공될 수 있다. 일부 예에서, DPB(decoded picture buffer)(230)는 필터링된 블록(221)을 저장하도록 구성된다. 디코딩된 화상 버퍼(230)는 동일한 현재 화상의 또는 상이한 화상들, 예를 들어, 이전에 재구성된 화상들의 다른 이전에 필터링된 블록들, 예를 들어, 이전에 재구성된 그리고 필터링된 블록들(221)을 저장하도록 추가로 구성될 수 있고, 예를 들어, 인터 예측을 위해, 완전히 이전에 재구성된, 즉, 디코딩된, 화상들(및 대응하는 참조 블록들 및 샘플들) 및/또는 부분적으로 재구성된 현재 화상(및 대응하는 참조 블록들 및 샘플들)을 제공할 수 있다. 일부 예에서, 재구성된 블록(215)이 재구성되지만 인-루프 필터링이 없으면, DPB(decoded picture buffer)(230)는 재구성된 블록(215)을 저장하도록 구성된다.
블록 예측 처리 유닛(260)이라고 또한 지칭되는 예측 처리 유닛(260)은 블록(203)(현재 화상(201)의 현재 블록(203)) 및 재구성된 화상 데이터, 예를 들어, 버퍼(216)로부터의 동일한 (현재) 화상의 참조 샘플들 및/또는 디코딩된 화상 버퍼(230)로부터의 하나의 또는 복수의 이전에 디코딩된 화상으로부터의 참조 화상 데이터(231)를 수신 또는 획득하도록, 그리고 예측을 위해 이러한 데이터를 처리하도록, 즉, 인터 예측된 블록(245) 또는 인트라 예측된 블록(255)일 수 있는 예측 블록(265)을 제공하도록 구성된다.
모드 선택 유닛(262)은 잔차 블록(205)의 계산을 위한 그리고 재구성된 블록(215)의 재구성을 위한 예측 블록(265)으로서 사용될 예측 모드(예를 들어, 인트라 또는 인터 예측 모드) 및/또는 대응하는 예측 블록(245 또는 255)을 선택하도록 구성될 수 있다.
모드 선택 유닛(262)의 실시예들은 (예를 들어, 예측 처리 유닛(260)에 의해 지원되는 것들로부터) 파티셔닝 및 예측 모드를 선택하도록 구성될 수 있고, 이는 최상의 매칭 또는 다시 말해서 최소 잔차(최소 잔차는 송신 또는 저장을 위한 더 양호한 압축을 의미함), 또는 최소 시그널링 오버헤드(최소 시그널링 오버헤드는 송신 또는 저장을 위한 더 양호한 압축을 의미함)를 제공하거나, 또는 이는 양자 모두를 고려하거나 또는 균형화한다. 모드 선택 유닛(262)은 RDO(rate distortion optimization)에 기초하여 예측 모드를 결정하도록, 즉, 최소 레이트 왜곡 최적화를 제공하는 또는 연관된 레이트 왜곡이 예측 모드 선택 기준을 적어도 충족시키는 예측 모드를 선택하도록 구성될 수 있다.
다음에서 예시적인 인코더(20)에 의해 수행되는 예측 처리(예를 들어, 예측 처리 유닛(260) 및 모드 선택(예를 들어, 모드 선택 유닛(262)에 의함)이 보다 상세히 설명될 것이다.
위에 설명된 바와 같이, 인코더(20)는 (미리 결정된) 예측 모드들의 세트로부터 최상 또는 최적 예측 모드를 결정 또는 선택하도록 구성된다. 예측 모드들의 세트는, 예를 들어, 인트라 예측 모드들 및/또는 인터 예측 모드들을 포함할 수 있다.
인트라 예측 모드들의 세트는 35개의 상이한 인트라 예측 모드들, 예를 들어, H.265에서 정의되는 바와 같이, 예를 들어, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들을 포함할 수 있거나, 또는 67개의 상이한 인트라 예측 모드들, 예를 들어, 개발 중인 H.266에서 정의되는 바와 같이, 예를 들어, DC(또는 평균) 모드 및 평면 모드와 같은 비-지향성 모드들, 또는 지향성 모드들을 포함할 수 있다.
(또는 가능한) 인터 예측 모드들의 세트는 이용가능한 참조 화상들(즉, 예를 들어, DBP(230)에 저장되는, 이전의 적어도 부분적으로 디코딩된 화상들) 및 다른 인터 예측 파라미터들, 예를 들어, 최상의 매칭 참조 블록을 검색하기 위해, 참조 화상의, 전체 참조 화상 또는 그 부일분만, 예를 들어, 현재 블록의 영역 주위의 검색 윈도우 영역만이 사용되는지, 및/또는, 예를 들어, 1/2/반-화소 및/또는 1/4-화소 보간과 같은, 예를 들어, 픽셀 보간이 적용되는지 여부에 의존한다.
위 예측 모드들에 추가적으로, 스킵 모드 및/또는 직접 모드가 적용될 수 있다.
예측 처리 유닛 (260)은, 예를 들어, QT(quad-tree-partitioning), BT(binary partitioning) 또는 TT(triple-tree-partitioning) 또는 이들의 임의의 조합을 반복적으로 사용하여, 블록(203)을 더 작은 블록 파티션들 또는 서브-블록들로 파티셔닝하도록, 그리고, 예를 들어, 블록 파티션들 또는 서브-블록들 각각에 대한 예측을 수행하도록 추가로 구성될 수 있고, 모드 선택은 파티셔닝된 블록(203)의 트리-구조 및 블록 파티션들 또는 서브-블록들 각각에 적용되는 예측 모드들의 선택을 포함한다.
인터 예측 유닛(244)은 ME(motion estimation) 유닛(도 2에 도시되지 않음) 및 MC(motion compensation) 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 모션 추정 유닛은, 모션 추정을 위해, 화상 블록(203)(현재 화상(201)의 현재 화상 블록(203)) 및 디코딩된 화상(231), 또는 적어도 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 하나의 또는 복수의 다른/상이한 이전에 디코딩된 화상(231)의 재구성된 블록을 수신 또는 획득하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 화상 및 이전에 디코딩된 화상들(231)을 포함할 수 있거나, 또는 다시 말해서, 현재 화상 및 이전에 디코딩된 화상들(231)은 비디오 시퀀스를 형성하는 화상들의 부분일 수 있거나 또는 그 시퀀스를 형성할 수 있다.
인코더(20)는, 예를 들어, 복수의 다른 화상들 중 동일한 또는 상이한 화상들의 복수의 참조 블록들로부터 참조 블록을 선택하도록 그리고 참조 화상(또는 참조 화상 인덱스, ...) 및/또는 참조 블록의 위치(x, y 좌표들)와 현재 블록의 위치 사이의 오프셋(공간적 오프셋)을 모션 추정 유닛(도 2에 도시되지 않음)에 인터 예측 파라미터들로서 제공하도록 구성될 수 있다. 이러한 오프셋은 MV(motion vector)라고 또한 불린다.
모션 보상 유닛은 인터 예측 파라미터를 획득하도록, 예를 들어, 수신하도록 그리고 인터 예측 파라미터에 기초하여 또는 이를 사용하여 인터 예측을 수행하여 인터 예측 블록(245)을 획득하도록 구성된다. 모션 보상 유닛(도 2에 도시되지 않음)에 의해 수행되는, 모션 보상은 모션 추정에 의해 결정되는 모션/블록 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수 있다. 보간 필터링은 알려진 픽셀 샘플들로부터 추가적인 픽셀 샘플들을 생성할 수 있고, 따라서 화상 블록을 코딩하기 위해 사용될 수 있는 후보 예측 블록들의 수를 잠재적으로 증가시킨다. 현재 화상 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛(246)은 참조 화상 리스트들 중 하나에서 모션 벡터가 포인팅하는 예측 블록의 위치를 찾아낼 수 있다. 모션 보상 유닛(246)은 비디오 슬라이스의 화상 블록들을 디코딩함에 있어서 비디오 디코더(30)에 의해 사용하기 위한 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 또한 생성할 수 있다.
인트라 예측 유닛(254)은 인트라 추정을 위해 동일한 화상의 화상 블록(203)(현재 화상 블록) 및 하나의 또는 복수의 이전에 재구성된 블록, 예를 들어, 재구성된 이웃 블록을 획득하도록, 예를 들어, 수신하도록 구성된다. 인코더(20)는, 예를 들어, 복수의 (미리 결정된) 인트라 예측 모드들로부터 인트라 예측 모드를 선택하도록 구성될 수 있다.
인코더(20)의 실시예들은 최적화 기준, 예를 들어, 최소 잔차(예를 들어, 현재 화상 블록(203)과 가장 유사한 예측 블록(255)을 제공하는 인트라 예측 모드) 또는 최소 레이트 왜곡에 기초하여 인트라 예측 모드를 선택하도록 구성될 수 있다.
인트라 예측 유닛(254)은 인트라 예측 파라미터, 예를 들어, 선택된 인트라 예측 모드에 기초하여 인트라 예측 블록(255)을 결정하도록 추가로 구성된다. 임의의 경우에, 블록에 대한 인트라 예측 모드를 선택한 후에, 인트라 예측 유닛(254)은 인트라 예측 파라미터, 즉, 블록에 대한 선택된 인트라 예측 모드를 표시하는 정보를 엔트로피 인코딩 유닛(270)에 제공하도록 또한 구성된다. 하나의 예에서, 인트라 예측 유닛(254)은 나중에 설명되는 인트라 예측 기법들의 임의의 조합을 수행하도록 구성될 수 있다.
엔트로피 인코딩 유닛(270)은 양자화된 잔차 계수들(209), 인터 예측 파라미터들, 인트라 예측 파라미터, 및/또는 루프 필터 파라미터들에 대해 엔트로피 인코딩 알고리즘 또는 스킴(예를 들어, VLC(variable length coding) 스킴, CALVC(context adaptive VLC scheme), 산술 코딩 스킴, CABAC(context adaptive binary arithmetic coding), SBAC(syntax-based context-adaptive binary arithmetic coding), PIPE(probability interval partitioning entropy) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기법)을 적용하여, 예를 들어, 인코딩된 비트스트림(21)의 형태로, 출력(272)에 의해 출력될 수 있는 인코딩된 화상 데이터(21)를 개별적으로 또는 공동으로 획득하도록(또는 전혀 그렇지 않도록) 구성된다. 인코딩된 비트스트림(21)은 비디오 디코더(30)에 송신될 수 있거나, 또는 비디오 디코더(30)에 의한 나중의 송신 또는 검색을 위해 보관될 수 있다. 엔트로피 인코딩 유닛(270)은 코딩되고 있는 현재 비디오 슬라이스에 대한 다른 신택스 엘리먼트들을 엔트로피 인코딩하도록 추가로 구성될 수 있다.
비디오 스트림을 인코딩하기 위해 비디오 인코더(20)의 다른 구조적 변형들이 사용될 수 있다. 예를 들어, 비-변환 기반 인코더(20)는 특정 블록들 또는 프레임들에 대해 변환 처리 유닛(206) 없이 직접 잔차 신호를 양자화할 수 있다. 다른 구현에서, 인코더(20)는 단일 유닛으로 조합되는 양자화 유닛(208) 및 역 양자화 유닛(210)을 가질 수 있다.
도 3은 본 출원의 기법들을 구현하도록 구성되는 예시적인 비디오 디코더(30)를 도시한다. 비디오 디코더(30)는, 예를 들어, 인코더(100)에 의해 인코딩되는, 인코딩된 화상 데이터(예를 들어, 인코딩된 비트스트림)(21)를 수신하여, 디코딩된 화상(131)을 획득하도록 구성된다. 디코딩 프로세스 동안, 비디오 디코더(30)는 비디오 인코더(100)로부터 비디오 데이터, 예를 들어, 인코딩된 비디오 슬라이스의 화상 블록들 및 연관된 신택스 엘리먼트들을 표현하는 인코딩된 비디오 비트스트림을 수신한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역 양자화 유닛(310), 역 변환 처리 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 버퍼(316), 루프 필터(320), 디코딩된 화상 버퍼(330) 및 예측 처리 유닛(360)을 포함한다. 예측 처리 유닛(360)은 인터 예측 유닛(344), 인트라 예측 유닛(354), 및 모드 선택 유닛(362)을 포함할 수 있다. 비디오 디코더(30)는, 일부 예들에서, 도 2의 비디오 인코더(100)에 관하여 설명되는 인코딩 패스에 일반적으로 상반되는 디코딩 패스를 수행할 수 있다.
엔트로피 디코딩 유닛(304)은 인코딩된 화상 데이터(21)에 엔트로피 디코딩을 수행하여, 예를 들어, 양자화된 계수들(309) 및/또는 디코딩된 코딩 파라미터들(도 3에 도시되지 않음), 예를 들어, 인터 예측 파라미터들, 인트라 예측 파라미터, 루프 필터 파라미터들, 및/또는 다른 신택스 엘리먼트들 중 (디코딩된) 임의의 것 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인터 예측 파라미터들, 인트라 예측 파라미터 및/또는 다른 신택스 엘리먼트들을 예측 처리 유닛(360)에 전달하도록 추가로 구성된다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수 있다.
역 양자화 유닛(310)은 역 양자화 유닛(110)과 기능에 있어서 동일할 수 있고, 역 변환 처리 유닛(312)은 역 변환 처리 유닛(112)과 기능에 있어서 동일할 수 있고, 재구성 유닛(314)은 재구성 유닛(114)과 기능에 있어서 동일할 수 있고, 버퍼(316)는 버퍼(116)와 기능에 있어서 동일할 수 있고, 루프 필터(320)는 루프 필터(120)와 기능에 있어서 동일할 수 있고, 디코딩된 화상 버퍼(330)는 디코딩된 화상 버퍼(130)와 기능에 있어서 동일할 수 있다.
예측 처리 유닛(360)은 인터 예측 유닛(344) 및 인트라 예측 유닛(354)을 포함할 수 있고, 인터 예측 유닛(344)은 인터 예측 유닛(144)과 기능에 있어서 유사할 수 있고, 인트라 예측 유닛(354)은 인트라 예측 유닛(154)과 기능에 있어서 유사할 수 있다. 예측 처리 유닛(360)은 블록 예측을 수행하도록 및/또는 인코딩된 데이터(21)로부터 예측 블록(365)을 획득하도록 그리고 예측 관련 파라미터들 및/또는 선택된 예측 모드에 관한 정보를, 예를 들어, 엔트로피 디코딩 유닛(304)으로부터 (명시적으로 또는 암시적으로) 수신 또는 획득하도록 통상적으로 구성된다.
비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인트라 예측 유닛(354)은 현재 프레임 또는 화상의 이전에 디코딩된 블록들로부터의 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 화상 블록에 대한 예측 블록(365)을 생성하도록 구성된다. 비디오 프레임이 인터 코딩된(즉, B, 또는 P) 슬라이스로서 코딩될 때, 예측 처리 유닛(360)의 인터 예측 유닛(344)(예를 들어, 모션 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신되는 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록들은 참조 화상 리스트들 중 하나 내의 참조 화상들 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는, DPB(330)에 저장되는 참조 화상에 기초하여 디폴트 구성 기법들을 사용하여, 참조 프레임 리스트들, 즉, List 0 및 List 1을 구성할 수 있다.
예측 처리 유닛(360)은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱하는 것에 의해 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하도록 구성되고, 이러한 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 예측 처리 유닛(360)은 수신된 신택스 엘리먼트들 중 일부를 사용하여, 비디오 슬라이스의 비디오 블록들을 코딩하기 위해 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측), 인터 예측 슬라이스 타입 (예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 참조 화상 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스에서의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다.
역 양자화 유닛(310)은 비트스트림에서 제공되는 그리고 엔트로피 디코딩 유닛(304)에 의해 디코딩되는 양자화된 변환 계수들을 역 양자화, 즉, 양자화해제하도록 구성된다. 역 양자화 프로세스는, 양자화의 정도 및, 마찬가지로, 적용되어야 하는 역 양자화의 정도를 결정하기 위한, 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더(100)에 의해 계산되는 양자화 파라미터의 사용을 포함할 수 있다.
역 변환 처리 유닛(312)은 픽셀 도메인에서 잔차 블록들을 생성하기 위해 변환 계수들에 역 변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스를 적용하도록 구성된다.
재구성 유닛(314)(예를 들어, 합산기(314))은, 예를 들어, 재구성된 잔차 블록(313)의 샘플 값들 및 예측 블록(365)의 샘플 값들을 가산하는 것에 의해, 역 변환 블록(313)(즉, 재구성된 잔차 블록(313))을 예측 블록(365)에 가산하여 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성된다.
(코딩 루프에서의 또는 코딩 루프 후의) 루프 필터 유닛(320)은 재구성된 블록 315를 필터링하여 필터링된 블록 321을 획득하도록, 예를 들어, 픽셀 전이들을 평활화하도록, 또는 비디오 품질을 달리 개선하도록 구성된다. 하나의 예에서, 루프 필터 유닛(320)은 나중에 설명되는 필터링 기법들의 임의의 조합을 수행하도록 구성될 수 있다. 루프 필터 유닛(320)은 블록화-해제 필터, SAO(sample-adaptive offset) 필터 또는 다른 필터들, 예를 들어, 쌍방 필터 또는 ALF(adaptive loop filter) 또는 샤프닝 또는 평활화 필터들 또는 협업 필터들과 같은 하나 이상의 루프 필터를 표현하도록 의도된다. 루프 필터 유닛(320)이 인 루프 필터인 것으로서 도 3에 도시되더라도, 다른 구성들에서, 루프 필터 유닛(320)은 포스트 루프 필터로서 구현될 수 있다.
주어진 프레임 또는 화상에서의 디코딩된 비디오 블록들(321)은, 후속 모션 보상을 위해 사용되는 참조 화상들을 저장하는, 디코딩된 화상 버퍼(330)에 다음으로 저장된다.
디코더(30)는 사용자에 대한 프레젠테이션 또는 뷰잉을 위해, 예를 들어, 출력(312)을 통해, 디코딩된 화상(311)을 출력하도록 구성된다.
압축된 비트스트림을 디코딩하기 위해 비디오 디코더(30)의 다른 변형들이 사용될 수 있다. 예를 들어, 디코더(30)는 루프 필터링 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비-변환 기반 디코더(30)는 특정 블록들 또는 프레임들에 대해 역-변환 처리 유닛(312) 없이 직접 잔차 신호를 역-양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 단일 유닛으로 조합되는 역-양자화 유닛(310) 및 역-변환 처리 유닛(312)을 가질 수 있다.
도 4는 본 개시내용의 실시예에 따른 비디오 코딩 디바이스(400)의 개략도이다. 이러한 비디오 코딩 디바이스(400)는 본 명세서에 설명되는 바와 같이 개시된 실시예들을 구현하기에 적합하다. 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30)와 같은 디코더 또는 도 1a의 비디오 인코더(20)와 같은 인코더일 수 있다. 실시예에서, 비디오 코딩 디바이스(400)는 위에 설명된 바와 같이 도 1a의 비디오 디코더(30) 또는 도 1a의 비디오 인코더(20)의 하나 이상의 컴포넌트일 수 있다.
비디오 코딩 디바이스(400)는 데이터를 수신하기 위한 입구 포트들(410) 및 수신기 유닛들(Rx)(420); 데이터를 처리하는 프로세서, 로직 유닛, 또는 CPU(central processing unit)(430); 데이터를 송신하기 위한 송신기 유닛들(Tx)(440) 및 출구 포트들(450); 및 데이터를 저장하기 위한 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 광 또는 전기 신호들의 출구 또는 입구를 위해 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 및 출구 포트들(450)에 연결되는 OE(optical-to-electrical) 컴포넌트들 및 EO(electrical-to-optical) 컴포넌트들을 또한 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(430)는 하나 이상의 CPU 칩, (예를 들어, 멀티-코어 프로세서로서의) 코어들, FPGA들, ASIC들, 및 DSP들로서 구현될 수 있다. 프로세서(430)는 입구 포트들(410), 수신기 유닛들(420), 송신기 유닛들(440), 출구 포트들(450), 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)을 포함한다. 코딩 모듈(470)은 위에 설명된 개시된 실시예들을 구현한다. 예를 들어, 코딩 모듈(470)은 다양한 코딩 동작들을 구현, 처리, 준비, 또는 제공한다. 따라서, 코딩 모듈(470)의 포함은 비디오 코딩 디바이스(400)의 기능성에 상당한 개선을 제공하고, 비디오 코딩 디바이스(400)의 상이한 상태로의 변환에 효과가 있다. 대안적으로, 코딩 모듈(470)은 메모리(460)에 저장되는 그리고 프로세서(430)에 의해 실행되는 명령어들로서 구현된다.
메모리(460)는 하나 이상의 디스크, 테이프 드라이브, 및 솔리드-스테이트 드라이브를 포함하고, 이러한 프로그램들이 실행을 위해 선택될 때 프로그램들을 저장하고, 프로그램 실행 동안 판독되는 명령어들 및 데이터를 저장하기 위해, 오버-플로우 데이터 저장 디바이스로서 사용될 수 있다. 메모리(460)는 휘발성 및/또는 비-휘발성일 수 있고, ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory), 및/또는 SRAM(static random-access memory)일 수 있다.
도 5는 예시적인 실시예에 따른 도 1로부터의 소스 디바이스(310) 및 목적지 디바이스(320) 중 어느 하나 또는 양자 모두로서 사용될 수 있는 장치(500)의 단순화된 블록도이다. 이러한 장치(500)는 위에 설명된 본 출원의 기법들을 구현할 수 있다. 이러한 장치(500)는 다수의 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템의 형태이거나, 또는, 단일 컴퓨팅 디바이스, 예를 들어, 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 등의 형태일 수 있다.
이러한 장치(500)에서의 프로세서(502)는 중앙 처리 유닛일 수 있다. 대안적으로, 프로세서(502)는, 지금-존재하는 또는 이후 개발될 정보를 조작 또는 처리할 수 있는, 임의의 다른 타입의 디바이스, 또는 다수의 디바이스일 수 있다. 개시된 구현들은 도시되는 바와 같이 단일 프로세서, 예를 들어, 프로세서(502)로 실시될 수 있더라도, 하나보다 많은 프로세서를 사용하여 속도 및 효율에서의 이점들이 달성될 수 있다.
이러한 장치(500)에서의 메모리(504)는 구현에서 ROM(read only memory) 디바이스 또는 RAM(random access memory) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508) 및 애플리케이션 프로그램들(510)을 추가로 포함할 수 있으며, 이러한 애플리케이션 프로그램들(510)은 프로세서(502)가 본 명세서에 설명되는 방법들을 수행하는 것을 허가하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램(510)은, 본 명세서에 설명되는 방법을 수행하는 비디오 코딩 애플리케이션을 추가로 포함하는, 애플리케이션들 1 내지 N을 포함할 수 있다. 이러한 장치(500)는, 예를 들어, 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있는, 보조 스토리지(514)의 형태로 추가적 메모리를 또한 포함할 수 있다. 비디오 통신 세션들은 상당한 양의 정보를 포함할 수 있기 때문에, 이들은 보조 스토리지(514)에 전체적으로 또는 부분적으로 저장될 수 있고 처리를 위해 필요에 따라 메모리(504)에 로딩될 수 있다.
이러한 장치(500)는, 디스플레이(518)와 같은, 하나 이상의 출력 디바이스를 또한 포함할 수 있다. 디스플레이(518)는, 하나의 예에서, 터치 입력들을 감지하도록 동작가능한 터치 감응성 엘리먼트와 디스플레이를 조합하는 터치 감응성 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 통해 프로세서(502)에 연결될 수 있다. 사용자가 장치(500)를 프로그래밍하는 것 또는 그렇지 않으면 이를 사용하는 것을 허가하는 다른 출력 디바이스들이 디스플레이(518) 외에도 또는 그 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 또는 디스플레이를 포함할 때, 디스플레이는 LCD(liquid crystal display), CRT(cathode-ray tube) 디스플레이, 플라즈마 디스플레이 또는, OLED(organic LED) 디스플레이와 같은, LED(light emitting diode) 디스플레이를 포함하는, 다양한 방식들로 구현될 수 있다.
이러한 장치(500)는 이미지 감지 디바이스(520), 예를 들어, 카메라, 또는 이러한 장치(500)를 동작시키는 사용자의 이미지와 같은 이미지를 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 이미지 감지 디바이스(520)를 또한 포함하거나 또는 그와 통신할 수 있다. 이미지 감지 디바이스(520)는 이러한 장치(500)를 동작시키는 사용자를 향해 지향되도록 위치될 수 있다. 예에서, 이미지 감지 디바이스(520)의 위치 및 광 축은 시야가 디스플레이(518)에 바로 인접하는 그리고 그로부터 디스플레이(518)가 보이는 영역을 포함하도록 구성될 수 있다.
이러한 장치(500)는 사운드 감지 디바이스(522), 예를 들어, 마이크로폰, 또는 장치(500) 근처의 사운드들을 감지할 수 있는 지금 존재하는 또는 이후에 개발될 임의의 다른 사운드 감지 디바이스를 또한 포함하거나 또는 이와 통신할 수 있다. 사운드 감지 디바이스(522)는 이러한 장치(500)를 동작시키는 사용자를 향해 지향되도록 위치될 수 있고, 사용자가 이러한 장치(500)를 동작시키는 동안 사용자에 의해 이루어지는 사운드들, 예를 들어, 음성 또는 다른 발언들을 수신하도록 구성될 수 있다.
도 5는 이러한 장치(500)의 프로세서(502) 및 메모리(504)를 단일 유닛으로 집적되는 것으로서 도시하더라도, 다른 구성들이 이용될 수 있다. 로컬 영역 또는 다른 네트워크에 걸쳐 또는 직접 연결될 수 있는 다수의 머신들(각각의 머신이 하나 이상의 프로세서를 가짐)에 걸쳐 프로세서(502)의 동작들이 분산될 수 있다. 이러한 장치(500)의 동작들을 수행하는 다수의 머신들에서의 메모리 또는 네트워크 기반 메모리와 같은 다수의 머신들에 걸쳐 메모리(504)가 분산될 수 있다. 본 명세서에서는 단일 버스로서 묘사되더라도, 이러한 장치(500)의 버스(512)는 다수의 버스들로 조성될 수 있다. 추가로, 보조 스토리지(514)가 이러한 장치(500)의 다른 컴포넌트들에 직접 연결될 수 있거나 또는 네트워크를 통해 액세스될 수 있고, 메모리 카드와 같은 단일 집적 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 따라서, 이러한 장치(500)는 매우 다양한 구성들로 구현될 수 있다.
VVC에서, 인터-코딩된 블록들의 모션 벡터들은 2개의 방식들: AMVP(Advanced motion vector prediction) 모드 또는 병합 모드로 시그널링될 수 있다. AVMP 모드에 의하면, 실제 모션 벡터와 MVP(motion vector prediction) 사이의 차이, AMVP 후보 리스트를 참조하는 참조 인덱스 및 MVP 인덱스가 시그널링되고, 참조 인덱스는 참조 블록이 모션 보상을 위해 복사되는 참조 화상을 포인팅한다. 병합 모드에 대해, 병합 후보 리스트를 참조하는 병합 인덱스가 시그널링되고, 병합 후보와 연관된 모든 모션 정보가 승계된다.
AMVP 후보 리스트 및 병합 후보 리스트 양자 모두에 대해, 이들은 시간적으로 또는 공간적으로 이웃하는 코딩된 블록들로부터 도출된다. 보다 구체적으로, 병합 후보 리스트는 다음의 4개의 타입들의 병합 MVP 후보들을 순서대로 체크하는 것에 의해 구성된다:
1. 도 6에 묘사되는 5개의 공간적 이웃 블록들, 즉, 좌측 하단 코너에 위치되는 블록들 A0 및 A1, 우측 상단 코너에 위치되는 블록들 B0 및 B1, 및 좌측 상단 코너에 위치되는 블록 B2로부터 결정될 수 있는, 공간적 병합 후보들.
2. TMVP(Temporal MVP) 병합 후보.
3. 조합된 쌍방-예측 병합 후보들.
4. 제로 모션 벡터 병합 후보들.
이용가능한 병합 후보들의 수가 시그널링된 최대 허용 병합 후보들(예를 들어, 공통 테스트 조건들에서 5개)에 일단 도달하면, 병합 후보 리스트 구성 프로세스가 종료된다. 최대 허용 병합 후보들은 상이한 조건들에서 상이할 수 있다는 점이 주목되어야 한다.
유사하게, AMVP 후보 리스트에 대해, 3개의 타입들의 MVP 후보들이 순서대로 체크된다:
1. 2개까지의 공간적 MVP 후보들, 여기서 2개 중 하나는 도 6에 묘사되는 바와 같이 블록 B0, B1, 및 B2로부터 결정되고, 2개 중 다른 하나는 도 6에 묘사되는 바와 같이 블록 A0 및 A1로부터 결정됨.
2. TMVP(Temporal MVP) 후보들.
3. 제로 MVP 후보들.
HMVP(history-based Motion Vector Prediction) 방법이 JVET-K0104에 의해 도입되고, 이는 ITU-T SG16 WP3 및 ISO/IEC JTC1/SC29/WG11(http://phenix.it-sudparis.eu/jvet/에서 액세스 가능함)의 JVET(Joint Video Experts Team)에 대한 입력 문헌이고, 여기서 HMVP 후보는 이전에 코딩된 블록의 모션 정보로서 정의된다. 인코딩/디코딩 프로세스 동안 다수의 HMVP 후보들이 있는 테이블이 유지된다. 새로운 슬라이스를 만날 때 이러한 테이블이 비워진다. 인터-코딩된 블록이 존재할 때마다, 연관된 모션 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다. 전체 코딩 흐름은 도 7에 묘사되고, 이는 다음을 포함한다:
단계 701. HMVP 후보들이 있는 테이블을 로딩함;
단계 702, 로딩된 테이블에서의 HMVP 후보들이 있는 블록을 디코딩함;
단계 703, 블록을 디코딩할 때 테이블을 디코딩된 모션 정보로 업데이트함.
단계들 701 내지 703은 순환적으로 수행될 수 있다.
병합 후보 리스트 구성 프로세스에서 HMVP 후보들이 사용될 수 있다. TMVP 후보 후에 테이블에서의 마지막 엔트리로부터 첫번째 엔트리까지의 모든 HMVP 후보들이 삽입된다. HMVP 후보들에 대해 프루닝이 적용될 수 있다. 이용가능한 병합 후보들의 수가 시그널링된 최대 허용 병합 후보들에 일단 도달하면, 병합 후보 리스트 구성 프로세스가 종료된다.
프루닝의 동작은 리스트에서의 동일한 모션 예측기 후보들을 식별하는 것 및 리스트로부터 동일한 후보들 중 하나를 제거하는 것을 나타낸다.
유사하게, AMVP 후보 리스트 구성 프로세스에서 HMVP 후보들이 또한 사용될 수 있다. TMVP 후보 후에 테이블에서의 마지막 K개의 HMVP 후보들의 모션 벡터들이 삽입된다. 일부 구현 방식들에서는, AMVP 타겟 참조 화상과 동일한 참조 화상이 있는 HMVP 후보들만이 AMVP 후보 리스트를 구성하기 위해 사용된다. HMVP 후보들에 대해 프루닝이 적용될 수 있다.
처리 효율을 개선하기 위해, WPP(wavefront parallel processing)라고 불리는 처리가 도입되고, 여기서 WPP 모드는 CTU들의 행들이 병렬로 처리되는 것을 허용한다. WPP 모드에서 각각의 CTU 행은 2개의 연속적인 CTU들의 지연을 사용하여 자신의 선행 (바로 인접한) CTU 행에 대해 처리된다. 예를 들어, 도 8을 참조하면, 화상 프레임 또는 화상 영역은 복수의 CTU 행들로 구성되고, 각각의 스레드(행)는 11개의 CTU들을 포함한다, 즉, 스레드 1은 CTU0 내지 CTU10을 포함하고, 스레드 2는 CTU11 내지 CTU21을 포함하고, 스레드 3은 CTU22 내지 CTU32를 포함하고, 스레드 4는 CTU33 내지 43을 포함는 등이다. 따라서, WPP 모드에서, 스레드 1에서의 CTU1의 인코딩/디코딩 프로세스가 완료될 때, 스레드 2에서의 CTU11의 인코딩/디코딩 프로세스가 시작될 수 있고, 유사하게, 스레드 2에서의 CTU12의 인코딩/디코딩 프로세스가 완료될 때, 스레드 3에서의 CTU22의 인코딩/디코딩 프로세스가 시작될 수 있고, 스레드 3에서의 CTU23의 인코딩/디코딩 프로세스가 완료될 때, 스레드 4에서의 CTU33의 인코딩/디코딩 프로세스가 시작될 수 있고, 스레드 4에서의 CTU34의 인코딩/디코딩 프로세스가 완료될 때, 스레드 5에서의 CTU44의 인코딩/디코딩 프로세스가 시작될 수 있다.
그러나, WPP를 HMVP와 조합할 때, 위에 진술된 바와 같이, 각각의 코딩 블록의 처리 후에 HMVP 리스트가 유지되고 업데이트되고, 따라서 CTU 행의 마지막 CTU까지 계속 업데이트되는 하나의 HMVP 리스트가 유지되고, 따라서 Thread-N이 위 CTU 행에서의 마지막 CTU의 처리가 완료되기를 기다릴 필요가 있기 때문에 파면 병렬 처리(wavefront parallel processing)가 수행될 수 없다.
도 9는 본 출원의 실시예에 따른 도 3의 비디오 디코더(30)와 같은, 비디오 디코더의 예시적인 동작을 도시하는 흐름도이다. 인터 예측 유닛(344)을 포함하는, 비디오 디코더(30)의 하나 이상의 구조적 엘리먼트가 도 9의 기법들을 수행하도록 구성될 수 있다. 도 9의 예에서, 비디오 디코더(30)는 다음의 단계들을 수행할 수 있다:
901. CTU 행의 처리의 시작에서, CTU 행에 대한 HMVP 리스트를 구성/초기화하는 것이 수행됨.
처리될 CTU가 CTU 행의 첫번째 CTU(시작 CTU)일 때, CTU 행에 대한 HMVP 리스트가 구성 또는 초기화되고, 따라서 CTU 행의 첫번째 CTU는 CTU 행에 대한 HMVP 리스트에 기초하여 처리될 수 있다.
이러한 방법이 인코딩 방법일 때 도 3의 인터 예측 유닛(344)에 의해 CTU 행에 대한 HMVP 리스트가 구성 또는 초기화될 수 있다. 대안적으로, 이러한 방법이 디코딩 방법일 때 도 2의 인터 예측 유닛(244)에 의해 CTU 행에 대한 HMVP 리스트가 구성 또는 초기화될 수 있다.
구현 방식에서, 화상 프레임에 대해, 모든 CTU 행이 상이한 HMVP 리스트로 유지될 수 있다. 다른 구현 방식에서, 화상 영역에 대해, 모든 CTU 행이 상이한 HMVP 리스트로 유지될 수 있고, 여기서 화상 영역은 복수의 CTU 행들에 의해 구성되고, 여기서 화상은 VVC의 슬라이스, 타일, 또는 브릭일 수 있다.
브릭이 화상에서의 특정 타일 내의 CTU 행들의 직사각형 영역인 경우, 타일은 다수의 브릭들로 파티셔닝될 수 있으며, 이들 각각은 타일 내의 하나 이상의 CTU 행으로 구성된다. 다수의 브릭들로 파티셔닝되지 않은 타일은 브릭이라고 또한 지칭된다. 그러나, 타일의 진정한 서브세트인 브릭은 타일이라고 지칭되지 않는다.
모든 CTU 행에 대해 상이한 HMVP 리스트를 유지하는 것은, 구체적인 HMVP 리스트가 CTU 행에 대해 유지될 수 있지만, 상이한 HMVP 리스트들에서의 후보들이 동일할 수 있다는 것, 예를 들어, 하나의 HMVP 리스트에서의 모든 후보들이 다른 HMVP 리스트에서의 후보들과 동일하다는 것만을 의미한다는 점이 주목되어야 하고, 하나의 HMVP 리스트에서의 후보들은 중복성을 갖지 않을 수 있거나; 또는 상이한 HMVP 리스트들에서의 후보들은 중첩을 가질 수 있고, 예를 들어, 하나의 HMVP 리스트에서의 후보들 중 일부는 다른 HMVP 리스트에서의 후보들 중 일부와 동일하고, 하나의 HMVP 리스트에서의 후보들 중 일부는 다른 HMVP 리스트에서의 동일한 것들을 갖지 않거나; 또는 상이한 HMVP 리스트들에서의 후보들은 완전히 상이할 수 있다, 예를 들어, 하나의 HMVP 리스트에서의 후보들 중 어느 것도 다른 HMVP 리스트에서의 동일한 것을 갖지 않는다는 점이 주목되어야 한다. CTU 행에서의 모든 CTU들이 처리되었을 때, CTU 행에 대한 유지된 HMVP 리스트가 해제될 수 있고 따라서 저장 요건을 감소시킬 수 있다는 점이 주목되어야 한다.
본 개시내용은 HMVP 리스트를 구성/초기화하기 위한 다음의 방식들을 제공한다:
방식 1: CTU 행의 처리의 시작에서, 대응하는 HMVP 리스트가 비워지거나 또는 디폴트 값들로 설정된다. 이러한 디폴트 값들은 인코더 및 디코더 양자 모두에 알려진 미리 결정된 후보이다.
예를 들어, 대응하는 HMVP 리스트는 다음과 같은 디폴트 MV들로 채워진다:
a) 단일 예측 방식으로부터의 MV들- MV는 제로 모션 벡터일 수 있고, 참조 화상들은 L0 리스트에서의 제1 참조 화상을 포함할 수 있음 -; 및/또는
b) 쌍방-예측 방식으로부터의 MV들- MV는 제로 모션 벡터일 수 있고, 참조 화상들은 L0 리스트에서의 제1 참조 화상 및 L1 리스트에서의 제1 참조 화상을 포함할 수 있음 -; 및/또는
c) 화상 처리 순서에 따라 이전에 처리된 화상의 MV들. 보다 구체적으로, 현재 블록 위치가 이전 화상 상에 중첩될 때, 이전에 처리된 화상에 속하는 그리고 현재 블록의 공간적 근처에 있는 MV들. 및/또는
d) 시간적 HMVP 리스트의 MV들- 각각의 공동-위치된 화상은 각각의 CTU 행에 대한 또는 전체 화상에 대한 시간적 HMVP 리스트를 저장할 수 있고, 따라서 현재 CTU 행에 대한 HMVP 리스트를 구성/초기화하기 위해 이러한 시간적 HMVP 리스트가 사용될 수 있음 -.
방식 2: 현재 CTU 행의 처리의 시작에서, 이전 CTU 행의 두번째 CTU의 HMVP 리스트에 기초하여 대응하는 HMVP 리스트가 구성/초기화되고, 여기서 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단에 있는 CTU 행이다.
도 8을 예로서 취하면, 현재 CTU 행이 스레드 2의 CTU 행일 때, 이전 CTU 행은 스레드 1의 CTU 행이고, 이전 행의 두번째 CTU는 CTU1이고; 현재 CTU 행이 스레드 3의 CTU 행일 때, 이전 CTU 행은 스레드 2의 CTU 행이고, 이전 행의 두번째 CTU는 CTU12이고; 현재 CTU 행이 스레드 4의 CTU 행일 때, 이전 CTU 행은 스레드 3의 CTU 행이고, 이전 행의 두번째 CTU는 CTU23이고; 현재 CTU 행이 스레드 5의 CTU 행일 때, 이전 CTU 행은 스레드 4의 CTU 행이고, 이전 행의 두번째 CTU는 CTU34이고; 현재 CTU 행이 스레드 6의 CTU 행일 때, 이전 CTU 행은 스레드 5의 CTU 행이고, 이전 행의 두번째 CTU는 CTU45이다.
방식 3: 현재 CTU 행의 처리의 시작에서, 이전 CTU 행의 첫번째 CTU의 HMVP 리스트에 기초하여 대응하는 HMVP 리스트가 구성/초기화되고, 여기서 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단에 있는 CTU 행이다.
도 8을 예로서 취하면, 현재 CTU 행이 스레드 2의 CTU 행일 때, 이전 CTU 행은 스레드 1의 CTU 행이고, 이전 행의 첫번째 CTU는 CTU0이고; 현재 CTU 행이 스레드 3의 CTU 행일 때, 이전 CTU 행은 스레드 2의 CTU 행이고, 이전 행의 첫번째 CTU는 CTU11이고; 현재 CTU 행이 스레드 4의 CTU 행일 때, 이전 CTU 행은 스레드 3의 CTU 행이고, 이전 행의 첫번째 CTU는 CTU22이고; 현재 CTU 행이 스레드 5의 CTU 행일 때, 이전 CTU 행은 스레드 4의 CTU 행이고, 이전 행의 첫번째 CTU는 CTU33이고; 현재 CTU 행이 스레드 6의 CTU 행일 때, 이전 CTU 행은 스레드 5의 CTU 행이고, 이전 행의 첫번째 CTU는 CTU44이다.
방식 1 내지 방식 3에 따르면, 현재 CTU 행의 처리는 완료되고 있는 현재 CTU 행의 이전 CTU 행의 처리를 기다릴 필요가 없고, 따라서 현재 화상 프레임의 처리 효율을 개선할 수 있다.
902. 구성된/초기화된 HMVP 리스트에 기초하여 CTU 행에서의 CTU를 처리함.
CTU의 처리는 디코딩 프로세스 동안 수행되는 인터 예측 처리일 수 있다, 즉, CTU의 처리는 도 3의 인터 예측 유닛(344)에 의해 구현될 수 있다. 대안적으로, CTU의 처리는 인코딩 프로세스 동안 수행되는 인터 예측 처리일 수 있다, 즉, CTU의 처리는 도 2의 인터 예측 유닛(244)에 의해 구현될 수 있다.
HMVP 리스트를 구성/초기화하기 위한 위 방식들은 또한 파면들이 없는 정상적인 HMVP 처리, 예를 들어, WPP가 없는 HMVP 처리를 위해 사용될 수 있다는 점이 주목되어야 한다. 결과로서 HMVP 처리는 WPP의 적용과 무관하게 동일하고, 이는 추가적인 로직 구현의 필요성을 감소시킨다.
도 9의 처리는 또한, 본 출원의 실시예에 따른 도 2의 비디오 인코더(20)와 같은, 인코더에 의해 구현되는 인코딩 프로세스일 수 있다는 점이 주목되어야 한다.
추가로, 파면들과 HMVP 기반 예측의 조합에 관한 위에 언급된 방법들이 인트라 예측을 위해 또한 사용될 수 있다는 점이 주목되어야 한다. 즉, 이력 인트라 모드들이 사용될 수 있고, 각각의 CTU 행에 대한 이력 테이블이 디폴트 값들로 초기화된다.
예를 들어, 인트라 예측에서의 각각의 CTU 행에 대한 HMVP 리스트의 초기화는 평면, DC, 수직, 수평, 모드 2, VDIA 및 DIA 모드들과 같은 디폴트 인트라 모드들로 행해질 수 있다.
도 10은, 본 출원의 실시예에 따른 도 3의 비디오 디코더(30) 및 본 출원의 실시예에 따른 도 2의 비디오 인코더(20)와 같은, 비디오 디코더 또는 비디오 인코더의 예시적인 동작을 예시하는 흐름도이다. 인터 예측 유닛(344)/인터 예측 유닛(244)을 포함하는, 비디오 디코더(30)/인코더(20)의 하나 이상의 구조적 엘리먼트가 도 10의 기법들을 수행하도록 구성될 수 있다. 도 10의 예에서, 비디오 디코더(30)/비디오 인코더(20)는 다음의 단계들을 수행할 수 있다:
단계 1010: 현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU 행에 대한 HMVP 리스트를 초기화함.
현재 CTU 행은 복수의 CTU 행들로 구성되는 화상 프레임의 임의의 CTU 행이거나 또는 복수의 CTU 행들로 구성되는 화상 영역(화상 프레임의 일부분일 수 있음)일 수 있다는 점이 주목되어야 한다. 그리고 현재 CTU 행은 복수의 CTU 행들 중 어느 하나일 수 있다.
현재 CTU의 인덱스에 기초하여 현재 CTU가 현재 CTU 행의 시작 CTU(또는 첫번째 CTU)인지 결정될 수 있다. 예를 들어, 도 8에 개시된 바와 같이, 각각의 CTU는 고유 인덱스를 갖고, 따라서 현재 CTU의 인덱스에 기초하여 현재 CTU가 현재 CTU 행의 첫번째 CTU인지 결정할 수 있다. 예를 들어, 인덱스가 0, 11, 22, 33, 44 또는 55...인 CTU들이 각각 CTU 행들의 첫번째 CTU이다. 대안적으로, 도 8을 예로서 취하면, 각각의 CTU 행은 11개의 CTU들을 포함하고, 즉, 각각의 CTU 행의 폭은 11이고, 따라서 CTU 행의 폭을 사용하여 CTU의 인덱스를 분할하여 나머지가 0인지 여부를 결정할 수 있고, 나머지가 0이면, 대응하는 CTU가 CTU 행의 첫번째 CTU이고; 그렇지 않고, 나머지가 0이 아니면, 대응하는 CTU는 CTU 행의 첫번째 CTU가 아니다. 즉, CTU의 인덱스 % CTU 행의 폭 = 0이면, 해당 CTU는 CTU 행의 첫번째 CTU이고; 그렇지 않고, CTU 행의 인덱스 % CTU 행의 폭 ≠ 0이면, 해당 CTU는 CTU 행의 첫번째 CTU가 아니다. CTU 행의 프로세스가 우측으로부터 좌측으로일 때, CTU가 CTU 행의 시작 CTU인지가 유사한 방식으로 결정할 수 있다는 점이 주목되어야 한다.
HMVP 리스트의 초기화 후에, 초기화된 HMVP 리스트에서의 후보 모션 벡터들의 수량은 제로이다.
초기화는 현재 CTU 행에 대한 HMVP 리스트를 비우는 것으로서 수행될 수 있다, 즉, 현재 CTU 행에 대한 HMVP 리스트를 비우게 한다, 다시 말해서, 현재 CTU 행에 대한 HMVP 리스트에서의 후보들의 수는 제로이다.
다른 구현 방식에서, 이러한 방법은 다음의 단계: 현재 CTU 행을 제외한 복수의 CTU 행들 각각에 대한 HMVP 리스트를 초기화하는 단계- 복수의 CTU 행들에 대한 HMVP 리스트들은 동일하거나 또는 상이함 -를 추가로 포함할 수 있다.
초기화는 위에 설명된 바와 같이 현재 CTU 행에 대한 HMVP 리스트에 대해 디폴트 값들을 설정하는 것, 또는 이전 CTU 행의 CTU의 HMVP 리스트에 기초하여 현재 CTU 행에 대한 HMVP 리스트를 초기화하는 것으로서 수행될 수 있다.
단계 1020, HMVP 리스트에 기초하여 현재 CTU 행을 처리함.
이러한 처리는 인터 예측 처리일 수 있고, 따라서 예측 블록이 획득될 수 있다. 재구성된 블록을 획득하기 위해 예측 블록에 기초하여 재구성이 수행될 수 있고, 마지막으로는 재구성된 블록에 기초하여 디코딩된 화상이 획득될 수 있다. 이러한 프로세스의 상세사항들은 위에 설명된다.
도 8에 도시되는 바와 같이, 현재 화상 프레임은 복수의 CTU 행들을 포함하고, 코딩/디코딩 효율을 개선하기 위해, 이러한 복수의 CTU 행들은 WPP(wavefront parallel processing) 모드에서 처리될 수 있다. 즉, 이전 CTU 행의 특정 CTU가 처리될 때 현재 CTU 행이 처리되기 시작하고(또는 현재 CTU 행의 처리가 시작됨), 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단 상에 있는 CTU 행이고, 이전 CTU 행의 특정 CTU는 이전 CTU 행의 두번째 CTU이거나; 또는 이전 CTU 행의 특정 CTU는 이전 CTU 행의 첫번째 CTU이다. 예를 들어 도 8을 취하면, 현재 CTU 행이 스레드 3일 때, 이전 CTU 행은 스레드 2이고, 이전 CTU 행의 특정 CTU는 CTU 12일 수 있다, 즉, CTU 12가 처리될 때, 디코더/인코더는 스레드 3의 CTU 행을 처리하기 시작한다, 즉, 디코더/인코더는 CTU 22를 처리하기 시작한다. 다른 예를 들어 도 8을 취하면, 현재 CTU 행이 스레드 4일 때, 이전 CTU 행은 스레드 3이고, 이전 CTU 행의 특정 CTU는 CTU 23일 수 있다, 즉, CTU 23이 처리될 때, 디코더/인코더는 스레드 4의 CTU 행을 처리하기 시작한다, 즉, 디코더/인코더는 CTU 33을 처리하기 시작한다.
하나의 구현 방식에서, HMVP 리스트에 기초하여 현재 CTU 행을 처리하는 단계는, 현재 CTU 행의 현재 CTU를 처리하는 단계; 처리된 현재 CTU에 기초하여 초기화된 HMVP 리스트를 업데이트하는 단계; 및 업데이트된 HMVP 리스트에 기초하여 현재 CTU 행의 두번째 CTU를 처리하는 단계를 포함한다.
도 11은 본 발명의 실시예들을 구현하도록 구성되는 비디오 처리 장치(1100)의 예를 도시하는 블록도이고, 이러한 비디오 처리 장치(1100)는 인코더(20) 또는 디코더(30)일 수 있고, 도 11에 도시되는 바와 같이, 이러한 장치는 다음을 포함한다:
현재 CTU가 현재 CTU 행의 시작 CTU(첫번째 CTU)일 때 현재 CTU 행에 대한 HMVP 리스트를 초기화하도록 구성되는 초기화 유닛(1110).
초기화 유닛(1110)에 의해 수행되는 초기화의 상세사항은 단계 1010을 참조할 수 있다.
HMVP 리스트에 기초하여 현재 CTU 행을 처리하도록 구성되는 처리 유닛(1120).
처리 유닛(1120)에 의해 수행되는 처리의 상세사항은 단계 1020을 참조할 수 있다.
이러한 처리는 인터 예측 처리일 수 있고, 따라서 예측 블록이 획득될 수 있다. 재구성된 블록을 획득하기 위해 예측 블록에 기초하여 재구성이 수행될 수 있고, 마지막으로는 재구성된 블록에 기초하여 디코딩된 화상이 획득될 수 있다. 이러한 프로세스의 상세사항들은 위에 설명된다.
도 8에 도시되는 바와 같이, 현재 화상 프레임은 복수의 CTU 행들을 포함하고, 코딩/디코딩 효율을 개선하기 위해, 이러한 복수의 CTU 행들은 WPP 모드에서 처리될 수 있다. 즉, 이전 CTU 행의 특정 CTU가 처리될 때 현재 CTU 행이 처리되기 시작하고, 이전 CTU 행은 현재 CTU 행에 바로 인접하는 그리고 현재 CTU 행의 상단 상에 있는 CTU 행이고, 이전 CTU 행의 특정 CTU는 이전 CTU 행의 두번째 CTU이거나; 또는 이전 CTU 행의 특정 CTU는 이전 CTU 행의 첫번째 CTU이다. 예를 들어 도 8을 취하면, 현재 CTU 행이 스레드 3일 때, 이전 CTU 행은 스레드 2이고, 이전 CTU 행의 특정 CTU는 CTU 12일 수 있다, 즉, CTU 12가 처리될 때, 디코더/인코더는 스레드 3의 CTU 행을 처리하기 시작한다, 즉, 디코더/인코더는 CTU 22를 처리하기 시작한다. 다른 예를 들어 도 8을 취하면, 현재 CTU 행이 스레드 4일 때, 이전 CTU 행은 스레드 3이고, 이전 CTU 행의 특정 CTU는 CTU 23일 수 있다, 즉, CTU 23이 처리될 때, 디코더/인코더는 스레드 4의 CTU 행을 처리하기 시작한다, 즉, 디코더/인코더는 CTU 33을 처리하기 시작한다.
본 개시내용은, 본 개시내용의 비디오 처리 방법 또는 코딩의 방법을 수행하기 위한 처리 회로를 포함하는, 인코더를 추가로 개시한다.
본 개시내용은, 본 개시내용의 비디오 처리 방법 또는 코딩의 방법을 수행하기 위한 처리 회로를 포함하는, 디코더를 추가로 개시한다.
본 개시내용은 본 개시내용의 비디오 처리 방법 또는 코딩의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 추가로 개시한다.
본 개시내용은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 본 개시내용의 비디오 처리 방법 또는 코딩의 방법을 수행하게 하는, 컴퓨터 명령어들을 저장하는 컴퓨터-판독가능 저장 매체를 추가로 개시한다. 이러한 컴퓨터-판독가능 저장 매체는 비-일시적이거나 또는 일시적이다.
본 개시내용은 디코더를 추가로 개시하고, 이는 하나 이상의 프로세서; 및 프로세서들에 연결되는 그리고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 프로그래밍은, 프로세서들에 의해 실행될 때, 본 개시내용의 비디오 처리 방법 또는 코딩의 방법을 수행하도록 디코더를 구성함 -를 포함한다.
본 개시내용은 인코더를 추가로 개시하고, 이는 하나 이상의 프로세서; 및 프로세서들에 연결되는 그리고 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 프로그래밍은, 프로세서들에 의해 실행될 때, 본 개시내용의 비디오 처리 방법 또는 코딩의 방법을 수행하도록 인코더를 구성함 -를 포함한다.
HMVP 리스트에 대한 초기화 프로세스는 VVC (Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Versatile Video Coding (Draft 6))의 일반적인 슬라이스 데이터 신택스에서 설명되고, VVC의 섹션 7.3.8.1은 다음을 나열한다:
Figure 112021012629108-pct00001
여기서 j % BrickWidth[ SliceBrickIdx[ i ] ] ) = = 0은 인덱스가 j인 CTU가 CTU 행의 시작 CTU라는 점을 의미하고, NumHmvpCand = 0은 HMVP 리스트에서의 후보들의 수량이 0으로 설정된다는, 다시 말해서, HMVP 리스트가 비워진다는 점을 의미한다.
HMVP 리스트에 대한 업데이트 프로세스는 VVC (Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Versatile Video Coding (Draft 6))의 섹션 8.5.2.16에서 설명되고, 이는 다음을 나열한다:
이러한 프로세스에 대한 입력들은 다음과 같다:
1/16 분수-샘플 정확도에서의 루마 모션 벡터들 mvL0 및 mvL1,
참조 인덱스들 refIdxL0 및 refIdxL1,
예측 리스트 이용 플래그들 predFlagL0 및 predFlagL1
쌍방-예측 가중 인덱스 bcwIdx.
MVP 후보 hMvpCand는 루마 모션 벡터들 mvL0 및 mvL1, 참조 인덱스들 refIdxL0 및 refIdxL1, 예측 리스트 이용 플래그들 predFlagL0 및 predFlagL1, 및 쌍방-예측 가중 인덱스 bcwIdx로 구성된다.
후보 리스트 HmvpCandList는 다음의 순서화된 단계들에 의해 후보 hMvpCand를 사용하여 수정된다:
변수 identicalCandExist는 FALSE와 동일하게 설정되고 변수 removeIdx는 0과 동일하게 설정된다.
NumHmvpCand가 0 초과일 때, hMvpIdx=0..NumHmvpCand - 1인 각각의 인덱스 hMvpIdx에 대해, identicalCandExist가 TRUE와 동일할 때까지 다음의 단계들이 적용된다:
hMvpCand가 HmvpCandList[ hMvpIdx ]와 동일할 때, identicalCandExist는 TRUE와 동일하게 설정되고 removeIdx는 hMvpIdx와 동일하게 설정된다.
후보 리스트 HmvpCandList는 다음과 같이 업데이트된다:
identicalCandExist가 TRUE와 동일하거나 또는 NumHmvpCand가 5와 동일하면, 다음이 적용된다:
i = ( removeIdx + 1 )..( NumHmvpCand - 1 )인 각각의 인덱스 i에 대해, HmvpCandList[ i - 1]는 HmvpCandList[ i ]와 동일하게 설정된다.
HmvpCandList[ NumHmvpCand - 1 ] 는 mvCand와 동일하게 설정된다.
그렇지 않으면(identicalCandExist가 FALSE와 동일하고 NumHmvpCand가 5 미만임), 다음이 적용된다:
HmvpCandList[ NumHmvpCand++ ]는 mvCand와 동일하게 설정된다.
하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되면 이러한 기능들은 컴퓨터-판독가능한 매체 상의 하나 이상의 명령어 또는 코드로서 저장되거나 또는 송신될 수 있고 하드웨어-기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터-판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는, 컴퓨터-판독가능 저장 매체, 또는, 예를 들어, 통신 프로토콜에 따라, 하나의 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터-판독가능 매체는 일반적으로, (1) 비-일시적인 유형의 컴퓨터-판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는, 본 개시내용에서 설명되는 기법들의 구현을 위한 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수 있다.
제한이 아니라, 예로서, 이러한 컴퓨터-판독가능 저장 매체는, RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령어들 또는 데이터 구조의 형태로 저장하기 위해 사용될 수 있는 그리고 컴퓨터에 의해 액세스될 수 있는 다른 임의의 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체라고 적절히 칭해진다. 예를 들어, 명령어들이, 동축 케이블, 광 섬유 케이블, 트위스티드 페어(twisted pair), DSL(digital subscriber line), 또는 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들을 사용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되면, 이러한 동축 케이블, 광 섬유 케이블, 트위스티드 페어, DSL, 또는 적외선, 무선, 및 마이크로웨이브와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는, 접속들, 반송파들, 신호들, 또는 다른 일시적인 매체를 포함하지 않고, 그 대신에, 비-일시적인, 유형의 저장 매체와 관련된다는 점이 이해되어야 한다. 본 명세서에서 사용되는 바와 같은, 디스크(disk 및 disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크 및 Blu-ray 디스크를 포함하고, 여기서 disk들은 일반적으로 데이터를 자기적으로 재생성하는 반면, disc들은 데이터를 레이저들로 광학적으로 재생성한다. 위의 것의 조합들이 컴퓨터-판독가능 매체의 범위 내에 또한 포함되어야 한다.
하나 이상의 DSP(digital signal processors), 범용 마이크로프로세서, ASIC(application specific integrated circuits), FPGA(field programmable logic arrays), 또는 다른 동등한 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서에 의해 명령어들이 실행될 수 있다. 따라서, 본 명세서에서 사용되는 바와 같은 "프로세서(processor)"이라는 용어는 본 명세서에서 설명되는 기법들의 구현에 적합한 임의의 다른 구조 또는 전술한 구조 중 임의의 것을 지칭할 수 있다. 또한, 일부 양태들에서, 본 명세서에서 설명되는 기능성은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공되거나, 또는 조합된 코덱에 포함될 수 있다. 또한, 이러한 기법들은 하나 이상의 회로 또는 로직 엘리먼트에서 완전히 구현될 수 있다.
본 개시내용의 기법들은, 무선 핸드셋, IC(integrated circuit) 또는 IC들의 세트(예를 들어, 칩 세트)를 포함하는, 매우 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해 본 개시내용에서는 다양한 컴포넌트들, 모듈들, 또는 유닛들이 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 오히려, 위에 설명된 바와 같이, 다양한 유닛들은, 적합한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에서 조합되거나 또는, 위에 설명된 하나 이상의 프로세서를 포함하는, 연동 하드웨어 유닛들의 집합에 의해 제공될 수 있다.

Claims (30)

  1. 비디오 처리 방법으로서,
    현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU(coding tree unit) 행에 대한 HMVP(history-based motion vector prediction) 리스트를 초기화하는 단계; 및
    상기 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 초기화된 HMVP 리스트에서의 후보 모션 벡터들의 수량은 제로인 방법.
  3. 제1항에 있어서, 상기 현재 CTU 행은 복수의 CTU 행들로 구성되는 화상 영역에 속하고, 상기 현재 CTU 행은 상기 복수의 CTU 행들 중 어느 하나인 방법.
  4. 제1항에 있어서,
    상기 현재 CTU 행을 제외한 상기 복수의 CTU 행들 각각에 대한 HMVP 리스트를 초기화하는 단계- 상기 복수의 CTU 행들에 대한 HMVP 리스트들은 동일하거나 또는 상이함 -를 추가로 포함하는 방법.
  5. 제1항에 있어서, 상기 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하는 단계는,
    상기 현재 CTU 행의 현재 CTU를 처리하는 단계;
    상기 처리된 현재 CTU에 기초하여 상기 초기화된 HMVP 리스트를 업데이트하는 단계; 및
    상기 업데이트된 HMVP 리스트에 기초하여 상기 현재 CTU 행의 두번째 CTU를 처리하는 단계를 포함하는 방법.
  6. 제1항에 있어서, 상기 HMVP 리스트는 상기 현재 CTU 행의 처리된 CTU에 따라 업데이트되는 방법.
  7. 제1항에 있어서, 상기 현재 CTU 행에 대한 HMVP 리스트는:
    상기 현재 CTU 행에 대한 HMVP 리스트를 비우는 단계에 의해 초기화되는 방법.
  8. 제1항에 있어서, 상기 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하는 단계는,
    상기 현재 CTU 행의 두번째 CTU로부터의 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하는 단계- 상기 두번째 CTU는 상기 시작 CTU에 인접함 -를 포함하는 방법.
  9. 제3항에 있어서, 상기 복수의 CTU 행들은 WPP(wavefront parallel processing) 모드에서 처리되는 방법.
  10. 제9항에 있어서, 상기 현재 CTU 행은 이전 CTU 행의 특정 CTU가 처리될 때 처리되기 시작하는 방법.
  11. 제10항에 있어서, 상기 이전 CTU 행은 상기 현재 CTU 행에 바로 인접하는 그리고 상기 현재 CTU 행의 상단에 있는 CTU 행인 방법.
  12. 제10항에 있어서, 상기 이전 CTU 행의 특정 CTU는 상기 이전 CTU 행의 두번째 CTU이거나; 또는 상기 이전 CTU 행의 특정 CTU는 상기 이전 CTU 행의 첫번째 CTU인 방법.
  13. 비디오 처리 장치로서,
    현재 CTU가 현재 CTU 행의 시작 CTU일 때 현재 CTU(coding tree unit) 행에 대한 HMVP(history-based motion vector prediction) 리스트를 초기화하도록 구성되는 초기화 유닛; 및
    상기 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하도록 구성되는 처리 유닛을 포함하는 장치.
  14. 제13항에 있어서, 상기 초기화된 HMVP 리스트에서의 후보 모션 벡터들의 수량은 제로인 장치.
  15. 제13항에 있어서, 상기 현재 CTU 행은 복수의 CTU 행들로 구성되는 화상 영역에 속하고, 상기 현재 CTU 행은 상기 복수의 CTU 행들 중 어느 하나인 장치.
  16. 제15항에 있어서, 상기 초기화 유닛은,
    상기 현재 CTU 행을 제외한 상기 복수의 CTU 행들 각각에 대한 HMVP 리스트를 초기화하도록- 상기 복수의 CTU 행들에 대한 HMVP 리스트들은 동일하거나 또는 상이함 - 추가로 구성되는 장치.
  17. 제13항에 있어서, 상기 처리 유닛은 다음과 같이 상기 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하도록:
    상기 현재 CTU 행의 현재 CTU를 처리하도록;
    상기 처리된 현재 CTU에 기초하여 상기 초기화된 HMVP 리스트를 업데이트하도록; 그리고
    상기 업데이트된 HMVP 리스트에 기초하여 상기 현재 CTU 행의 두번째 CTU를 처리하도록 구성되는 장치.
  18. 제13항에 있어서, 상기 HMVP 리스트는 상기 현재 CTU 행의 처리된 CTU에 따라 업데이트되는 장치.
  19. 제13항에 있어서, 상기 초기화 유닛은, 상기 현재 CTU 행에 대한 HMVP 리스트를 비워서, 상기 현재 CTU 행에 대한 HMVP 리스트를 초기화하도록 추가로 구성되는 장치.
  20. 제13항에 있어서, 상기 처리 유닛은 다음과 같이 상기 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하도록:
    상기 현재 CTU 행의 두번째 CTU로부터의 HMVP 리스트에 기초하여 상기 현재 CTU 행을 처리하도록- 상기 두번째 CTU는 상기 시작 CTU에 인접함 - 추가로 구성되는 장치.
  21. 제13항에 있어서, 상기 복수의 CTU 행들은 WPP(wavefront parallel processing) 모드에서 처리되는 장치.
  22. 제21항에 있어서, 상기 현재 CTU 행은 이전 CTU 행의 특정 CTU가 처리될 때 처리되기 시작하는 장치.
  23. 제22항에 있어서, 상기 이전 CTU 행은 상기 현재 CTU 행에 바로 인접하는 그리고 상기 현재 CTU 행의 상단에 있는 CTU 행인 장치.
  24. 제22항에 있어서, 상기 이전 CTU 행의 특정 CTU는 상기 이전 CTU 행의 두번째 CTU이거나; 또는 이전 CTU 행의 특정 CTU는 이전 CTU 행의 첫번째 CTU인 장치.
  25. 인코더로서, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하기 위한 처리 회로를 포함하는 인코더.
  26. 디코더로서, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하기 위한 처리 회로를 포함하는 디코더.
  27. 프로그램을 기록하고 있는 컴퓨터-판독가능 저장 매체로서, 상기 프로그램은 컴퓨터가 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하게 하는 컴퓨터-판독가능 저장 매체.
  28. 컴퓨터-판독가능 저장 매체 상에 저장되는 컴퓨터 프로그램으로서, 컴퓨터로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하게 하도록 구성되는 컴퓨터 프로그램.
  29. 디코더로서,
    하나 이상의 프로세서; 및
    상기 프로세서들에 연결되는 그리고 상기 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 상기 프로그래밍은, 상기 프로세서들에 의해 실행될 때, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하도록 상기 디코더를 구성함 -를 포함하는 디코더.
  30. 인코더로서,
    하나 이상의 프로세서; 및
    상기 프로세서들에 연결되는 그리고 상기 프로세서들에 의한 실행을 위한 프로그래밍을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체- 상기 프로그래밍은, 상기 프로세서들에 의해 실행될 때, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하도록 상기 인코더를 구성함 -를 포함하는 인코더.
KR1020217003190A 2018-08-10 2019-08-12 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램 KR102542433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237019168A KR20230087621A (ko) 2018-08-10 2019-08-12 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862717004P 2018-08-10 2018-08-10
US62/717,004 2018-08-10
PCT/CN2019/100226 WO2020030187A1 (en) 2018-08-10 2019-08-12 Video processing method, video processing apparatus, encoder, decoder, medium and computer program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237019168A Division KR20230087621A (ko) 2018-08-10 2019-08-12 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20210025645A KR20210025645A (ko) 2021-03-09
KR102542433B1 true KR102542433B1 (ko) 2023-06-13

Family

ID=69415390

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237019168A KR20230087621A (ko) 2018-08-10 2019-08-12 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램
KR1020217003190A KR102542433B1 (ko) 2018-08-10 2019-08-12 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237019168A KR20230087621A (ko) 2018-08-10 2019-08-12 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램

Country Status (10)

Country Link
US (2) US11653032B2 (ko)
EP (1) EP3815358A4 (ko)
JP (2) JP7237144B2 (ko)
KR (2) KR20230087621A (ko)
CN (1) CN112534808A (ko)
AU (2) AU2019316899A1 (ko)
BR (1) BR112021001813A2 (ko)
CA (1) CA3106486A1 (ko)
IL (1) IL280708A (ko)
WO (1) WO2020030187A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369030B (zh) * 2018-07-06 2023-11-10 寰发股份有限公司 解码器的视频解码方法及装置
US11089297B2 (en) * 2018-08-31 2021-08-10 Hulu, LLC Historical motion vector prediction with reset list
AU2019364883B2 (en) 2018-10-24 2023-07-20 Huawei Technologies Co., Ltd. A method and an apparatus for determining motion information for a current block, a method and an apparatus for constructing and updating a history-based motion vector predictor list, and non-transitory computer-readable storage medium, and video encoding/decoding methods and apparatus
MX2021007197A (es) 2018-12-21 2021-07-21 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes que utilizan prediccion de vectores de movimiento basada en historial.
WO2020200236A1 (en) * 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
US11936916B2 (en) * 2019-06-25 2024-03-19 Lg Electronics Inc. Image decoding method using lossless coding in image coding system and apparatus therefor
CN114270856A (zh) 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170127086A1 (en) * 2014-06-19 2017-05-04 Hfi Innovation Inc. Method and Apparatus of Candidate Generation for Single Sample Mode in Video Coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9596466B2 (en) 2011-12-23 2017-03-14 Electronics And Telecommunications Research Institute Method and apparatus for setting reference picture index of temporal merging candidate
BR112014013969B1 (pt) 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de decodificação de vídeo, método de decodificação de vídeo, programa de decodificação de vídeo
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10321141B2 (en) 2013-12-18 2019-06-11 Hfi Innovation Inc. Method and apparatus for palette initialization and management
KR101961384B1 (ko) * 2014-07-07 2019-03-25 에이치에프아이 이노베이션 인크. 인트라 블록 카피 검색 및 보상 범위의 방법
WO2020003269A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for lut updating
CN112369030B (zh) * 2018-07-06 2023-11-10 寰发股份有限公司 解码器的视频解码方法及装置
US11606575B2 (en) 2018-07-10 2023-03-14 Qualcomm Incorporated Multiple history based non-adjacent MVPs for wavefront processing of video coding
US10491902B1 (en) * 2018-07-16 2019-11-26 Tencent America LLC Method and apparatus for history-based motion vector prediction
US10440378B1 (en) 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing
KR102286460B1 (ko) * 2018-07-18 2021-08-04 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 히스토리-기반 모션 벡터 예측을 사용한 비디오 코딩 방법 및 장치
CN116708821A (zh) * 2018-10-02 2023-09-05 Lg电子株式会社 图像编解码方法、存储介质和数据发送方法
KR20230088839A (ko) * 2018-10-04 2023-06-20 엘지전자 주식회사 히스토리 기반 영상 코딩 방법 및 그 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170127086A1 (en) * 2014-06-19 2017-05-04 Hfi Innovation Inc. Method and Apparatus of Candidate Generation for Single Sample Mode in Video Coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li Zhang et al., "CE4-related: History-based Motion Vector Prediction", JVET-K0104, version 5, 2018.7.18.*

Also Published As

Publication number Publication date
US20200404342A1 (en) 2020-12-24
CN112534808A (zh) 2021-03-19
WO2020030187A1 (en) 2020-02-13
IL280708A (en) 2021-03-25
BR112021001813A2 (pt) 2021-04-27
KR20230087621A (ko) 2023-06-16
AU2023214281A1 (en) 2023-08-31
EP3815358A1 (en) 2021-05-05
EP3815358A4 (en) 2021-05-05
JP2023038228A (ja) 2023-03-16
JP7237144B2 (ja) 2023-03-10
JP2021533696A (ja) 2021-12-02
CA3106486A1 (en) 2020-02-13
KR20210025645A (ko) 2021-03-09
US11653032B2 (en) 2023-05-16
AU2019316899A1 (en) 2021-02-04
US20230319322A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US11765383B2 (en) Video decoder and methods
KR102542433B1 (ko) 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램
CN111107356B (zh) 图像预测方法及装置
US11438578B2 (en) Video picture prediction method and apparatus
KR20210018490A (ko) 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들
WO2020073911A1 (en) Devices and methods for image and video coding
US20210337211A1 (en) Encoder, a decoder and corresponding methods of deblocking filter adaptation
KR20220024877A (ko) 이중 예측 옵티컬 플로 계산 및 이중 예측 보정에서 블록 레벨 경계 샘플 그레이디언트 계산을 위한 정수 그리드 참조 샘플의 위치를 계산하는 방법
US11503290B2 (en) Video encoder, video decoder and methods
WO2020069632A1 (en) A video encoder, a video decoder and corresponding methods
RU2783349C2 (ru) Способ обработки видео, устройство обработки видео, кодер, декодер, носитель и компьютерная программа

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent