KR102558336B1 - 비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정 - Google Patents

비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정 Download PDF

Info

Publication number
KR102558336B1
KR102558336B1 KR1020227026161A KR20227026161A KR102558336B1 KR 102558336 B1 KR102558336 B1 KR 102558336B1 KR 1020227026161 A KR1020227026161 A KR 1020227026161A KR 20227026161 A KR20227026161 A KR 20227026161A KR 102558336 B1 KR102558336 B1 KR 102558336B1
Authority
KR
South Korea
Prior art keywords
luma
samples
chroma
block
video
Prior art date
Application number
KR1020227026161A
Other languages
English (en)
Other versions
KR20220112859A (ko
Inventor
이-원 천
샤오위 슈
중-촨 마
홍-정 주
샹린 왕
빙 위
Original Assignee
베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority to KR1020237023058A priority Critical patent/KR20230107417A/ko
Publication of KR20220112859A publication Critical patent/KR20220112859A/ko
Application granted granted Critical
Publication of KR102558336B1 publication Critical patent/KR102558336B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 출원은 비디오 프레임에서 복수의 픽셀의 복수의 루마 성분을 포함하는 비디오 데이터를 디코딩하는 것에 관한 것이다. 복수의 픽셀은 코딩 블록에 속하며, 코딩 블록 내부에 있는 경계 픽셀을 포함하고, 경계 픽셀은 코딩 블록의 경계에 바로 인접한다. 경계 픽셀의 하나 이상의 이웃 픽셀은 코딩 블록의 외부에 있고 이용 가능하지 않은 것으로 결정된다. 경계 픽셀에 대응하는 루마 성분은 하나 이상의 이웃 픽셀 각각에 대응하는 각각의 루마 성분에 할당된다. 경계 루마 성분은 미리 정의된 루마 보간 방식에 따라 적어도 하나 이상의 이웃 픽셀 및 경계 픽셀의 루마 성분에 기초하여 결정된다. 경계 크로마 성분은 선형 매핑 모델에 따라 경계 루마 성분으로부터 변환된다.

Description

비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정
본 출원은 2019년 12월 30일에 출원된 미국 가특허 출원 제62/955,348호('교차 성분 선형 모델의 단순화')에 대한 우선권을 주장하며, 이것은 그 전체가 참조로서 포함된다.
본 출원은 일반적으로 비디오 데이터 코딩 및 압축에 관한 것으로, 구체적으로는, 비디오 데이터의 비트스트림 내의 비디오 프레임의 크로마(chroma) 및 루마(luma) 샘플의 코딩을 개선하는 방법 및 시스템에 관한 것이다.
디지털 비디오는 디지털 텔레비전, 랩탑 또는 데스크탑 컴퓨터, 태블릿 컴퓨터, 디지털 카메라, 디지털 기록 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 스마트 폰, 원격 화상 회의 장치, 비디오 스트리밍 장치 등과 같은 다양한 전자 장치에 의해 지원된다. 전자 장치는 MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding) 및 VVC(Versatile Video Coding) 표준에 의해 정의된 바와 같은 비디오 압축/압축해제 표준을 구현함으로써 디지털 비디오 데이터를 전송하고, 수신하며, 인코딩하고, 디코딩하며 및/또는 저장한다. 비디오 압축은 일반적으로 비디오 데이터에 고유한 중복성을 줄이거나 제거하기 위해 공간적(프레임 내) 예측 및/또는 시간적(프레임 간) 예측을 수행하는 것을 포함한다. 블록 기반 비디오 코딩의 경우, 비디오 프레임은 하나 이상의 슬라이스로 분할되고, 각각의 슬라이스는 또한 코딩 트리 유닛(coding tree unit, CTU)로서 지칭되는 다중 비디오 블록을 갖는다. 각각의 CTU는 하나의 코딩 유닛(coding unit, CU)을 포함하거나 미리 정의된 최소 CU 크기에 도달할 때까지 더 작은 CU로 재귀적으로 분할할 수 있다. 각각의 CU(또한 리프(leaf) CU라고도 함)는 하나 이상의 변환 유닛(transform unit, TU)을 포함하고 각각의 CU는 또한 하나 이상의 예측 유닛(prediction unit, PU)을 포함한다. 각각의 CU는 인트라(intra), 인터(inter) 또는 IBC 모드로 코딩될 수 있다. 비디오 프레임의 인트라 코딩된(I) 슬라이스의 비디오 블록은 동일한 비디오 프레임 내의 이웃 블록의 참조 샘플에 대한 공간적 예측을 사용하여 인코딩된다. 비디오 프레임의 인터 코딩된(P 또는 B) 슬라이스의 비디오 블록은 동일한 비디오 프레임 내의 이웃 블록의 참조 샘플에 대한 공간적 예측 또는 다른 이전의 및/또는 미래의 참조 비디오 프레임의 참조 샘플에 대한 시간적 예측을 사용할 수 있다.
이전에 인코딩된 참조 블록, 예를 들어 이웃 블록에 기초한 공간적 또는 시간적 예측은 코딩될 현재 비디오 블록에 대한 예측 블록을 생성한다. 참조 블록을 찾는 과정은 블록 매칭 알고리즘에 의해 수행될 수 있다. 코딩될 현재 블록과 예측 블록 사이의 픽셀 차이를 나타내는 잔차 데이터(residual data)는 잔차 블록 또는 예측 오차로서 지칭된다. 인터 코딩된 블록은 예측 블록을 형성하는 참조 프레임 및 잔차 블록에서 참조 블록을 가리키는 모션 벡터에 따라 인코딩된다. 모션 벡터를 결정하는 프로세스는 일반적으로 모션 추정으로서 지칭된다. 인트라 코딩된 블록은 인트라 예측 모드 및 잔차 블록에 따라 인코딩된다. 추가 압축을 위해, 잔차 블록은 픽셀 도메인에서 변환 도메인, 예를 들어 주파수 도메인으로 변환되어, 그 결과 양자화될 수 있는 잔차 변환 계수를 생성한다. 처음에 2차원 어레이로 배열된 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있고, 그 다음 훨씬 더 많은 압축을 달성하기 위해 비디오 비트스트림으로 엔트로피 인코딩될 수 있다.
그 다음 인코딩된 비디오 비트스트림은 디지털 비디오 능력을 가진 다른 전자 장치에 의해 액세스되거나 유선 또는 무선으로 전자 장치에 직접 전송되도록 컴퓨터 판독 가능 저장 매체(예를 들어, 플래시 메모리)에 저장된다. 그 다음, 전자 장치는 예를 들어, 비트스트림으로부터 신택스 요소를 획득하기 위해 인코딩된 비디오 비트스트림을 파싱(parsing)하고 비트스트림으로부터 획득된 신택스 요소에 적어도 부분적으로 기초하여 인코딩된 비디오로부터 디지털 비디오 데이터를 원래의 포맷으로 재구성함으로써 비디오 압축해제(상기에서 설명된 비디오 압축의 반대 프로세스임)를 수행하고, 전자 장치의 디스플레이 상에 재구성된 디지털 비디오 데이터를 렌더링한다.
비디오 비트스트림의 루마 샘플과 크로마 샘플 사이의 교차 성분 중복성을 감소시키기 위해 교차 성분 예측 모드가 적용된다. 특히, 예측 모델에서, 루마 샘플은 다운 샘플링되어 크로마 샘플을 예측하는 데 사용된다. 그러나, 루마 샘플은 비디오 프레임의 일부 위치에서 사용될 수 없으며, 이러한 위치 근처에서 다운 샘플링된 루마 샘플을 생성하기 위해 다른 다운 샘플링 필터가 사용되었다. 다른 다운 샘플링 필터를 적용하면 병렬 이미지 처리와 호환되지 않으며 비디오 비트스트림 처리 속도에 병목 현상이 발생할 수 있다. 현재 방식보다 더 효율적인 교차 성분 예측 메커니즘을 사용하는 것이 유리할 것이다.
본 출원은 비디오 데이터 인코딩 및 디코딩에 관한 구현을 설명하며, 구체적으로는, 비디오 데이터의 비트스트림에서 비디오 프레임의 크로마 및 루마 샘플의 코딩 개선 방법 및 시스템에 관한 구현을 설명한다. 샘플 패딩은 루마 다운 샘플링 프로세스에 의해 사용되는 이용 불가능한 루마 샘플을 생성하기 위해 루마 샘플에 적용된다. 이용 불가능한 샘플은 비디오 프레임 또는 이미지 슬라이스의 외부에 있거나, 또는 아직 코딩되지 않았으며 이후에 코딩될 수 있다. 이러한 이용 불가능한 샘플은 반복적인 패딩 또는 미러 패딩에 의해 선택적으로 생성된다. 이와 같이, 동일한 다운 샘플링 필터는 전체 비디오 프레임에 걸쳐 다운 샘플링된 루마 샘플을 모두 생성하는 데 사용될 수 있으며, 이는 병렬 비디오 처리를 가능하게 하고 비디오 데이터 비트스트림의 대응하는 비디오 처리 속도를 향상시킨다.
본 출원의 일 측면에서, 비디오 데이터를 디코딩하기 위한 방법은 전자 장치에서 구현된다. 이 방법은, 비트스트림으로부터, 비디오 프레임의 복수의 픽셀에 대한 복수의 루마 샘플을 획득하는 단계를 포함한다. 복수의 픽셀은 코딩 블록에 속하고 경계 픽셀을 포함하며, 경계 픽셀은 코딩 블록 내부에 있고 코딩 블록의 경계에 바로 인접해 있다. 이 방법은, 경계 픽셀의 하나 이상의 이웃 픽셀이 이용 가능하지 않은 것으로 결정하는 단계, 경계 픽셀에 대응하는 루마 샘플을 하나 이상의 이웃 픽셀의 각각에 대응하는 루마 샘플에게 할당하는 단계, 및 미리 정의된 루마 보간 방식에 따라 적어도 하나 이상의 이웃 픽셀의 루마 샘플과 경계 픽셀에 기초하여 경계 루마 샘플을 결정하는 단계를 더 포함한다. 하나 이상의 이웃 픽셀의 각각은 코딩 블록 외부에 있다. 이 방법은, 선형 매핑 모델에 따라 경계 루마 샘플로부터 경계 크로마 샘플을 결정하는 단계를 더 포함한다. 일부 실시예에서, 경계 픽셀의 하나 이상의 이웃 픽셀은 비디오 프레임 또는 이미지 슬라이스의 외부에 있다. 다르게는, 일부 실시예에서, 경계 픽셀의 하나 이상의 이웃 픽셀은 아직 코딩되지 않았으며 코딩 블록에 후속하여 코딩될 것이다.
본 출원의 다른 측면에서, 전자 장치는 하나 이상의 처리 유닛, 메모리 및 메모리에 저장된 복수의 프로그램을 포함한다. 이 프로그램은, 하나 이상의 처리 유닛에 의해 실행될 때 전자 장치로 하여금 전술한 바와 같이 비디오 데이터를 디코딩하는 방법을 수행하게 한다.
또 다른 측면에서, 비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 처리 유닛을 갖는 전자 장치에 의한 실행을 위해 복수의 프로그램을 저장한다. 이 프로그램은, 하나 이상의 처리 유닛에 의해 실행될 때 전자 장치로 하여금 전술한 바와 같이 비디오 데이터 디코딩하는 방법을 수행하게 한다.
구현에 대한 추가 이해를 제공하기 위해 포함되고 여기에 포함되며 명세서의 일부를 구성하는 첨부 도면은 설명된 구현을 예시하고 설명과 함께 기본 원리를 설명하는 역할을 한다. 동일한 참조 번호는 대응하는 부분을 지칭한다.
도 1은 본 개시의 일부 구현에 따른 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2는 본 개시의 일부 구현에 따른 예시적인 비디오 인코더를 도시한 블록도이다.
도 3은 본 개시의 일부 구현에 따른 예시적인 비디오 디코더를 도시한 블록도이다.
도 4a 내지 도 4e는 본 개시의 일부 구현에 따라 프레임이 상이한 크기 및 형상의 다수의 비디오 블록으로 재귀적으로 분할되는 방식을 도시한 블록도이다.
도 5는 일부 실시예에 따른, 비트스트림의 비디오 프레임의 코딩 블록의 루마 샘플로부터 크로마 샘플을 유도하는 프로세스를 도시한다.
도 6a 내지 도 6d는 일부 실시예에 따른, 각각이 복수의 크로마 샘플로 변환될 복수의 루마 샘플을 포함하는 4개의 예시적인 코딩 블록이다.
도 7은 일부 실시예에 따른, 전자 장치에서 구현되는 비디오 데이터 디코딩 방법의 흐름도이다.
이제 특정 구현에 대해 상세히 참조될 것이며, 그 예는 첨부 도면에 예시되어 있다. 다음의 상세한 설명에서, 다수의 비제한적인 특정 세부사항이 여기에 제시된 주제를 이해하는 것을 돕기 위해 설명된다. 그러나, 청구항의 범위를 벗어나지 않고 다양한 대안이 사용될 수 있고 주제가 이러한 특정 세부사항 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 여기에서 제시된 주제는 디지털 비디오 능력을 갖는 많은 유형의 전자 장치에서 구현될 수 있다는 것이 당업자에게 명백할 것이다.
도 1은 본 개시의 일부 구현에 따라 병렬로 비디오 블록을 인코딩하고 디코딩하기 위한 예시적인 시스템(10)을 도시한 블록도이다. 도 1에 도시된 바와 같이, 시스템(10)은 목적지 장치(14)에 의해 나중에 디코딩될 비디오 데이터를 생성하여 인코딩하는 소스 장치(12)를 포함한다. 소스 장치(12) 및 목적지 장치(14)는 데스크탑 또는 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 셋탑 박스, 디지털 텔레비전, 카메라, 디스플레이 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 장치 등을 포함하는 다양한 전자 장치 중 임의의 것을 포함할 수 있다. 일부 구현에서, 소스 장치(12) 및 목적지 장치(14)는 무선 통신 능력을 갖추고 있다.
일부 구현에서, 목적지 장치(14)는 링크(16)를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)는 인코딩된 비디오 데이터를 소스 장치(12)로부터 목적지 장치(14)로 이동할 수 있는 임의의 유형의 통신 매체 또는 장치를 포함할 수 있다. 일 예에서, 링크(16)는 소스 장치(12)가 인코딩된 비디오 데이터를 실시간으로 목적지 장치(14)에게 직접 전송할 수 있게 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되어 목적지 장치(14)로 전송될 수 있다. 통신 매체는 무선 주파수(radio frequency, RF) 스펙트럼 또는 또는 하나 이상의 물리적 전송 라인과 같은 임의의 유선 또는 무선 통신 매체를 포함할 수 있다. 통신 매체는 근거리 네트워크, 광역 네트워크 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 스위치, 기지국, 또는 소스 장치(12)에서 목적지 장치(14)로의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다.
일부 다른 구현에서, 인코딩된 비디오 데이터는 출력 인터페이스(22)로부터 저장 장치(32)로 전송될 수 있다. 이어서, 저장 장치(32) 내의 인코딩된 비디오 데이터는 입력 인터페이스(28)를 통해 목적지 장치(14)에 의해 액세스될 수 있다. 저장 장치(32) 하드 드라이브, 블루레이 디스크, DVD, CD-ROM, 플래시 메모리, 휘발성 또는 비휘발성 메모리 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적절한 디지털 저장 매체와 같은 다양한 분산된 또는 로컬 액세스된 데이터 저장 매체를 포함할 수 있다. 추가 예에서, 저장 장치(32)는 소스 장치(12)에 의해 생성된 인코딩된 비디오 데이터를 보유할 수 있는 파일 서버 또는 다른 중간 저장 장치에 대응할 수 있다. 목적지 장치(14)는 스트리밍 또는 다운로드를 통해 저장 장치(32)로부터 저장된 비디오 데이터에 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 인코딩된 비디오 데이터를 목적지 장치(14)로 전송할 수 있는 임의의 유형의 컴퓨터일 수 있다. 예시적인 파일 서버는 웹 서버(예를 들어, 웹사이트용), FTP 서버, NAS(Network Attached Storage) 장치 또는 로컬 디스크 드라이브를 포함한다. 목적지 장치(14)는 무선 채널(예를 들어, Wi-Fi 연결), 유선 연결(예를 들어, DSL, 케이블 모뎀 등), 또는 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하기 적합한 이들 둘의 조합을 포함하는 임의의 표준 데이터 연결을 통해 인코딩된 비디오 데이터에 액세스할 수 있다. 저장 장치(32)로부터의 인코딩된 비디오 데이터의 전송은 스트리밍 전송, 다운로드 전송, 또는 이 둘의 조합일 수 있다.
도 1에 도시된 바와 같이, 소스 장치(12)는 비디오 소스(18), 비디오 인코더(20) 및 출력 인터페이스(22)를 포함한다. 비디오 소스(18)는 비디오 캡처 장치, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브(archive), 비디오 컨텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 소스 비디오로서 컴퓨터 그래픽 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스의 조합과 같은 소스를 포함할 수 있다. 일 예로, 비디오 소스(18)가 보안 감시 시스템의 비디오 카메라인 경우, 소스 장치(12) 및 목적지 장치(14)는 카메라 전화 또는 비디오 전화를 형성할 수 있다. 그러나, 본 출원에서 설명된 구현은 일반적으로 비디오 코딩에 적용될 수 있고, 무선 및/또는 유선 애플리케이션에 적용될 수 있다.
캡처된, 미리 캡처된 또는 컴퓨터 생성 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 인코딩된 비디오 데이터는 소스 장치(12)의 출력 인터페이스(22)를 통해 목적지 장치(14)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 또한(또는 다르게는) 디코딩 및/또는 재생을 위해 목적지 장치(14) 또는 다른 장치에 의한 추후 액세스를 위해 저장 장치(32)에 저장된다. 출력 인터페이스(22)는 모뎀 및/또는 전송기를 더 포함할 수 있다.
목적지 장치(14)는 입력 인터페이스(28), 비디오 디코더(30) 및 디스플레이 장치(34)를 포함한다. 입력 인터페이스(28)는 수신기 및/또는 모뎀을 포함할 수 있고 링크(16)를 통해 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)를 통해 전달되거나 또는 저장 장치(32) 상에서 제공되는 인코딩된 비디오 데이터는 비디오 데이터를 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 인코더(20)에 의해 생성된 다양한 신택스 요소를 포함할 수 있다. 이러한 신택스 요소는 통신 매체를 통해 전송되거나, 저장 매체에 저장되거나, 또는 파일 서버에 저장된 인코딩된 비디오 데이터 내에 포함될 수 있다.
일부 구현에서, 목적지 장치(14)는 통합 디스플레이 장치일 수 있는 디스플레이 장치(34) 및 목적지 장치(14)와 통신하도록 구성된 외부 디스플레이 장치를 포함할 수 있다. 디스플레이 장치(34)는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이(liquid crystal display, LCD), 플라즈마 디스플레이, 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이 또는 다른 유형의 디스플레이 장치와 같은 다양한 디스플레이 장치 중 임의의 것을 포함할 수 있다.
비디오 인코더(20) 및 비디오 디코더(30)는 VVC, HEVC, MPEG-4, 파트 10, AVC(Advanced Video Coding) 또는 이러한 표준의 확장과 같은 독점 또는 산업 표준에 따라 작동할 수 있다. 본 출원은 특정 비디오 코딩/디코딩 표준에 제한되지 않고 다른 비디오 코딩/디코딩 표준에 적용될 수 있음이 이해되어야 한다. 소스 장치(12)의 비디오 인코더(20)는 이러한 현재 또는 미래의 표준들 중 임의의 것에 따라 비디오 데이터를 인코딩하도록 구성될 수 있다는 것이 일반적으로 고려된다. 유사하게, 목적지 장치(14)의 비디오 디코더(30)가 이들 현재 또는 미래의 표준들 중 임의의 것에 따라 비디오 데이터를 디코딩하도록 구성될 수도 있다는 것이 또한 일반적으로 고려된다.
비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적 회로(application specific integrated circuit, ASIC), 필드 프로그램 가능 게이트 어레이(field programmable gate array, FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합과 같은 다양한 적합한 인코더 회로 중 임의의 것으로 구현될 수 있다. 소프트웨어로 부분적으로 구현되는 경우, 전자 장치는 소프트웨어에 대한 명령을 적절한 비일시적 컴퓨터 판독 가능 매체에 저장하고 하나 이상의 프로세서를 사용하여 하드웨어에서 명령을 실행하여 본 개시에서 개시된 비디오 코딩/디코딩 작동을 수행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수도 있고, 이들 중 어느 하나는 개별 장치에서 결합된 인코더/디코더(CODEC)의 일부로서 통합될 수도 있다.
도 2는 본 출원에서 설명된 일부 구현에 따른 예시적인 비디오 인코더(20)를 도시한 블록도이다. 비디오 인코더(20)는 비디오 프레임 내의 비디오 블록의 인트라 및 인터 예측 코딩을 수행할 수 있다. 인트라 예측 코딩은 주어진 비디오 프레임 또는 픽처 내에서 비디오 데이터의 공간적 중복성을 줄이거나 제거하기 위해 공간적 예측에 의존한다. 인터 예측 코딩은 비디오 시퀀스의 인접한 비디오 프레임 또는 픽처 내의 비디오 데이터의 시간적 중복성을 줄이거나 제거하기 위해 시간적 예측에 의존한다.
도 2에 도시된 바와 같이, 비디오 인코더(20)는 비디오 데이터 메모리(40), 예측 처리 유닛(41), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(64), 합산기(50), 변환 처리 유닛(52), 양자화 유닛(54) 및 엔트로피 인코딩 유닛(56)을 포함한다. 예측 처리 유닛(41)은 모션 추정 유닛(42), 모션 보상 유닛(44), 분할 유닛(45), 인트라 예측 처리 유닛(46) 및 인트라 블록 복사(block copy, BC) 유닛(48)을 포함한다. 일부 구현에서, 비디오 인코더(20)는 또한 비디오 블록 재구성을 위해 역양자화 유닛(58), 역변환 처리 유닛(60) 및 합산기(62)를 포함한다. 디블록킹 필터(도시되지 않음)는 재구성된 비디오로부터 블록성 아티팩트를 제거하기 위해 블록 경계를 필터링하도록 합산기(62)와 DPB(64) 사이에 위치될 수 있다. 인 루프 필터(도시되지 않음)는 또한 합산기(62)의 출력을 필터링하기 위해 디블로킹 필터에 더하여 사용될 수도 있다. 비디오 인코더(20)는 고정된 또는 프로그램 가능한 하드웨어 유닛의 형태를 취할 수 있거나 또는 도시된 고정된 또는 프로그램 가능한 하드웨어 장치 중 하나 이상으로 분할될 수 있다.
비디오 데이터 메모리(40)는 비디오 인코더(20)의 컴포넌트에 의해 인코딩될 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(40)의 비디오 데이터는 예를 들어, 비디오 소스(18)로부터 획득될 수 있다. DPB(64)는 (예를 들어, 인트라 또는 인터 예측 코딩 모드에서) 비디오 인코더(20)에 의해 비디오 데이터를 인코딩하는데 사용하기 위한 참조 비디오 데이터를 저장하는 버퍼이다. 비디오 데이터 메모리(40) 및 DPB(64)는 다양한 메모리 장치들 중 임의의 것에 의해 형성될 수 있다. 다양한 예에서, 비디오 데이터 메모리(40)는 비디오 인코더(20)의 다른 컴포넌트와 함께 온칩일 수도 있거나, 또는 그들 컴포넌트에 대해 오프칩일 수 있다.
도 2에 도시된 바와 같이, 비디오 데이터를 수신한 후, 예측 처리 유닛(41) 내의 분할 유닛(45)은 비디오 데이터를 비디오 블록으로 분할한다. 이러한 분할은 또한 비디오 데이터와 연관된 쿼드 트리 구조와 같은 미리 정의된 분할 구조에 따라 비디오 프레임을 슬라이스, 타일, 또는 다른 더 큰 코딩 유닛(CU)으로 분할하는 것을 포함할 수 있다. 비디오 프레임은 다중 비디오 블록(또는 타일로서 지칭되는 비디오 블록 세트)으로 분할될 수 있다. 예측 처리 유닛(41)은 에러 결과(예를 들어, 코딩 속도 및 왜곡 수준)에 기초하여 현재 비디오 블록에 대해 복수의 인트라 예측 코딩 모드 중 하나 또는 복수의 인터 예측 코딩 모드 중 하나와 같은 복수의 가능한 예측 코딩 모드 중 하나를 선택할 수 있다. 예측 처리 유닛(41)은 결과적인 인트라 또는 인터 예측 코딩된 블록을 합산기(50)에게 제공하여 잔차 블록을 생성하고 합산기(62)에게 제공하여 이후에 참조 프레임의 일부로서 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 예측 처리 유닛(41)은 또한 모션 벡터, 인트라 모드 지시자, 분할 정보, 및 기타 이러한 신택스 정보와 같은 신택스 요소를 엔트로피 인코딩 유닛(56)에게 제공한다.
현재 비디오 블록에 대한 적절한 인트라 예측 코딩 모드를 선택하기 위해, 예측 처리 유닛(41) 내의 인트라 예측 프로세싱 유닛(46)은 공간적 예측을 제공하기 위해 코딩될 현재 블록으로서 동일한 프레임의 하나 이상의 이웃 블록에 대해 현재 비디오 블록의 인트라 예측 코딩을 수행할 수 있다. 예측 처리 유닛(41) 내의 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 시간적 예측을 제공하기 위해 하나 이상의 참조 프레임에서 하나 이상의 예측 블록에 대해 현재 비디오 블록의 인터 예측 코딩을 수행한다. 비디오 인코더(20)는 예를 들어 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스(pass)를 수행할 수 있다.
일부 구현에서, 모션 추정 유닛(42)은 모션 벡터를 생성함으로써 현재 비디오 프레임에 대한 인터 예측 모드를 결정하며, 이는 비디오 프레임의 시퀀스 내의 미리 결정된 패턴에 따라 참조 비디오 프레임 내의 예측 블록에 대한 현재 비디오 프레임 내의 비디오 블록의 예측 유닛(PU)의 변위를 지시한다. 모션 추정 유닛(42)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 현재 프레임(또는 다른 코딩된 유닛) 내에서 코딩되는 현재 블록에 대한 참조 프레임(또는 다른 코딩된 유닛) 내의 예측 블록에 대한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU의 변위를 지시할 수 있다. 미리 결정된 패턴은 시퀀스의 비디오 프레임을 P 프레임 또는 B 프레임으로 지정할 수 있다. 인트라 BC 유닛(48)은 인터 예측을 위한 모션 추정 유닛(42)에 의한 모션 벡터의 결정과 유사한 방식으로 인트라 BC 코딩을 위한 벡터, 예를 들어 블록 벡터를 결정할 수 있거나, 또는 블록 벡터를 결정하기 위해 모션 추정 유닛(42)을 이용할 수 있다.
예측 블록은 절대 차이의 합(sum of absolute difference, SAD), 또는 제곱 차이의 합(sum of square difference, SSD), 또는 다른 메트릭(metirc)에 의해 결정될 수 있는 픽셀 차이의 관점에서 코딩될 비디오 블록의 PU와 밀접하게 매칭되는 것으로 간주되는 참조 프레임의 블록이다. 일부 구현에서, 비디오 인코더(20)는 DPB(64)에 저장된 참조 프레임의 정수 이하(sub-integer) 위치에 대한 값을 계산할 수도 있다. 예를 들어, 비디오 인코더(20)는 참조 프레임의 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 다른 분수 픽셀 위치의 값들을 보간할 수 있다. 따라서, 모션 추정 유닛(42)은 전체 픽셀 위치 및 분수 픽셀 위치에 대한 모션 검색을 수행하고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수도 있다.
모션 추정 유닛(42)은 PU의 위치를 각각이 DPB(64)에 저장된 하나 이상의 참조 프레임을 식별하는 제1 참조 프레임 목록(List 0) 또는 제2 참조 프레임 목록(List 1)으로부터 선택된 참조 프레임의 예측 블록의 위치와 비교함으로써 인터 예측 코딩된 프레임의 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 유닛(42)은 계산된 모션 벡터를 모션 보상 유닛(44)에게 전송한 다음, 엔트로피 인코딩 유닛(56)으로 전송한다.
모션 보상 유닛(44)에 의해 수행되는 모션 보상은 모션 추정 유닛(42)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch)하거나 생성하는 것을 포함할 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛은(44)은 모션 벡터가 참조 프레임 목록 중 하나에서 가리키는 예측 블록을 찾고, DPB(64)로부터 예측 블록을 검색하며, 예측 블록을 합산기(50)로 전달할 수 있다. 그 다음, 합산기(50)는 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 모션 보상 유닛(44)에 의해 제공되는 예측 블록의 픽셀 값을 감산함으로써 픽셀 차이 값의 잔차 비디오 블록을 형성한다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 또는 크로마 차이 성분 또는 둘 다를 포함할 수 있다. 모션 보상 유닛(44)은 또한 비디오 프레임의 비디오 블록을 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 프레임의 비디오 블록과 연관된 신택스 요소를 생성할 수 있다. 신택스 요소는 예를 들어 예측 블록을 식별하는 데 사용되는 모션 벡터를 정의하는 신택스 요소, 예측 모드를 지시하는 임의의 플래그, 또는 여기에서 설명된 임의의 다른 신택스 정보를 포함할 수 있다. 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 도시된다는 점에 유의한다.
일부 구현에서, 인트라 BC 유닛(48)은 모션 추정 유닛(42) 및 모션 보상 유닛(44)과 관련하여 위에서 설명된 것과 유사한 방식으로 벡터를 생성하고 예측 블록들을 페치할 수 있지만, 예측 블록은 코딩되고 있는 현재 블록과 동일한 프레임에 있고 벡터는 모션 벡터와 대조적으로 블록 벡터로서 지칭된다. 특히, 인트라 BC 유닛(48)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 BC 유닛(48)은 예를 들어, 개별 인코딩 패스(pass) 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩하고, 레이트 왜곡 분석(rate-distortion analysis)을 통해 그들의 성능을 테스트할 수 있다. 다음으로, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드 중에서 사용하기에 적절한 인트라 예측 모드를 선택하고 그에 따라 인트라 모드 지시자를 생성할 수 있다. 예를 들어, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산할 수 있고, 테스트된 모드 중에서 가장 좋은 레이트 왜곡 특성을 갖는 인트라 예측 모드를 사용할 적절한 인트라 예측 모드로서 선택할 수 있다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 오류) 양은 물론 인코딩된 블록을 생성하는 데 사용되는 비트레이트(즉, 비트 수량)을 결정한다. 인트라 BC 유닛(48)은 블록에 대한 최상의 레이트 왜곡 값을 나타내는 인트라 예측 모드를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산할 수 있다.
다른 예에서, 인트라 BC 유닛(48)은 모션 추정 유닛(42) 및 모션 보상 유닛(44)을 전체적으로 또는 부분적으로 사용하여 여기에서 설명된 구현에 따른 인트라 BC 예측을 위한 이러한 모델을 수행할 수 있다. 두 경우 모두, 인트라 블록 복사에 대해, 예측 블록은 절대 차이의 합(SAD), 제곱 차이의 합(SSD), 또는 다른 차이 메트릭에 의해 결정될 수 있는 픽셀 차이의 관점에서 코딩될 블록과 밀접하게 매칭되는 것으로 간주되는 블록일 수 있고, 예측 블록의 식별은 정수 이하 픽셀 위치에 대한 값의 계산을 포함할 수 있다.
예측 블록이 인트라 예측에 따른 동일한 프레임으로부터 온 것인지 또는 인터 예측에 따른 상이한 프레임으로부터 온 것인지에 상관없이, 비디오 인코더(20) 는 코딩되는 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 감산함으로써 잔차 비디오 블록을 형성할 수 있다. 잔차 비디오 블록을 형성하는 픽셀 차이 값은 루마 및 크로마 성분 차이를 모두 포함할 수 있다.
인트라 예측 처리 유닛(46)은 상기한 바와 같이 모션 추정 유닛(42) 및 모션 보상 유닛(44)에 의해 수행되는 인터 예측, 또는 인트라 BC 유닛(48)에 의해 수행되는 인트라 블록 복사 예측에 대한 대안으로서 현재 비디오 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 처리 유닛(46)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 그렇게 하기 위해, 인트라 예측 처리 유닛(46)은 예를 들어, 개별 인코딩 패스 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩할 수 있고, 인트라 예측 처리 유닛(46)(또는 일부 예에서 모드 선택 유닛)은 테스트된 인트라 예측 모드로부터 사용할 적절한 인트라 예측 모드를 선택할 수 있다. 인트라 예측 처리 유닛(46)은 블록에 대해 선택된 인트라 예측 모드를 지시하는 정보를 엔트로피 인코딩 유닛(56)에게 제공할 수 있다. 엔트로피 인코딩 유닛(56)은 비트스트림에서 선택된 인트라 예측 모드를 지시하는 정보를 인코딩할 수 있다.
예측 처리 유닛(41)이 인터 예측 또는 인트라 예측을 통해 현재 비디오 블록에 대한 예측 블록을 결정한 후, 합산기(50)는 현재 비디오 블록에서 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록의 잔차 비디오 데이터는 하나 이상의 변환 유닛(TU)에 포함될 수 있고 변환 처리 유닛(52)에게 제공된다. 변환 처리 유닛(52)은 이산 코사인 변환(discrete cosine transform, DCT) 또는 개념적으로 유사한 변환과 같은 변환을 사용하여 잔차 비디오 데이터를 잔차 변환 계수로 변환한다.
변환 처리 유닛(52)은 결과적인 변환 계수를 양자화 유닛(54)으로 전송할 수 있다. 양자화 유닛(54)은 비트 레이트를 더 감소시키기 위해 변환 계수를 양자화한다. 양자화 프로세스는 또한 일부 또는 모든 계수와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은 그 다음 양자화된 변환 계수를 포함하는 행렬의 스캔을 수행할 수 있다. 다르게는, 엔트로피 인코딩 유닛(56)은 스캔을 수행할 수 있다.
양자화에 이어, 엔트로피 인코딩 유닛(56)은 예를 들어, 컨텍스트 적응 가변 길이 코딩(context adaptive variable length coding, CAVLC), 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 신택스 기반 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기술을 사용하여 양자화된 변환 계수를 비디오 비트스트림으로 엔트로피 인코딩한다. 그 다음, 인코딩된 비트스트림은 비디오 디코더(30)로 전송되거나, 또는 비디오 디코더(30)로의 추후 전송 또는 비디오 디코더(30)에 의한 검색을 위해 저장 장치(32)에 보관될 수 있다. 엔트로피 인코딩 유닛(56)은 또한 코딩되고 있는 현재 비디오 프레임에 대한 모션 벡터 및 다른 신택스 요소를 엔트로피 인코딩할 수 있다.
역양자화 유닛(58) 및 역변환 처리 유닛(60)은 다른 비디오 블록의 예측을 위한 참조 블록을 생성하기 위해 픽셀 도메인에서 잔차 비디오 블록을 재구성하기 위해 각각 역양자화 및 역변환을 적용한다. 위에서 언급한 바와 같이, 모션 보상 유닛(44)은 DPB(64)에 저장된 프레임의 하나 이상의 참조 블록으로부터 모션 보상된 예측 블록을 생성할 수 있다. 모션 보상 유닛(44)은 또한 모션 추정의 사용을 위해 정수 이하 픽셀 값을 계산하기 위해 예측 블록에 하나 이상의 보간 필터를 적용할 수 있다.
합산기(62)는 DPB(64)에 저장하기 위한 참조 블록을 생성하기 위해 재구성된 잔차 블록을 모션 보상 유닛(44)에 의해 생성된 모션 보상된 예측 블록에 추가한다. 그 다음, 참조 블록은 인트라 BC 유닛(48), 모션 추정 유닛(42) 및 모션 보상 유닛(44)에 의해 후속 비디오 프레임에서 다른 비디오 블록을 인터 예측하기 위한 예측 블록으로서 사용될 수 있다.
도 3은 본 출원의 일부 구현에 따른 예시적인 비디오 디코더(30)를 도시한 블록도이다. 비디오 디코더(30)는 비디오 데이터 메모리(79), 엔트로피 디코딩 유닛(80), 예측 처리 유닛(81), 역양자화 유닛(86), 역변환 처리 유닛(88), 합산기(90) 및 DPB(92)를 포함한다. 예측 처리 유닛(81)은 모션 보상 유닛(82), 인트라 예측 처리 유닛(84) 및 인트라 BC 유닛(85)을 더 포함한다. 비디오 디코더(30)는 도 2와 관련하여 비디오 인코더(20)에 대해 위에서 설명된 인코딩 프로세스와 일반적으로 상반되는 디코딩 프로세스를 수행할 수 있다. 예를 들어, 모션 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 생성할 수 있는 반면, 인트라 예측 유닛(84)은 엔트로피 디코딩 유닛(80)으로부터 수신된 인트라 예측 모드 지시자에 기초하여 예측 데이터를 생성할 수 있다.
일부 예에서, 비디오 디코더(30)의 유닛은 본 출원의 구현을 수행하도록 태스크화될 수 있다. 또한, 일부 예에서, 본 개시의 구현은 비디오 디코더(30)의 유닛들 중 하나 이상으로 분할될 수 있다. 예를 들어, 인트라 BC 유닛(85)은 단독으로, 또는 모션 보상 유닛(82), 인트라 예측 처리 유닛(84) 및 엔트로피 디코딩 유닛(80)과 같은 비디오 디코더(30)의 다른 유닛과 조합하여 본 출원의 구현을 수행할 수 있다. 일부 예에서, 비디오 디코더(30)는 인트라 BC 유닛(85)을 포함하지 않을 수 있고 인트라 BC 유닛(85)의 기능이 모션 보상 유닛(82)과 같은 예측 처리 유닛(81)의 다른 컴포넌트에 의해 수행될 수도 있다.
비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트에 의해 디코딩될 인코딩된 비디오 비트스트림과 같은 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(79)에 저장된 비디오 데이터는 예를 들어, 저장 장치(32)로부터, 카메라와 같은 로컬 비디오 소스로부터, 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해 또는 물리적 데이터 저장 매체(예를 들어, 플래시 드라이브 또는 하드 디스크)에 액세스함으로써 획득될 수 있다. 비디오 데이터 메모리(79)는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼(coded picture buffer, CPB)를 포함할 수 있다. 비디오 디코더(30)의 디코딩된 픽처 버퍼(DPB)(92)는 (예를 들어, 인트라 또는 인터 예측 코딩 모드에서) 비디오 디코더(30)에 의해 비디오 데이터를 디코딩하는 데 사용하기 위한 참조 비디오 데이터를 저장한다. 비디오 데이터 메모리(79) 및 DPB(92)는 동기식 DRAM(SDRAM), 자기 저항식 RAM(MRAM), 저항성 RAM(RRAM), 또는 다른 유형의 메모리 장치를 포함하는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM)과 같은 다양한 메모리 장치 중 임의의 것에 의해 형성될 수 있다. 예시를 위해, 비디오 데이터 메모리(79) 및 DPB(92)는 도 3에서 비디오 디코더(30)의 2개의 별개의 컴포넌트로서 도시된다. 그러나, 비디오 데이터 메모리(79) 및 DPB(92)가 동일한 메모리 장치 또는 별도의 메모리 장치에 의해 제공될 수 있다는 것은 당업자에게 명백할 것이다. 일부 예에서, 비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트들과 함께 온 칩일 수도 있거나, 또는 그러한 컴포넌트들에 대해 오프 칩일 수도 있다.
디코딩 프로세스 동안, 비디오 디코더(30)는 인코딩된 비디오 프레임 및 연관된 신택스 요소의 비디오 블록을 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(30)는 비디오 프레임 레벨 및/또는 비디오 블록 레벨에서 신택스 요소들을 수신할 수 있다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(80)은 비트스트림을 엔트로피 디코딩하여 양자화된 계수, 모션 벡터 또는 인트라 예측 모드 지시자, 및 다른 신택스 요소를 생성한다. 그 다음, 엔트로피 디코딩 유닛(80)은 모션 벡터 및 다른 신택스 요소들을 예측 처리 유닛(81)에게 전달한다.
비디오 프레임이 인트라 예측 코딩된(I) 프레임으로 코딩되거나 다른 유형의 프레임에서 인트라 코딩된 예측 블록에 대해 코딩될 때, 예측 처리 유닛(81)의 인트라 예측 처리 유닛(84)은 시그널링된 인트라 예측 모드 및 현재 프레임의 이전에 디코딩된 블록으로부터의 참조 데이터에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 예측 데이터를 생성할 수 있다.
비디오 프레임이 인터 예측 코딩된(즉, B 또는 P) 프레임으로서 코딩되는 경우, 예측 처리 유닛(81)의 모션 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 모션 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 하나 이상의 예측 블록을 생성한다. 예측 블록의 각각은 참조 프레임 목록 중 하나 내의 참조 프레임으로부터 생성될 수 있다. 비디오 디코더(30) 는 DPB(92)에 저장된 참조 프레임에 기초한 기본 구성 기술을 사용하여 참조 프레임 목록, List 0 및 List 1을 구성할 수 있다.
일부 예에서, 비디오 블록이 여기에서 설명된 인트라 BC 모드에 따라 코딩되는 경우, 예측 처리 유닛(81)의 인트라 BC 유닛(85)은 엔트로피 디코딩 유닛(80)으로부터 수신된 블록 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 비디오 인코더(20)에 의해 정의된 현재 비디오 블록과 동일한 픽처의 재구성된 영역 내에 있을 수 있다.
모션 보상 유닛(82) 및/또는 인트라 BC 유닛(85)은 모션 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 프레임의 비디오 블록에 대한 예측 정보를 결정하고, 그 다음 예측 정보를 사용하여 코딩되고 있는 현재 비디오 프레임에 대한 예측 블록을 생성한다. 예를 들어, 모션 보상 유닛(82)은 비디오 프레임의 비디오 블록을 코딩하는 데 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측), 인터 예측 프레임 유형(예를 들어, B 또는 P), 프레임에 대한 참조 프레임 목록 중 하나 이상에 대한 구성 정보, 프레임의 각각의 인터 예측 인코딩된 비디오 블록에 대한 모션 벡터, 프레임의 각각의 인터 예측 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 프레임의 비디오 블록을 디코딩하기 위한 기타 정보를 결정하기 위해 수신된 신택스 요소 중 일부를 사용한다.
유사하게, 인트라 BC 유닛(85)은 수신된 신택스 요소들 중 일부, 예를 들어 플래그를 사용하여 현재 비디오 블록이 인트라 BC 모드, 프레임의 비디오 블록이 재구성된 영역 내에 있으며 DPB(92)에 저장되어야 하는 구성 정보, 프레임의 각각의 인트라 BC 예측된 비디오 블록에 대한 블록 벡터, 프레임의 각각의 인트라 BC 예측된 비디오 블록에 대한 인트라 BC 예측 상태, 및 현재 비디오 프레임의 비디오 블록을 디코딩하기 위한 기타 정보를 사용하여 예측된 것으로 결정한다.
모션 보상 유닛(82)은 또한 참조 블록의 정수 이하 픽셀에 대한 보간된 값을 계산하기 위해 비디오 블록의 인코딩 동안 비디오 인코더(20)에 의해 사용되는 보간 필터를 사용하여 보간을 수행할 수도 있다. 이 경우, 모션 보상 유닛(82)은 수신된 신택스 요소로부터 비디오 인코더(20)에 의해 사용되는 보간 필터를 결정할 수 있고 예측 블록을 생성하기 위해 보간 필터를 사용할 수 있다.
역양자화 유닛(86)은 양자화 정도를 결정하기 위해 비디오 프레임의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 계산된 동일한 양자화 파라미터를 사용하여 비트스트림에서 제공되고 엔트로피 디코딩 유닛(80)에 의해 엔트로피 디코딩된 양자화된 변환 계수를 역양자화한다. 역변환 처리 유닛(88)은 픽셀 도메인에서 잔차 블록을 재구성하기 위해 변환 계수에 대해 역변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스를 적용한다.
모션 보상 유닛(82) 또는 인트라 BC 유닛(85)이 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 합산기(90)는 역변환 처리 유닛(88)으로부터의 잔차 블록과 모션 보상 유닛(82) 및 인트라 BC 유닛(85)에 의해 생성된 대응하는 예측 블록을 합산함으로써 현재 비디오 블록에 대한 디코딩된 비디오 블록을 재구성한다. 인 루프 필터(도시되지 않음)는 디코딩된 비디오 블록을 추가로 처리하기 위해 합산기(90)와 DPB(92) 사이에 위치될 수 있다. 그 다음, 주어진 프레임의 디코딩된 비디오 블록은 다음의 비디오 블록의 후속 모션 보상에 사용되는 참조 프레임을 저장하는 DPB(92)에 저장된다. DPB(92) 또는 DPB(92)와 분리된 메모리 장치는 또한 도 1의 디스플레이 장치(34)와 같은 디스플레이 장치 상의 추후 프리젠테이션을 위해 디코딩된 비디오를 저장할 수 있다.
전형적인 비디오 코딩 프로세스에서, 비디오 시퀀스는 일반적으로 프레임 또는 픽처의 정렬된 세트를 포함한다. 각각의 프레임은 SL, SCb 및 SCr로 표시된 3개의 샘플 어레이를 포함할 수 있다. SL은 루마 샘플의 2차원 어레이이다. SCb는 Cb 크로마 샘플의 2차원 어레이이다. SCr은 Cr 크로마 샘플의 2차원 어레이이다. 다른 경우에, 프레임은 단색일 수 있으므로, 루마 샘플의 2차원 어레이 하나만을 포함한다.
도 4a에 도시된 바와 같이, 비디오 인코더(20)(또는 보다 구체적으로 분할 유닛(45))는 먼저 프레임을 코딩 트리 유닛(CTU)의 세트로 분할함으로써 프레임의 인코딩된 표현을 생성한다. 비디오 프레임은 좌측에서 우측으로, 위에서 아래로의 래스터(raster) 스캔 순서로 연속적으로 정렬된 정수 개의 CTU를 포함할 수 있다. 비디오 시퀀스의 모든 CTU가 128×128, 64×64, 32×32, 및 16×16 중 하나인 동일한 크기를 갖도록, 각각의 CTU는 가장 큰 논리 코딩 유닛이고 CTU의 폭 및 높이는 시퀀스 파라미터 세트에서 비디오 인코더(20)에 의해 시그널링된다. 그러나, 본 출원이 반드시 특정한 크기로 제한되는 것은 아니라는 점에 유의해야 한다. 도 4b에 도시된 바와 같이, 각각의 CTU는 루마 샘플의 하나의 코딩 트리 블록(coding tree block, CTB), 크로마 샘플의 2개의 대응하는 코딩 트리 블록, 및 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 신택스 요소를 포함할 수 있다. 신택스 요소는 인터 또는 인트라 예측, 인트라 예측 모드, 모션 벡터 및 기타 파라미터를 포함하여 코딩된 픽셀 블록의 상이한 유형의 유닛의 속성 및 비디오 시퀀스가 비디오 디코더(30)에서 재구성될 수 있는 방법을 설명한다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, CTU는 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 단일 코딩 트리 블록 및 신택스 요소를 포함할 수 있다. 코딩 트리 블록은 샘플의 NxN 블록일 수 있다.
더 나은 성능을 달성하기 위해, 비디오 인코더(20)는 CTU의 코딩 트리 블록에 대해 이진 트리 분할, 삼진 트리 분할, 쿼드 트리 분할 또는 이들의 임의의 조합과 같은 트리 분할을 재귀적으로 수행하고 CTU를 더 작은 코딩 유닛(CU)으로 분할할 수 있다. 도 4c에 도시된 바와 같이, 64x64 CTU(400)는 먼저 각각 32x32의 블록 크기를 갖는 4개의 더 작은 CU로 분할된다. 4개의 더 작은 CU 중에서, CU(410)와 CU(420)는 각각 블록 크기에 따라 16x16의 4개의 CU로 분할된다. 2개의 16x16 CU(430, 440)는 각각 블록 크기에 따라 8x8의 4개의 CU로 추가로 분할된다. 도 4d는 도 4c에 도시된 바와 같은 CTU(400)의 분할 프로세스의 최종 결과를 예시하는 쿼드 트리 데이터 구조를 도시하며, 쿼드 트리의 각 리프 노드는 32x32에서 8x8 범위의 각각의 크기의 하나의 CU에 대응한다. 도 4b에 도시된 CTU와 같이, 각각의 CU는 루마 샘플의 코딩 블록(CB) 및 동일한 크기의 프레임의 크로마 샘플의 2개의 대응하는 코딩 블록, 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 요소를 포함할 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, CU는 단일 코딩 블록 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 구조를 포함할 수 있다. 도 4c 및 도 4d에 도시된 쿼드 트리 분할은 단지 예시를 위한 것이며 하나의 CTU는 쿼드/삼진/이진 트리 분할에 기초한 다양한 로컬 특성에 적응하기 위해 CU로 분할될 수 있다. 다중 유형 트리 구조에서, 하나의 CTU는 쿼드 트리 구조로 분할되고 각각의 쿼드 트리 리프 CU는 이진 및 삼진 트리 구조로 추가로 분할될 수 있다. 도 4e에 도시된 바와 같이, 4차 분할, 수평 이진 분할, 수직 이진 분할, 수평 삼진 분할 및 수직 삼진 분할의 5가지 분할 유형이 존재한다.
일부 구현에서, 비디오 인코더(20)는 CU의 코딩 블록을 하나 이상의 MxN 예측 블록(PB)으로 추가로 분할할 수 있다. 예측 블록은 동일한 예측(인터 또는 인트라)이 적용되는 샘플의 직사각형(정사각형 또는 정사각형이 아닌) 블록이다. CU의 예측 유닛(PU)은 루마 샘플의 예측 블록, 크로마 샘플의 2개의 대응하는 예측 블록, 및 예측 블록을 예측하는데 사용되는 신택스 요소를 포함할 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, PU는 단일 예측 블록 및 예측 블록을 예측하는 데 사용되는 신택스 구조를 포함할 수 있다. 비디오 인코더(20) 는 CU의 각각의 PU의 루마, Cb 및 Cr 예측 블록에 대한 예측 루마, Cb 및 Cr 블록을 생성할 수 있다.
비디오 인코더(20)는 PU에 대한 예측 블록을 생성하기 위해 인트라 예측 또는 인터 예측을 사용할 수 있다. 비디오 인코더(20)가 PU의 예측 블록을 생성하기 위해 인트라 예측을 사용하는 경우, 비디오 인코더(20)는 PU와 연관된 프레임의 디코딩된 샘플에 기초하여 PU의 예측 블록을 생성할 수 있다. 비디오 인코더(20)가 PU의 예측 블록을 생성하기 위해 인터 예측을 사용하는 경우, 비디오 인코더(20)는 PU와 연관된 프레임 이외의 하나 이상의 프레임의 디코딩된 샘플에 기초하여 PU의 예측 블록을 생성할 수 있다.
비디오 인코더(20)가 CU의 하나 이상의 PU에 대한 예측 루마, Cb 및 Cr 블록을 생성한 후, CU의 루마 잔차 블록의 각각의 샘플이 CU의 예측 루마 블록 중 하나의 루마 샘플과 CU의 원래 루마 코딩 블록의 대응하는 샘플 사이의 차이를 지시하도록 비디오 인코더(20)는 그것의 원래 루마 코딩 블록으로부터 CU의 예측 루마 블록을 감산함으로써 CU에 대한 루마 잔차 블록을 생성할 수 있다. 유사하게, CU의 Cb 잔차 블록의 각각의 샘플이 CU의 예측 Cb 블록 중 하나의 Cb 샘플과 CU의 원래의 Cb 코딩 블록의 대응하는 샘플 사이의 차이를 지시하고 CU의 Cr 잔차 블록의 각각의 샘플은 CU의 예측 Cr 블록 중 하나의 Cr 샘플과 CU의 원래 Cr 코딩 블록의 대응하는 샘플 사이의 차이를 지시하도록, 비디오 인코더(20)는 각각 CU에 대한 Cb 잔차 블록 및 Cr 잔차 블록을 생성할 수 있다.
또한, 도 4c에 도시된 바와 같이, 비디오 인코더(20)는 CU의 루마, Cb 및 Cr 잔차 블록을 하나 이상의 루마, Cb 및 Cr 변환 블록으로 분해하기 위해 쿼드 트리 분할을 사용할 수 있다. 변환 블록은 동일한 변환이 적용되는 샘플의 직사각형(정사각형 또는 정사각형이 아닌) 블록이다. CU의 변환 유닛(TU)은 루마 샘플의 변환 블록, 크로마 샘플의 2개의 대응하는 변환 블록, 및 변환 블록 샘플을 변환하는 데 사용되는 신택스 요소를 포함할 수 있다. 따라서, CU의 각각의 TU는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수 있다. 일부 예에서, TU와 연관된 루마 변환 블록은 CU의 루마 잔차 블록의 서브 블록일 수 있다. Cb 변환 블록은 CU의 Cb 잔차 블록의 서브 블록일 수 있다. Cr 변환 블록은 CU의 Cr 잔차 블록의 서브 블록일 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, TU는 변환 블록의 샘플을 변환하는 데 사용되는 단일 변환 블록 및 신택스 구조를 포함할 수 있다.
비디오 인코더(20)는 TU에 대한 루마 계수 블록을 생성하기 위해 TU의 루마 변환 블록에 하나 이상의 변환을 적용할 수 있다. 계수 블록은 변환 계수의 2차원 어레이일 수 있다. 변환 계수는 스칼라 양일 수 있다. 비디오 인코더(20)는 TU에 대한 Cb 계수 블록을 생성하기 위해 TU의 Cb 변환 블록에 하나 이상의 변환을 적용할 수 있다. 비디오 인코더(20)는 TU에 대한 Cr 계수 블록을 생성하기 위해 TU의 Cr 변환 블록에 하나 이상의 변환을 적용할 수 있다.
계수 블록(예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록)을 생성한 후, 비디오 인코더(20)는 계수 블록을 양자화할 수 있다. 양자화는 일반적으로 변환 계수를 나타내는 데 사용되는 데이터의 수량을 가능한 감소시켜 추가 압축을 제공하기 위해 변환 계수가 양자화되는 프로세스를 지칭한다. 비디오 인코더(20)가 계수 블록을 양자화한 후, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 요소를 엔트로피 인코딩할 수 있다. 예를 들어, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 요소에 대해 컨텍스트 적응 이진 산술 코딩(CABAC)을 수행할 수 있다. 마지막으로, 비디오 인코더(20)는 저장 장치(32) 에 저장되거나 목적지 장치(14)로 전송되는, 코딩된 프레임 및 연관 데이터의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수 있다.
비디오 인코더(20)에 의해 생성된 비트스트림을 수신한 후, 비디오 디코더(30)는 비트스트림으로부터 신택스 요소를 획득하기 위해 비트스트림을 파싱할 수 있다. 비디오 디코더(30)는 비트스트림으로부터 획득된 신택스 요소에 적어도 부분적으로 기초하여 비디오 데이터의 프레임을 재구성할 수 있다. 비디오 데이터를 재구성하는 프로세스는 일반적으로 비디오 인코더(20)에 의해 수행되는 인코딩 프로세스와 반대이다. 예를 들어, 비디오 디코더(30)는 현재 CU의 TU와 연관된 잔차 블록을 재구성하기 위해 현재 CU의 TU와 연과된 계수 블록에 대해 역변환을 수행할 수 있다. 비디오 디코더(30)는 또한 현재 CU의 PU에 대한 예측 블록의 샘플을 현재 CU의 TU의 변환 블록의 대응하는 샘플에 추가함으로써 현재 CU의 코딩 블록을 재구성한다. 프레임의 각각의 CU에 대한 코딩 블록을 재구성한 후, 비디오 디코더(30)는 프레임을 재구성할 수 있다.
위에서 언급한 바와 같이, 비디오 코딩은 주로 두 가지 모드, 즉, 프레임 내 예측(또는 인트라 예측) 및 프레임 간 예측(또는 인터 예측)을 사용하여 비디오 압축을 달성한다. 팔레트 기반 코딩은 많은 비디오 코딩 표준에서 채택된 또 다른 코딩 방식이다. 스크린 생성 컨텐츠 코딩에 특히 적합할 수 있는 팔레트 기반 코딩에서, 비디오 코더(예를 들어, 비디오 인코더(20) 또는 비디오 디코더(30))는 주어진 블록의 비디오 데이터를 나타내는 컬러의 팔레트 테이블을 형성한다. 팔레트 테이블은 주어진 블록에서 가장 지배적인(예를 들어, 자주 사용되는) 픽셀 값을 포함한다. 주어진 블록의 비디오 데이터에서 자주 표현되지 않는 픽셀 값은 팔레트 테이블에 포함되지 않거나 팔레트 테이블에 이스케이프 컬러로서 포함된다.
팔레트 테이블의 각각의 엔트리는 팔레트 테이블에 있는 대응하는 픽셀 값에 대한 인덱스를 포함한다. 블록 내의 샘플에 대한 팔레트 인덱스는 팔레트 테이블로부터의 엔트리가 어떤 샘플을 예측하거나 재구성하는 데 사용될 것인지를 지시하기 위해 코딩될 수 있다. 이러한 팔레트 모드는 픽처, 슬라이스, 타일 또는 기타 그러한 비디오 블록의 그룹화의 제1 블록에 대한 팔레트 예측자를 생성하는 프로세스로 시작한다. 아래에서 설명되는 바와 같이, 후속 비디오 블록에 대한 팔레트 예측자는 일반적으로 이전에 사용된 팔레트 예측자를 업데이트함으로써 생성된다. 설명을 위해, 팔레트 예측자는 픽처 레벨에서 정의된다고 가정한다. 다시 말해서, 픽처는 각각 자신의 팔레트 테이블을 갖는 다중 코딩 블록을 포함할 수 있지만, 전체 픽처에 대해 하나의 팔레트 예측자가 존재한다.
비디오 비트스트림에서 팔레트 엔트리를 시그널링하는 데 필요한 비트를 줄이기 위해, 비디오 디코더는 비디오 블록을 재구성하는 데 사용되는 팔레트 테이블에서 새로운 팔레트 엔트리를 결정하기 위해 팔레트 예측자를 이용할 수 있다. 예를 들어, 팔레트 예측자는 이전에 사용된 팔레트 테이블로부터의 팔레트 엔트리를 포함할 수 있거나 심지어 가장 최근에 사용된 팔레트 테이블의 모든 엔트리를 포함함으로써 가장 최근에 사용된 팔레트 테이블로 초기화될 수 있다. 일부 구현에서, 팔레트 예측자는 가장 최근에 사용된 팔레트 테이블로부터의 모든 엔트리보다 적은 수의 엔트리를 포함할 수 있고 그 다음 이전에 사용된 다른 팔레트 테이블로부터의 일부 엔트리를 통합할 수 있다. 팔레트 예측자는 상이한 블록을 코딩하는데 사용되는 팔레트 테이블과 동일한 크기를 가질 수 있거나 또는 상이한 블록을 코딩하는 데 사용되는 팔레트 테이블보다 크거나 작을 수 있다. 일 예에서, 팔레트 예측자는 54개의 팔레트 엔트리를 포함하는 선입선출(first-in-first-out, FIFO) 테이블로서 구현된다.
팔레트 예측자로부터 비디오 데이터의 블록에 대한 팔레트 테이블을 생성하기 위해, 비디오 디코더는 인코딩된 비디오 비트스트림으로부터 팔레트 예측자의 각각의 엔트리에 대한 1비트 플래그를 수신할 수 있다. 1비트 플래그는 팔레트 예측자의 연관된 엔트리가 팔레트 테이블에 포함될 것임을 지시하는 제1 값(예를 들어, 이진 1) 또는 팔레트 예측자의 연관된 엔트리가 팔레트 테이블에 포함되지 않을 것임을 지시하는 제2 값(예를 들어, 이진 0)을 가질 수 있다. 팔레트 예측자의 크기가 비디오 데이터 블록에 사용되는 팔레트 테이블보다 큰 경우, 비디오 디코더는 팔레트 테이블에 대한 최대 크기에 도달하면 더 많은 플래그 수신을 중단할 수 있다.
일부 구현에서, 팔레트 테이블의 일부 엔트리는 팔레트 예측자를 사용하여 결정되는 대신에 인코딩된 비디오 비트스트림에서 직접 시그널링될 수 있다. 그러한 엔트리에 대해, 비디오 디코더는 인코딩된 비디오 비트스트림으로부터 엔트리와 연관된 루마 및 2개의 크로마 성분에 대한 픽셀 값을 지시하는 3개의 개별 m 비트 값을 수신할 수 있으며, 여기서 m은 비디오 데이터의 비트 깊이를 나타낸다. 직접 시그널링된 팔레트 엔트리에 필요한 다수의 m 비트 값과 비교하면, 팔레트 예측자에서 유도된 팔레트 엔트리는 1비트 플래그만 필요하다. 따라서, 팔레트 예측자를 사용하여 일부 또는 모든 팔레트 엔트리를 시그널링하는 것은 새로운 팔레트 테이블의 엔트리를 시그널링하는 데 필요한 비트 개수를 상당히 감소시킬 수 있으므로, 팔레트 모드 코딩의 전체 코딩 효율을 향상시킬 수 있다.
많은 경우에, 하나의 블록에 대한 팔레트 예측자는 하나 이상의 이전에 코딩된 블록을 코딩하는 데 사용되는 팔레트 테이블에 기초하여 결정된다. 그러나, 픽처, 슬라이스 또는 타일의 제1 코딩 트리 유닛을 코딩하는 경우, 이전에 코딩된 블록의 팔레트 테이블은 이용되지 못할 수 있다. 따라서, 팔레트 예측자는 이전에 사용된 팔레트 테이블의 엔트리를 사용하여 생성될 수 없다. 그러한 경우에, 팔레트 예측자 이니셜라이저(initializer)의 시퀀스는 이전에 사용된 팔레트 테이블이 사용되지 못하는 경우 팔레트 예측자를 생성하는 데 사용되는 값인 시퀀스 파라미터 세트(sequence parameter set, SPS) 및/또는 픽처 파라미터 세트(picture parameter set, PPS)에서 시그널링될 수 있다. SPS는 일반적으로 각각의 슬라이스 세그먼트 헤더에서 발견되는 신택스 요소에 의해 참조되는 PPS에서 발견되는 신택스 요소의 컨텐츠에 의해 결정되는 바와 같이 코딩된 비디오 시퀀스(coded video sequence, CVS)라고 하는 일련의 연속된 코딩된 비디오 픽처에 적용되는 신택스 요소의 신택스 구조를 지칭한다. PPS는 일반적으로 각각의 슬라이스 세그먼트 헤더에서 발견되는 신택스 요소에 의해 결정되는 바와 같이 CVS 내의 하나 이상의 개별 픽처에 적용되는 신택스 요소의 신택스 구조를 지칭한다. 따라서, SPS는 일반적으로 PPS보다 높은 수준의 신택스 구조로 간주되며, 이는 SPS에 포함된 신택스 요소가 일반적으로 PPS에 포함된 신택스 요소에 비해 덜 자주 변경되고 비디오 데이터의 더 많은 부분에 적용됨을 의미한다.
도 5는 일부 실시예에 따른 비트스트림의 비디오 프레임의 코딩 블록(506)의 루마 샘플(504)로부터 크로마 샘플(502)을 유도하는 프로세스(500)를 도시한다. 비디오 프레임의 코딩 블록(506)은 복수의 픽셀을 포함하고, 각각의 픽셀은 복수의 컬러 요소(예를 들어, 청색, 녹색 및 적색)로 이루어진다. 비디오 인코딩 및 디코딩에서, 복수의 픽셀의 밝기 및 컬러 정보는 각각 복수의 루마 샘플(504) 및 복수의 크로마 샘플(502)로 표현된다. 복수의 픽셀 각각은 단일의 개별 루마 샘플(504)에 고유하게 대응한다. 각각의 크로마 샘플(502)은 서브샘플링 방식에 따른 루마 샘플(504)의 각각의 세트에 대응한다. 각각의 루마 샘플은 루마 성분(Y')을 갖고, 각각의 크로마 샘플(502)은 청색차(blue-difference) 크로마 성분(Cb)과 적색차 크로마 성분(Cr)을 갖는다. 루마 및 크로마 성분(Y':Cb:Cr)의 서브샘플링 방식은 3파트 비율, 예를 들어, 4:1:1, 4:2:0, 4:2:2, 4:4:4, 및 4:4:0을 갖는다. 도 5에서, 비디오 프레임의 루마 샘플(504) 및 크로마 샘플(502)은 4:1:1과 동일한 3파트 비율을 갖는 서브샘플링 방식을 따른다.
일부 실시예에서, 비디오 프레임의 코딩 블록(506)은 폭에 걸쳐 2M개의 루마 샘플 및 높이에 걸쳐 2N개의 루마 샘플에 대응하는 2M x 2N 픽셀을 포함한다. M 및 N은 선택적으로 서로 동일하거나 상이하다. 도 5에서 루마 및 크로마 성분의 예시적인 서브샘플링 방식(Y':Cb:Cr=4:1:1)에 따라, 비디오 프레임의 루마 샘플(504)은 2M x 2N의 해상도로 인코딩되는 반면, 크로마 샘플(502)은 M x N의 더 작은 해상도로 인코딩된다. 실제로, 크로마 샘플(502)은 2M x 2N(예를 들어, 4:4:4 전체 샘플링), 2M x N(예를 들어, 4:4:0 서브 샘플링), M x 2N(예를 들어, 4:2:2 서브 샘플링) 및 ½ M x 2N(예를 들어, 4:1:1 서브 샘플링)과 같은 상이한 크로마 해상도로 인코딩될 수 있다.
일부 실시예에서, 동일한 비디오 프레임의 크로마 샘플(502) 및 루마 샘플(504)은 비디오 인코더(20)에서 개별적으로 코딩되고, 비디오 인코더(20)에서 비디오 디코더(30)로 전송되며, 비디오 디코더(30)에서 개별적으로 디코딩된다. 루마 샘플(504)은 일부 상황에서 디코딩된 크로마 샘플(502)을 정제하는 데 사용될 수 있다. 다르게는, 일부 실시예에서, 비디오 프레임의 코딩 블록(506)의 루마 샘플(504)은 비디오 인코더(20)에서 인코딩되고 비디오 프레임의 동일한 코딩 블록(506)의 크로마 샘플(502) 없이 비디오 디코더(30)에게 제공된다. 코딩 블록(506)의 루마 샘플(504)은 비디오 디코더(30)에서 재구성되고, 크로마 샘플(502)은 코딩 블록(506)의 재구성된 루마 샘플(504)로부터 유도된다. 루마 샘플(504)이 크로마 샘플(502)의 제2 크로마 해상도보다 더 높은 제1 루마 해상도로 주어지는 경우, 코딩 블록(506)의 루마 샘플(504)은 미리 정의된 루마 보간 방식(510)에 따라 제2 크로마 해상도와 동일한 제3 루마 해상도를 갖는 다운 샘플링된 루마 샘플의 세트(508)로 변환된다. 다운 샘플링된 루마 샘플의 세트(508)는 [수학식 1]과 같이 표현되는 선형 매핑 모델(512)에 따라 비디오 프레임의 코딩 블록(506)의 크로마 샘플(502)로 추가로 변환되며,
[수학식 1]
여기서, X 및 Y는 각각 다운 샘플링된 루마 샘플(508)의 휘도 값 및 대응하는 크로마 샘플(502)의 색차 값에 대응하고, α 및 β는 선형 매핑 모델(512)의 2개의 선형 계수이다.
구체적으로, 각각의 다운 샘플링된 루마 샘플(DLuma)(508)의 휘도 값은 [수학식 2]와 같이 루마 보간 방식(510)에 따라 다수의 이웃 루마 샘플(Luma)(504)의 휘도 값으로부터 유도되며,
[수학식 2]
여기서, k는 이웃 루마 샘플의 개수를 나타내고, 는 k개의 이웃 루마 샘플(504) 각각에 대한 필터 계수를 나타낸다. 선형 보간 방식(510)은 [수학식 3]과 같이 루마-크로마 교차 성분 필터 모델(520)을 결정하기 위해 선형 매핑 모델(512)과 결합될 수 있다.
[수학식 3]
각각의 크로마 샘플(502)은 교차 성분 선형 모델에 기초하여, 즉 상기 교차 성분 필터 모델(520)을 사용하여 k개의 이웃 루마 샘플(504)로부터 직접적으로 유도될 수 있다. 일부 실시예에서, 각각의 코딩 블록(506)에 대한 2개의 선형 계수 α 및 β가 주어지면, 코딩 블록(506)의 모든 크로마 샘플(502)은 교차 성분 필터 모델(520)을 사용하여 동일한 각각의 코딩 블록(506)에 위치된 루마 샘플(504)로부터 직접 유도된다.
일부 실시예에서, 비디오 프레임의 루마 샘플(504) 및 크로마 샘플(502)은 4개의 루마 샘플(504)마다 평균적으로 청색차 크로마 성분(Cb) 및 적색차 크로마 성분(Cr)을 갖는 하나의 크로마 샘플(504)에 대응하는 서브샘플링 방식을 따른다. 달리 말하면, 루마 샘플(504)의 제1 루마 해상도는 크로마 샘플(502)의 제2 크로마 해상도의 4배이다. 평균적으로, 4개의 루마 샘플(504)마다 제2 크로마 해상도와 같은 제3 루마 해상도를 갖는 루마 샘플(508)의 세트에서 하나의 다운 샘플링된 루마 샘플(508)로 결합된다. 일부 실시예에서, 각각의 루마 샘플(508)에 대해, 4개보다 많은 이웃 루마 샘플(504)이 각각의 크로마 샘플(502)을 유도하기 위해 적용된다. 루마 샘플(504)의 서브 세트에 대해, 각각의 루마 샘플(504)은 하나 이상의 다운 샘플링된 루마 샘플(508) 및/또는 하나 이상의 크로마 샘플(502)을 생성하기 위해 한 번 이상 적용된다. 미리 정의된 보간 방식(510)에 기반하여 루마 샘플(508) 및/또는 크로마 샘플(502)로 다중 루마 샘플(504)을 다운샘플링하는 것에 대한 더 많은 세부사항은 도 6a 내지 도 6d를 참조하여 아래에서 설명된다.
일부 실시예에서, 루마 샘플(508)을 크로마 샘플(502)로 변환하기 위해 적용되는 선형 매핑 모델(512)은 Max-Min 방법을 사용하여 유도된다. 구체적으로, 다운 샘플링된 루마 샘플의 세트로부터 최대 다운 샘플링된 루마 샘플이 식별되고, 다운 샘플링된 루마 샘플의 세트로부터 최소 다운 샘플링된 루마 샘플이 식별된다. 최대 크로마 샘플은 최대 다운 샘플링된 루마 샘플에 대응하고, 최소 크로마 샘플은 최소 다운 샘플링된 루마 샘플에 대응한다. 최대 및 최소 크로마 샘플은 선형 매핑 모델(512)을 결정하기 위해 최대 및 최소 다운 샘플링된 루마 샘플과 함께 적용된다. 즉, [수학식 1]에서 2개의 계수 α 및 β를 결정한다. 선형 매핑 모델(512)이 유도된 후, 비디오 코덱은 코딩 블록(506)에서 대응하는 크로마 샘플(502)을 생성하기 위해 선형 매핑 모델(512)을 루마 샘플(504)로부터 다운 샘플링된 루마 샘플(508)에 적용한다.
비디오 프레임의 코딩 블록은 정렬된 시퀀스에 따라 재구성된다. 일부 상황에서, 코딩 블록(506)은 비디오 프레임의 제1 행 또는 제1 열에 없으며, 코딩 블록(506)이 처리되고 있는 경우, 픽셀의 선택된 그룹이 재구성되었다. 예를 들어, 픽셀의 선택된 그룹은 코딩 블록(506)에서 픽셀의 바로 위와 좌측에 위치된 픽셀을 포함한다. 크로마 샘플(516), 루마 샘플(518) 및 다운 샘플링된 루마 샘플(514)의 선택된 그룹은 픽셀의 선택된 그룹에 대해 재구성되었고, 예를 들어 Max-Min 방법에 기초하여 선형 매핑 모델(512)을 유도하는 데 사용될 수 있다. 크로마 샘플(516), 루마 샘플(518), 및 다운 샘플링된 루마 샘플(514)은 코딩 블록(506)의 경계 외부에 있고 그 경계에 바로 인접해 있다. 구체적으로, 일부 실시예에서, 비디오 코덱은 최대 다운 샘플링된 루마 샘플(514A-1) 및 최소 다운 샘플링된 루마 샘플(514B-1)을 식별하기 위해 코딩된 다운 샘플링된 루마 샘플의 그룹(예를 들어, 상단 이웃 루마 샘플 및 좌측 이웃 루마 샘플에 대응하는 다운 샘플링된 루마 샘플(514)의 선택된 그룹)을 검색한다. 그 다음, 비디오 코덱은 최대 및 최소 다운 샘플링된 루마 샘플(514A-1, 514B-1)에 대응하는 이전에 코딩된 크로마 샘플(516A-1, 516B-1)(예를 들어, 상단 이웃 크로마 샘플 및 좌측 이웃 크로마 샘플을 포함하는 크로마 샘플(516)의 선택된 그룹에서)을 식별한다. 이와 같이, 선형 맵핑 모델(512)은 이들 연관된 다운 샘플링된 루마 샘플(514A-1, 514B-1) 및 크로마 샘플(516A-1, 516B-1)에 기초하여 유도될 수 있다.
다르게는, 일부 실시예에서, 비디오 코덱은 최대 및 최소 루마 샘플(518A, 518B)을 식별하기 위해 선택된 루마 샘플 그룹에 대해 다운 샘플링을 수행하지 않고 루마 샘플의 그룹에서 (i) 최대 루마 값을 갖는 루마 샘플(518A) 및 (ii) 최소 루마 값을 갖는 루마 샘플(518B)을 식별하기 위해 루마 샘플의 그룹(예를 들어, 상단 및 좌측 이웃 루마 샘플을 포함하는 루마 샘플(518)의 선택된 그룹)을 검색한다. 그 다음, 비디오 코덱은 다운 샘플링된 루마 샘플(514A-2)을 최대 루마 샘플(정확하게는 최대 다운 샘플링된 루마 샘플(514A-1)일 수 있거나 또는 아닐 수도 있음)로서 그리고 다운 샘플링된 루마 샘플(514B-2)을 최소 루마 샘플(정확하게는 최소 다운 샘플링된 루마 샘플(514B-1)일 수 있거나 또는 아닐 수도 있음)로서 생성하기 위해 최대 및 최소 루마 샘플(518A, 518B)과 연관된 영역(예를 들어, 6-탭 다운 샘플링 등을 포함하는 본 기술분야에서 공지된 가중 평균화 방식을 사용하는 6개 샘플을 갖는 영역)에서 다운 샘플링을 수행한다. 그 다음, 비디오 코덱은 다운 샘플링된 루마 샘플(514A-2, 514B-2)에 대응하는 크로마 샘플(516A-2, 516B-2)(예를 들어, 상단 및 좌측 이웃 크로마 샘플을 포함하는 크로마 샘플(516)의 그룹에서)을 식별한다. 이와 같이, 선형 매핑 모델(512)은 다운 샘플링된 루마 샘플(514A-2, 514B-2) 및 크로마 샘플(516A-2, 516B-2)에 기초하여 유도될 수 있다.
다르게는, 일부 실시예에서, 비디오 코덱은 최대 및 최소 크로마 샘플(516A-3, 516B-3)(예를 들어, 각각 최대 및 최소 크로마 값을 갖는 크로마 샘플)을 식별하기 위해 크로마 샘플 그룹(예를 들어, 상단 및 좌측 이웃 크로마 샘플을 포함하는 크로마 샘플(516)의 그룹)을 검색한다. 그 다음, 비디오 코덱은 최대 및 최소 크로마 샘플(516A-3, 516B-3)에 대응하는 다운 샘플링된 루마 샘플(514A-3, 514B-3)(예를 들어, 상단 및 좌측 이웃 루마 샘플을 포함하는 다운 샘플링된 루마 샘플(514)의 그룹 중에서)을 식별한다. 이와 같이, 선형 매핑 모델(512)은 다운 샘플링된 루마 샘플(514A-3, 514B-3) 및 크로마 샘플(516A-3, 516B-3)에 기초하여 유도된다.
다르게는, 일부 실시예에서, 비디오 코덱은 가장 큰 루마 값을 갖는 미리 정의된 개수(예를 들어, 2개)의 다운 샘플링된 루마 샘플(예를 들어, 514A-4, 514A-5) 및 가장 작은 루마 값을 갖는 미리 정의된 개수(예를 들어, 2개)의 다운 샘플링된 루마 샘플(예를 들어, 514B-4, 514B-5)을 식별하기 위해 다운 샘플링된 루마 샘플의 그룹(예를 들어, 다운 샘플링된 루마 샘플(514)의 선택된 그룹)을 검색한다. 그 다음, 비디오 코덱은 선택된 크로마 샘플(516)의 선택된 그룹에서 크로마 샘플(예를 들어, 516A-4, 516A-5, 516B-4, 516B-5)을 식별하며, 각각은 최대 다운 샘플링된 루마 샘플(514A-4, 514A-5)의 그룹과 최소 다운 샘플링된 루마 샘플(514B-4, 514B-5)의 그룹 중 각각에 대응한다. 그 다음, 비디오 코덱은 (예를 들어, 크로마 샘플(516A-4, 516A-5))의 최대 평균화된 크로마 값, (예를 들어, 크로마 샘플(516B-4, 516B-5))의 최소 평균화된 크로마 값, (예를 들어, 루마 샘플(514A-4, 514A-5))의 최대 평균화된 다운 샘플링된 루마 값, 및 (예를 들어, 루마 샘플(514B-4, 514B-5))의 최소 평균화된 다운 샘플링된 루마 값을 생성하기 위해 크로마 및 루마 샘플의 식별된 그룹 각각 내에서 값(예를 들어, 크로마 또는 루마 값)의 가중 평균을 수행한다. 이와 같이, 선형 매핑 모델(512)은 다운 샘플링된 루마 샘플(514A-4, 514A-5, 514B-4, 514B-5) 및 크로마 샘플(516A-4, 516A-5, 516B-4, 516B-5)에 기초하여 유도될 수 있다.
추가적으로, 일부 실시예에서, 선형 맵핑 모델(512)은 복수의 다운 샘플링된 루마 샘플(예를 들어, 다운 샘플링된 루마 샘플(514)의 선택된 그룹에서) 및 복수의 대응하는 크로마 샘플(예를 들어, 크로마 샘플(516)의 선택된 그룹에서)에 대한 선형 피팅 곡선을 생성함으로써 유도된다. 이러한 커브 피팅은 선택적으로 허용 오차를 충족시키는 편차 오차를 갖는다. 복수의 다운 샘플링된 루마 샘플은 미리 정의된 개수의 크로마 샘플에 대응하는 미리 정의된 개수(예를 들어, 10보다 큼)의 다운 샘플링된 루마 샘플을 포함한다. 일부 실시예에서, 다운 샘플링된 루마 샘플은 선형 매핑 모델(512)을 유도할 목적으로 이웃하는 다운 샘플링된 루마 샘플(514)의 그룹으로부터 무작위로 선택된다.
도 6a 내지 도 6d는 일부 실시예에 따라 복수의 크로마 샘플(502)로 변환될 복수의 루마 샘플(504)을 각각 포함하는 4개의 예시적인 코딩 블록(506A-506D)이다. 각각의 크로스("x")는 루마 샘플(504)의 위치를 나타내고, 각각의 원("o")은 크로마 샘플(502) 또는 다운 샘플링된 루마 샘플(508)의 위치를 나타낸다. 각각의 원 내 크로스("")는 크로마 샘플(502), 루마 샘플(504) 및 다운 샘플링된 루마 샘플(508)이 겹치는 위치를 나타낸다. 각각의 코딩 블록(506)은 블록 경계(602)로 표시된다. 각각의 코딩 블록(506)은 루마 및 크로마 성분(Y':Cb:Cr)의 각각의 서브샘플링 방식을 따르고, 각각의 코딩 블록(506)의 루마 샘플(504)을 대응하는 다운 샘플링된 루마 샘플(508)로 다운 샘플링하기 위해 각각의 루마 보간 방식(510)을 채택한다.
본 출원의 일부 실시예에서, 각각의 코딩 블록(506)에 대해, 모든 다운 샘플링된 루마 샘플(508)은 특히 다운 샘플링된 루마 샘플(508)이 블록 경계(602)에 바로 인접해 있는 경우 루마 보간 방식(510)을 사용하여 동일한 개별 코딩 블록(506)에 위치된 이웃 루마 샘플(504)로부터 유도된다. 각각의 모든 다운 샘플링된 루마 샘플(508)은 대응하는 크로마 샘플(502)과 항상 중첩되며, 따라서 선형 매핑 모델(512)에 기초하여 다운 샘플링된 루마 샘플(508)로부터 유도될 수 있다.
일부 실시예에서, 교차 성분 필터 모델(520)은 루마 보간 방식(510)과 선형 매핑 모델(512)의 조합이다. 각각의 코딩 블록(506)에 대해 선형 매핑 모델(512)의 2개의 선형 계수 α 및 β와 루마 보간 방식(510)의 필터 계수 가 주어지면, 코딩 블록(506)의 크로마 샘플(502)은 특히 다운 샘플링된 루마 샘플(508)이 블록 경계(602)에 바로 인접해 있는 경우 교차 성분 필터 모델(520)을 사용하여 동일한 개별 코딩 블록(506)에 위치된 루마 샘플(504)로부터 직접 유도된다.
일부 실시예에서, 코딩 블록(506)은 비디오 프레임의 제1 코딩 블록이고, 다른 코딩 블록(506)은 이러한 코딩 블록(506) 이전에 재구성되지 않았다. 이러한 코딩 블록(506)은 선택적으로 비디오 프레임의 좌측 상단 코너에 위치된다. 선형 매핑 모델(512)은 (예를 들어, 이전 비디오 프레임에 기초하여) 비디오 프레임의 코딩 블록과 독립적으로 결정된다. 다르게는, 일부 실시예에서, 코딩 블록(506)은 비디오 프레임의 제1 코딩 블록이 아니고, 하나 이상의 다른 코딩 블록(506)이 이러한 코딩 블록(506) 이전에 재구성되었다. 예를 들어, 코딩 블록(506)은 비디오 프레임의 중간에 위치되고, 코딩 블록(506)의 바로 위 또는 좌측에 있는 코딩 블록이 처리되었으며 선형 매핑 모델(512)을 결정하거나 이러한 코딩 블록(506)에서 루마 또는 크로마 샘플을 재구성하는 데 사용될 수 있다. 일부 상황에서, 코딩 블록(506)은 비디오 프레임의 상단 경계 옆에 위치되고, 코딩 블록(506)의 바로 좌측에 있는 적어도 하나의 코딩 블록이 처리되었으며 선형 매핑 모델(512)을 결정하거나 이러한 코딩 블록(506)의 루마 또는 크로마 샘플을 재구성하는 데 사용될 수 있다. 일부 상황에서, 코딩 블록(506)은 비디오 프레임의 좌측 경계 옆에 위치되고, 코딩 블록(506) 바로 위의 적어도 하나의 코딩 블록이 처리되었으며, 선형 매핑 모델(512)을 결정하거나 이러한 코딩 블록(506)의 루마 또는 크로마 샘플을 재구성하는 데 사용될 수 있다. 코딩 블록(506)의 위치에 관계없이, 코딩 블록(506)의 우측 또는 아래에 있는 코딩 블록은 처리되지 않았고 이러한 코딩 블록(506)에 대한 선형 매핑 모델(512)을 결정하거나 이러한 코딩 블록(506)의 루마 또는 크로마 샘플을 재구성하는 데 사용될 수 없다.
일부 실시예에서, 동일한 미리 정의된 루마 보간 방식(510) 또는 교차 성분 필터 모델(520)이 전체 코딩 블록(506)에 걸쳐 각각 모든 다운 샘플링된 루마 샘플(508) 또는 크로마 샘플(502)을 생성하기 위해 적용된다. 다르게는, 일부 실시예에서, 미리 정의된 루마 보간 방식(510)은 다운 샘플링된 루마 샘플(508)의 위치 또는 다운 샘플링된 루마 샘플(508)과 연관된 경계 픽셀의 위치에 따라 변한다. 유사하게, 일부 실시예에서, 교차 성분 필터 모델(520)은 크로마 샘플(502)의 위치 또는 크로마 샘플(502)과 연관된 경계 픽셀의 위치에 따라 변한다. 예를 들어, 미리 정의된 루마 보간 방식(510) 및 교차 컴포넌트 필터 모델(520) 각각은 크로스, 블록 또는 T자형 필터 구성에 대응한다.
도 6a를 참조하면, 코딩 블록(506A)은 비트스트림으로 획득되고 비트스트림으로부터 재구성된 복수의 루마 샘플(504)을 포함한다. 복수의 대응하는 크로마 샘플(502)은 복수의 루마 샘플(504)로부터 유도된다. 코딩 블록(506A)에서, 루마 및 크로마 성분(Y':Cb:Cr)(504, 502)의 서브샘플링 방식은 4:2:0의 3파트 비율을 갖는다. 각각의 크로마 샘플(502)은 교차 성분 필터 모델(520)에 따라 6개의 이웃 루마 샘플(504)로부터 결합된다. 6개 이웃 루마 샘플(504)은 각각의 크로마 샘플(502)의 좌측 상단 코너, 바로 위, 우측 상단 코너, 좌측 하단 코너, 바로 아래 및 우측 하단 코너에 위치된다. 달리 말하면, 각각의 크로마 샘플(502)의 6개의 이웃 루마 샘플(504)은 미리 정의된 루마 보간 방식(510)에 따라 각각의 크로마 샘플(502)과 겹치는 다운 샘플링된 루마 샘플(508)로 변환된 다음, 선형 매핑 모델(512)에 따라 각각의 크로마 샘플(502)로 변환된다. 예에서, 제1 크로마 샘플(502A) 및 이에 대응하는 6개의 이웃 루마 샘플(504A-1 내지 504A-6)은 블록 경계(602) 내에 완전히 둘러싸이고, 제1 크로마 샘플(502A)은 교차 성분 필터 모델(520) 또는 루마 보간 방식(510)과 선형 매핑 모델(512)의 조합에 기초하여 이웃 루마 샘플(504A-1 내지 504A-6)로부터 유도될 수 있다.
역으로, 제2 크로마 샘플(502B)은 코딩 블록(506A)의 좌측 블록 경계(602A)에 바로 인접하고 교차 성분 필터 모델(520)에 따라 6개의 이웃 루마 샘플(504B-1 내지 504B-6)에 대응한다. 일부 상황에서, 코딩 블록(506)의 좌측 블록 경계(602A)는 비디오 프레임의 좌측 경계와 중첩되고, 2개의 이웃 루마 샘플(504B-1, 504B-6)은 이러한 또는 임의의 다른 코딩 블록 내에서 이용 가능하지 않다. 코딩 블록(506) 외부에 있으면서 이용 가능하지 않은 루마 샘플(504B-1, 504B-6)은 각각 루마 샘플(504B-1, 504B)에 바로 인접한 루마 샘플(504B-2, 504B-5)로부터 복제될 수 있다. 예에서, 루마 샘플(504B-1, 504B-6)은 크로마 샘플(502B)에 대해 루마 샘플(504B-1, 504B-6)에 대칭인 504B-4 및 504B-3으로부터 복제된다. 다르게는, 일부 상황에서, 코딩 블록(506)의 좌측 블록 경계(602A)는 비디오 프레임의 좌측 경계와 중첩하지 않는다. 2개의 이웃 루마 샘플(504B-1, 504B-6)은 코딩 블록(506) 자체 내에서 이용 가능하지 않지만, 코딩 블록(506) 이전에 재구성된 다른 이웃 코딩 블록에 의해 제공될 수 있다. 코딩 블록(506) 외부에 있는 루마 샘플(504B-1, 504B-6)은 여전히 임의의 다른 코딩 블록으로부터 루마 샘플(504B-1, 504B-6)을 로드하는 것에 의존하지 않고 코딩 블록(506) 내의 루마 샘플(504B-2 내지 504B-5)로부터 복제될 수 있다. 이러한 수단에 의해, 제2 크로마 샘플(502B) 및/또는 제2 루마 샘플(508B)은 2개의 루마 샘플(504B-1, 504B-6)이 코딩 블록(506A)에 포함된 2개의 별개의 루마 샘플(예를 들어, 504B-2, 504B-5)로부터 선택적으로 할당된 이웃 루마 샘플(504B-1 내지 504B-6)로부터 추가로 유도된다.
달리 말하면, 비트스트림이 비디오 프레임의 복수의 픽셀에 대한 복수의 루마 샘플로 획득되는 경우, 복수의 픽셀은 코딩 블록(506A)에 속하고 코딩 블록(506) 내부에 위치되고 코딩 블록(506A)의 경계(602)에 바로 인접한 경계 픽셀을 포함한다. 경계 픽셀(예를 들어, 루마 샘플(504B-2)에 대응함)은 이용 가능하지 않은 하나 이상의 이웃 픽셀(예를 들어, 루마 샘플(504B-1)에 대응함)에 대응한다. 하나 이상의 이웃 픽셀 각각은 코딩 블록(506A) 외부에 있다. 일부 실시예에서, 경계 픽셀의 하나 이상의 이웃 픽셀은 비디오 프레임 또는 이미지 슬라이스의 외부에 있다. 일부 실시예에서, 경계 픽셀의 하나 이상의 이웃 픽셀은 아직 코딩되지 않았으며 코딩 블록(506)에 이어서 코딩될 것이다. 일부 실시예에서, 교차 성분 필터 모델(520)은 코딩 블록(506)으로 제한되고, 코딩 블록(506) 외부의 임의의 이웃 픽셀은 이용 불가능한 것으로 간주된다. 경계 픽셀에 대응하는 루마 샘플(504B-2, 504B-5)은 하나 이상의 이웃 픽셀 각각에 대응하는 루마 샘플(504B-1, 504B-6)에 각각 할당된다. 경계 루마 샘플(508B)은 미리 정의된 루마 보간 방식(510)에 따라 적어도 하나 이상의 이웃 픽셀 및 경계 픽셀의 루마 샘플(504B-1 내지 504B-6)에 기초하여 결정되고, 선형 매핑 모델(512)에 따라 경계 크로마 샘플(502B)을 결정하는 데 사용된다. 다르게는, 경계 크로마 샘플(502B)은 교차 성분 필터 모델(520)에 따른 하나 이상의 이웃 픽셀 및 경계 픽셀의 루마 샘플(504B-1 내지 504B-6)로부터 결정된다.
도 6b를 참조하면, 코딩 블록(506B)에서, 루마 및 크로마 성분(Y':Cb:Cr)(504, 502)의 서브샘플링 방식은 4:2:0의 3파트 비율을 갖는다. 각각의 크로마 샘플(502)은 교차 필터 형상을 갖는 교차 성분 필터 모델(520)에 따라 5개의 이웃 루마 샘플(504)로부터 결합된다. 5개의 이웃 루마 샘플(504) 중 하나는 크로마 샘플(502)과 중첩되는 반면, 나머지 4개의 이웃 루마 샘플(504)은 각각의 크로마 샘플(502)의 바로 위, 아래, 좌측 및 우측에 위치된다. 달리 말하면, 각각의 크로마 샘플(502)의 5개의 이웃 루마 샘플(504)은 미리 정의된 루마 보간 방식(510)에 따라 각각의 크로마 샘플(502)과 중첩되는 다운 샘플링된 루마 샘플(508)로 변환된 다음, 선형 매핑 모델(512)에 따라 각각의 크로마 샘플(502)로 변환된다. 예에서, 제3 크로마 샘플(502C) 및 그의 대응하는 5개의 이웃 루마 샘플(504C-1 내지 504C-5)은 블록 경계(602) 내에 완전히 둘러싸이고, 제3 크로마 샘플(502C)은 교차 성분 필터 모델(520) 또는 루마 보간 방식(510)과 선형 매핑 모델(512)의 조합에 기초하여 이웃 루마 샘플(504C-1 내지 504C-5)로부터 유도될 수 있다.
제4 크로마 샘플(502D)은 코딩 블록(506B)의 좌측 블록 경계(602A)에 바로 인접하고 교차 성분 필터 모델(520)에 따라 5개의 이웃 루마 샘플(504D-1 내지 504D-5)에 대응한다. 일부 상황에서, 코딩 블록(506B)의 좌측 블록 경계(602A)는 비디오 프레임의 좌측 경계와 중첩하고, 이웃 루마 샘플(504D-5)은 이러한 또는 임의의 다른 코딩 블록 내에서 이용 가능하지 않다. 루마 샘플(504D-5)은 루마 샘플(504D-5)에 바로 인접한 루마 샘플(504D-1) 또는 중심 루마 샘플(504D-1)에 대해 루마 샘플(504D-5)과 대칭인 루마 샘플(504D-3)로부터 복제된다. 일부 상황에서, 코딩 블록(506)의 좌측 블록 경계(602A)는 비디오 프레임의 좌측 경계와 중첩하지 않는다. 이웃 루마 샘플(504D-5)은 코딩 블록(506) 자체 내에서 이용 가능하지 않지만, 코딩 블록(506B) 이전에 재구성된 다른 이웃 코딩 블록에 의해 제공될 수 있다. 코딩 블록(506) 외부에 있는 루마 샘플(504D-5)은 임의의 다른 코딩 블록으로부터 루마 샘플(504D-5)을 로딩하는 것에 의존하지 않고 코딩 블록(506) 내에 위치한 루마 샘플(504D-1 또는 504D-3)로부터 여전히 복제될 수 있다. 이러한 수단에 의해, 제4 크로마 샘플(502D) 및/또는 제4 루마 샘플(508D)은 루마 샘플(504D-5)이 코딩 블록(506B) 내의 루마 샘플(504D-1 또는 504D-3)에 기초하여 선택적으로 할당되는 이웃 루마 샘플(504D-1 내지 504D-5)로부터 유도된다.
제5 크로마 샘플(502E)은 코딩 블록(506B)의 좌측 블록 경계(602A) 및 상단 블록 경계(602B) 모두에 바로 인접하고, 교차 성분 필터 모델(512)에 따라 5개의 이웃 루마 샘플(504E-1 내지 504E-5)에 대응한다. 일부 실시예에서, 코딩 블록(506B)은 비디오 프레임의 제1 코딩 블록이고, 2개의 이웃 루마 샘플(504E-2, 504E-5)은 이러한 또는 임의의 다른 코딩 블록 내에서 이용 가능하지 않다. 루마 샘플(504E-2, 504E-5)은 루마 샘플(504E-1)로부터 복제된다. 일부 상황에서, 코딩 블록(506B)은 비디오 프레임의 좌측 상단 코너에 위치하지 않고, 그 좌측 및 상단 이웃 코딩 블록이 사용 가능하다. 이웃 루마 샘플(504E-2, 504E-5)은 코딩 블록(506) 자체 내에서 이용 가능하지 않지만, 코딩 블록(506) 이전에 재구성된 다른 이웃 코딩 블록에 의해 제공될 수 있다. 다르게는, 루마 샘플(504E-2, 504E-5)은 임의의 다른 코딩 블록으로부터 루마 샘플을 로드하는 것에 의존하지 않고 코딩 블록(506) 내에 위치한 루마 샘플(504E-1)로부터 여전히 복제될 수 있다. 이러한 수단에 의해, 제5 크로마 샘플(502E) 및/또는 제5 루마 샘플(508E)은 루마 샘플(504E-2, 504E-5)이 코딩 블록(506B)의 블록 경계(602)에 인접하게 위치된 다른 루마 샘플(504E-1)에 기초하여 선택적으로 할당된 이웃 루마 샘플(504E-1 내지 504E-5)로부터 유도된다.
도 6c를 참조하면, 코딩 블록(506C)에서, 루마 및 크로마 성분(Y':Cb:Cr)(504, 502)의 서브샘플링 방식은 4:2:2의 3파트 비율을 갖는다. 각각의 크로마 샘플(502)은 2x3 필터 형상을 갖는 교차 성분 필터 모델(520)에 따라 6개의 이웃 루마 샘플(504)로부터 결합된다. 6개의 이웃 루마 샘플(504) 중 하나는 크로마 샘플(502)과 중첩되는 반면, 나머지 5개의 이웃 루마 샘플은 각각의 크로마 샘플(502)의 좌측, 우측, 좌측 하단 코너, 바로 아래 및 우측 하단에 위치된다. 각각의 크로마 샘플(502)의 이들 6개의 이웃 루마 샘플(504)은 미리 정의된 루마 보간 방식(510)에 따라 각각의 크로마 샘플(502)과 중첩되는 다운 샘플링된 루마 샘플(508)로 변환된 다음, 선형 매핑 모델(512)에 따라 각각의 크로마 샘플(502)로 변환된다. 일 예에서, 제6 크로마 샘플(502F) 및 이에 대응하는 6개의 이웃 루마 샘플(504F-1 내지 504F-6)은 블록 경계(602) 내에 완전히 둘러싸이고, 제6 크로마 샘플(502F)은 교차 성분 필터 모델(520) 또는 루마 보간 방식(510)과 선형 매핑 모델(512)의 조합에 기초하여 이웃 루마 샘플(504F-1 내지 504F-6)로부터 유도될 수 있다.
제7 크로마 샘플(502G)은 코딩 블록(506C)의 좌측 블록 경계(602A) 및 하단 블록 경계(602C) 모두에 바로 인접하고, 교차 성분 필터 모델(520)에 따라 6개의 이웃 루마 샘플(504G-1 내지 504G-6)에 대응한다. 일부 실시예에서, 코딩 블록(506C)은 비디오 프레임의 좌측 하단 코너에 위치되고, 좌측 및 하단 블록 경계(602A, 602C)는 비디오 프레임의 좌측 블록 경계 및 하단 블록 경계와 중첩된다. 일부 실시예에서, 코딩 블록(506C)은 비디오 프레임의 좌측 경계 옆에 위치하므로, 루마 샘플(504G-1, 504G-6)은 존재하지 않고 루마 샘플(504G-4, 504G-5)은 아직 코딩되지 않았다. 비디오 프레임의 좌측 하단 코너 또는 좌측 경계에서, 4개의 이웃 루마 샘플(504G-1, 504G-4, 504G-5, 504G-6)은 이러한 또는 임의의 다른 코딩 블록 내에서 이용 가능하지 않다. 이들 루마 샘플 각각은 루마 샘플(504G-2 또는 504G-3)으로부터 복제된다. 예를 들어, 루마 샘플(504G-4)은 루마 샘플(504G-3)로부터 복제되고 루마 샘플(504G-1, 504G-5, 504G-6)은 루마 샘플(504G-2)로부터 복제된다. 일부 상황에서, 코딩 블록(506C)은 비디오 프레임의 좌측 하단 코너에 위치되지 않고, 그 좌측 및 하단 이웃 코딩 블록이 사용 가능하다. 이웃 루마 샘플(504G-1, 504G-4, 504G-5, 504G-6)은 코딩 블록(506) 자체 내에서 이용 가능하지 않지만, 코딩 블록(506) 이전에 재구성된 다른 이웃 코딩 블록에 의해 제공될 수 있다. 다르게는, 루마 샘플(504G-1, 504G-4, 504G-5, 504G-6)은 임의의 다른 코딩 블록으로부터 루마 샘플의 로딩에 의존하지 않고 코딩 블록(506) 내에 위치된 루마 샘(504G-2, 504G-3)로부터 여전히 복제될 수 있다. 이러한 수단에 의해, 제7 크로마 샘플(502G) 및/또는 제7 루마 샘플(508G)은 루마 샘플(504G-1, 504G-4, 504G-5, 504G-6)이 코딩 블록(506C)의 블록 경계(602)에 인접하여 위치된 다른 2개의 루마 샘플(504G-2, 504G-3)에 기초하여 선택적으로 할당된 이웃 루마 샘플(504G-1 내지 504G-6)로부터 유도된다.
도 6d를 참조하면, 코딩 블록(506D)에서, 루마 및 크로마 성분(Y':Cb:Cr)(504, 502)의 서브샘플링 방식은 4:4:4의 3파트 비율을 갖는다. 각각의 크로마 샘플(502)은 2x3 필터 형상을 갖는 교차 성분 필터 모델(520)에 따라 6개의 이웃 루마 샘플(504)로부터 결합된다. 6개의 이웃 루마 샘플(504) 중 하나는 크로마 샘플(502)과 중첩되지만, 나머지 5개의 이웃 루마 샘플은 각각의 크로마 샘플(502)의 좌측, 우측, 좌측 하단 코너, 바로 아래, 및 우측 하단 코너에 위치된다. 각각의 크로마 샘플(502)의 이들 6개의 이웃 루마 샘플(504)은 미리 정의된 루마 보간 방식(510)에 따라 각각의 크로마 샘플(502)과 중첩하는 다운 샘플링된 루마 샘플(508)로 변환된 다음, 선형 매핑 모델(512)에 따라 각각의 크로마 샘플(502)로 변환된다.
제8 크로마 샘플(502H)은 코딩 블록(506D)의 하단 블록 경계(602C) 및 우측 블록 경계(602D) 모두에 바로 인접하고, 교차 성분 필터 모델(520)에 따라 6개의 이웃 루마 샘플(504H-1 내지 504H-6)에 대응한다. 일부 실시예에서, 코딩 블록(506D)은 비디오 프레임의 우측 하단 코너에 위치되고, 우측 및 하단 블록 경계(602D, 602C)는 비디오 프레임의 우측 블록 경계 및 하단 블록 경계와 중첩된다. 4개의 이웃 루마 샘플(504H-3 내지 504H-6)은 이러한 또는 임의의 다른 코딩 블록 내에서 이용 가능하지 않다. 다르게는, 일부 상황에서, 코딩 블록(506D)은 비디오 프레임의 좌측 하단 코너에 위치되지 않고, 이들 코딩 블록이 아직 재구성되지 않았기 때문에 그의 우측 및 하단 이웃 코딩 블록은 여전히 이용 가능하지 않다. 이들 루마 샘플(504H-3 내지 504H-6) 각각은 루마 샘플(504H-1 또는 504H-2)로부터 복제된다. 예를 들어, 루마 샘플(504H-6)은 루마 샘플(504H-1)로부터 복제되고 루마 샘플(504H-3 내지 504H-5)은 루마 샘플(504H-2)로부터 복제된다. 이러한 수단에 의해, 제8 크로마 샘플(502H) 및/또는 제8 루마 샘플(508H)은 루마 샘플(504H-3 내지 504H-6)이 코딩 블록(506D)의 블록 경계(602)에 인접하여 위치된 다른 2개의 루마 샘플(504H-1, 504H-2)에 기초하여 선택적으로 할당된 이웃 루마 샘플(504H-1 내지 504H-6)로부터 유도된다.
도 7은 일부 실시예에 따른 전자 장치에서 구현되는 비디오 데이터 디코딩 방법(700)의 흐름도이다. 비트스트림은 비디오 프레임의 복수의 픽셀에 대한 복수의 루마 샘플(504)을 포함하는 코딩 블록(506)으로 획득된다(702). 복수의 픽셀은 코딩 블록(506) 내부에 위치되고 코딩 블록(506)의 경계(602)에 바로 인접한 경계 픽셀을 포함한다. 전자 장치는 경계 픽셀의 하나 이상의 이웃 픽셀이 이용 가능하지 않은 것으로 결정한다(704). 하나 이상의 이웃 픽셀 각각은 코딩 블록(506) 외부에 있다. 경계 픽셀에 대응하는 루마 샘플(예를 들어, 도 6c의 504G-1)은 하나 이상의 이웃 픽셀 각각에 대응하는 루마 샘플(예를 들어, 도 6c의 504G-6)에 할당된다(706). 전자 장치는 교차 성분 필터 모델(120)에 기초한 적어도 하나 이상의 이웃 픽셀 및 경게 픽셀의 루마 샘플(예를 들어, 502G-1 내지 502G-6)에 기초하여 경계 크로마 샘플(예를 들어, 도 6c의 502G)을 결정한다. 구체적으로, 전자 장치는 적어도, 미리 정의된 루마 보간 방식(510)에 따라 하나 이상의 이웃 픽셀 및 경계 픽셀의 루마 샘플(예를 들어, 502G-1 내지 502G-6)에 기초하여 경계 루마 샘플(예를 들어, 도 6c의 508G)을 결정한다(710). 경계 크로마 샘플(예를 들어, 도 6c의 502G)은 선형 매핑 모델(512)에 따라 경계 루마 샘플로부터 결정된다(712).
일부 실시예에서, 미리 정의된 루마 보간 방식(510)은 적어도 경계 픽셀의 위치에 기초하여 결정되고, 하나 이상의 이웃 픽셀은 미리 정의된 루마 보간 방식(510)에 기초하여 경계 픽셀에 인접한다. 일부 상황에서, 미리 정의된 루마 보간 방식(510)은 또한 복수의 픽셀의 루마 샘플 및 크로마 샘플이 3파트 Y'CbCr 비율을 따르는 서브샘플링 방식에 기초하여 결정된다. 일부 상황에서, 미리 정의된 루마 보간 방식(510)은 또한 비트스트림으로부터 유도된 신택스 요소(예를 들어, "sps_chroma_collocated_vertical_flag")에 기초하여 결정된다. 선택적으로, 미리 정의된 루마 보간 방식(510)은 크로스, 블록 또는 T자형 필터 구성 중 하나에 대응한다.
일부 실시예에서, 경계 픽셀 중 하나 이상의 이웃 픽셀은 비디오 프레임 또는 이미지 슬라이스의 외부에 있다. 일부 실시예에서, 경계 픽셀 중 하나 이상의 이웃 픽셀은 아직 코딩되지 않았으며 코딩 블록에 이어서 코딩될 것이다.
일부 실시예에서, 복수의 픽셀은 코딩 블록에 완전히 둘러싸인 픽셀의 제1 세트를 포함한다. 내부 루마 샘플(예를 들어, 도 6a-6c의 508A, 508C, 508F)은 미리 정의된 루마 보간 방식(510)에 따라 픽셀의 제1 세트에 대응하는 루마 샘플 세트로부터 결정된다. 픽셀의 제1 세트에 대응하는 내부 크로마 샘플(예를 들어, 도 6a-6c의 502A, 502C, 502F)은 선형 매핑 모델(512)에 따라 내부 루마 샘플에 기초하여 결정된다.
일부 실시예에서, 예를 들어, 도 6a에서, 복수의 픽셀은 코딩 블록 내부에 있는 내부 픽셀이자 또한 내부 루마 샘플(예를 들어, 504B-3, 504B-4)에 대응하는 내부 픽셀을 더 포함한다. 경계 루마 샘플(예를 들어, 508B)은 미리 정의된 루마 보간 방식(510)에 따라 내부 픽셀의 내부 루마 샘플(예를 들어, 504B-3, 504B-4)과 하나 이상의 이웃 픽셀 및 경계 픽셀의 루마 샘플(예를 들어, 504B-1, 504B-2) 둘 다를 기반으로 결정된다.
일부 실시예에서, 예를 들어, 도 6a에서, 경계 픽셀은 제1 경계 픽셀(예를 들어, 루마 샘플(504B-2)에 대응함)이고, 하나 이상의 이웃 픽셀은 하나 이상의 제1 이웃 픽셀(예를 들어, 루마 샘플(504B-1)에 대응함)을 포함한다. 복수의 픽셀은 코딩 블록(506) 내부에 있고 코딩 블록(506)의 각각의 블록 경계(602)에 바로 인접한 제2 경계 픽셀(예를 들어, 루마 샘플(504B-5)에 대응함)을 포함한다. 전자 장치는 제2 경계 픽셀에 바로 인접한 하나 이상의 제2 이웃 픽셀(예를 들어, 루마 샘플(504B-6)에 대응함)을 생성한다. 하나 이상의 제2 이웃 픽셀 각각은 코딩 블록(506) 외부에 있다. 제2 경계 픽셀에 대응하는 루마 샘플(예를 들어, 504B-5)은 하나 이상의 제2 이웃 픽셀 각각에 대응하는 루마 샘플(예를 들어, 504B-6)에 할당되며, 여기서 경계 루마 샘플(508B)은 미리 정의된 루마 보간 방식(510)에 따라 적어도 제1 및 제2 경계 픽셀(예를 들어, 루마 샘플(504B-2, 504B-5)에 대응함)과 제1 및 제2 이웃 픽셀(예를 들어, 루마 샘플(504B-1, 504B-6)에 대응함) 모두에 기초하여 결정된다.
일부 실시예에서, 예를 들어, 도 6b에서, 하나 이상의 이웃 픽셀은 경계 픽셀(예를 들어, 루마 샘플(504D-1)에 대응함)에 대해 경계(602A)의 반대편에 있는 하나의 이웃 픽셀(예를 들어, 루마 샘플(504D-5)에 대응함)만을 포함하고 경계 픽셀에 대응하는 루마 샘플(예를 들어, 504D-1)로부터 할당된 대응하는 루마 샘플(예를 들어, 504D-5)을 갖는다.
일부 실시예에서, 예를 들어, 도 6c에서, 경계는 제1 경계(602A)를 포함하고, 경계 픽셀(예를 들어, 루마 샘플(504G-1)에 대응함)은 제1 경계(602A)와 제1 경계(602A)에 수직인 제2 경계(602C) 사이에 형성된 코딩 블록의 코너에 바로 인접한다. 하나 이상의 이웃 픽셀은 경계 픽셀에 대해 제1 경계(602A)의 반대편에 있는 제1 이웃 픽셀(예를 들어, 루마 샘플(504G-1)에 대응함), 및 (1) 경계 픽셀에 대해 제2 경계의 반대편에 있는 제2 이웃 픽셀(예를 들어, 루마 샘플(504G-5)에 대응함)과 (2) 코딩 블록(506C)의 코너 위의 경계 픽셀에 대향하는 제3 이웃 픽셀(예를 들어, 루마 샘플(504G-6)에 대응함) 중 적어도 하나를 포함한다.
일부 실시예에서, 서브샘플링 방식에 따라, 복수의 픽셀의 루마 샘플 및 크로마 샘플은 다음 비율 값, 즉 (1) 모든 4개의 수평 픽셀이 4개의 루마 샘플, 청색차 크로마 샘플(Cb) 및 적색차 크로마 샘플(Cr)에 대응하는 4:1:1, (2) 각각의 2x2 픽셀 블록의 모든 4개 픽셀이 4개의 루마 샘플, 청색차 크로마 샘플(Cb) 및 적색차 크로마 샘플(Cr)에 대응하는 4:2:0, (3) 모든 4개의 픽셀이 4개의 루마 샘플, 2개의 청색차 크로마 샘플(Cb) 및 2개의 적색차 크로마 샘플(Cr)에 대응하는 4:2:2, (4) 모든 4개의 픽셀이 4개의 루마 샘플, 4개의 청색차 크로마 샘플(Cb) 및 4개의 적색차 크로마 샘플(Cr)에 대응하는 4:4:4 중 하나를 갖는 3파트 Y'CbCr 비율에 따른다.
일부 실시예에서, 미리 정의된 루마 보간 방식에 따라, 2x3 서브 어레이의 6개의 이웃 루마 샘플(504)은 대체 루마 샘플(508)로 다운 샘플링되고, 2x3 어레이의 루마 샘플의 좌측 및 우측 열 각각은 예를 들어, 도 6a, 6b 및 6d에서 동일한 행의 대체 루마 샘플을 생성하기 위해 적어도 두 번 사용된다. 일부 실시예에서, 미리 정의된 루마 보간 방식에 따라, 5개의 이웃 루마 샘플(504)은 대체 루마 샘플(508)로 다운 샘플링되고, 예를 들어, 도 6b에서 중심 픽셀을 중심으로 하는 크로스 유형 서브 어레이로 배열된다.
일부 실시예에서, 비트스트림은 비디오 프레임의 제2 복수의 픽셀에 대한 제2 복수의 루마 샘플(518) 및 제2 복수의 크로마 샘플(516)로 획득된다. 대체 복수의 루마 샘플(514)이 결정되고 미리 정의된 루마 보간 방식(510)에 따라 복수의 크로마 샘플(516)과 동일한 해상도를 갖는다. 제1 파라미터(α) 및 제2 파라미터(β)는 대체 복수의 루마 샘플(514) 및 제2 복수의 크로마 샘플(516)을 사용하여 선형 매핑 모델(512)에 대해 결정된다. 또한, 일부 실시예에서, 경계 크로마 샘플(Y)은 [수학식 1]에서 설명된 바와 같이 선형 매핑 모델(512)에 따라 경계 루마 샘플(X)로부터 결정된다. 도 5를 참조하면, 일부 실시예에서, 2개의 가장 큰 루마 샘플(514A-4, 514A-5)이 대체 복수의 루마 샘플(514) 중에서 결정되고, 2개의 가장 작은 루마 샘플(514B-4, 514B-5)이 대체 복수의 루마 샘플(514) 중에서 결정된다. 2개의 가장 큰 루마 샘플(514A-4, 514A-5)은 제1 루마 값으로 평균화되고, 2개의 가장 작은 루마 샘플(514B-4, 514B-5)은 제2 루마 값으로 평균화된다. 2개의 제1 크로마 샘플(516A-4, 516A-5)은 2개의 가장 큰 루마 샘플(514A-4, 514A-5)과 연관된 제2 복수의 크로마 샘플(514) 중에서 결정된다. 2개의 제2 크로마 샘플(516B-4, 516B-5)은 2개의 가장 작은 루마 샘플(514B-4, 514B-5)과 연관된 제2 복수의 크로마 샘플 중에서 결정된다. 2개의 제1 크로마 샘플의 값(516A-4, 516A-5)은 제1 루마 값에 대응하는 제1 크로마 값으로 평균화되고, 2개의 제2 크로마 샘플의 값(516B-4, 516B-5)은 제2 루마 값에 대응하는 제2 크로마 값으로 평균화된다. 선형 매핑 모델(512)은 제1 및 제2 루마 값과 제1 및 제2 크로마 값에 기초하여 크로마 샘플(502)과 루마 샘플(508) 사이에서 유도된다.
하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 컴퓨터 판독 가능 매체에 하나 이상의 명령 또는 코드로서 저장되거나 전송될 수 있으며, 하드웨어 기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독 가능 저장 매체, 또는 예를 들어, 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독 가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독 가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에 설명된 구현의 구현을 위한 명령, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.
여기에서 구현의 설명에서 사용된 용어는 특정 구현을 설명하기 위한 목적으로만 사용되며 청구 범위를 제한하도록 의도되지 않는다. 구현 및 첨부된 청구범위의 설명에서 사용된 바와 같이, 단수 형태 "하나(a)", "하나(an)" 및 "상기(the)"는 문맥이 명백하게 달리 나타내지 않는 한 복수 형태도 포함하도록 의도된다. 본 명세서에 사용된 용어 "및/또는"은 연관된 나열된 항목 중 하나 이상의 모든 가능한 조합을 지칭하고 포함하는 것으로 또한 이해될 것이다. 본 명세서에서 사용될 때 용어 "포함하다" 및/또는 "포함하는"은 언급된 특징, 요소 및/또는 컴포넌트의 존재를 명시하지만, 존재 또는 하나 이상의 다른 특징, 요소, 컴포넌트, 및/또는 그룹의 추가를 배제하지 않는다는 것이 또한 이해될 것이다.
제1, 제2 등의 용어가 다양한 요소를 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 요소는 이러한 용어에 의해 제한되어서는 안된다는 것이 또한 이해될 것이다. 이러한 용어는 한 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 본 구현의 범위를 벗어나지 않으면서 제1 전극은 제2 전극으로 명명될 수 있고, 유사하게 제2 전극도 제1 전극으로 명명될 수 있다. 제1 전극과 제2 전극은 모두 전극이지만, 동일한 전극은 아니다.
본 출원의 설명은 예시 및 설명의 목적으로 제시되었으며, 개시된 형태로 본 발명을 완전하게 하거나 제한하도록 의도되지 않는다. 많은 수정, 변형 및 대안적인 구현이 전술한 설명 및 관련 도면에 제시된 교시의 이점을 갖는 당업자에게 명백할 것이다. 본 실시예는 본 발명의 원리, 실제 적용을 가장 잘 설명하고 당업자가 다양한 구현을 위해 본 발명을 이해하게 하고 고려된 특정 용도에 적합하도록 다양한 수정을 가한 기본 원리 및 다양한 구현을 가장 잘 활용할 수 있도록 선택되고 설명되었다. 따라서, 청구항의 범위는 개시된 구현의 특정 예에 제한되지 않고 수정 및 다른 구현이 첨부된 청구항의 범위 내에 포함되도록 의도된다는 것이 이해되어야 한다.

Claims (19)

  1. 비디오 데이터를 디코딩하기 위한 방법으로서,
    비트스트림으로부터, 비디오 프레임의 복수의 픽셀에 대한 복수의 루마(luma) 샘플을 획득하는 단계 ― 상기 복수의 픽셀은 코딩 블록에 속하고 상기 코딩 블록 내부에 위치하는 경계 픽셀을 포함하고, 상기 경계 픽셀은 상기 코딩 블록의 경계에 바로 인접함 ―;
    상기 경계 픽셀의 하나 이상의 이웃 픽셀이 이용 가능하지 않은 것으로 결정하는 단계 ― 상기 하나 이상의 이웃 픽셀의 각각은 상기 코딩 블록의 외부에 있음 ―;
    상기 경계 픽셀에 대응하는 각각의 루마 샘플을 상기 하나 이상의 이웃 픽셀의 각각에 대응하는 루마 샘플에게 할당하는 단계;
    미리 정의된 루마 보간 방식에 따라 적어도 상기 하나 이상의 이웃 픽셀과 상기 경계 픽셀의 루마 샘플에 기초하여 경계 루마 샘플을 결정하는 단계; 및
    선형 매핑 모델에 따라 상기 경계 루마 샘플로부터 경계 크로마(chroma) 샘플을 결정하는 단계
    를 포함하는 비디오 데이터를 디코딩하기 위한 방법.
  2. 제1항에 있어서,
    적어도 상기 경계 픽셀의 위치에 기초하여 상기 미리 정의된 루마 보간 방식을 결정하는 단계 ― 상기 하나 이상의 이웃 픽셀은 상기 미리 정의된 루마 보간 방식에 기초하여 상기 경계 픽셀에 인접함 -
    를 더 포함하는 비디오 데이터를 디코딩하기 위한 방법.
  3. 제1항에 있어서,
    상기 미리 정의된 루마 보간 방식은 상기 복수의 픽셀에 대응하는 서브샘플링 방식과 상기 비트스트림으로부터 유도된 신택스 요소 중 적어도 하나에 기초하여 결정되는,
    비디오 데이터를 디코딩하기 위한 방법.
  4. 제1항에 있어서,
    상기 경계 픽셀의 하나 이상의 이웃 픽셀은 상기 비디오 프레임 또는 이미지 슬라이스의 외부에 있는,
    비디오 데이터를 디코딩하기 위한 방법.
  5. 제1항에 있어서,
    상기 경계 픽셀의 하나 이상의 이웃 픽셀은 아직 코딩되지 않았으며 상기 코딩 블록에 이어서 코딩될 것인,
    비디오 데이터를 디코딩하기 위한 방법.
  6. 제1항에 있어서,
    상기 복수의 픽셀은 상기 코딩 블록에 완전히 둘러싸인 제1 픽셀 세트를 포함하며,
    상기 비디오 데이터를 디코딩하기 위한 방법은,
    상기 미리 정의된 루마 보간 방식에 따라 상기 제1 픽셀 세트에 대응하는 루마 샘플의 세트로부터 내부 루마 샘플을 결정하는 단계; 및
    상기 선형 매핑 모델에 따라 상기 내부 루마 샘플에 기초하여 상기 제1 픽셀 세트에 대응하는 내부 크로마 샘플을 결정하는 단계
    를 더 포함하는, 비디오 데이터를 디코딩하기 위한 방법.
  7. 제1항에 있어서,
    상기 복수의 픽셀은 상기 코딩 블록 내부에 있는 내부 픽셀이자 또한 내부 루마 샘플에 대응하는 상기 내부 픽셀을 더 포함하고,
    상기 경계 루마 샘플은 상기 미리 정의된 루마 보간 방식에 따라 상기 내부 픽셀의 내부 루마 샘플과 상기 하나 이상의 이웃 픽셀 및 상기 경계 픽셀의 루마 샘플 모두에 기초하여 결정되는,
    비디오 데이터를 디코딩하기 위한 방법.
  8. 제1항에 있어서,
    상기 경계 픽셀은 제1 경계 픽셀이고, 상기 하나 이상의 이웃 픽셀은 하나 이상의 제1 이웃 픽셀을 포함하며,
    상기 복수의 픽셀은 상기 코딩 블록 내부에 있고 상기 코딩 블록의 각각의 경계에 바로 인접한 제2 경계 픽셀을 포함하며,
    상기 비디오 데이터를 디코딩하기 위한 방법은,
    상기 제2 경계 픽셀에 바로 인접한 하나 이상의 제2 이웃 픽셀을 생성하는 단계 ― 상기 하나 이상의 제2 이웃 픽셀의 각각은 상기 코딩 블록 외부에 있음 ―; 및
    상기 제2 경계 픽셀에 대응하는 루마 샘플을 상기 하나 이상의 제2 이웃 픽셀의 각각에 대응하는 루마 샘플에게 할당하는 단계 ― 상기 경계 루마 샘플은 적어도 상기 미리 정의된 루마 보간 방식에 따라 상기 제1 및 제2 경계 픽셀과 상기 제1 및 제2 이웃 픽셀 둘 다의 루마 샘플에 기초하여 결정됨 ―
    를 더 포함하는, 비디오 데이터를 디코딩하기 위한 방법.
  9. 제1항에 있어서,
    상기 하나 이상의 이웃 픽셀은 상기 경계 픽셀에 대해 상기 경계의 반대측에 있는 하나의 이웃 픽셀이자 또한 상기 경계 픽셀에 대응하는 루마 샘플로부터 할당된 대응하는 루마 샘플을 갖는 상기 하나의 이웃 픽셀만을 포함하는,
    비디오 데이터를 디코딩하기 위한 방법.
  10. 제1항에 있어서,
    상기 경계는 제1 경계를 포함하고,
    상기 경계 픽셀은 상기 제1 경계와 상기 제1 경계에 수직인 제2 경계 사이에 형성된 상기 코딩 블록의 코너에 바로 인접하며,
    상기 하나 이상의 이웃 픽셀은 (1) 상기 경계 픽셀에 대해 상기 제2 경계의 반대측에 있는 제2 이웃 픽셀과 (2) 상기 코딩 블록의 코너 위의 경계 픽셀에 대향하는 제3 이웃 픽셀 중 적어도 하나와, 상기 경계 픽셀에 대해 상기 제1 경계의 반대측에 있는 제1 이웃 픽셀을 포함하는,
    비디오 데이터를 디코딩하기 위한 방법.
  11. 제3항에 있어서,
    서브샘플링 방식에 따라, 상기 복수의 픽셀의 루마 샘플 및 크로마 샘플은,
    (1) 모든 4개의 수평 픽셀이 4개의 루마 샘플, 1개의 청색차(blue-difference) 크로마 샘플(Cb) 및 1개의 적색차(red-difference) 크로마 샘플(Cr)에 대응하는 4:1:1;
    (2) 각각의 2x2 픽셀 블록의 모든 4개의 픽셀이 4개의 루마 샘플, 청색차 크로마 샘플(Cb) 및 적색차 크로마 샘플(Cr)에 대응하는 4:2:0;
    (3) 모든 4개의 픽셀이 4개의 루마 샘플, 2개의 청색차 크로마 샘플(Cb) 및 2개의 적색차 크로마 샘플(Cr)에 대응하는 4:2:2; 및
    (4) 모든 4개의 픽셀이 4개의 루마 샘플, 4개의 청색차 크로마 샘플(Cb) 및 4개의 적색차 크로마 샘플(Cr)에 대응하는 4:4:4
    의 비율 값들 중 하나를 갖는 3파트 Y'CbCr 비율을 따르는,
    비디오 데이터를 디코딩하기 위한 방법.
  12. 제1항에 있어서,
    상기 미리 정의된 루마 보간 방식에 따라, 2x3 서브 어레이의 6개의 루마 샘플은 대체 루마 샘플로 다운 샘플링되고, 2x3 어레이의 좌측 및 우측 열(column)의 각각의 적어도 두 개의 루마 샘플은 대체 루마 샘플을 생성하기 위해 사용되는,
    비디오 데이터를 디코딩하기 위한 방법.
  13. 제1항에 있어서,
    상기 미리 정의된 루마 보간 방식에 따라, 5개의 루마 샘플은 대체 루마 샘플로 다운 샘플링되고 중심 픽셀을 중심으로 크로스 형상의 서브 어레이로 배열되는,
    비디오 데이터를 디코딩하기 위한 방법.
  14. 제1항에 있어서,
    상기 비트스트림으로부터, 제2 복수의 루마 샘플 및 제2 복수의 크로마 샘플을 획득하는 단계;
    상기 미리 정의된 루마 보간 방식에 따라 상기 복수의 크로마 샘플과 동일한 해상도를 갖는 대체 복수의 루마 샘플을 결정하는 단계; 및
    상기 대체 복수의 루마 샘플 및 상기 제2의 복수의 크로마 샘플을 사용하여 상기 선형 매핑 모델에 대한 제1 파라미터(α) 및 제2 파라미터(β)를 유도하는 단계
    를 더 포함하는 비디오 데이터를 디코딩하기 위한 방법.
  15. 제1항에 있어서,
    상기 경계 크로마 샘플(Y)은 다음의 수학식

    을 사용하여 설명되는 선형 매핑 모델에 따라 상기 경계 루마 샘플(X)로부터 결정되고, 여기서 α 및 β는 상기 선형 매핑 모델의 2개의 선형 계수인,
    비디오 데이터를 디코딩하기 위한 방법.
  16. 제14항에 있어서,
    상기 선형 매핑 모델 샘플에 대한 상기 제1 파라미터(α) 및 상기 제2 파라미터(β)를 결정하는 것은,
    상기 대체 복수의 루마 샘플 중에서 2개의 가장 큰 루마 샘플을 식별하는 것;
    상기 대체 복수의 루마 샘플 중에서 2개의 가장 작은 루마 샘플을 식별하는 것;
    상기 2개의 가장 큰 루마 샘플에 기초하여 제1 루마 값을 결정하는 것;
    상기 2개의 가장 작은 루마 샘플에 기초하여 제2 루마 값을 결정하는 것;
    상기 2개의 가장 큰 루마 샘플과 연관된 제2 복수의 크로마 샘플 중에서 2개의 제1 크로마 샘플을 식별하는 것;
    상기 2개의 가장 작은 루마 샘플과 연관된 제2 복수의 크로마 샘플 중에서 2개의 제2 크로마 샘플을 식별하는 것;
    상기 2개의 제1 크로마 값에 기초하여 상기 제1 루마 값에 대응하는 제1 크로마 값을 결정하는 것;
    상기 2개의 제2 크로마 값에 기초하여 상기 제2 루마 값에 대응하는 제2 크로마 값을 결정하는 것; 및
    상기 제1 및 제2 루마 값과 상기 제1 및 제2 크로마 값에 기초하여 크로마 값과 루마 값 사이의 선형 매핑 모델을 유도하는 것
    을 더 포함하는, 비디오 데이터를 디코딩하기 위한 방법.
  17. 전자 장치로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제16항 중 어느 한 항의 방법을 수행하게 하는 명령을 저장하는 메모리
    를 포함하는 전자 장치.
  18. 비일시적 컴퓨터 판독 가능 매체로서,
    하나 이상의 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제16항 중 어느 한 항의 방법을 수행하게 하는 명령을 저장하는,
    비일시적 컴퓨터 판독 가능 매체.
  19. 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램으로서,
    명령어를 포함하고, 상기 명령어는 하나 이상의 프로세서에 의해 실행될 때 제1항 내지 제16항 중 어느 한 항의 방법을 구현하는,
    컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램.
KR1020227026161A 2019-12-30 2020-12-29 비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정 KR102558336B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237023058A KR20230107417A (ko) 2019-12-30 2020-12-29 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962955348P 2019-12-30 2019-12-30
US62/955,348 2019-12-30
PCT/US2020/067356 WO2021138354A1 (en) 2019-12-30 2020-12-29 Cross component determination of chroma and luma components of video data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237023058A Division KR20230107417A (ko) 2019-12-30 2020-12-29 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정

Publications (2)

Publication Number Publication Date
KR20220112859A KR20220112859A (ko) 2022-08-11
KR102558336B1 true KR102558336B1 (ko) 2023-07-20

Family

ID=76686837

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237023058A KR20230107417A (ko) 2019-12-30 2020-12-29 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정
KR1020227026161A KR102558336B1 (ko) 2019-12-30 2020-12-29 비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237023058A KR20230107417A (ko) 2019-12-30 2020-12-29 비디오 데이터의 크로마 및 루마 성분의 교차 성분결정

Country Status (7)

Country Link
US (1) US20220337847A1 (ko)
EP (1) EP4085631A4 (ko)
JP (2) JP2022553444A (ko)
KR (2) KR20230107417A (ko)
CN (1) CN115104311A (ko)
MX (1) MX2022008238A (ko)
WO (1) WO2021138354A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115462081A (zh) * 2020-04-18 2022-12-09 抖音视界有限公司 4:2:0或4:2:2视频的交叉分量编解码
WO2023141245A1 (en) * 2022-01-24 2023-07-27 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for cross-component prediction for video coding
WO2023183510A1 (en) * 2022-03-23 2023-09-28 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for cross-component prediction for video coding
US20230336748A1 (en) * 2022-04-19 2023-10-19 Tencent America LLC Chroma from luma prediction using mapping and different types
WO2024026098A1 (en) * 2022-07-28 2024-02-01 Beijing Dajia Internet Information Technology Co., Ltd Method and apparatus for cross-component prediction for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140153844A1 (en) 2011-06-30 2014-06-05 Lg Electronics Inc. Interpolation method and prediction method using same
US20150043641A1 (en) 2012-04-26 2015-02-12 Sony Corporation Data encoding and decoding
US20170085917A1 (en) 2015-09-23 2017-03-23 Nokia Technologies Oy Method, an apparatus and a computer program product for coding a 360-degree panoramic video
US20170099490A1 (en) 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201408745YA (en) * 2011-06-28 2015-02-27 Samsung Electronics Co Ltd Prediction method and apparatus for chroma component of image using luma component of image
CN107211121B (zh) * 2015-01-22 2020-10-23 联发科技（新加坡）私人有限公司 视频编码方法与视频解码方法
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US11277604B2 (en) * 2016-07-14 2022-03-15 Samsung Electronics Co., Ltd. Chroma intra prediction method and device therefor
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
HUE062341T2 (hu) * 2018-10-08 2023-10-28 Beijing Dajia Internet Information Tech Co Ltd Kereszt-komponenses lineáris model egyszerûsítése
CN117278744A (zh) * 2019-02-22 2023-12-22 华为技术有限公司 使用线性模型进行帧内预测的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140153844A1 (en) 2011-06-30 2014-06-05 Lg Electronics Inc. Interpolation method and prediction method using same
US20150043641A1 (en) 2012-04-26 2015-02-12 Sony Corporation Data encoding and decoding
US20170085917A1 (en) 2015-09-23 2017-03-23 Nokia Technologies Oy Method, an apparatus and a computer program product for coding a 360-degree panoramic video
US20170099490A1 (en) 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode

Also Published As

Publication number Publication date
US20220337847A1 (en) 2022-10-20
WO2021138354A1 (en) 2021-07-08
CN115104311A (zh) 2022-09-23
JP2023113871A (ja) 2023-08-16
JP2022553444A (ja) 2022-12-22
KR20220112859A (ko) 2022-08-11
KR20230107417A (ko) 2023-07-14
EP4085631A1 (en) 2022-11-09
MX2022008238A (es) 2022-10-07
EP4085631A4 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
KR102558336B1 (ko) 비디오 데이터의 크로마 및 루마 성분의 교차 성분 결정
CN114501000B (zh) 用于视频编码的方法和电子装置
US20220321895A1 (en) Cross component adaptive loop filter for video coding
KR102521034B1 (ko) 팔레트 모드를 이용한 비디오 코딩의 방법 및 장치
JP2024038261A (ja) ４：４：４の彩度形式でのビデオ符号化の方法および装置
KR102442653B1 (ko) 비디오 코딩에서의 예측 모드 시그널링
WO2021108676A1 (en) Deblocking filtering for video coding
WO2020243399A1 (en) Methods and apparatus of segment-based video coding using palette mode
KR102663297B1 (ko) 4:4:4 색 포맷의 비디오 코딩 방법 및 장치
JP7401631B2 (ja) パレットモードを用いたビデオコーディングの方法および装置
US12003729B2 (en) In-loop filters for video coding
KR102585317B1 (ko) 비디오 코딩을 위한 인-루프 필터
CN114208172A (zh) 执行用于调色板模式的率失真分析的方法和装置
KR20240068073A (ko) 4:4:4 색 포맷의 비디오 코딩 방법 및 장치
CN115004706A (zh) 关于变换和系数信令的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant