KR102634068B1 - 시각 미디어 인코딩 및 디코딩을 위한 평면 예측 모드 - Google Patents

시각 미디어 인코딩 및 디코딩을 위한 평면 예측 모드 Download PDF

Info

Publication number
KR102634068B1
KR102634068B1 KR1020217008656A KR20217008656A KR102634068B1 KR 102634068 B1 KR102634068 B1 KR 102634068B1 KR 1020217008656 A KR1020217008656 A KR 1020217008656A KR 20217008656 A KR20217008656 A KR 20217008656A KR 102634068 B1 KR102634068 B1 KR 102634068B1
Authority
KR
South Korea
Prior art keywords
sample
samples
block
neighboring
unit
Prior art date
Application number
KR1020217008656A
Other languages
English (en)
Other versions
KR20210047337A (ko
Inventor
밍 리
핑 우
자오 우
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20210047337A publication Critical patent/KR20210047337A/ko
Application granted granted Critical
Publication of KR102634068B1 publication Critical patent/KR102634068B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 도출하기 위한 디바이스, 시스템 및 방법이 설명된다. 일 측면에서, 비디오 코딩을 위한 방법은 현재 블록의 재구성된 이웃 샘플들인 제1 세트의 참조 샘플들을 선택하는 단계; 및 상기 제1 세트 및 제2 세트의 참조 샘플들 중 적어도 하나를 보간함으로써 현재 블록의 예측 샘플에 대한 예측값을 결정하는 단계를 포함하고, 상기 제2 세트의 참조 샘플들 중 참조 샘플은 상기 제1 세트의 참조 샘플들로부터의 제1 샘플 및 제2 샘플의 가중합(weighted sum)에 기초하고, 상기 참조 샘플은 상기 제1 샘플과 수평으로 정렬되고, 상기 제2 샘플과 수직으로 정렬되고, 및 상기 제1 샘플이나 상기 제2 샘플에 대해 상기 예측 샘플의 반대편에 위치된다.

Description

시각 미디어 인코딩 및 디코딩을 위한 평면 예측 모드
본 출원은 일반적으로 비디오 코딩 기술에 관한 것이다.
비디오 압축의 기술의 발전에도 불구하고, 디지털 비디오는 여전히 인터넷 및 기타 디지털 통신 네트워크에서 가장 큰 대역폭 사용을 차지하고 있다. 비디오를 수신하고 표시할 수 있는 연결된 사용자 디바이스의 수가 증가함에 따라 디지털 비디오 사용에 대한 대역폭 수요는 계속해서 증가할 것으로 예상된다.
비디오 인코딩 및 디코딩을 위한 평면 예측 모드(planar prediction mode)와 관련된 방법, 시스템 및 디바이스가 설명된다. 설명된 방법은 기존 비디오 코딩 표준(예를 들어, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)으로도 알려진 H.265) 및 미래의 비디오 코딩 표준 또는 코덱 모두에 적용될 수 있다.
하나의 예시적인 측면에서, 비디오 코딩 방법이 개시된다. 상기 방법은 현재 블록의 재구성된 이웃 샘플들인 제1 세트의 참조 샘플들을 선택하는 단계, 및 상기 제1 세트의 참조 샘플들 중 적어도 하나와 제2 세트의 참조 샘플들 중 적어도 하나를 보간(interpolating)함으로써 현재 블록의 예측 샘플에 대한 예측값을 결정하는 단계를 포함하고, 상기 제2 세트의 참조 샘플들의 참조 샘플은 상기 제1 세트의 참조 샘플들로부터의 제1 샘플 및 제2 샘플의 가중합(weighted sum)에 기초하고, 상기 참조 샘플은 상기 제1 샘플과 수평으로 정렬되고, 상기 제2 샘플과 수직으로 정렬되며, 및 상기 제1 샘플 및 상기 제2 샘플 중 하나에 대해 상기 예측 샘플의 반대편(opposite side)에 위치된다.
또 다른 예시적인 측면에서, 전술한 방법은 프로세서 실행가능 코드의 형태로 구현되고 컴퓨터 판독가능 프로그램 매체에 저장된다.
또 다른 예시적인 실시예에서, 전술한 방법을 수행하도록 구성되거나 동작할 수 있는 장치가 개시된다.
상기 및 다른 측면들 및 그 구현은 도면, 설명 및 청구항에서 더 상세하게 설명된다.
도 1은 평면 예측 모드의 예를 도시한다.
도 2는 비디오 또는 픽처 인코더의 예를 도시한다.
도 3은 비디오 또는 픽처 디코더의 예를 도시한다.
도 4는 비디오 코딩 방법에 대한 예시적인 흐름도를 도시한다.
도 5a 및 5b는 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 예시적인 실시예를 도시한다.
도 6은 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 다른 예시적인 실시예를 도시한다.
도 7은 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 또 다른 예시적인 실시예를 도시한다.
도 8은 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 또 다른 예시적인 실시예를 도시한다.
도 9는 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 또 다른 예시적인 실시예를 도시한다.
도 10은 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 또 다른 예시적인 실시예를 도시한다.
도 11은 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 또 다른 예시적인 실시예를 도시한다.
도 12는 코딩 블록에 대한 인트라 예측 모드가 평면 모드일 때 인트라 예측 샘플을 얻기 위한 또 다른 예시적인 실시예를 도시한다.
도 13은 본원에 개시된 기술에 따른 시각 미디어 코딩을 위한 예시적인 방법의 흐름도를 도시한다.
도 14는 본원에 설명된 시각 미디어 인코딩 또는 디코딩 기술을 구현하기 위한 예시적인 하드웨어 플랫폼의 블록도이다.
도 15는 본원에 설명된 시각 미디어 인코딩 또는 디코딩 기술을 구현하기 위한 다른 예시적인 하드웨어 플랫폼의 블록도이다.
도 16은 본원에 설명된 시각 미디어 인코딩 또는 디코딩 기술을 구현하기 위한 또 다른 예시적인 하드웨어 플랫폼의 블록도이다.
도 17은 본원에 설명된 시각 미디어 인코딩 또는 디코딩 기술을 구현하기 위한 또 다른 예시적인 하드웨어 플랫폼의 블록도이다.
디지털 비디오 및 픽처(picture)를 압축하는 기술은 비디오 및 픽처에서 리던던시(redundancy)를 제거하기 위해 픽셀 샘플들 간의 상관(correlation) 특성을 이용한다. 인코더는 이웃하는 인코딩된 픽셀들을 사용하여 현재의 코딩 픽셀들을 예측하는 "인트라 예측(intra prediction)"이라고 하는 방법을 적용하여 공간 리던던시를 제거하기 위해 이웃하는 샘플들 사이의 공간 상관(spatial correlation)을 이용한다. 디지털 비디오는 일련의 픽처로 구성되기 때문에 단일 픽처에서 공간 상관 외에도, 이미 하나 이상의 이미 인코딩된 픽처를 참조하여 현재 코딩 픽처에서 코딩 픽셀을 예측하는 "인터 예측(inter prediction)"이라고 통칭되는 방법이 구비된 인코더에 의해 픽처들 간의 시간 상관(temporal correlation)이 또한 이용된다. 모션 추정(motion estimation, ME) 및 모션 보상(motion compensation, MC)은 인터 예측을 수행하기 위한 두 가지 주요 단계이다.
업계에서 채택한 비디오 코딩 표준에서, 블록의 위(above)와 좌측 이웃 픽셀이 블록의 예측 샘플을 얻기 위해 인트라 예측 프로세스에서 사용된다. 인트라 예측 모드는 블록의 인트라 예측 샘플을 도출하는 방법을 나타낸다. 예를 들어, 4x4 블록에 대해 H.264/AVC 표준에는 9 개의 인트라 예측 모드가 있다. H.265/HEVC 표준에서는 코딩 유닛(CU)의 효과적인 압축을 위해 33 개의 각도 예측 모드와 DC 모드 및 평면 모드가 도입되어 있다.
개시된 기술의 실시예는 런타임(runtime) 성능을 개선하기 위해 기존 비디오 코딩 표준(예를 들어, HEVC, H.265) 및 미래 표준에 적용될 수 있다. 본원에서 섹션 표제는 설명의 가독성을 향상시키기 위해 사용되며, 어떠한 경우든 설명 또는 실시예(및/또는 구현)를 각각의 섹션으로만 제한하지 않는다.
1 평면 예측 모드 및 비디오 인코딩/디코딩의 개요
H.265/HEVC 표준에 명시된 바와 같이, 평면 모드(planar mode)에서 블록의 예측 샘플의 값은 블록의 다음의 이웃(neighboring) 샘플들의 값의 가중합(weighted sum)으로 도출된다: 우측 상단(top-right)의 것, 좌측 하단(bottom-left)의 것, 위의(above) 것 및 좌측의 것. 평면 모드를 사용하는 경우, 예측된 샘플을 얻기 위한 프로세스 또는 모듈은 먼저 우측 이웃 샘플을 우측 상단 이웃 샘플로 패딩하고 상기 우측 이웃 샘플과 좌측 이웃 샘플의 수평 보간값을 계산하고, 그 다음 하단의 이웃 샘플들을 좌측 하단의 이웃 샘플로 패딩하고 상기 하단의 이웃 샘플과 위의 이웃 샘플의 수직 보간값을 계산하고, 마지막으로 예측된 샘플을 상기 두 보간값의 평균으로 설정한다.
도 1은 H.265 표준에서 평면 모드의 예측 샘플들의 도출 프로세스를 도시한다. 여기에 도시된 바와 같이, 블록에서의 예측 샘플은 제1 예측값(수평 방향 보간으로 획득)과 제2 예측값(수직 방향 보간으로 획득)의 평균으로 도출되며, 여기서 상기 제1 예측값은 참조 샘플 "T"(예를 들어, 우측 상단 샘플) 및 예측 샘플(예를 들어, 좌측 샘플)과 동일한 행(row)에 있는 좌측 이웃(neighboring) 샘플들 중 참조 샘플의 가중 평균(weighted average)으로 계산되고, 상기 제2 예측값은 참조 샘플 "L"(예를 들어, 좌측 하단 샘플) 및 예측 샘플(예를 들어, 위의 샘플)과 동일한 열(column)에 있는 위의 이웃 샘플들 중 참조 샘플의 가중 평균으로 계산된다.
이 프로세스는 도 1의 맥락에서 다음과 같이 요약될 수 있다:
(1) 샘플 "T"를 사용하여 우측 이웃 샘플을 패딩하고 수평 보간값을 계산하고;
(2) 샘플 "L"을 사용하여 하단 이웃 샘플을 패딩하고 수직 보간값을 계산하고; 및
(3) 평면 예측 모드의 예측값을 상기 두 보간값의 평균으로 설정한다.
1.1 기존 구현방법의 단점
H.265/HEVC 표준의 기존 평면 모드의 단점 중 하나는 고정된 위치 샘플들로 우측 및 하단 이웃 샘플들을 패딩(padding)하는 것은 우측 및 하단 이웃 샘플들에 페이크 텍스처(fake texture) 특성을 가져와 예측 정확도 및 효율성 저하를 초래한다는 것이다.
또 다른 기존의 구현(JVET-K0055로 표시됨)에서는, 우측 하단(bottom-right)의 이웃 샘플이 먼저 우측 상단의 이웃 샘플(예를 들어, 도 1의 샘플 "T") 및 좌측 하단의 이웃 샘플(예를 들어, 도 1의 샘플 "L")의 가중 평균으로 도출되고, 여기서 가중치는 샘플 "T"와 우측 하단 이웃 샘플 사이의 거리 및 샘플 "L"과 우측 하단 이웃 샘플 사이의 거리로 설정된다. 그러면 현재 블록의 우측 이웃 샘플이 우측 하단 이웃 샘플과 샘플 "T"의 가중 평균으로 결정되고, 여기서 가중치는 우측 이웃 샘플과 우측 하단 이웃 샘플 사이의 거리 및 우측 이웃 샘플과 샘플 "T"사이의 거리로 설정된다. 현재 블록의 하단 이웃 샘플은 우측 하단 이웃 샘플과 샘플 "L"의 가중 평균으로 결정되며, 여기서 가중치는 하단 이웃 샘플과 우측 하단 이웃 샘플 및 샘플 "L" 사이의 거리로 각각 설정된다.
그러나, JVET-K0055 구현은 샘플 "T" 및 샘플 "L"만이 이웃 샘플들의 보간(interpolation)에 관여된다는 점에서 기존의 평면 모드 구현과 동일한 단점이 있다.
또 다른 구현(JVET-K0242로 표시됨)은 먼저 도출된 우측 하단 이웃 샘플을 사용하여 우측 및 하단 이웃 샘플들을 보간(interpolate)한다. JVET-K0055와 달리 우측 하단 이웃 샘플은 현재 블록의 크기에 따라 설정된다. 현재 블록의 너비와 높이의 곱이 미리 정의된 값(예를 들어, 32)보다 크지 않은 경우, JVET-K0055와 유사한 방법이 우측 하단 이웃 샘플(Pbr1로 표시됨)을 계산하는 데 사용된다. 그렇지 않은 경우, 우측 하단 이웃 샘플은 Pbr1 및 Pbr2의 평균값으로 설정되며, 여기서 Pbr2는 현재 블록의 미리 설정된 9 개의 이웃하는 샘플 위치들 중 최대 9 개 값 중에서 선택된다. 그 다음 JVET-K0055와 동일한 방법을 사용하여 우측 및 하단 참조 샘플들이 도출된다.
그러나, JVET-K0242 구현이 큰 블록에 대해 미리 설정된 다수의 이웃하는 위치들로부터 더 많은 참조 값을 사용한다 하여도, 이 기술은 블록 내의 샘플들과 미리 설정된 이웃하는 위치들 간의 공간 상관(spatial correlation)이 그들의 공간적 거리가 증가함에 따라 감소하기 때문에 더 많은 페이크 텍스처를 생성할 수 있다.
1.2 비디오 인코딩 및 디코딩을 위한 예시적인 구현
본원은 일련의 하나 이상의 픽처(pictures)로 구성된 비디오를 나타낸다. 비디오 기본 스트림이라고도 하는 비트스트림(bitstream)은 비디오 또는 픽처를 처리하는 인코더(encoder)에 의해 생성된다. 비트스트림은 또한 비디오 또는 픽처 인코더에 의해 생성된 비디오 기본 스트림에 대해 시스템 계층 처리(system layer process)를 수행한 출력인 전송 스트림 또는 미디어 파일일 수 있다. 비트 스트림을 디코딩하면 비디오 또는 픽처가 생성된다.
시스템 계층 처리의 기능은 비트스트림(또는 비디오 기본 스트림)을 캡슐화하는 것이다. 예를 들어, 비디오 기본 스트림은 전송 스트림 또는 미디어 파일에 페이로드(payloads)로 패키징된다. 시스템 계층 처리는 또한 전송 스트림 또는 미디어 파일을 전송을 위한 스트림 또는 저장하기 위한 파일로 페이로드로서 캡슐화(encapsulating)하는 작업을 포함한다. 시스템 계층 처리에서 생성된 데이터 유닛을 시스템 계층 데이터 유닛이라고 한다. 시스템 계층 처리에서 페이로드를 캡슐화하는 동안 시스템 계층 데이터 유닛에 부가된 정보(예를 들어, 시스템 계층 데이터 유닛의 헤더)는 시스템 계층 정보라고 한다. 비트스트림을 추출하면 추출 프로세스에 의해 구문 요소(syntax elements)에 대한 하나 이상의 필요한 수정(modifications)뿐만 아니라 비트스트림의 비트 중 일부를 포함하는 서브-비트스트림을 획득한다. 서브-비트스트림을 디코딩하면 비디오 또는 픽처가 생성되며, 이는 비트스트림을 디코딩함으로써 획득된 비디오 또는 픽처와 비교하여 더 낮은 해상도 및/또는 더 낮은 프레임 레이트(frame rate)일 수 있다. 서브-비트스트림으로부터 획득된 비디오 또는 픽처는 또한 비트스트림으로부터 획득된 비디오 또는 픽처의 일 영역일 수 있다.
도 2는 비디오 또는 픽처를 코딩하기 위해 본 개시에서 설명된 하나 이상의 방법을 이용하는 인코더를 예시하는 도면이다. 인코더의 입력은 비디오(또는 보다 일반적으로 시각 미디어)이고 출력은 비트스트림이다. 일련의 픽처로 구성된 비디오의 예에서, 인코더는 미리 설정된 순서, 예를 들어 인코딩 순서로 픽처를 하나씩 처리한다. 상기 인코딩 순서는 인코더를 위한 구성 파일에 명시된 예측 구조(prediction structure)에 따라 결정된다. 일부 실시예에서, 비디오에서 픽처들의 인코딩 순서(디코더 단에서의 픽처들의 디코딩 순서에 대응함)는 픽처들의 표시 순서와 동일하거나 상이할 수 있다.
도 2에 도시된 바와 같이, 분할 유닛(201)은 인코더의 구성에 따라 입력 비디오에서 픽처를 분할한다. 일반적으로, 하나의 픽처는 하나 이상의 최대 코딩 블록(maximum coding blocks)으로 분할될 수 있다. 최대 코딩 블록은 인코딩 프로세스에서 최대 허용된 블록 또는 최대 구성된 블록(예를 들어, 하나의 픽처에서 하나의 정사각형 영역)이다. 하나의 픽처는 하나 이상의 슬라이스(slices)로 분할되고, 각 슬라이스는 정수 개수의 최대 코딩 블록 또는 정수가 아닌 개수의 최대 코딩 블록을 포함할 수 있다. 일부 실시예에서, 하나의 픽처는 하나 이상의 타일(tiles)로 분할될 수 있으며, 여기서 타일은 정수 개수의 최대 코딩 블록 또는 정수가 아닌 개수의 최대 코딩 블록을 포함한다. 분할 유닛(201)은 고정된 패턴을 사용하거나(예를 들어, 픽처가 한 행(row)의 최대 코딩 블록들을 포함하는 슬라이스들로 분할됨) 또는 동적 패턴을 사용하여 픽처를 분할하도록 구성될 수 있다. 예를 들어, 최대 전송 단위(maximum transmission unit, MTU) 크기의 제한에 적응하기 위해, 분할 유닛(201)은 모든 슬라이스의 코딩 비트 수가 MTU 제한을 초과하지 않도록 보장하기 위해 동적 슬라이스 분할 방법을 사용한다.
예측 유닛(202)은 코딩 블록의 예측 샘플을 결정한다. 예측 유닛(202)은 블록 분할 유닛(203), 모션 추정(ME) 유닛(204), 모션 보상(MC) 유닛(205) 및 인트라 예측 유닛(206)을 포함한다. 예측 유닛(202)의 입력은 분할 유닛(201)에 의해 출력된 최대 코딩 블록(maximum coding block) 및 상기 최대 코딩 블록과 관련된 속성 파라미터, 예를 들어 픽처, 슬라이스 또는 타일에서 상기 최대 코딩 블록의 위치이다. 예측 유닛(202)은 상기 최대 코딩 블록을 하나 이상의 코딩 블록(coding blocks)으로 분할하고, 이들은 더 작은 코딩 블록으로 더 분할될 수 있다. 쿼드트리(quadtree), 이진 분할(binary split) 및 삼진 분할(ternary split) 방법을 포함하는 하나 이상의 분할 방법이 적용될 수 있다. 예측 유닛(202)은 분할에서 획득된 코딩 블록에 대해 예측 샘플(prediction samples)을 결정한다.
일부 실시예에서, 예측 유닛(202)은 예측 샘플을 결정하기 위해 코딩 블록을 하나 이상의 예측 블록(prediction blocks)으로 더 분할할 수 있다. 예측 유닛(202)은 디코딩된 픽처 버퍼(DPB) 유닛(214)에서 하나 이상의 픽처를 코딩 블록의 인터 예측 샘플을 결정하기 위한 참조로 사용하거나, 가산기(212)에 의해 출력된 픽처의 재구성된 부분(필터링 유닛(213)에 의해 처리되지 않음)을 상기 코딩 블록의 인터 예측 샘플을 도출하기 위한 참조로 사용한다. 예측 유닛(202)은 코딩 블록의 예측 샘플 및 예를 들어 일반적인 레이트-왜곡 최적화(rate-distortion optimization, RDO) 방법을 사용함으로써 상기 예측 샘플을 도출하기 위한 관련 파라미터를 결정하고, 이들은 예측 유닛(202)의 출력 파라미터이기도 하다.
예측 유닛(202) 내에서, 블록 분할 유닛(203)은 코딩 블록의 분할을 결정한다. 블록 분할 유닛(203)은 최대 코딩 블록을 하나 이상의 코딩 블록으로 분할하며, 이는 또한 더 작은 코딩 블록으로 더 분할될 수 있다. 쿼드트리, 이진 분할 및 삼진 분할을 포함하는 하나 이상의 분할 방법이 적용될 수 있다. 일부 실시예에서, 블록 분할 유닛(203)은 예측 샘플을 결정하기 위해 하나의 코딩 블록을 하나 이상의 예측 블록으로 추가로 분할할 수 있다. 블록 분할 유닛(203)은 코딩 블록의 분할 결정에 RDO 방법을 채택할 수 있다. 블록 분할 유닛(203)의 출력 파라미터는 코딩 블록의 분할을 나타내는(indicating) 하나 이상의 파라미터를 포함한다.
ME 유닛(204) 및 MC 유닛(205)은 코딩 블록의 인터 예측 샘플들(inter prediction samples)을 결정하기 위해 DPB(214)로부터의 하나 이상의 디코딩된 픽처를 참조 픽처로 이용한다. ME 유닛(204)은 하나 이상의 참조 픽처를 포함하는 하나 이상의 참조 리스트를 구성하고, 코딩 블록을 위한 참조 픽처에서 하나 이상의 매칭 블록(matching blocks)을 결정한다. MC 유닛(205)은 매칭 블록의 샘플들을 사용하여 예측 샘플들을 도출하고, 코딩 블록에서 원래 샘플들과 상기 예측 샘플들 간의 차이(예를 들어, 잔차(residual))를 계산한다. ME 유닛(204)의 출력 파라미터는 참조 리스트 인덱스, 참조 인덱스(refIdx), 모션 벡터(MV) 등을 포함하는 매칭 블록의 위치를 나타내고, 참조 리스트 인덱스는 매칭 블록이 위치하는 참조 픽처를 포함하는 참조리스트를 나타내고, 참조 인덱스는 매칭 블록을 포함하는 참조 리스트에서 참조 픽처를 나타내고, MV는 픽처 내 픽셀들의 위치를 나타내기 위해 동일한 좌표에서 코딩 블록과 매칭 블록의 위치 간의 상대적 오프셋(offset)을 나타낸다. MC 유닛(205)의 출력 파라미터는 코딩 블록의 인터 예측 샘플들뿐만 아니라 인터 예측 샘플들을 구성하기 위한 파라미터, 예를 들어 매칭 블록의 샘플들에 대한 가중치 파라미터(weighting parameters), 필터 타입 및 매칭 블록의 샘플들을 필터링하기 위한 파라미터이다. 일반적으로, 레이트-왜곡(rate-distortion, RD) 감지에서 최적의 매칭 블록을 얻고 ME 유닛(204) 및 MC 유닛(205)의 대응하는 출력 파라미터를 얻기 위해, RDO 방법은 ME 유닛(204) 및 MC 유닛(205)에 공동으로 적용될 수 있다.
일부 실시예에서, ME 유닛(204) 및 MC 유닛(205)은 코딩 블록의 인트라 예측 샘플들을 획득하기 위한 참조로서 코딩 블록을 포함하는 현재 픽처를 사용할 수 있다. 본 개시에서 인트라 예측은 코딩 블록을 포함하는 픽처의 데이터가 상기 코딩 블록의 예측 샘플들을 도출하기 위한 참조로 사용되는 것을 전달하기로 되어 있다. 이 경우, ME 유닛(204) 및 MC 유닛(205)은 현재 픽처의 재구성된 부분을 사용하고, 여기서 상기 재구성된 부분은 가산기(212)의 출력에서 유래하고 필터링 유닛(213)에 의해 처리되지 않는다. 예를 들어, 인코더는 가산기(212)의 출력 데이터를 (일시적으로) 저장하기 위해 픽처 버퍼를 할당한다. 인코더를 위한 또 다른 방법은 가산기(212)로부터의 데이터를 유지하기 위해 DPB(214)에 특수 픽처 버퍼를 보유하는 것이다.
인트라 예측 유닛(206)은 코딩 블록의 인트라 예측 샘플들을 획득하기 위해 코딩 블록을 포함하는 현재 픽처의 재구성된 부분을 참조로 사용하며, 상기 재구성된 부분은 필터링 유닛(213)에 의해 처리되지 않는다. 인트라 예측 유닛(206)은 코딩 블록의 인트라 예측 샘플을 도출하기 위해 필터의 입력으로서 코딩 블록의 재구성된 이웃 샘플들을 취하고, 여기서 상기 필터는 (예를 들어, 각도 인트라 예측을 사용할 때 예측 샘플을 계산하기 위한) 보간 필터(interpolation filter), 또는 (예를 들어, DC 값 계산하기 위한) 저역-통과 필터일 수 있다. 일부 실시예에서, 인트라 예측 유닛(206)은 현재 픽처에서 재구성된 부분의 범위에서 코딩 블록의 매칭 블록을 얻기 위해 검색 작업을 수행하고, 상기 매칭 블록의 샘플들을 코딩 블록의 인트라 예측 샘플들로 설정할 수 있다. 인트라 예측 유닛(206)은 인트라 예측 모드(예를 들어, 코딩 블록에 대한 인트라 예측 샘플을 계산하기 위한 방법) 및 해당하는 예측 샘플들을 결정하기 위해 RDO 방법을 적용(invoke)한다. 인트라 예측 샘플 외에, 인트라 예측 유닛(206)의 출력은 또한 사용중인 인트라 예측 모드를 나타내는 하나 이상의 파라미터를 포함한다.
코딩 블록에 대한 인트라 예측 모드가 평면 모드(planar mode)인 경우, 인트라 예측 유닛(206)은 인트라 예측 샘플을 도출하기 위해 본원에 설명된 방법을 적용한다. 인트라 예측 유닛(206)은 먼저 평면 모드에 대해 참조로 사용되는 이웃 샘플들(neighboring samples)을 결정한다. 인트라 예측 유닛(206)은 코딩 블록의 이용가능한 이웃 샘플들을 제1 참조 샘플로 분류한다. 상기 이용가능한 이웃 샘플들은 상기 코딩 블록의 인접 위치에서 재구성된 샘플들을 포함한다. 상기 이용가능한 이웃 샘플들은 또한 상기 재구성된 샘플들과 동일한 행 또는 열에서 도출된 샘플들을 포함할 수 있다. 예를 들어, 위 및 좌측 이웃 샘플들(또한 도출된 샘플들을 포함)이 인트라 예측 프로세스에 사용된다. 인트라 예측 유닛(206)은 코딩 블록의 인접 위치에 있지만 인코딩되지 않은 샘플을 제2 참조 샘플로서 분류한다. 예를 들어, 제2 참조 샘플은 상기 이용가능한 이웃 샘플들에 대해 코딩 블록의 반대편 인접 측면들(opposite neighboring sides)에 있는 샘플들을 포함할 수 있다.
인트라 예측 유닛(206)은 제1 샘플에 따라 제2 참조 샘플을 계산한다. 제2 참조 샘플의 값은 제2 참조 샘플과 동일한 행 또는 열에 있는 제1 참조 샘플에서 둘 이상의 샘플들의 가중합(weighted sum)과 동일하게 설정된다. 인트라 예측 유닛(206)은 제2 참조 샘플의 계산에서 동일한 가중치 또는 동일하지 않은 가중치를 사용한다. 예를 들어, 인트라 예측 유닛(206)은 제2 참조 샘플 및 상기 제2 참조 샘플과 동일한 행 또는 열의 제1 참조 샘플에 있는 샘플 사이의 거리에 따라 동일하지 않은 가중치를 설정한다.
인트라 예측 유닛(206)은 코딩 블록의 인트라 예측 샘플들을 평면 모드를 사용할 때 제1 참조 샘플들 및 제2 참조 샘플들의 보간값(interpolation values)으로 결정한다.
가산기(207)는 코딩 블록의 원래 샘플들과 예측 샘플들 간의 차이를 계산하도록 구성된다. 가산기(207)의 출력은 코딩 블록의 잔차(residual)이다. 상기 잔차는 N x M 2 차원 행렬로 표시될 수 있고, 여기서 N과 M은 두 양의 정수이고 N과 M은 같거나 다른 값일 수 있다.
도 2에 도시된 바와 같이, 변환 유닛(208)은 잔차를 입력으로 취하고 상기 잔차에 하나 이상의 변환 방법을 적용할 수 있다. 신호 처리 관점에서 변환 방법은 변환 행렬로 나타낼 수 있다. 일부 실시예에서, 변환 유닛(208)은 코딩 블록과 동일한 모양 및 크기를 갖는 직사각형 블록(본 개시에서, 정사각형 블록은 직사각형 블록의 특수한 경우임)을 잔차에 대한 변환 블록으로 사용하도록 결정할 수 있다. 다른 실시예에서, 변환 유닛(208)은 상기 잔차를 여러 직사각형 블록(직사각형 블록의 너비 또는 높이가 하나의 샘플인 특수한 경우를 포함)으로 분할하고 여러 직사각형 블록에 대해 순차적으로 변환 연산(transform operations)을 수행할 수 있다. 일 예에서, 이것은 디폴트(default) 순서(예를 들어, 래스터 스캐닝(raster scanning) 순서), 미리 정의된 순서(예를 들어, 예측 모드 또는 변환 방법에 대응하는 순서), 여러 후보 순서에 대해 선택된 순서에 기초할 수 있다.
일부 실시예에서, 변환 유닛(208)은 잔차에 대해 다중 변환을 수행한다. 예를 들면, 변환 유닛(208)은 먼저 잔차에 대해 코어 변환(core transform)을 수행하고, 그 다음 코어 변환을 완료한 후에 획득된 계수에 대해 2차 변환을 수행한다. 변환 유닛(208)은 RDO 방법을 이용하여 변환 파라미터를 결정할 수 있고, 이는 잔차 블록에 적용된 변환 프로세스에서 사용되는 실행 방식, 예를 들어 잔차 블록(residual block)을 변환 블록(transform blocks)으로, 변환 행렬(transform matrices), 다중 변환(multiple transforms) 등으로 분할하는 것을 나타낸다. 변환 파라미터는 변환 유닛(208)의 출력 파라미터에 포함된다. 변환 유닛(208)의 출력 파라미터는 2 차원 행렬에 의해 표현될 수 있는 잔차를 변환한 후에 획득된 데이터 및 변환 파라미터(예를 들어, 변환 계수)를 포함한다.
양자화 유닛(209)은 잔차를 변환한 후에 변환 유닛(208)에 의해 출력된 데이터를 양자화한다. 양자화 유닛(209)에 사용되는 양자화기(quantizer)는 스칼라 양자화기 및 벡터 양자화기 중 하나 또는 둘 모두일 수 있다. 예를 들어, 스칼라 양자화기의 양자화 단계는 비디오 인코더에서 양자화 파라미터(QP)로 표현된다. 일반적으로, QP와 양자화 단계 사이의 동일한 매핑은 인코더와 대응하는 디코더에서 미리 설정되거나 미리 정의된다. QP의 값, 예를 들어 픽처 레벨 QP 및/또는 블록 레벨 QP는, 인코더에 적용된 구성 파일에 따라 설정되거나 인코더의 코더(coder) 제어 유닛에 의해 결정될 수 있다. 예를 들어, 코더 제어 유닛은 레이트 제어(rate control, RC) 방식을 사용하여 픽처 및/또는 블록의 양자화 단계를 결정한 후 QP와 양자화 단계 사이의 매핑에 따라 양자화 단계를 QP로 변환한다. 양자화 유닛(209)에 대한 제어 파라미터는 QP이다. 양자화 유닛(209)의 출력은 2 차원 행렬의 형태로 표현된 하나 이상의 양자화된 변환 계수("레벨(Level)"이라고 함)이다.
역양자화(inverse quantization) 유닛(210)은 재구성된 계수(reconstructed coefficients)를 생성하기 위해 양자화 유닛(209)의 출력에 대해 스케일링 연산(scaling operations)을 수행한다. 역변환 유닛(211)은 변환 유닛(208)으로부터의 변환 파라미터에 따라 역양자화 유닛(210)으로부터의 재구성된 계수에 대해 역변환을 수행한다. 역변환 유닛(211)의 출력은 재구성된 잔차이다. 일부 실시예에서, 인코더가 블록 코딩에서 양자화 단계를 건너뛸 때(예를 들어, RDO 방법을 구현하는 인코더는 코딩 블록에 양자화를 적용할지 여부를 결정할 수 있음), 인코더는 양자화 유닛(209) 및 역양자화 유닛(210)을 바이패싱(bypassing)함으로써 변환 유닛(208)의 출력 데이터를 역변환 유닛(211)으로 안내한다.
가산기(212)는 예측 유닛(202)으로부터의 재구성된 잔차 및 상기 코딩 블록의 예측 샘플들을 입력으로 취하고, 코딩 블록의 재구성된 샘플들을 계산하고, 상기 재구성된 샘플들을 버퍼(예를 들어, 픽처 버퍼)에 저장한다. 일부 실시예에서, 인코더는 가산기(212)의 출력 데이터를 (일시적으로) 저장하기 위해 픽처 버퍼를 할당한다. 다른 실시예에서, 인코더는 가산기(212)에 의해 생성된 데이터를 저장하기 위해 DPB(214)에 특수 픽처 버퍼를 보유한다.
필터링 유닛(213)은 디코딩된 픽처 버퍼에서의 재구성된 픽처 샘플들에 대한 필터링 동작을 수행하고 디코딩된 픽처를 출력한다. 필터링 유닛(213)은 하나의 필터 또는 여러 개의 캐스케이딩(cascading) 필터를 포함할 수 있다. 예를 들어, H.265/HEVC 표준에 따라 필터링 유닛은 두 개의 캐스케이딩 필터, 예를 들어 디블로킹(deblocking) 필터와 샘플 적응 오프셋(sample adaptive offset, SAO) 필터로 구성된다. 일부 실시예에서, 필터링 유닛(213)은 또한 신경망 필터를 포함할 수 있다. 필터링 유닛(213)은 픽처의 모든 코딩 블록의 재구성된 샘플들이 디코딩된 픽처 버퍼에 저장되면 픽처의 재구성된 샘플들의 필터링을 시작할 수 있고, 이는 "픽처 레이어 필터링(picture layer filtering)"이라고 지칭될 수 있다. 일부 실시예에서, 필터링 유닛(213)에 대해 픽처 레이어 필터링의 대안적인 구현("블록 레이어 필터링(block layer filtering)"이라고 함)은, 재구성된 샘플들이 픽처의 모든 연속적인 코딩 블록을 인코딩하는 데 참조로 사용되지 않는 경우, 픽처에서 코딩 블록의 재구성된 샘플들을 필터링하기 시작하는 것이다. 블록 레이어 필터링은 픽처의 모든 재구성된 샘플들이 이용가능할 때까지 필터링 유닛(213)이 필터링 작업을 유지하는 것을 필요로 하지 않으며, 따라서 인코더에서 스레드(threads) 사이의 지연을 감소시킨다. 필터링 유닛(213)은 RDO 방법을 적용함으로써 필터링 파라미터를 결정한다. 필터링 유닛(213)의 출력은 픽처의 디코딩된 샘플이고, 필터링 파라미터는 필터(들), 필터 계수, 필터 제어 파라미터 등의 표시 정보를 포함한다.
인코더는 DPB(214)에 필터링 유닛(213)으로부터 디코딩된 픽처를 저장한다. 인코더는 DPB(214)에 적용되는 하나 이상의 명령어를 결정할 수 있으며, 이는 DPB(214)의 픽처에 대해 수행되는 작업, 예를 들어 픽처가 DPB(214)에 저장되는 지속시간, DPB(214)로부터의 픽처의 출력 등을 제어하는 데 사용된다. 본 개시에서, 이러한 명령어는 DPB(214)의 출력 파라미터로서 취해진다.
엔트로피 코딩 유닛(215)은 픽처의 하나 이상의 코딩 파라미터에 대해 이진화 및 엔트로피 코딩을 수행하고, 이는 코딩 파라미터의 값을 이진 심볼 "0"과 "1"로 구성된 코드 워드(code word)로 변환하고 그 코드 워드를, 예를 들어 명세(specification) 또는 표준에 따라 비트스트림(bitstream)으로 기록한다. 코딩 파라미터는 텍스처 데이터와 비-텍스처 데이터로 분류될 수 있다. 텍스처 데이터는 코딩 블록의 변환 계수를 포함하며, 비-텍스처 데이터는 인코더 유닛들의 출력 파라미터, 파라미터 세트, 헤더, 추가 정보 등을 포함하여 텍스처 데이터를 제외한 코딩 파라미터의 기타 데이터를 포함한다. 엔트로피 코딩 유닛(215)의 출력은, 예를 들면 명세 또는 표준을 따르는 비트스트림이다.
도 3은 도 2에 도시된 예시적인 인코더에 의해 생성된 비트스트림을 디코딩함에 있어서 본 개시의 방법을 이용하는 디코더를 도시하는 도면이다. 디코더의 입력은 비트스트림이고, 디코더의 출력은 비트스트림을 디코딩하여 획득된 디코딩된 비디오 또는 픽처이다.
디코더에서 파싱(parsing) 유닛(301)은 입력 비트스트림을 파싱한다. 파싱 유닛(301)은 엔트로피 디코딩 방법 및 이진화 방법을 사용하여 하나 이상의 이진 심볼(예를 들어, "0" 및 "1")로 구성된 비트스트림의 각 코드 워드(code word)를 대응하는 파라미터의 수치 값으로 변환한다. 파싱 유닛(301)은 또한 하나 이상의 이용가능한 파라미터에 따라 파라미터 값을 도출한다. 예를 들어, 비트스트림의 한 플래그(flag)가 디코딩 블록이 픽처의 첫 번째 디코딩 블록임을 나타내는 경우, 파싱 유닛(301)은 픽처에서 슬라이스의 첫 번째 디코딩 블록의 주소가 0임을 나타내는 주소 파라미터를 설정한다.
파싱 유닛(301)은 디코딩 블록의 예측 샘플을 도출하기 위한 하나 이상의 예측 파라미터를 예측 유닛(302)으로 전달한다. 일부 실시예에서, 예측 파라미터는 도 2에 도시된 인코더 실시예에서 분할 유닛(201) 및 예측 유닛(202)의 출력 파라미터를 포함한다.
파싱 유닛(301)은 디코딩 블록의 잔차를 재구성하기 위한 하나 이상의 잔차 파라미터를 스케일링 유닛(305) 및 변환 유닛(306)으로 전달한다. 일부 실시예에서, 잔차 파라미터는 도 2에 도시된 인코더 실시예에서의 변환 유닛(208)과 양자화 유닛(209)의 출력 파라미터 및 양자화 유닛(209)에 의해 출력된 하나 이상의 양자화된 계수("레벨(Levels)"이라고 함)를 포함한다. 다른 실시예에서, 파싱 유닛(301)은 필터링 파라미터를 픽처에서 재구성된 샘플을 필터링(예를 들어, 인-루프 필터링(in-loop filtering))하기 위해 필터링 유닛(308)에 전달한다.
예측 유닛(302)은 예측 파라미터에 따라 디코딩 블록의 예측 샘플들을 도출한다. 예측 유닛(302)은 모션 보상(MC) 유닛(303) 및 인트라 예측 유닛(304)으로 구성된다. 예측 유닛(302)의 입력은 또한 가산기(307)로부터 출력되고 디코딩되고 있는 현재 픽처의 재구성된 부분(필터링 유닛(308)에 의해 처리되지 않음) 및 DPB(309)에서 하나 이상의 디코딩된 픽처를 포함할 수 있다.
예측 파라미터가 인터 예측 모드(inter prediction mode)가 디코딩 블록의 예측 샘플을 도출하는 데 사용됨을 나타낼 때, 예측 유닛(302)은 하나 이상의 참조 픽처 리스트를 구성하기 위해 도 2에 도시된 인코더 실시예의 모션 추정(ME) 유닛(204)에 대한 것과 동일한 접근법을 사용한다. 참조 리스트는 DPB(309)로부터의 하나 이상의 참조 픽처를 포함한다. MC 유닛(303)은 예측 파라미터에서 참조 리스트, 참조 인덱스 및 MV의 표시에 따라 디코딩 블록에 대한 하나 이상의 매칭 블록을 결정하고, 디코딩 블록의 인터 예측 샘플을 얻기 위해 MC 유닛(205)에서와 동일한 방법을 사용한다. 예측 유닛(302)은 디코딩 블록의 예측 샘플로서 인터 예측 샘플을 출력한다.
일부 실시예에서, MC 유닛(303)은 디코딩 블록의 인트라 예측 샘플을 획득하기 위해, 디코딩되고 있고 디코딩 블록을 참조로 포함하는 현재 픽처를 사용할 수 있다. 이 경우, MC 유닛(303)은 현재 픽처의 재구성된 부분을 사용하며, 여기서 상기 재구성된 부분은 가산기(307)의 출력에서 유래한 것이며 필터링 유닛(308)에 의해 처리되지 않는다. 예를 들어, 디코더는 가산기(307)로부터의 출력 데이터를 (일시적으로) 저장하기 위해 픽처 버퍼를 할당한다. 다른 실시예에서, 디코더는 가산기(307)로부터의 데이터를 유지하기 위해 DPB(309)에 특수 픽처 버퍼를 보유한다.
예측 파라미터가 디코딩 블록의 예측 샘플을 유도하기 위해 인트라 예측 모드(intra prediction mode)가 사용됨을 나타낼 때, 예측 유닛(302)은 디코딩 블록의 재구성된 이웃 샘플들로부터 인트라 예측 유닛(304)에 대한 참조 샘플들을 결정하기 위해 인트라 예측 유닛(206)에 대한 것과 동일한 접근법을 사용한다. 인트라 예측 유닛(304)은 인트라 예측 모드(예를 들어, DC 모드, 평면 모드 또는 각도 예측 모드)를 획득하고, 인트라 예측 모드의 특정 프로세스에 따라 참조 샘플들을 사용하여 디코딩 블록의 인트라 예측 샘플들을 도출한다. 일부 실시예에서, 도 2의 인코더 실시예(예를 들어, 인트라 예측 유닛(206))에서 구현된 인트라 예측 모드는 디코더(예를 들어, 인트라 예측 유닛(304))에서 구현된 것과 동일하다. 일부 실시예에서, 예측 파라미터가 디코딩 블록에 대해 현재 디코딩 픽처(상기 디코딩 블록을 포함함)에서 매칭 블록(그 위치 포함)을 나타내는 경우, 인트라 예측 유닛(304)은 상기 매칭 블록의 샘플들을 사용하여 상기 디코딩 블록의 인트라 예측 샘플들을 도출한다. 예를 들어, 인트라 예측 유닛(304)은 상기 매칭 블록의 샘플들과 동일한 인트라 예측 샘플들을 설정한다. 예측 유닛(302)은 인트라 예측 유닛(304)에 의해 출력된 인트라 예측 샘플들과 동일한 상기 디코딩 블록의 예측 샘플들을 설정한다.
코딩 블록에 대한 인트라 예측 모드가 평면 모드(planar mode)인 경우, 인트라 예측 유닛(304)은 본원에 설명된 방법을 적용하여 인트라 예측 샘플들을 도출한다. 인트라 예측 유닛(304)은 먼저 평면 모드에 대한 참조로 사용되는 이웃 샘플들을 결정한다. 인트라 예측 유닛(304)은 코딩 블록의 이용가능한 이웃 샘플들을 제1 참조 샘플로 분류한다. 이용가능한 이웃 샘플들은 상기 코딩 블록의 인접 위치에서 재구성된 샘플들을 포함한다. 이용가능한 이웃 샘플들은 또한 상기 재구성된 샘플들과 동일한 행 또는 열에서 도출된 샘플들을 포함할 수 있다. 예를 들어, 위 및 좌측 이웃 샘플들(또한 도출된 샘플들을 포함함)이 인트라 예측 프로세스에 사용된다. 인트라 예측 유닛(304)은 코딩 블록의 인접 위치에 있지만 인코딩되지 않은 샘플들을 제2 참조 샘플로 분류한다. 예를 들어, 제2 참조 샘플은 상기 이용가능한 이웃 샘플들에 대해 상기 코딩 블록의 반대편 인접 측면들(opposite neighboring sides)에 있는 샘플들을 포함할 수 있다.
인트라 예측 유닛(304)은 제1 샘플에 따라 제2 참조 샘플을 계산한다. 제2 참조 샘플의 값은 상기 제2 참조 샘플과 동일한 행 또는 열에 있는 제1 참조 샘플에서 두 개 이상의 샘플들의 가중합(weighted sum)과 동일하게 설정된다. 인트라 예측 유닛(304)은 제2 참조 샘플의 계산에서 동일한 가중치 또는 동일하지 않은 가중치를 사용한다. 예를 들어, 인트라 예측 유닛(304)은 제2 참조 샘플 및 상기 제2 참조 샘플과 동일한 행 또는 열의 제1 참조 샘플에 있는 샘플 사이의 거리에 따라 동일하지 않은 가중치를 설정한다.
인트라 예측 유닛(304)은 평면 모드를 사용할 때 코딩 블록의 인트라 예측 샘플을 제1 참조 샘플들 및 제2 참조 샘플들의 보간값(interpolation values)으로 결정한다.
디코더는 역양자화 프로세스를 위해 스케일링 유닛(305)에 QP 및 양자화된 계수를 전달하고 재구성된 계수를 출력으로서 생성한다. 디코더는 스케일링 유닛(305)으로부터의 재구성된 계수 및 잔차 파라미터의 변환 파라미터(예를 들어, 도 2에 도시된 인코더 실시예에서 변환 유닛(208)의 출력으로부터의 변환 파라미터)를 변환 유닛(306)으로 공급한다. 일부 실시예에서, 잔차 파라미터가 블록 디코딩에서 스케일링을 건너뛰는 것을 지시할 경우, 디코더는 스케일링 유닛(305)을 바이패싱함으로써 잔차 파라미터의 상기 계수를 변환 유닛(306)으로 안내한다.
변환 유닛(306)은 표준에 명시된 변환 프로세스에 따라 입력 계수에 대한 변환 연산을 수행한다. 변환 유닛(306)에서 사용되는 변환 행렬은 도 2에 도시된 인코더의 역변환 유닛(211)에서 사용된 것과 동일하다. 변환 유닛(306)의 출력은 디코딩 블록의 재구성된 잔차이다.
일부 실시예에서, 디코딩 프로세스의 방법 및 관련 행렬은 각각 "변환 방법 (또는 프로세스)" 및 "변환 행렬"로 지칭된다. 표기와 관련하여, 본 실시예는 디코딩 프로세스를 인코딩 프로세스의 역 프로세스로 해석하는 것을 고려하여 "역변환 유닛"으로 지칭될 수 있다.
가산기(307)는 변환 유닛(306)의 출력에서 재구성된 잔차 및 예측 유닛(302)의 출력에서 예측 샘플들을 입력 데이터로서 취하고, 디코딩 블록의 재구성된 샘플들을 계산한다. 가산기(307)는 재구성된 샘플들을 픽처 버퍼에 저장한다. 일부 실시예에서, 디코더는 가산기(307)의 출력 데이터를 (일시적으로) 저장하기 위해 픽처 버퍼를 할당한다. 다른 실시예에서, 디코더는 가산기(307)로부터의 데이터를 저장하기 위해 DPB(309)에 특수 픽처 버퍼를 보유한다.
디코더는 파싱 유닛(301)으로부터 필터링 파라미터를 필터링 유닛(308)으로 전달한다. 필터링(308)을 위한 필터링 파라미터는 도 2에 도시된 인코더 실시예에서 필터링 유닛(213)의 출력에서의 필터링 파라미터와 동일하다. 필터링 파라미터는 사용될 하나 이상의 필터의 표시 정보, 필터 계수 및 필터링 제어 파라미터를 포함한다. 필터링 유닛(308)은 디코딩된 픽처 버퍼에 저장된 픽처의 재구성된 샘플에 대한 필터링 파라미터를 사용하여 필터링 처리를 수행하고 디코딩된 픽처를 출력한다. 필터링 유닛(308)은 하나의 필터 또는 여러 개의 캐스케이딩 필터로 구성될 수 있다. 예를 들어, H.265/HEVC 표준에 따라 필터링 유닛은 2 개의 캐스케이딩 필터, 예를 들면 디블로킹(deblocking) 필터 및 샘플 적응 오프셋(SAO) 필터로 구성될 수 있다. 일부 실시예에서, 필터링 유닛(308)은 또한 신경망 필터를 포함할 수 있다.
일부 실시예에서, 필터링 유닛(308)은 픽처의 모든 코딩 블록의 재구성된 샘플들이 디코딩된 픽처 버퍼에 저장되었을 때 픽처의 재구성된 샘플들의 필터링을 시작할 수 있고, 이는 "픽처 레이어 필터링"으로 지칭될 수 있다. 다른 실시예에서, 필터링 유닛(308)에 대한 픽처 레이어 필터링의 대안적인 구현("블록 레이어 필터링"이라고 함)은 재구성된 샘플들이 픽처의 모든 연속적인 코딩 블록을 디코딩할 때 참조로 사용되지 않는 경우, 픽처에서 코딩 블록의 재구성된 샘플들을 필터링하기 시작하는 것을 포함한다. 블록 레이어 필터링은 필터링 유닛(308)이 픽처의 모든 재구성된 샘플들이 이용가능할 때까지 필터링 작업을 유지하는 것을 필요로 하지 않으며, 따라서 디코더에서 스레드들 사이의 지연을 감소시킨다.
디코더는 필터링 유닛(308)에 의해 출력된 디코딩된 픽처를 DPB(309)에 저장한다. 일부 실시예에서, 디코더는 파싱 유닛(301)에 의해 출력된 하나 이상의 명령어에 따라 DPB(309)의 픽처들에 대해 하나 이상의 제어 동작, 예를 들어, DPB(309)에 픽처를 저장하는 지속 시간, DPB(309)로부터 픽처를 출력하는 것 등을 수행할 수 있다.
2 평면 모드 예측을 위한 예시적인 방법 및 실시예
도 4는 평면 모드의 인트라 예측 샘플을 도출하는 예시적인 프로세스(또는 방법)(400)를 도시하는 흐름도이다. 일부 실시예에서, 이 프로세스는 인코더가 평면 모드를 사용하여 코딩 블록을 코딩하기로 결정할 때(또는 예를 들어, 코딩 블록의 코딩 모드를 결정하기 위한 RDO 프로세스에서 평가할 때), 상기 코딩 블록의 예측 샘플들을 도출하기 위해 인코더의 인트라 예측 유닛(206)에서 구현될 수 있다. 다른 실시예에서, 이 프로세스는 예측 파라미터가 디코더가 평면 모드를 사용하여 코딩 블록을 디코딩하도록 지시할 때 코딩 블록의 예측 샘플들을 도출하기 위해 디코더의 인트라 예측 유닛(304)에서 구현될 수 있다.
개시된 기술의 실시예에 대해, (각각 도 2 및 3의) 인트라 예측 유닛(206, 304)은 "인트라 예측자(intra Predictor)"로 집합적으로 지칭되고, "코딩 블록" 및 "디코딩 블록"은 "블록"으로 지칭된다.
방법(400)은 단계(401)를 포함하며, 여기서 인트라 예측자는 평면 모드에서 블록의 제1 참조 샘플을 결정한다.
일부 실시예에서, 상기 제1 참조 샘플은 평면 모드의 인트라 예측 프로세스를 위해 "이용가능한 샘플들"로 표시된 샘플이다. 이용가능한 샘플들은 상기 블록의 인접 위치에서 재구성된 샘플들이다. 블록의 인접 위치에 있는 하나 이상의 샘플이 인트라 예측 참조로 적격하지 않은 경우(예를 들어, 블록을 포함하는 현재 슬라이스 외부의 샘플, 강제적인 인트라 모드가 실행되는 경우의 인터(inter) 모드의 블록에 있는 샘플), 인트라 예측자는 블록의 하나 이상의 인접 위치에서 동일한 행 또는 열에 있는 재구성된 샘플들의 복사(copying) 또는 보간(interpolation)과 같은 샘플들을 도출하기 위해 패딩(padding) 프로세스를 적용(invoke)할 수 있고, 그 도출된 샘플들을 "이용가능(available)"으로 표시한다.
방법(400)은 단계(402)를 포함하며, 여기서 인트라 예측자는 제1 참조 샘플을 사용하여 평면 모드에서 블록의 제2 참조 샘플을 결정하며, 여기서 제2 참조 샘플은 제1 이웃 샘플들에 대해 블록의 반대편 인접 측면들 상에 있다.
예를 들어, 제1 참조 샘플이 블록의 상단 및 좌측 이웃 샘플들인 경우, 제2 참조 샘플은 블록의 하단 및 우측 이웃 샘플들일 것이다. 일부 실시예에서, 제1 참조 샘플은 또한 좌측 상단(top-left) 이웃 샘플을 포함할 수 있고, 제2 참조 샘플은 또한 우측 하단(bottom-right) 이웃 샘플을 포함할 수 있다.
인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 제2 참조 샘플의 값은 제2 참조 샘플과 동일한 행 또는 열에 있는 제1 참조 샘플에서 두 개 이상 샘플의 가중합(weighted sum)과 동일하게 설정된다. 인트라 예측자는 제2 참조 샘플의 계산에서 동일한 가중치 또는 동일하지 않은 가중치를 사용할 수 있다. 예를 들어, 인트라 예측자는 제2 참조 샘플 및 제2 참조 샘플과 동일한 행 또는 열의 제1 참조 샘플에 있는 샘플 사이의 거리에 기반하여 동일하지 않은 가중치를 사용할 수 있다.
방법은 단계(403)를 포함하며, 여기서 인트라 예측자는 제1 및 제2 참조 샘플을 사용하여 평면 모드에서 블록의 인트라 예측 샘플들을 결정한다.
일부 실시예에서, 인트라 예측자는 제1 참조 샘플들 및 제2 참조 샘플들의 보간(interpolation)으로서 블록의 샘플을 계산한다. 예를 들어, 블록의 샘플 값은 제1 및 제2 참조 샘플들에서 동일한 행과 열에 있는 샘플들의 가중합과 동일하게 설정된다. 일부 실시예에서, 동일한 가중치가 사용될 수 있다. 다른 실시예에서, 동일하지 않은 가중치가 사용될 수 있으며, 이는 블록의 샘플 및 상기 샘플과 동일한 행 또는 열에 있는 각각의 참조 샘플 사이의 거리에 기초한다.
도 5a는 제1 구현에서 평면 모드의 인트라 예측 샘플들의 도출에 사용되는 이웃 샘플들을 나타내는 도면이다. 도시된 바와 같이, 블록(501)은 그 좌측 상단 샘플이 샘플(5001)(예를 들어, p[0][0])이고 그 우측 하단 샘플이 샘플(5003)(예: p[W-1][H-1])인 블록이다. W와 H는 각각 샘플(또는 픽셀) 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W-1과 같고 y가 0, 1, … H-1인 경우 p[x][y]로도 표시된 샘플(5002)은 예측될 블록의 샘플이다. 샘플(5300)(예를 들어, p[-1][-1])은 상기 블록의 좌측 상단 이웃 샘플이다. 샘플(5101)(예를 들어, p[0][-1]) ~ 샘플(5105)(예를 들어, p[W][-1], 샘플 "T"로도 표시됨)은 상기 블록의 상단 이웃 샘플들이다. 샘플(5201)(예를 들어, p[-1][0]) ~ 샘플(5206)(예를 들어, p[-1][H], 샘플 "L"로도 표시됨)은 상기 블록의 좌측 이웃 샘플들이다. 샘플(5401)(예를 들어, P[W][y], 샘플 "R"로도 표시됨)은 상기 블록의 우측 이웃 샘플이다. 샘플(5501)(예를 들어, P[x][H], 샘플 "B"로도 표시됨)은 상기 블록의 하단 이웃 샘플이다. 샘플(5600)(예를 들어, p[W][H])은 상기 블록의 우측 하단 이웃 샘플이다.
일부 실시예에서, 블록의 상부 및 좌측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 좌측 상단 샘플(5300)이 또한 제1 참조 샘플에 포함될 수 있다. 예를 들어, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 우측 및 하단 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 우측 하단 샘플(5600)이 또한 제2 참조 샘플에 포함될 수 있다. 예를 들어, 제2 참조 샘플은 상기 이용가능한 참조 샘플들을 사용하여 도출될 참조 샘플들을 포함한다. 제2 참조 샘플은 블록의 제1 참조 샘플들의 대응하는 반대편(opposite sides)에 위치한다.
일부 실시예에서, 인트라 예측자는 샘플(5002)과 동일한 행에서 우측 이웃 샘플(R) 및 좌측 이웃 샘플(p[-1][y])(예를 들어, 도 5a의 샘플(5203)) 및 샘플(5002)와 동일한 열에서 하단 이웃 샘플(B) 및 상단 이웃 샘플(p[x][-1])(예를 들어, 도 5a의 샘플(5103))을 사용하여 샘플(5002)의 예측값을 계산한다.
인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 인트라 예측자는 식 (1)(또는 가산 및 비트-단위 산술 시프트 연산(bit-wise arithmetic shifting operations)을 사용하는 식 (1)과 등가 구현)을 사용하여 우측 이웃 샘플(R)을 계산한다. 식 (1)에서 제1 참조 샘플의 샘플들의 가중치는 우측 이웃 샘플까지의 거리에 기초하여 결정된다.
(1)
인트라 예측자는 식 (2)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (2)의 등가 구현)을 사용하여 하단 이웃 샘플(L)을 계산한다. 식 (2)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 상기 하단 이웃 샘플까지의 거리에 기초하여 결정된다.
(2)
인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로 계산한다. 일부 실시예에서, p[x][y]는 p[x][-1], p[-1][y], p[W][y] 및 p[x][H]의 평균일 수 있으며, 이는 동일한 가중치를 사용한다. 다른 실시예에서, 참조 샘플들에 대한 동일하지 않은 가중치는 그들의 p[x][y]까지의 각각의 거리에 기초하여 사용될 수 있다. 일 예가 식 (3)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (3)의 등가 구현)으로 표시된다.
(3)
또 다른 예는 식 (4)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (4)의 등가 구현)으로 표시된다.
(4)
여기서,
Figure 112021033996119-pct00005
이다.
도 5b는 일 예에서 예측 샘플(5002)의 값을 도출하기 위해 사용되는 샘플만을 나타내는 도면이다.
도 6은 제2 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플들을 도시하는 도면이다. 도시된 바와 같이, 블록(601)은 그 좌측 상단 샘플이 샘플(6001)(예를 들면, p[0][0])이고 그 우측 하단 샘플이 샘플(6003)(예를 들어, p[W-1][H-1])인 블록이다. W와 H는 각각 샘플(또는 픽셀)의 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W-1이고 y가 0, 1, …, H-1인 경우 p[x][y]로도 표시된 샘플(6002)은 예측될 블록의 샘플이다.
도 6에서, 샘플(6101)(예를 들어, p[0][-1]) ~ 샘플(6105)(예를 들어, p[W][-1], 샘플 "T"로도 표시됨)은 블록의 상단 이웃 샘플이다. 샘플(6105)(예를 들어, p[W][-1])에서 좌측 방향으로, 샘플(6105)과 동일한 행에 또 다른 N R개 상단 이웃 샘플들, 예를 들어 샘플 p[W + 1][-1], …, p[W + N R][-1](예를 들어, 샘플(6106)은 p[W + N R][-1] 임)가 있다. 샘플(6101)(예를 들어, p[0][-1]) ~ 샘플(6106)(예를 들어, p[W + N R][-1]) 외에, 상단 이웃 샘플들의 N T개 추가적인 라인이 블록(601)의 인트라 예측 샘플을 도출하는 데 사용된다. 샘플(6101'~ 6106')은 샘플 p[0][-1 - N T], p[1][-1 - N T], …, p[W + N R][-1 - N T]이다.
도 6에서, 샘플(6201)(예를 들어, p[-1][0]) ~ 샘플(6206)(예를 들어, p[-1][H], 샘플 "L"로도 표시됨)은 블록의 좌측 이웃 샘플이다. 샘플(6206)(예를 들어, p[-1][H])에서 하단 방향으로, 샘플(6206)과 동일한 열에 또 다른 N B개 좌측 이웃 샘플들, 예를 들어 샘플 p[-1][H + 1], …, p[-1][H + N B](예를 들어, 샘플(6207)은 p[-1][H + N B] 임)가 있다. 샘플(6201)(예를 들어, p[-1][0]) ~ 샘플(6207)(예를 들어, p[-1][H + N B]) 외에, 좌측 이웃 샘플의 N L개 추가적인 열이 블록(601)의 인트라 예측 샘플을 도출하는 데 사용된다. 샘플(6201'~ 6207')은 샘플 p[-1 - N L][0], p[-1 - N L] [1], …, p[-1 - N L] [H + N B]이다.
도 6에서, 샘플(6300)(예를 들어, p[-1][-1])은 블록의 좌측 상단 이웃 샘플이다. 블록(601)의 인트라 예측 샘플을 도출하는 데 더 많은 상단 및 좌측 이웃 샘플들이 포함된 후, 좌측 상단 이웃 샘플에는 6300에서 6300'까지의 샘플들, 예를 들어 샘플 p[-1][-1], p[-1][-2], p[-2][-1], p[-2][-2], …, p[-1 - N L][-1 - N T]이 포함될 수 있다.
도 6에서, 샘플(6401)(예를 들어, P[W][y], 샘플 "R"로도 표시됨)은 블록의 우측 이웃 샘플이다. 샘플 p[W + 1][y], …, p[W + N R][y](예를 들어, 샘플(6401')은 p[W + N R][y]임)은 샘플(6401)과 동일한 행에 있는 또 다른 N R개 우측 이웃 샘플들이다. 샘플(6501)(예를 들어, P[x][H], 샘플 "B"로도 표시됨)은 블록의 하단 이웃 샘플이다. 샘플 p[x][H + 1], …, p[x][H + N B](예를 들어, 샘플(6501')은 p[x][H + N B]임)는 샘플(6501)과 동일한 열에 있는 또 다른 N B개 하단 이웃 샘플들이다. 샘플(6600)(예를 들어, p[W][H])은 블록의 우측 하단 이웃 샘플이다.
이 실시예에서, 블록의 상단 및 좌측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 좌측 상단 샘플(6300 ~ 6300')이 제1 참조 샘플에 포함될 수도 있다. 예를 들어, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 우측 및 하단 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 우측 하단 샘플(6600)이 또한 제2 참조 샘플에 포함될 수 있다. 예를 들어, 제2 참조 샘플은 상기 이용가능한 참조 샘플을 사용하여 도출될 참조 샘플을 포함한다. 제2 참조 샘플은 블록의 제1 참조 샘플의 대응하는 반대편(opposite sides)에 위치된다.
일부 실시예에서, 인트라 예측자는 샘플(6002)의 예측 샘플을 샘플(6002)과 동일한 행에 있는 우측 이웃 샘플 및 좌측 이웃 샘플과, 샘플(6002)과 동일한 열에 있는 하단 이웃 샘플 및 상단 이웃 샘플을 사용하여 계산한다.
인트라 예측자는 제1 샘플들에 기초하여 제2 참조 샘플들을 계산한다. 일부 실시예에서, 인트라 예측자의 계산 복잡도를 감소시키기 위해, N T 및 N L은 동일하고(예를 들어, 양의 정수 M), N R 및 N B는 동일하다(예를 들어, 음이 아닌 정수 N). 예를 들어, M이 1과 같고 N이 0과 같을 때, 이 실시예에서 설명된 방법은 도 5a의 맥락에서 설명된 것과 유사하다.
인트라 예측자는 식 (5)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (5)의 등가 구현)를 사용하여 우측 이웃 샘플을 계산하고, 여기서 i = 0, 1, …, N이다. 식 (5)에서, 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산함에 있어서 그들의 상기 우측 이웃 샘플들까지의 각각의 거리에 기초한다.
(5)
여기서, 이다.
동일한 가중치의 경우 이고, 동일하지 않은 가중치의 경우 이다.
인트라 예측자는 식 (6)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (6)의 등가 구현)을 사용하여 하단 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N 이다. 식 (6)에서, 제1 참조 샘플들에서 샘플들의 가중치는 pj를 계산함에 있어서 그들의 상기 하단 이웃 샘플들까지의 거리에 기초한다.
(6)
여기서, 이다.
동일한 가중치의 경우 이고, 동일하지 않은 가중치의 경우 이다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로서 계산한다. 다른 실시예에서, 동일한 가중치가 적용될 때, p[x][y]는 동일한 행 또는 열에 있는 제1 참조 샘플과 제2 참조 샘플에 있는 샘플들, 즉, 도 6에 도시된 바와 같이 샘플들(6401 ~ 6401', 6203 ~ 6203', 6103 ~ 6103' 및 6501 ~ 6501')의 수치적 평균이 될 수 있다. 또 다른 실시예에서, 동일하지 않은 가중치는 그들의 p[x][y]까지의 거리에 기초할 수 있다. 일 예가 식 (7)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (7)의 등가 구현)에 의해 표시된다.
(7)
여기서,
이고,
이다.
도 7은 다른 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플들을 예시하는 도면이다.
일부 실시예에서, 인코더가 특수한 코딩 순서를 채택하고 디코더가 대응하는 디코딩 순서를 사용할 때, 상단 및 우측 이웃 샘플들은 블록을 코딩 또는 디코딩하기 전에 재구성될 것이다. 이 경우 블록의 상단 및 우측 이웃 샘플들은 블록의 인트라 예측 샘플들을 도출하는 데 사용된다.
인트라 예측자는 블록(701)의 인트라 예측 모드가 평면 모드인 경우 블록(701)의 인트라 예측 샘플을 결정하기 위해 본원에 설명된 방법을 사용한다.
도 7에서, 블록(701)은 그 우측 상단 샘플이 샘플(7001)(예를 들어, p[0][0])이고 그 좌측 하단 샘플이 샘플(7003)(예를 들어, p[W - 1][H - 1])인 블록이다. W와 H는 각각 샘플(또는 픽셀)의 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W - 1과 같고 y가 0, 1, … H - 1과 같을 때 p[x][y]로도 표시된 샘플(7002)은 예측될 블록의 샘플이다. 샘플(7300)(예를 들어, p[-1][-1])은 블록의 우측 상단의 이웃 샘플이다. 샘플(7101)(예를 들어, p[0][-1]) ~ 샘플(7105)(예를 들어, p[W][-1])는 블록의 상단 이웃 샘플들이다. 샘플(7201)(예를 들어, p[-1][0]) ~ 샘플(7206)(예를 들어, p[-1][H])은 블록의 우측 이웃 샘플들이다. 샘플(7401)(예를 들어, P[W][y])은 블록의 좌측 이웃 샘플이다. 샘플(7501)(예를 들어, P[x][H])은 블록의 하단 이웃 샘플이다. 샘플(7600)(예를 들어, p[W][H])은 블록의 좌측 하단 이웃 샘플이다.
상기 예시적인 실시예에서, 블록의 상단 및 우측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 우측 상단 샘플(7300)은 또한 제1 참조 샘플에 포함될 수 있다. 즉, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 좌측 및 하단 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 좌측 하단 샘플(7600)은 또한 제2 참조 샘플에 포함될 수 있다. 즉, 제2 참조 샘플은 상기 이용가능한 참조 샘플을 사용하여 도출될 참조 샘플들을 포함한다. 제2 참조 샘플들은 블록의 제1 참조 샘플들의 대응하는 반대편(opposite sides)에 위치된다.
인트라 예측자는 샘플(7002)의 예측 샘플을 샘플(7002)과 동일한 행에 있는 좌측 이웃 샘플(7401) 및 우측 이웃 샘플(p[-1][y])(예를 들어, 도 7의 샘플(7203)) 및 샘플(7002)과 동일한 열에 있는 하단 이웃 샘플(7501) 및 상단 이웃 샘플(p[x][-1](예를 들어, 도 7의 샘플(7102))을 사용하여 계산한다.
일부 실시예에서, 식 (1) ~ (4)는 평면 모드에서 블록의 인트라 예측 샘플을 계산하기 위해 사용된다. 인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 인트라 예측자는 식 (1)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (1)의 등가 구현)을 사용하여 좌측 이웃 샘플(7401)을 계산한다. 식 (1)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 상기 좌측 이웃 샘플들까지의 거리에 기초한다.
인트라 예측자는 식 (2)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (2)의 등가 구현)를 사용하여 하단 이웃 샘플(7501)을 계산한다. 식 (2)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 상기 하단 이웃 샘플들까지의 거리에 기초한다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로서 계산한다. 다른 실시예에서, p[x][y]는 p[x][-1], p[-1][y], p[W][y] 및 p[x][H]의 수치적 평균일 수 있고, 이는 동일한 가중치를 사용한다. 또 다른 실시예에서, 참조 샘플들에 대한 동일하지 않은 가중치는 그들의 p[x][y]까지의 거리에 기초할 수 있다. 일 예가 식 (3)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (3)의 등가 구현)으로 표시된다. 또 다른 예는 식 (4)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (4)의 등가 구현)에 의해 표시된다.
도 8은 또 다른 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플을 예시하는 도면이다.
일부 실시예에서, 인코더가 특수한 코딩 순서를 채택하고 디코더가 대응하는 디코딩 순서를 사용할 때, 상단 및 우측 이웃 샘플들은 블록을 코딩 또는 디코딩하기 전에 재구성될 것이다. 이 경우 블록의 상단 및 우측 이웃 샘플들이 블록의 인트라 예측 샘플을 도출하는 데 사용된다.
인트라 예측자는 블록(801)의 인트라 예측 모드가 평면 모드인 경우 블록(801)의 인트라 예측 샘플을 결정하기 위해 본원에 설명된 방법을 사용한다.
도 8에서, 블록(801)은 그 우측 상단 샘플이 샘플(8001)(예를 들어, p[0][0])이고 좌측 하단 샘플이 샘플(8003)(예를 들어, p[W - 1][H - 1])인 블록이다. W와 H는 각각 샘플(또는 픽셀)의 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W - 1과 같고 y가 0, 1, … H - 1과 같을 때 p[x][y]로도 표시된 샘플(8002)은 예측될 블록의 샘플이다.
도 8에서, 샘플(8101)(예를 들어, p[0][-1])) ~ 샘플(8105)(예를 들어, p[W][-1])은 블록의 상단 이웃 샘플들이다. 샘플(8105)(예를 들어, p[W][-1])에서 좌측 방향으로 샘플(8105)과 동일한 행에 또 다른 N L개 상단 이웃 샘플들, 즉 샘플 p[W + 1][-1], …, p[W + N L][-1]이 있다(예를 들어, 샘플(8106)은 p[W + N L][-1] 임). 샘플(8101)(예를 들어, p[0][-1]) ~ 샘플(8106)(예를 들어, p[W + N L][-1]) 외에, 상단 이웃 샘플들의 N T개 추가적인 라인이 블록(801)의 인트라 예측 샘플을 도출하는 데 사용된다. 샘플(8101'~ 8106')은 샘플 p[0][-1 - N T], p[1][-1 - N T], …, p[W + N L][-1 - N T]이다.
도 8에서, 샘플(8201)(예를 들어, p[-1][0]) ~ 샘플(8206)(예를 들어, p[-1][H])은 블록의 우측 이웃 샘플들이다. 샘플(8206)(예를 들어, p[-1][H])에서 하단 방향으로, 샘플(8206)과 동일한 열에 또 다른 N B개 우측 이웃 샘플들, 즉, 샘플 p[-1][H + 1], …, p[-1][H + N B]이 있다(예를 들어, 샘플(8207)은 p[-1][H + N B])임). 샘플(8201)(예를 들어, p[-1][0]) ~ 샘플(8207)(예를 들어, p[-1][H + N B]) 외에, 우측 이웃 샘플의 N R개 추가적인 열이 블록(801)의 인트라 예측 샘플을 유도하는 데 사용된다. 샘플(8201'~ 8207')은 샘플 p[-1 - N R][0], p[-1 - N R][-1], …, p[-1 - N R][H + N B]이다.
도 8에서, 샘플(8300)(예를 들어, p[-1][-1])은 블록의 우측 상단 이웃 샘플이다. 블록(801)의 인트라 예측 샘플을 도출하는 데 더 많은 상단 및 우측 이웃 샘플들이 관여된 후, 우측 상단 이웃 샘플은 8300에서 8300'까지의 샘플들, 즉 샘플 p[-1][-1], p[-1][-2], p[-2][-1], p[-2][-2], …, p[-1 - N R][-1 - N T]을 포함할 수 있다.
도 8에서, 샘플(8401)(예를 들어, P[W][y])은 블록의 좌측 이웃 샘플이다. 샘플 p[W + 1][y], …, p[W + N L][y](예를 들어, 샘플(8401')은 p[W + N L][y]임)는 샘플(8401)과 동일한 행에 있는 또 다른 N L개 좌측 이웃 샘플이다. 샘플(8501)(예를 들어, P[x][H])은 블록의 하단 이웃 샘플이다. 샘플 p[x][H + 1], …, p[x][H + N B](예를 들어, 샘플(8501')은 p[x][H + N B]임)은 샘플(8501)과 동일한 열에 있는 또 다른 N B개 하단 이웃 샘플들이다. 샘플(8600)(예를 들어, p[W][H])은 블록의 좌측 하단 이웃 샘플이다.
일부 실시예에서, 블록의 상단 및 우측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 우측 상단 샘플(8300 ~ 8300')들이 또한 제1 참조 샘플에 포함될 수 있다. 즉, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 좌측 및 하단 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 또 다른 실시예에서, 좌측 하단(8600)이 또한 제2 참조 샘플에 포함될 수 있다. 즉, 제2 참조 샘플은 상기 이용가능한 참조 샘플을 사용하여 도출될 참조 샘플들을 포함한다. 제2 참조 샘플들은 블록의 제1 참조 샘플들의 대응하는 반대편에 위치된다.
인트라 예측자는 샘플(8002)과 동일한 행에 있는 우측 이웃 샘플들과 좌측 이웃 샘플들 및 샘플(8002)과 동일한 열에 있는 하단 이웃 샘플들과 상단 이웃 샘플들을 사용하여 샘플(8002)의 예측 샘플을 계산한다.
인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 일부 실시예에서, 인트라 예측자의 계산 복잡도를 감소시키기 위해, N T 및 N R은 동일하고(예를 들어, 양의 정수 M), N L 및 N B는 동일하다(예를 들어, 음이 아닌 정수 N). 일부 실시예에서, M이 1과 같고 N이 0과 같을 때, 이 실시예에서 설명된 방법은 도 7의 맥락에서 설명된 것과 유사하다.
일부 실시예에서, 식 (5) ~ (7)이 평면 모드에서 블록의 인트라 예측 샘플을 계산하기 위해 사용된다. 인트라 예측자는 식 (5)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (5)의 등가 구현)를 사용하여 좌측 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N이다. 식 (5)에서, 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산할 때 그들의 좌측 이웃 샘플들까지의 거리에 기초한다.
인트라 예측자는 식 (6)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (6)의 등가 구현)을 사용하여 하단 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N 이다. 식 (6)에서, 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산함에 있어서 그들의 하단 이웃 샘플들까지의 거리에 기초한다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로서 계산한다. 다른 실시예에서, 동일한 가중치가 적용될 때, p[x][y]는 동일한 행 또는 열에 있는 제1 참조 샘플과 제2 참조 샘플에서 샘플들, 즉 도 8에 도시된 바와 같이 샘플 8401 ~ 8401', 8203 ~ 8203', 8103 ~ 8103' 및 8501 ~ 8501'의 수치적 평균일 수 있다. 또 다른 실시예 예에서, 동일하지 않은 가중치는 그들의 p[x][y]까지의 거리에 기초할 수 있다. 일 예는 식 (7)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (7)의 등가 구현)에 의해 표시된다.
도 9는 또 다른 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플을 예시하는 도면이다.
일부 실시예에서, 인코더가 특수한 코딩 순서를 채택하고 디코더가 대응하는 디코딩 순서를 사용할 때, 하단 및 좌측 이웃 샘플들은 블록을 코딩 또는 디코딩하기 전에 재구성될 것이다. 이 경우 블록의 하단 및 좌측 이웃 샘플들이 블록의 인트라 예측 샘플을 도출하는 데 사용된다.
인트라 예측자는 블록(901)의 인트라 예측 모드가 평면 모드인 경우 블록(901)의 인트라 예측 샘플을 결정하기 위해 본원에 설명된 방법을 사용한다.
도 9에서, 블록(901)은 그 좌측 하단 샘플이 샘플(9001)(예를 들어, p[0][0])이고 그 우측 상단 샘플이 샘플(9003)(예를 들어, p[W - 1][H - 1])인 블록이다. W와 H는 각각 샘플(또는 픽셀)의 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W - 1과 같고 y가 0, 1, … H - 1과 같을 때 p[x][y]로도 표시된 샘플(9002)은 예측될 블록의 샘플이다. 샘플(9300)(예를 들어, p[-1][-1])은 블록의 좌측 하단 이웃 샘플이다. 샘플(9101)(예를 들어, p[0][-1]) ~ 샘플(9105)(예를 들어, p[W][-1])은 블록의 하단 이웃 샘플들이다. 샘플(9201)(예를 들어, p[-1][0]) ~ 샘플(9206)(예를 들어,: p[-1][H])은 블록의 좌측 이웃 샘플이다. 샘플(9401)(예를 들어, P[W][y])은 블록의 우측 이웃 샘플들이다. 샘플(9501)(예를 들어, P[x][H])은 블록의 상단 이웃 샘플이다. 샘플(9600)(예를 들어, p[W][H])은 블록의 우측 상단 이웃 샘플이다.
일부 실시예에서, 블록의 하단 및 좌측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 좌측 하단 샘플(9300)이 또한 제1 참조 샘플에 포함될 수 있다. 즉, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 상단 및 우측 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 우측 상단 샘플(9600)이 또한 제2 참조 샘플에 포함될 수 있다. 즉, 제2 참조 샘플은 상기 이용가능한 참조 샘플을 사용하여 도출될 참조 샘플을 포함할 수 있다. 제2 참조 샘플들은 블록의 제1 참조 샘플들의 대응하는 반대편(opposite sides)에 위치된다.
인트라 예측자는 샘플(9002)의 예측 샘플을 샘플(9002)과 동일한 행에 있는 우측 이웃 샘플(9401)과 좌측 이웃 샘플 p[-1][y](예를 들어, 도 9의 샘플(9203)) 및 샘플(9002)과 동일한 열에 있는 상단 이웃 샘플(9501) 및 하단 이웃 샘플(p[x][-1])(예를 들어, 도 9의 샘플(9103))을 사용하여 계산한다.
일부 실시예에서, 식 (1) ~ (4)가 평면 모드에서 블록의 인트라 예측 샘플을 계산하기 위해 사용된다. 인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 인트라 예측자는 식 (1)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (1)의 등가 구현)을 사용하여 우측 이웃 샘플(9401)을 계산한다. 식 (1)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 우측 이웃 샘플들까지의 거리에 기초한다.
인트라 예측자는 식 (2)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (2)의 등가 구현)를 사용하여 상단 이웃 샘플(9501)을 계산한다. 식 (2)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 상단 이웃 샘플들까지의 거리에 기초한다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로서 계산한다. 다른 실시예에서, p[x][y]는 p[x][-1], p[-1][y], p[W][y] 및 p[x][H]의 수치적 평균일 수 있고, 이는 동일한 가중치를 사용한다. 또 다른 실시예에서, 참조 샘플들에 대한 동일하지 않은 가중치는 그들의 p[x][y]까지의 거리에 기초할 수 있다. 일 예는 식 (3)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (3)의 등가 구현)으로 표시된다. 또 다른 예는 식 (4)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (4)의 등가 구현)에 의해 표시된다.
도 10은 또 다른 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플을 예시하는 도면이다.
일부 실시예에서, 인코더가 특수한 코딩 순서를 채택하고 디코더가 대응하는 디코딩 순서를 사용할 때, 하단 및 좌측 이웃 샘플들은 블록을 코딩 또는 디코딩하기 전에 재구성될 것이다. 이 경우 블록의 하단 및 좌측 이웃 샘플들이 블록의 인트라 예측 샘플을 도출하는 데 사용된다.
인트라 예측자는 블록(1001)의 인트라 예측 모드가 평면 모드인 경우 블록(1001)의 인트라 예측 샘플을 결정하기 위해 본원에 설명된 방법을 사용한다.
도 10에서, 블록(1001)은 그 좌측 하단 샘플이 샘플(10001)(예를 들어, p[0][0])이고 그 우측 상단 샘플이 샘플(10003)(예를 들어, p[W - 1][H - 1])인 블록이다. W와 H는 각각 샘플(또는 픽셀) 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W - 1과 같고 y가 0, 1, …, H - 1과 같은 경우에 p[x][y]로도 표시된 샘플(10002)은 예측될 블록의 샘플이다.
도 10에서, 샘플(10101)(예를 들어, p[0][-1]) ~ 샘플(10105)(예를 들어, p[W][-1])은 블록의 하단 이웃 샘플이다. 샘플(10105)(예를 들어, p[W][-1])에서 우측 방향으로, 샘플(10105)과 동일한 행에 또 다른 N R개 하단 이웃 샘플, 즉 샘플 p[W + 1][-1], …, p[W + N R][-1](예를 들어, 샘플(10106)은 p[W + N R][-1]임)이 있다. 샘플(10101)(예를 들어, p[0][-1]) ~ 샘플(10106)(예를 들어, p[W + N R][-1]) 외에, 하단 이웃 샘플의 N B개 추가적인 라인이 블록(1001)의 인트라 예측 샘플을 도출하는 데 사용된다. 샘플(10101'~ 10106')은 샘플 p[0][-1 - N B], p[1][-1 - N B], …, p[W + N R][-1 - N B]이다.
도 10에서, 샘플(10201)(예를 들어, p[-1][0]) ~ 샘플(10206)(예를 들어, p[-1][H])은 블록의 좌측 이웃 샘플들이다. 샘플(10206)(예를 들어, p[-1][H])에서 상단 방향으로, 샘플(10206)과 동일한 열에 또 다른 N T개 좌측 이웃 샘플들, 즉, 샘플 p[-1][H + 1], …, p [-1][H + N T](예를 들어, 샘플(10207)은 p[-1][H + N T]임)이 있다, 샘플(10201)(예를 들어, p[-1][0]) ~ 샘플(10207)(예를 들어, p[-1][H + N T]) 외에, 좌측 이웃 샘플의 N L개 추가적인 열이 블록(1001)의 인트라 예측 샘플을 도출하는 데 사용된다. 샘플(10201'~ 10207')은 샘플 p[-1 - N L][0], p[-1 - N L][1], …, p[-1 - N L][H + N T]이다.
도 10에서, 샘플(10300)(예를 들어, p[-1][-1])은 블록의 좌측 하단 이웃 샘플이다. 블록(1001)의 인트라 예측 샘플을 도출하는 데 더 많은 하단 및 좌측 이웃 샘플들이 관여된 후, 좌측 하단 이웃 샘플은 10300에서 10300'까지의 샘플, 즉 샘플 p[-1][-1], p[-1][-2], p[-2][-1], p[-2][-2], …, p[-1 - N L][-1 - N B]를 포함할 수 있다.
도 10에서, 샘플(10401)(예를 들어, P[W][y])은 블록의 우측 이웃 샘플이다. 샘플 p[W + 1][y], …, p[W + N R][y](예를 들어, 샘플(10401')은 p[W + N R][y]임)는 샘플(10401)과 동일한 행에 있는 또 다른 N R개 우측 이웃 샘플들이다. 샘플(10501)(예를 들어, P[x][H])은 블록의 상단 이웃 샘플이다. 샘플 p[x][H + 1], …, p[x][H + N T](예를 들어, 샘플(10501')은 p[x][H + N T]임)는 샘플(10501)과 동일한 열에 있는 또 다른 N T개 상단 이웃 샘플들이다. 샘플(10600)(예를 들어, p[W][H])은 블록의 우측 상단 이웃 샘플이다.
일부 실시예에서, 블록의 하단 및 좌측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 좌측 하단 샘플들(10300 ~ 10300')은 또한 제1 참조 샘플에 포함될 수 있다. 즉, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 상단 및 우측 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 우측 상단 샘플(10600)이 또한 제2 참조 샘플에 포함될 수 있다. 즉, 제2 참조 샘플은 상기 이용가능한 참조 샘플을 사용하여 도출될 참조 샘플을 포함한다. 제2 참조 샘플들은 블록의 제1 참조 샘플들의 대응하는 반대편에 위치된다.
인트라 예측자는 샘플(10002)의 예측 샘플을 샘플(10002)과 동일한 행에 있는 우측 이웃 샘플과 좌측 이웃 샘플 및 샘플(10002)과 동일한 열에 있는 하단 이웃 샘플 및 상단 이웃 샘플을 사용하여 계산한다.
인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 일부 실시예에서, 인트라 예측자의 계산 복잡도를 감소시키기 위해, N L 및 N B는 동일하고(예를 들어, 양의 정수 M), N T 및 N R은 동일하다(예를 들어, 음이 아닌 정수 N). 일부 실시예에서, M이 1과 같고 N이 0과 같을 때, 본 실시예에서 설명된 방법은 도 9의 맥락에서 설명된 것과 유사하다.
일부 실시예에서, 식 (5) ~ (7)이 평면 모드에서 블록의 인트라 예측 샘플을 계산하기 위해 사용된다. 인트라 예측자는 식 (5)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (5)의 등가 구현)를 사용하여 우측 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N이다. 식 (5)에서 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산할 때 그들의 우측 이웃 샘플들까지의 거리에 기초한다.
인트라 예측자는 식 (6)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (6)의 등가 구현)을 사용하여 상단 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N이다. 식 (6)에서 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산할 때 그들의 상단 이웃 샘플들까지의 거리에 기초한다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로서 계산한다. 다른 실시예에서, 동일한 가중치가 적용될 때, p[x][y]는 동일한 행 또는 열에 있는 제1 참조 샘플과 제2 참조 샘플의 샘플들, 즉 도 10에서 예시된 바와 같이 샘플들 10401 ~ 10401', 10203 ~ 10203', 10103 ~ 10103' 및 10501 ~ 10501'의 수치적 평균일 수 있다. 또 다른 실시예에서, 동일하지 않은 가중치는 그들의 p[x][y]까지의 거리에 기초한다. 일 예가 식 (7)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (7)의 등가 구현)로 표시된다.
도 11은 또 다른 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플을 예시하는 도면이다.
일부 실시예에서, 인코더가 특수한 코딩 순서를 채택하고 디코더가 대응하는 디코딩 순서를 사용할 때, 하단 및 우측 이웃 샘플들은 블록을 코딩 또는 디코딩하기 전에 재구성될 것이다. 이 경우 블록의 하단 및 우측 이웃 샘플이 블록의 인트라 예측 샘플을 도출하는 데 사용된다.
인트라 예측자는 블록(1101)의 인트라 예측 모드가 평면 모드인 경우 블록(1101)의 인트라 예측 샘플을 결정하기 위해 본원에 설명된 방법을 사용한다.
도 11에서, 블록(1101)은 그 우측 하단 샘플이 샘플(11001)(예를 들어, p[0][0])이고 그 좌측 상단 샘플이 샘플(11003)(예를 들어, p[W - 1][H - 1])인 블록이다. W와 H는 각각 샘플(또는 픽셀)의 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W - 1과 같고 y가 0, 1, … H - 1과 같을 때 p[x][y]로도 표시된 샘플(11002)이 예측될 블록의 샘플이다. 샘플(11300)(예를 들어, p[-1][-1])은 블록의 우측 하단 이웃 샘플이다. 샘플(11101)(예를 들어, p[0][-1]) ~ 샘플(11105)(예를 들어, p[W][-1])은 블록의 하단 이웃 샘플들이다. 샘플(11201)(예를 들어, p[-1][0]) ~ 샘플(11206)(예를 들어, p[-1][H])은 블록의 우측 이웃 샘플들이다. 샘플(11401)(예를 들어, P[W][y])은 블록의 좌측 이웃 샘플이다. 샘플(11501)(예를 들어, P[x][H])은 블록의 상단 이웃 샘플이다. 샘플(11600)(예를 들어, p[W][H])은 블록의 좌측 상단 이웃 샘플이다.
일부 실시예에서, 블록의 하단 및 우측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 우측 하단 샘플(11300)이 또한 제1 참조 샘플에 포함될 수 있다. 즉, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 상단 및 좌측 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 좌측 상단 샘플(11600)이 또한 제2 참조 샘플에 포함될 수 있다. 즉, 제2 참조 샘플은 상기 이용가능한 참조 샘플을 사용하여 도출될 참조 샘플을 포함한다. 제2 참조 샘플은 블록의 제1 참조 샘플의 대응하는 반대편에 위치된다.
인트라 예측자는 샘플(11002)의 예측 샘플을 샘플(11002)과 동일한 행에 있는 좌측 이웃 샘플(11401)과 우측 이웃 샘플 p[-1][y](예를 들어, 도 11의 샘플(11203)), 및 샘플(11002)과 동일한 열에 있는 상단 이웃 샘플(11501)과 하단 이웃 샘플 p[x][-1](예를 들어, 도 11의 샘플(11102))을 사용하여 계산한다.
일부 실시예에서, 식 (1) ~ (4)가 평면 모드에서 블록의 인트라 예측 샘플을 계산하기 위해 사용된다. 인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 인트라 예측자는 식 (1)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (1)의 등가 구현)을 사용하여 좌측 이웃 샘플(11401)을 계산한다. 식 (1)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 좌측 이웃 샘플들까지의 거리에 기초한다.
인트라 예측자는 식 (2)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (2)의 등가 구현)을 사용하여 상단 이웃 샘플(11501)을 계산한다. 식 (2)에서 제1 참조 샘플들에서 샘플들의 가중치는 그들의 상단 이웃 샘플들까지의 거리에 기초한다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에 있는 샘플들의 가중합으로 계산한다. 다른 실시예에서, p[x][y]는 p[x][-1], p[-1][y], p[W][y] 및 p[x][H]의 수치적 평균일 수 있고, 이는 동일한 가중치를 사용한다. 또 다른 실시예에서, 참조 샘플들에 대해 동일하지 않은 가중치는 그들의 p[x][y]까지의 거리에 기초할 수 있다. 일 예가 식 (3)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (3)의 등가 구현)으로 표시된다. 또 다른 예는 식 (4)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (4)의 등가 구현)로 표시된다.
도 12는 또 다른 구현에서 평면 모드의 인트라 예측 샘플의 도출에 사용되는 이웃 샘플을 예시하는 도면이다.
일부 실시예에서, 인코더가 특수한 코딩 순서를 채택하고 디코더가 대응하는 디코딩 순서를 사용할 때, 하단 및 우측 이웃 샘플들은 블록을 코딩 또는 디코딩하기 전에 재구성될 것이다. 이 경우 블록의 하단 및 우측 이웃 샘플들이 블록의 인트라 예측 샘플들을 도출하는 데 사용된다.
인트라 예측자는 블록(1201)의 인트라 예측 모드가 평면 모드인 경우 블록(1201)의 인트라 예측 샘플을 결정하기 위해 본원에 설명된 방법을 사용한다.
도 12에서, 블록(1201)은 그 우측 하단 샘플이 샘플(12001)(예를 들어, p[0][0])이고 그 좌측 상단 샘플이 샘플(12003)(예를 들어, p[W - 1][H - 1])인 블록이다. W와 H는 각각 샘플(또는 픽셀)의 수로 측정된 블록의 너비와 높이이다. x가 0, 1, …, W - 1과 같고 y가 0, 1, …, H - 1과 같을 때 p[x][y]로도 표시된 샘플(12002)이 예측될 블록의 샘플이다.
도 12에서 샘플(12101)(예를 들어, p[0][-1]) ~ 샘플(12105)(예를 들어, p[W][-1])은 블록의 하단 이웃 샘플들이다. 샘플(12105)(예를 들어, p[W][-1])에서 좌측 방향으로 샘플(12105)과 동일한 행에 있는 또 다른 N L개 하단 이웃 샘플들, 즉 샘플 p[W + 1][-1], …, p[W + N L][-1](예를 들어, 샘플(12106)은 p[W + N L][-1]임)이 있다. 샘플(12101)(예를 들어, p[0][-1]) ~ 샘플(12106)(예를 들어, p[W + N L][-1]) 외에 하단 이웃 샘플의 N B개 추가적인 라인이 블록(1201)의 인트라 예측 샘플을 도출하는 데 사용된다. 샘플(12101'~ 12106')은 샘플 p[0][-1 - N B], p[1][-1 - N B], …, p[W + N L][-1 - N B]이다.
도 12에서, 샘플(12201)(예를 들어, p[-1][0]) ~ 샘플(12206)(예를 들어, p[-1][H])은 블록의 우측 이웃 샘플들이다. 샘플(12206)(예를 들어, p[-1][H])에서 상단 방향으로 샘플(12206)과 동일한 열에 또 다른 N T개 우측 이웃 샘플들, 즉 샘플 p[-1][H + 1], …, p[-1][H + N T](예를 들어, 샘플(12207)은 p[-1][H + N T]임)이 있다. 샘플(12201)(예를 들어, p[-1][0]) ~ 샘플(12207)(예를 들어, p[-1][H + N T]) 외에 우측 이웃 샘플의 N R개 추가적인 열이 블록(1201)의 인트라 예측 샘플들을 도출하는 데 사용된다. 샘플(12201'~ 12207')은 샘플 p[-1 - N R][0], p[-1 - N R][1], …, p[-1 - N R][H + N T]이다.
도 12에서, 샘플(12300)(예를 들어, p[-1][-1])은 블록의 우측 하단 이웃 샘플이다. 더 많은 하단 및 우측 이웃 샘플들이 블록(1201)의 인트라 예측 샘플을 도출하는 데 관여한 후, 우측 하단 이웃 샘플은 12300에서 12300'까지의 샘플들, 즉 샘플 p[-1][-1], p[-1][-2], p[-2][-1], p[-2][-2], …, p[-1 - N R][-1 - N B]을 포함할 수 있다.
도 12에서, 샘플(12401)(예를 들어, P[W][y])은 블록의 좌측 이웃 샘플이다. 샘플 p[W + 1][y], …, p[W + N L][y](예를 들어, 샘플(12401')은 p[W + N L][y]임)은 샘플(12401)과 동일한 행에 있는 또 다른 N L개 좌측 이웃 샘플들이다. 샘플(12501)(예를 들어, P[x][H])은 블록의 상단 이웃 샘플이다. 샘플 p[x][H + 1], …, p[x][H + N T](예를 들어, 샘플(12501')은 p[x][H + N T]임)는 샘플(12501)과 동일한 열에 있는 또 다른 N T개 상단 이웃 샘플들이다. 샘플(12600)(예를 들어, p[W][H])은 블록의 좌측 상단 이웃 샘플이다.
일부 실시예에서, 블록의 하단 및 우측 이웃 샘플들은 집합적으로 제1 참조 샘플로 지칭될 수 있다. 다른 실시예에서, 우측 하단 샘플들(12300 ~ 12300')이 또한 제1 참조 샘플에 포함될 수 있다. 즉, 제1 참조 샘플은 블록의 이용가능한 이웃 샘플들을 포함한다. 블록의 상단 및 좌측 이웃 샘플들은 집합적으로 제2 참조 샘플로 지칭될 수 있다. 일부 실시예에서, 좌측 상단 샘플(12600)이 또한 제2 참조 샘플에 포함될 수 있다. 즉, 제2 참조 샘플은 상기 이용가능한 참조 샘플들을 사용하여 도출될 참조 샘플을 포함한다. 제2 참조 샘플은 블록의 제1 참조 샘플들의 대응하는 반대편에 위치된다.
인트라 예측자는 샘플(12002)의 예측 샘플을 샘플(12002)과 동일한 행에 있는 우측 이웃 샘플과 좌측 이웃 샘플 및 샘플(12002)과 동일한 열에 있는 하단 이웃 샘플과 상단 이웃 샘플을 사용하여 계산한다.
인트라 예측자는 제1 샘플에 기초하여 제2 참조 샘플을 계산한다. 일부 실시예에서, 인트라 예측자의 계산 복잡도를 감소시키기 위해, N R 및 N B는 동일하고(예를 들어, 양의 정수 M), N T 및 N L은 동일하다(예를 들어, 음이 아닌 정수 N). 일부 실시예에서, M이 1과 같고 N이 0과 같을 때, 본 실시예에서 설명된 방법은 도 11의 맥락에서 설명된 것과 유사하다.
일부 실시예에서, 식 (5) ~ (7)이 평면 모드에서 블록의 인트라 예측 샘플을 계산하기 위해 사용된다. 인트라 예측자는 식 (5)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (5)의 등가 구현)를 사용하여 좌측 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N이다. 식 (5)에서 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산할 때 그들의 좌측 이웃 샘플들까지의 거리에 기초한다.
인트라 예측자는 식 (6)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (6)의 등가 구현)을 사용하여 상단 이웃 샘플들을 계산하고, 여기서 i = 0, 1, …, N이다. 식 (6)에서, 제1 참조 샘플들에서 샘플들의 가중치는 p j 를 계산할 때 그들의 상단 이웃 샘플들까지의 거리에 기초한다.
일부 실시예에서, 인트라 예측자는 예측될 샘플(예를 들어, p[x][y])을 제1 참조 샘플 및 제2 참조 샘플에서 샘플들의 가중합으로서 계산한다. 다른 실시예에서, 동일한 가중치가 적용될 때, p[x][y]는 동일한 행 또는 열에 있는 제1 참조 샘플 및 제2 참조 샘플에서 샘플들, 즉 도 12에 예시된 바와 같은 샘플들 12401 ~ 12401', 12203 ~ 12203', 12103 ~ 12103' 및 12501 ~ 12501'의 수치적 평균일 수 있다. 또 다른 실시예에서, 동일하지 않은 가중치는 p[x][y]까지의 거리에 기초한다. 일 예가 식 (7)(또는 가산 및 비트-단위 산술 시프트 연산을 사용하는 식 (7)의 등가 구현)로 표시된다.
도 13은 본원에 개시된 기술에 따른 시각 미디어 코딩을 위한 예시적인 방법(1300)의 흐름도를 도시한다. 방법(1300)은 단계(1310)에서, 현재 블록의 재구성된 이웃 샘플들인 제1 세트의 참조 샘플들을 선택하는 단계를 포함한다. 일부 실시예에서, 인트라 예측에 사용되는 상기 재구성된 이웃 샘플들은 인-루프(in-loop) 필터링되지 않는다. 일 예에서 이는 H.265/HEVC 표준의 구현과 일치한다.
방법(1300)은 단계(1320)에서, 제1 세트의 참조 샘플들 중 적어도 하나와 제2 세트의 참조 샘플들 중 적어도 하나를 보간함으로써 현재 블록의 예측 샘플에 대한 예측값을 결정하는 단계를 포함한다. 일부 실시예에서, 적어도 도 5a의 맥락에서. 상기 제2 세트의 참조 샘플들 중 참조 샘플은 상기 제1 세트의 참조 샘플들로부터의 제1 샘플 및 제2 샘플의 가중합(weighted sum)에 기초한다. 상기 참조 샘플은 상기 제1 샘플과 수평으로 정렬되고, 상기 제2 샘플과 수직으로 정렬되며, 제1 샘플이나 제2 샘플에 대해 상기 예측 샘플의 반대편(opposite side)에 위치된다.
일부 실시예에서, 비디오 인코더에서 구현될 수 있는 것으로, 방법(1300)은 현재 블록의 각 샘플에 대해 단계(1310, 1320)를 반복하는 단계, 현재 블록의 각 샘플에 대응하는 예측값을 사용하여 현재 블록의 잔차(residual)를 계산하는 단계, 및 상기 잔차를 비트스트림으로 인코딩하는 단계를 더 포함한다.
일부 실시예에서, 비디오 디코더에서 구현될 수 있는 것으로, 방법(1300)은 현재 블록의 잔차를 결정하기 위해 현재 블록의 비트스트림 표현을 파싱(parsing)하는 단계, 및 예측 샘플과 잔차의 합에 기초하여 현재 블록의 샘플을 재구성하는 단계를 더 포함한다.
일부 실시예에서, 상기 가중합은 상기 제1 샘플을 곱하는 제1 가중치 및 상기 제2 샘플을 곱하는 제2 가중치를 포함한다. 일 예에서, 상기 제1 및 제2 가중치는 상기 참조 샘플과 상기 제1 샘플 사이의 거리 및 상기 참조 샘플과 상기 제2 샘플 사이의 거리에 기초한다. 다른 예에서, 상기 제1 가중치는 상기 제2 가중치와 동일하다.
일부 실시예에서, 상기 보간(interpolation)은 상기 제1 세트의 참조 샘플들 중 적어도 하나 및 상기 제2 세트의 참조 샘플들 중 적어도 하나의 평균에 기초한다. 다른 실시예에서, 상기 보간은 상기 제1 세트의 참조 샘플들 중 적어도 하나와 상기 제2 세트의 참조 샘플들 중 적어도 하나의 가중합(weighted sum)에 기초한다.
적어도 도 5a 및 5b의 맥락에서, 본원은 H 픽셀 행 및 W 픽셀 열을 포함하는 비디오 코딩 블록의 픽셀 위치에서 예측값을 결정하는 또 다른 방법을 개시하며, 상기 방법은,
(a) 위치가 코딩 블록의 외부에 있는 제1 상단 참조 샘플과 위치가 코딩 블록의 외부에 있는 제1 좌측 참조 샘플을 사용하여 보간함으로써 우측 참조 샘플을 도출하는 단계 - (i) 상기 제1 상단 참조 샘플은 상기 우측 참조 샘플과 동일한 픽셀 열(column)에 있고, (ii) 상기 제1 좌측 참조 샘플, 상기 픽셀 위치 및 상기 우측 참조 샘플은 동일한 픽셀 행(row)에 있음 -,
(b) 위치가 코딩 블록의 외부에 있는 제2 상단 참조 샘플과 위치가 코딩 블록의 외부에 있는 제2 좌측 참조 샘플을 사용하여 보간함으로써 하단 참조 샘플을 도출하는 단계 - (i) 상기 하단 참조 샘플은 상기 제2 상단 참조 샘플 및 상기 픽셀 위치와 동일한 픽셀 열에 있고, (ii) 상기 하단 참조 샘플은 상기 제2 좌측 참조 샘플과 동일한 행에 있음 -,
(c) 예측값을 상기 제1 좌측 참조 샘플, 상기 제2 상단 참조 샘플, 상기 우측 참조 샘플 및 상기 하단 참조 샘플의 가중합이 되도록 결정하는 단계, 및
(d) 상기 비디오 블록의 추가 처리를 위해 상기 예측값을 사용하는 단계를 포함한다.
일부 실시예에서, 상기 방법은 코딩 블록의 각 픽셀에 대해 단계 (a)-(d)를 반복하는 단계, 각 샘플에 대응하는 예측값을 사용하여 코딩 블록의 잔차를 계산하는 단계, 및 상기 잔차를 비트스트림으로 인코딩하는 단계를 더 포함할 수 있다.
다른 실시예에서, 상기 방법은 코딩 블록의 잔차를 결정하기 위해 코딩 블록의 비트스트림 표현을 파싱하는 단계, 및 예측 샘플과 잔차의 합에 기초하여 현재 블록의 샘플을 재구성하는 단계를 더 포함할 수 있다.
적어도 도 5a 및 5b의 맥락에서, 본원은 비디오 코딩 블록의 픽셀 위치에서 예측값을 결정하는 또 다른 방법을 개시하며, 여기서 상기 코딩 블록은 H 픽셀 행 및 W 픽셀 열을 포함하며, 상기 방법은,
(a) 적어도 2 개의 수직 참조 샘플 및 적어도 2 개의 수평 참조 샘플의 가중합으로서 픽셀값을 결정하는 단계 - (i) 상기 적어도 2 개의 수직 참조 샘플은 코딩 블록의 외부에 있고 상기 픽셀 위치와 동일한 열에 있는 제1 참조 샘플 및 코딩 블록의 외부 행과 코딩 블록의 외부 열에 있는 제2 수직 샘플을 포함하고, (ii) 상기 적어도 2 개의 수평 참조 샘플은 코딩 블록의 외부에 있고 상기 픽셀 위치와 동일한 행에 있는 제1 수평 참조 샘플 및 코딩 블록의 외부 행 및 코딩 블록의 외부 열에 있는 제2 수평 참조 샘플을 포함함 - 를 포함한다.
일부 실시예에서, 위에서 설명한 방법의 경우, 상기 "수직(vertical)"샘플은 픽셀 위치 위의 샘플("상단(top)" 샘플) 또는 픽셀 위치 아래의 샘플("하단(bottom)"샘플)일 수 있으며, 상기 "수평(horizontal)"샘플은 픽셀 위치의 좌측 또는 우측에 대한 샘플(각각 "좌측(left)" 및 "우측(right)"샘플)일 수 있다.
일부 실시예에서, 상기 방법은 코딩 블록의 각 픽셀에 대해 단계 (a)를 반복하는 단계, 각 샘플에 대응하는 예측값을 사용하여 코딩 블록의 잔차를 계산하는 단계, 및 상기 잔차를 비트스트림으로 인코딩하는 단계를 더 포함할 수 있다.
다른 실시예에서, 상기 방법은 코딩 블록의 잔차를 결정하기 위해 코딩 블록의 비트스트림 표현을 파싱하는 단계, 예측 샘플과 잔차의 합에 기초하여 현재 블록의 샘플을 재구성하는 단계를 더 포함할 수 있다.
적어도 도 5a 및 5b의 맥락에서, 본원은 비디오 프레임의 평면 코딩된 코딩 블록 내의 픽셀 위치에서 예측값을 결정하는 또 다른 방법을 개시하며, 여기서 상기 방법은,
(a) 평면 코딩된 코딩 블록 외부에 있는 상기 픽셀 위치를 둘러싸는 다수의 참조 픽셀 위치에서 픽셀값들의 제1 가중합으로서 픽셀값을 결정하는 단계 - (i) 상기 제1 가중합에 사용된 가중치는 상기 픽셀 위치와 대응하는 참조 픽셀 위치 사이의 픽셀 거리에 반비례함 -,
(b) 재구성된 픽셀값이 이용가능한 제1 참조 픽셀 위치에 대해, 상기 제1 가중합을 위해 그 픽셀값을 사용하는 단계,
(c) 재구성된 픽셀값을 이용할 수 없는 제2 참조 픽셀 위치에 대해,
상기 제1 가중합으로서 상기 픽셀값을 결정하는 동안 수직으로 배치된(collocated) 이전에 재구성된 픽셀값과 수평으로 배치된 이전에 재구성된 픽셀값의 제2 가중합을 사용하는 단계, 및
(d) 상기 평면 코딩된 코딩 블록을 추가로 처리하기 위해 상기 픽셀값을 사용하는 단계를 포함한다.
일부 실시예에서, 상기 방법은 코딩 블록의 각 픽셀에 대해 단계 (a)-(d)를 반복하는 단계, 각 샘플에 대응하는 상기 예측값을 사용하여 코딩 블록의 잔차를 계산하는 단계, 및 상기 잔차를 비트스트림으로 인코딩하는 단계를 더 포함할 수 있다.
다른 실시예에서, 상기 방법은 코딩 블록의 잔차를 결정하기 위해 코딩 블록의 비트스트림 표현을 파싱하는 단계, 및 상기 예측 샘플과 상기 잔차의 합에 기초하여 현재 블록의 샘플을 재구성하는 단계를 더 포함할 수 있다.
일부 실시예에서, 상기 제1 및 제2 가중합에 사용되는 가중치는 픽셀 위치와 참조 샘플들의 위치 사이의 택시 거리(taxicab distances)에 의존할 수 있으며, 이는 그들의 데카르트 좌표(Cartesian coordinates)의 차의 절대값의 합(sum of the absolute differences)으로 정의된다. 예를 들어, (x 0 , y 0 )과 (x 1 , y 1 ) 사이의 택시 거리(맨해튼 거리라고도 함)는 (|x 0 - x 1 | + |y 0 - y 1 |)와 같다.
예를 들어, 도 5b는 4 개의 참조 픽셀(5103, 5203, 5206, 5105, 굵은 윤곽선으로 표시됨)이 주어진 경우 예측값이 결정되어야 하는 픽셀(5002), 및 암시적으로 2 개의 재구성된 픽셀(5401, 5501)을 포함하는 코딩 블록(501)을 보여준다. 도 5b의 예에서 도시된 픽셀들 사이의 거리에 대해, 재구성된 픽셀(5401, 5501)의 값은 다음과 같이 계산될 수 있다:
5401 = (5105*(c+d) + 5203*a) / (a+c+d), 및 (8)
5501 = (5103*c + 5206*(a+b)) / (a+b+c) (9)
여기서, 항 a, b, c, d는 예측값이 결정되고 있는 픽셀이 현재 블록의 상단 가장자리, 하단 가장자리, 좌측 가장자리 및 우측 가장자리로부터 각각 얼마나 멀리 떨어져 있는지를 나타낸다. 따라서, a + b = H 및 c + d = W이다. 일부 실시예에서, 예측값은 예를 들어, 상기 참조 및 재구성된 픽셀값들의 단순 평균으로서 계산될 수 있다.
5002 = (5103 + 5203 + 5401 + 5501) / 4 (10)
예시적인 구현에서, 4 개의 참조 픽셀의 값들만이 명백하게 이용가능할 때, 식 (10)은 식 (8) 및 (9)를 사용하여 계산된다.
다른 실시예에서, 예측값은 예를 들어 참조 및 재구성된 픽셀의 가중합으로서 계산될 수 있다.
5002 = 5103*b/(a+b+c+d) + 5203*d/(a+b+c+d)
+ 5501*a/(a+b+c+d) + 5401*c/(a+b+c+d) (11)
일반적으로 식 (10) 및 식 (11) 이외의 픽셀 조합 방식이 사용될 수 있다. 예를 들어, 식 (10)은 단순 평균을 나타내고 식 (11)은 역-거리-가중(inverse-distance-weighted) 평균을 나타낸다. 중간(intermediate) 참조 샘플보다 재구성된 참조 샘플들의 가중치를 선호하는 것과 같은 다른 가능성도 사용될 수 있다. 식 (8) 및 (9)와 코딩 블록의 치수(높이 H 및 너비 W)를 사용하여, 식 (11)을 다음과 같이 다시 쓸 수 있다:
5002 = 5103*H*(b+c)/(H+c)*(H+W)
+ 5203*W*(a+d)/(W+a)*(H+W)
+ 5206*a*H/(H+c)*(H+W)
+ 5105*c*W/(W+a)*(H+W) (12)
식 (11)에 나타낸 바와 같이, 픽셀(5002)의 예측값은 비-가상(non-virtual) 참조 샘플들과 예측값이 결정되고 있는 상기 픽셀(5002) 사이의 택시 거리에 기초한 샘플/픽셀 가중치를 갖는 명시적으로 이용가능한 (또는 "비-가상" 또는 "재구성되지 않은(not reconstructed)") 참조 픽셀들(5103, 5203, 5206, 5105)에 의존한다.
일 예에서, 대각선(diagonal)인 비-가상 참조 샘플들에 대해 가중치는 대각선이 아닌(non-diagonal) 비-가상 참조 샘플의 택시 거리에 비례하고, 대각선이 아닌 방향으로 있는 참조 샘플들에 대해 가중치는 대각선 방향으로 대응하는 참조 샘플의 택시 거리에 비례한다. 예를 들어, 픽셀(5103)(비-대각선 참조 샘플)의 가중치는 H * (b + c) / (H + c) * (H + W)이고, 이는 (b + c)인 대각선인 대응하는 참조 샘플(5206)의 택시 거리에 비례한다.
예를 들어, 예측 샘플의 값을 결정하는 데 사용되는 한 쌍의 대각선 및 비-대각선 참조 샘플들에 대해, 대각선(또는 비-대각선) 참조 샘플의 가중치는 예측 샘플과 비-대각선(또는 대각선) 샘플 간의 택시 거리에 비례한다. 도 5b 및 식 (12)에서, 예측 샘플의 값을 결정하는 데 사용되는 제1의 참조 샘플 쌍에 대한 가중치는 예측 샘플과 제2의 참조 샘플 쌍 간의 택시 거리에 비례하고, 상기 제1 및 제2의 참조 샘플 쌍은 각각 대각선 및 비 대각선이고, 또는 그 반대의 경우이다.
전술한 방법과 관련하여, 이러한 방법은 도 6 내지 도 12에 설명된 샘플들을 포함하도록 확장될 수 있음을 이 분야의 기술자는 이해할 수 있을 것이다.
3 본원에 개시된 기술의 구현 예
도 14는 도 2에 도시된 예시적인 비디오 인코더 또는 픽처 인코더를 포함하는 예시적인 디바이스를 도시하는 블록도이다.
획득 유닛(1401)은 비디오 및 픽처를 캡처한다. 획득 유닛(1401)는 자연 장면의 비디오 또는 픽처를 촬영하기 위한 하나 이상의 카메라가 장착될 수 있다. 일부 실시예에서, 획득 유닛(1401)은 깊이 정보(depth information)를 갖는 비디오 또는 픽처를 획득하기 위한 카메라로 구현될 수 있다. 일부 실시예에서, 획득 유닛(1401)은 적외선 카메라 컴포넌트를 포함할 수 있다. 일부 실시예에서, 획득 유닛(1401)은 원격 감지 카메라로 구성될 수 있다. 획득 유닛(1401)은 또한 방사선(radiation)을 이용하여 물체를 스캔함으로써 비디오 또는 픽처를 생성하는 장치 또는 디바이스일 수 있다.
일부 실시예에서, 획득 유닛(1401)은 비디오 또는 픽처에 대한 전처리(pre-processing), 예를 들어 자동 화이트 밸런싱, 자동 초점, 자동 노출, 백라이트 보상, 샤프닝(sharpening), 노이즈 제거, 스티칭(stitching), 업-샘플링/다운 샘플링, 프레임-레이트 변환(frame-rate conversion), 가상 뷰 합성 등을 수행할 수 있다.
획득 유닛(1401)은 또한 다른 디바이스 또는 처리 유닛으로부터 비디오 또는 픽처를 수신할 수 있다. 예를 들어, 획득 유닛(1401)은 트랜스코더(transcoder)의 컴포넌트 유닛일 수 있다. 트랜스코더는 하나 이상의 디코딩된(또는 부분적으로 디코딩된) 픽처를 획득 유닛(1401)에 공급한다. 또 다른 실시예에서, 획득 유닛(1401)은 다른 디바이스로부터 비디오 또는 픽처를 그 디바이스에 대한 데이터 링크를 통해 획득한다.
일부 실시예에서, 획득 유닛(1401)은 비디오 및 픽처 외에 다른 미디어 정보, 예를 들면 오디오 신호를 캡처하는 데 사용될 수 있다. 획득 유닛(1401)은 또한 인공 정보, 예를 들어 문자, 텍스트, 컴퓨터-생성 비디오 또는 픽처 등을 수신할 수 있다.
인코더(1402)는 도 2에 도시된 예시적인 인코더의 구현이다. 인코더(1402)의 입력은 획득 유닛(1401)에 의해 출력된 비디오 또는 픽처이다. 인코더(1402)는 비디오 또는 픽처를 인코딩하고 생성된 비디오 또는 픽처 비트스트림을 출력한다.
저장/전송 유닛(1403)은 인코더(1402)로부터 비디오 또는 픽처 비트스트림을 수신하고, 비트스트림에 대해 시스템 계층 처리(system layer processing)를 수행한다. 예를 들어, 저장/전송 유닛(1403)은, 예를 들면 MPEG-2 TS, ISO 기본 미디어 파일 포맷(ISOBMFF), HTTP 동적 적응 스트리밍(Dynamic adaptive streaming over HTTP, DASH), MPEG 미디어 전송(MMT) 등, 전송 표준 및 미디어 파일 포맷에 따라 비트스트림을 캡슐화한다. 저장/전송 유닛(1403)은 캡슐화 후에 획득된 전송 스트림 또는 미디어 파일을 메모리 또는 디스크에 저장하거나, 전송 스트림 또는 미디어 파일을 유선 또는 무선 네트워크를 통해 전송한다.
일부 실시예에서, 인코더(1402)로부터 비디오 또는 픽처 비트스트림을 수신하는 것에 부가하여, 저장/전송 유닛(1403)의 입력은 또한 오디오, 텍스트, 이미지, 그래픽 등을 포함할 수 있다. 저장/전송 유닛(1403)은 이러한 다양한 유형의 미디어 비트스트림을 캡슐화함으로써 전송 또는 미디어 파일을 생성한다.
개시된 실시예는 비디오 통신 애플리케이션에서 비디오(또는 픽처) 비트스트림을 생성 또는 처리할 수 있는 디바이스, 예를 들어, 휴대폰, 컴퓨터, 미디어 서버, 휴대용 모바일 단말기, 디지털 카메라, 방송 디바이스, CDN(콘텐츠 배포 네트워크) 디바이스, 감시 카메라, 비디오 컨퍼런스 디바이스 등일 수 있다.
도 15는 도 3에 도시된 바와 같은 예시적인 비디오 디코더 또는 픽처 디코더를 포함하는 다른 예시적인 디바이스를 도시하는 블록도이다.
수신 유닛(1501)은 유선 또는 무선 네트워크로부터 비트스트림을 획득하거나, 전자 장치에서 메모리 또는 디스크를 판독하거나, 데이터 링크를 통해 다른 디바이스로부터 데이터를 가져옴으로써 비디오 또는 픽처 비트스트림을 수신한다.
수신 유닛(1501)의 입력은 또한 비디오 또는 픽처 비트스트림을 포함하는 전송 스트림 또는 미디어 파일을 포함할 수 있다. 수신 유닛(901)은 전송 사양 또는 미디어 파일 포맷에 따라 전송 스트림 또는 미디어 파일로부터 비디오 또는 픽처 비트스트림을 추출한다.
수신 유닛(1501)은 비디오 또는 픽처 비트스트림을 디코더(1502)로 출력하고 전달한다. 비디오 또는 픽처 비트스트림 외에, 수신 유닛(1501)의 출력은 또한 오디오 비트스트림, 문자, 텍스트, 이미지, 그래픽 등을 포함할 수 있는 점에 유의한다. 수신 유닛(1501)은 이 예시적인 실시예에서 상기 출력을 대응하는 처리 유닛으로 전달한다. 예를 들어, 수신 유닛(1501)은 출력 오디오 비트스트림을 이 디바이스의 오디오 디코더로 전달한다.
디코더(1502)는 도 3에 도시된 예시적인 디코더의 구현이다. 디코더(1502)의 입력은 수신 유닛(1501)에 의해 출력된 비디오 또는 픽처 비트스트림이다. 디코더(1502)는 비디오 또는 픽처 비트스트림을 디코딩하고 디코딩된 비디오 또는 픽처를 출력한다.
렌더링 유닛(1503)은 디코더(1502)로부터 디코딩된 비디오 또는 픽처를 수신한다. 렌더링 유닛(1503)은 상기 디코딩된 비디오 또는 픽처를 뷰어에 제공한다. 일 실시예에서, 렌더링 유닛(1503)은 스크린일 수 있다. 렌더링 유닛(1503)은 또한 이 예시적인 실시예와 별개의 디바이스일 수 있지만, 이 실시예에 대한 데이터 링크를 포함한다. 예를 들어, 렌더링 유닛(1503)은 프로젝터, 모니터, TV 세트 등일 수 있다. 일부 실시예에서, 렌더링 유닛(1503)은 디코딩된 비디오 또는 픽처를 뷰어에 제공하기 전에 이들에 대해 후-처리(post-processing), 예를 들어 자동 화이트 밸런싱, 자동 초점, 자동 노출, 백라이트 보상, 샤프닝, 노이즈 제거, 스티칭, 업-샘플링/다운 샘플링, 프레임-레이트 변환, 가상 뷰 합성 등을 수행한다.
일부 실시예에서, 디코딩된 비디오 또는 픽처를 수신하는 것에 부가하여, 렌더링 유닛(1503)의 입력은 이 예시적인 실시예의 하나 이상의 유닛으로부터의 다른 미디어 데이터, 예를 들어 오디오, 문자, 텍스트, 이미지, 그래픽 등일 수 있다. 렌더링 유닛(1503)의 입력은 또한 인공 데이터, 예를 들어 원격 교육 애플리케이션에서 주의를 끌기 위해 슬라이드상에 로컬의 교사에 의해 그려진 선 및 표시를 포함할 수 있다. 렌더링 유닛(1503)은 다양한 유형의 미디어를 함께 구성한 다음 그 구성을 뷰어(viewer)에 제공한다.
이 예시적인 실시예는 비디오 통신 애플리케이션에서 비디오(또는 픽처) 비트스트림을 디코딩하거나 처리할 수 있는 디바이스, 예를 들어 휴대폰, 컴퓨터, 셋톱 박스, TV 세트, 모니터, 미디어 서버, 휴대용 모바일 단말기, 디지털 카메라, 방송 디바이스, CDN(콘텐츠 배포 네트워크) 디바이스, 감시, 비디오 컨퍼런스 디바이스 등일 수 있다.
도 16은 도 14 및 15에 도시된 실시예를 포함하는 예시적인 전자 시스템을 도시하는 블록도이다.
일부 실시예에서, 소스 디바이스(source device)(1601)는 도 14에 도시된 예시적인 실시예일 수 있다. 저장 매체/전송 네트워크(1602)는 디바이스 또는 전자 시스템의 내부 메모리 자원, 데이터 링크를 통해 액세스할 수 있는 외부 메모리 자원, 유선 및/또는 무선 네트워크로 구성된 데이터 전송 네트워크를 포함할 수 있다. 저장 매체/전송 네트워크(1602)는 소스 디바이스(1601)의 저장/전송 유닛(1403)을 위한 저장 자원 또는 데이터 전송 네트워크를 제공한다.
일부 실시예에서, 목적지 디바이스(destination device)(1603)는 도 15에 도시된 예시적인 실시예일 수 있다. 목적지 디바이스(1603)에서 수신 유닛(1501)은 저장 매체/전송 네트워크(1602)로부터 비디오 또는 픽처 비트스트림, 비디오 또는 픽처 비트스트림을 포함하는 전송 스트림 또는 비디오 또는 픽처 비트스트림을 포함하는 미디어 파일을 수신한다.
이 예시적인 실시예에서 설명된 전자 시스템은 비디오 통신 애플리케이션에서 비디오(또는 픽처) 비트 스트림을 생성, 저장 또는 전송 및 디코딩할 수 있는 디바이스 또는 시스템, 예를 들어, 휴대폰, 컴퓨터, IPTV 시스템, OTT 시스템, 인터넷상의 멀티미디어 시스템, 디지털 TV 방송 시스템, 비디오 감시 시스템, 휴대용 모바일 단말기, 디지털 카메라, 비디오 컨퍼런스 시스템 등일 수 있다.
도 17은 비디오 처리 장치(1700)의 블록도이다. 상기 장치(1700)는 여기에 설명된 방법 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(1700)는 스마트 폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등으로 구현될 수 있다. 장치(1700)는 하나 이상의 프로세서(1702), 하나 이상의 메모리(1704) 및 비디오 처리 하드웨어(1706)를 포함할 수 있다. 프로세서(들)(1702)는 본원에 설명된 하나 이상의 방법(이에 제한되는 것은 아니지만 방법(1300)을 포함함)을 구현하도록 구성될 수 있다. 메모리(메모리)(1704)는 본원에 설명된 방법 및 기술을 구현하는 데 사용되는 데이터 및 코드를 저장하기 위해 사용될 수 있다. 비디오 처리 하드웨어(1706)는 본원에 설명된 일부 기술을 하드웨어 회로(hardware circuitry)로 구현하는 데 사용될 수 있다.
명세서는 도면과 함께 단지 예시적인 것으로 고려되고자 하며, 여기서 예시는 일 예를 의미하며, 달리 언급되지 않는 한 이상적이거나 바람직한 실시예를 의미하지는 않는다. 본원에 사용된 바와 같이, "또는"의 사용은 문맥이 달리 명백하게 나타내지 않는 한 "및/또는"을 포함하는 것으로 의도된다.
본원에 설명된 일부 실시예들은 네트워크 환경에서 컴퓨터에 의해 실행되는, 프로그램 코드와 같은 컴퓨터-실행가능 명령어(instruction)를 포함하는, 컴퓨터-판독가능 매체에 구현된 컴퓨터 프로그램 제품에 의한 일 실시예에서 구현될 수 있는 방법 또는 프로세스의 일반적인 맥락에서 설명되었다. 컴퓨터-판독가능 매체는, 이에 제한되지는 않지만, 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 등을 포함하는, 이동식 및 비-이동식 저장 디바이스를 포함할 수 있다. 따라서, 컴퓨터-판독가능 매체는 비-일시적 저장 매체를 포함할 수 있다. 일반적으로 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 타입(abstract data type)을 구현하는 루틴(routines), 프로그램, 객체(objects), 컴포넌트, 데이터 구조 등을 포함할 수 있다. 데이터 구조와 관련된 컴퓨터- 또는 프로세서-실행가능 명령어, 관련 데이터 구조, 및 프로그램 모듈은 여기에 개시된 방법의 단계들을 실행하기 위한 프로그램 코드의 예를 나타낸다. 이러한 실행가능 명령어 또는 관련 데이터 구조의 특정 시퀀스는 이러한 단계 또는 프로세스에서 설명된 기능을 구현하기 위한 해당 동작의 예를 나타낸다.
개시된 실시예 중 일부는 하드웨어 회로, 소프트웨어 또는 이들의 조합을 사용하여 디바이스 또는 모듈로서 구현될 수 있다. 예를 들어, 하드웨어 회로 구현은 예를 들면 인쇄회로기판의 부분으로 통합된 개별 아날로그 및/또는 디지털 구성요소를 포함할 수 있다. 대안적으로 또는 추가적으로, 개시된 구성요소 또는 모듈은 특정 용도용 집적 회로(Application Specific Integrated Circuit, ASIC) 및/또는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 디바이스로 구현될 수 있다. 일부 구현은 본원의 개시된 기능과 관련된 디지털 신호 처리의 동작 요구에 최적화된 아키텍처를 갖는 특수 마이크로프로세서인 디지털 신호 프로세서(DSP)를 추가로 또는 대안적으로 포함할 수 있다. 유사하게, 각 모듈 내의 다양한 구성요소 또는 하위 구성요소는 소프트웨어, 하드웨어 또는 펌웨어로 구현될 수 있다. 모듈 간 및/또는 상기 모듈 내의 구성요소 간의 연결은, 이에 제한되는 것은 아니지만, 인터넷, 적절한 프로토콜을 사용하는 유선 또는 무선 네트워크를 통한 통신을 포함하여 이 기술 분야에 알려진 연결 방법 및 미디어 중 임의의 하나를 사용하여 제공될 수 있다.
이 문서는 많은 세부사항을 포함하지만, 이는 청구되는 또는 청구될 수 있는 발명의 범위에 대한 제한으로 해석되어서는 안되며, 특정 실시예에 특유한 특징에 대한 설명으로 해석되어야 한다. 개별적인 실시예의 맥락에서 본 문서에 설명된 특정 특징은 또한 단일의 실시예에서 조합하여 구현될 수 있다. 반대로, 단일의 실시예의 맥락에서 설명된 다양한 특징들은 또한 다수의 실시예에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합으로 동작하는 것으로 위에서 설명되고 및 그와 같이 처음에는 청구되었다 하여도, 청구된 조합에서 하나 이상의 특징들이 일부의 경우에는 그 조합에서 제외될 수 있고, 그 청구 조합은 하위 조합으로 또는 하위 조합의 변형에 관한 것으로 될 수 있다. 유사하게, 동작이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 동작이 도시된 특정 순서 또는 순차적 순서로 수행되거나 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다.
단지 몇 가지 구현 및 예가 설명되었고, 본 개시에서 설명되고 예시된 것에 기초하여 다른 구현, 향상 및 변형이 이루어질 수 있다.

Claims (20)

  1. 비디오 코딩을 위한 방법으로서,
    (a) 현재 블록의 재구성된 이웃 샘플인 제1 세트의 참조 샘플을 선택하는 단계; 및
    (b) 상기 제1 세트의 참조 샘플에 기초하여 제2 세트의 참조 샘플을 결정하는 단계 - 상기 제2 세트의 참조 샘플은 상기 현재 블록의 이웃 샘플인 우측 이웃 샘플 및 하단 이웃 샘플을 포함함 -; 및
    (c) 에 기초한 상기 제1 세트의 참조 샘플 내의 제1 샘플, p[W][-1]과 상기 제1 세트의 참조 샘플 내의 제2 샘플, p[-1][y]로부터의 가중합(weighted sum)에 기초하여, 상기 현재 블록의 상기 우측 이웃 샘플에 대한 제1 예측값, p[W][y]을 결정하는 단계 - W는 고정된 값이고, y는 변수이고, 상기 우측 이웃 샘플은 상기 제1 샘플과 수평으로 정렬되고, 상기 우측 이웃은 상기 제2 샘플과 수직으로 정렬됨 -
    를 포함하는 비디오 코딩을 위한 방법.
  2. 제1항에 있어서,
    (d) 상기 현재 블록의 각 샘플에 대해 단계 (a) 내지 단계 (c)를 반복하는 단계;
    (e) 상기 현재 블록의 각 샘플에 대응하는 상기 예측값을 이용하여 상기 현재 블록의 잔차(residual)를 계산하는 단계; 및
    (f) 상기 잔차를 비트스트림(bitstream)으로 인코딩하는 단계
    를 더 포함하는, 비디오 코딩을 위한 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 제1 샘플은 좌측 이웃 샘플이고, 상기 제2 샘플은 우측 상단 이웃 샘플 또는 우측 하단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 행 인덱스를 가지는, 비디오 코딩을 위한 방법.
  5. 제1항에 있어서, 상기 제1 샘플은 상단 이웃 샘플이고, 상기 제2 샘플은 좌측 하단 이웃 샘플 또는 우측 하단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 열 인덱스를 가지는, 비디오 코딩을 위한 방법.
  6. 제1항에 있어서, 상기 제1 샘플은 우측 이웃 샘플이고, 상기 제2 샘플은 좌측 상단 이웃 샘플 또는 좌측 하단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 행 인덱스를 가지는, 비디오 코딩을 위한 방법.
  7. 제1항에 있어서, 상기 제1 샘플은 하단 이웃 샘플이고, 상기 제2 샘플은 좌측 상단 이웃 샘플 또는 우측 상단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 열 인덱스를 가지는, 비디오 코딩을 위한 방법.
  8. 제1항에 있어서, 상기 가중합은, 상기 제1 샘플을 곱하는 제1 가중치 및 상기 제2 샘플을 곱하는 제2 가중치를 포함하는, 비디오 코딩을 위한 방법.
  9. 제8항에 있어서, 상기 제1 가중치 및 상기 제2 가중치는 상기 참조 샘플과 상기 제1 샘플 사이의 거리 및 상기 참조 샘플과 상기 제2 샘플 사이의 거리에 기초하는, 비디오 코딩을 위한 방법.
  10. 제8항에 있어서, 상기 제1 가중치는 상기 제2 가중치와 동일한, 비디오 코딩을 위한 방법.
  11. 삭제
  12. 삭제
  13. 비디오 처리를 위한 장치로서,
    프로세서
    를 포함하며, 상기 프로세서는,
    (a) 현재 블록의 재구성된 이웃 샘플인 제1 세트의 참조 샘플을 선택하고;
    (b) 상기 제1 세트의 참조 샘플에 기초하여 제2 세트의 참조 샘플을 결정하고 - 상기 제2 세트의 참조 샘플은 상기 현재 블록의 이웃 샘플인 우측 이웃 샘플 및 하단 이웃 샘플을 포함함 -; 및
    (c) 에 기초한 상기 제1 세트의 참조 샘플 내의 제1 샘플, p[W][-1]과 상기 제1 세트의 참조 샘플 내의 제2 샘플, p[-1][y]로부터의 가중합(weighted sum)에 기초하여, 상기 현재 블록의 상기 우측 이웃 샘플에 대한 제1 예측값, p[W][y]을 결정하도록 - W는 고정된 값이고, y는 변수이고, 상기 우측 이웃 샘플은 상기 제1 샘플과 수평으로 정렬되고, 상기 우측 이웃은 상기 제2 샘플과 수직으로 정렬됨 -
    구성되는, 비디오 처리를 위한 장치.
  14. 제13항에 있어서, 상기 프로세서는 또한,
    (d) 상기 현재 블록의 각 샘플에 대해 단계 (a) 및 단계 (c)를 반복하고;
    (e) 상기 현재 블록의 각 샘플에 대응하는 상기 예측값을 이용하여 상기 현재 블록의 잔차를 계산하고;
    (f) 상기 잔차를 비트스트림으로 인코딩하도록
    구성되는, 비디오 처리를 위한 장치.
  15. 삭제
  16. 제13항에 있어서, 상기 제1 샘플은 좌측 이웃 샘플이고, 상기 제2 샘플은 우측 상단 이웃 샘플 또는 우측 하단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 행 인덱스를 가지는, 비디오 처리를 위한 장치.
  17. 제13항에 있어서, 상기 제1 샘플은 상단 이웃 샘플이고, 상기 제2 샘플은 좌측 하단 이웃 샘플 또는 우측 하단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 열 인덱스를 가지는, 비디오 처리를 위한 장치.
  18. 제13항에 있어서, 상기 제1 샘플은 우측 이웃 샘플이고, 상기 제2 샘플은 좌측 상단 이웃 샘플 또는 좌측 하단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 행 인덱스를 가지는, 비디오 처리를 위한 장치.
  19. 제13항에 있어서, 상기 제1 샘플은 하단 이웃 샘플이고, 상기 제2 샘플은 좌측 상단 이웃 샘플 또는 우측 상단 이웃 샘플이고, 상기 제1 샘플 및 상기 참조 샘플은 동일한 열 인덱스를 가지는, 비디오 처리를 위한 장치.
  20. 삭제
KR1020217008656A 2018-08-24 2018-08-24 시각 미디어 인코딩 및 디코딩을 위한 평면 예측 모드 KR102634068B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/102315 WO2020034247A1 (en) 2018-08-24 2018-08-24 Planar prediction mode for visual media encoding and decoding

Publications (2)

Publication Number Publication Date
KR20210047337A KR20210047337A (ko) 2021-04-29
KR102634068B1 true KR102634068B1 (ko) 2024-02-05

Family

ID=69524936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217008656A KR102634068B1 (ko) 2018-08-24 2018-08-24 시각 미디어 인코딩 및 디코딩을 위한 평면 예측 모드

Country Status (6)

Country Link
US (1) US11641470B2 (ko)
EP (1) EP3841747A4 (ko)
JP (1) JP7410149B2 (ko)
KR (1) KR102634068B1 (ko)
CN (1) CN112567739B (ko)
WO (1) WO2020034247A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3932064T3 (pl) * 2019-09-23 2023-07-17 Huawei Technologies Co. Ltd. Koder, dekoder i odpowiednie sposoby redukcji złożoności predykcji intra dla trybu planarnego
EP4162680A1 (en) * 2020-06-04 2023-04-12 InterDigital VC Holdings France, SAS Neural network based filter in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018044089A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI3962081T3 (fi) * 2010-05-25 2024-03-25 Lg Electronics Inc Uusi planaarinen ennustustila
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
US10148953B2 (en) * 2014-11-10 2018-12-04 Samsung Electronics Co., Ltd. System and method for intra prediction in video coding
WO2016204360A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
WO2017069419A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
KR101783460B1 (ko) 2016-06-30 2017-10-12 저주 진 조립식 보강벽돌
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
CN106469011B (zh) 2016-08-31 2019-03-01 维沃移动通信有限公司 一种信息显示方法及移动终端
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10277895B2 (en) * 2016-12-28 2019-04-30 Arris Enterprises Llc Adaptive unequal weight planar prediction
US20200228831A1 (en) * 2017-07-26 2020-07-16 Lg Electronics Inc. Intra prediction mode based image processing method, and apparatus therefor
US11831910B2 (en) * 2017-08-21 2023-11-28 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding video, and recording medium storing bit stream

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018044089A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Amin Zheng et al, Adaptive Block Coding Order for Intra Prediction in HEVC, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 26, NO. 11, NOVEMBER 2016
Krit Panusopone et al, CE3: Unequal Weight Planar Prediction (Test 1.5.1), JVET of ITU-T and ISO/IEC, JVET-K0055 (2018.6.29.)
Mohammed Golam Sarwer et al, CE3-related: Intra planar mode prediction, JVET of ITU-T and ISO/IEC, JVET-K0242 (2018.7.12.)

Also Published As

Publication number Publication date
US11641470B2 (en) 2023-05-02
WO2020034247A1 (en) 2020-02-20
EP3841747A4 (en) 2022-04-13
JP2022508373A (ja) 2022-01-19
KR20210047337A (ko) 2021-04-29
CN112567739A (zh) 2021-03-26
EP3841747A1 (en) 2021-06-30
US20210243447A1 (en) 2021-08-05
CN112567739B (zh) 2023-10-13
JP7410149B2 (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
US20200288133A1 (en) Video coding method and apparatus
JP7283024B2 (ja) 画像の符号化方法、復号化方法、エンコーダ、およびデコーダ
US11290747B2 (en) Image coding method based on secondary transform, and device therefor
US11589047B2 (en) Video encoding and decoding methods and apparatus
US11310531B2 (en) Video coding method on basis of secondary transform, and device for same
US20220007028A1 (en) Method and device for signaling information on chroma format
EP3952313B1 (en) Transform in intra prediction-based image coding
JP7400082B2 (ja) パレットモードに基づく画像またはビデオコーディング
US20220417517A1 (en) Image decoding method using cclm prediction in image coding system, and apparatus therefor
US11882289B2 (en) Transform-based image coding method and device therefor
US11641470B2 (en) Planar prediction mode for visual media encoding and decoding
US20210400295A1 (en) Null tile coding in video coding
US20230122409A1 (en) Image coding method on basis of transform, and apparatus therefor
US11647201B2 (en) Transform-based image coding method and device therefor
US20150117517A1 (en) Video signal processing method and device
US12126821B2 (en) Cross-component quantization in video coding
US20220038721A1 (en) Cross-component quantization in video coding
US20230164356A1 (en) Method and apparatus for coding image on basis of transform
CN118235398A (zh) 交叉分量几何/楔形分区推导的系统和方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant