KR102534719B1 - 합성된 예측 및 제한된 병합 - Google Patents

합성된 예측 및 제한된 병합 Download PDF

Info

Publication number
KR102534719B1
KR102534719B1 KR1020207027455A KR20207027455A KR102534719B1 KR 102534719 B1 KR102534719 B1 KR 102534719B1 KR 1020207027455 A KR1020207027455 A KR 1020207027455A KR 20207027455 A KR20207027455 A KR 20207027455A KR 102534719 B1 KR102534719 B1 KR 102534719B1
Authority
KR
South Korea
Prior art keywords
prediction
primitive
block
video
data stream
Prior art date
Application number
KR1020207027455A
Other languages
English (en)
Other versions
KR20200128065A (ko
Inventor
토마스 비간트
데트레브 마르페
하이코 슈바르츠
마르틴 빙켄
크리스티안 바르트니크
조나단 파프
필립 헬레
미샤 지크만
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority to KR1020237016617A priority Critical patent/KR20230074302A/ko
Publication of KR20200128065A publication Critical patent/KR20200128065A/ko
Application granted granted Critical
Publication of KR102534719B1 publication Critical patent/KR102534719B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Amplifiers (AREA)

Abstract

코딩 효율 증가는 합성된 예측 신호를 사용하여 미리 결정된 픽처 블록을 예측함으로써 달성된다.

Description

합성된 예측 및 제한된 병합
본 출원은 비디오 코딩/디코딩에 관한 것이다.
AVC/H.264 또는 HEVC/H.265와 같은 모든 관련 비디오 코딩 표준은 소위 하이브리드 접근 방식을 따르며, 여기서 예측 코딩은 예측 잔차의 변환 코딩과 조합된다. 예측 신호를 생성하기 위해 이러한 표준에서 2개의 가능한 모드, 즉 인트라(INTRA) 예측 및 인터(INTER) 예측이 지원된다. AVC/H.264에서이 두 모드 사이의 결정은 매크로 블록(16x16 루마 샘플) 레벨에서, 그리고 다양한 크기일 수 있는 코딩 단위(Coding Unit, CU) 레벨에서 HEVC/H.265에서 이루어질 수 있다. 인트라 예측에서는 현재 블록의 이미 복원된 인접한 블록의 샘플 값을 예측 신호 생성에 사용할 수 있다. 이 인트라 예측 신호가 인접한 재구성된 샘플 값으로부터 어떻게 형성되는지는 인트라 예측 모드에 의해 지정된다. 인터 예측에서는 이미 재구성된 프레임(코딩 순서)을 사용하여 예측 신호를 생성할 수 있다. 인터 예측의 경우, AVC/H.264 및 HEVC/H.265 모두에서 단일(uni) 또는 이중(bi) 예측이 사용된다. 단일 예측의 경우, 예측 신호는 소위 참조 픽처의 시프트 및 보간된 영역이다. 사용된 참조 픽처는 참조 인덱스에 의해 지정되고 참조 픽처 내의 (보간된) 영역의 위치는 움직임 벡터에 의해 (현재 블록에 상대적으로) 지정된다. 움직임 벡터 자체는 움직임 벡터 예측자에 상대적으로 예측적으로 인코딩되므로 움직임 벡터 차이만 실제로 인코딩되어야 한다. HEVC/H.265에서는 움직임 벡터 예측자 인덱스를 송신하여 움직임 벡터 예측자를 선택한다. AVC/H.264 및 HEVC/H.265 모두에서 움직임 벡터는 1/4 픽셀(qpel)의 정확도로 지정할 수 있다. 이러한 (보간된) 예측 신호를 생성하는 프로세스를 움직임 보상 예측이라고도 한다. 이중 예측에서는 2개의 움직임 보상 예측 신호가 선형으로 중첩된다(일반적으로 두 구성 예측 신호 모두에 대해 0.5의 계수 사용). 따라서, 이중 예측을 위해 2개의 참조 인덱스와 움직임 벡터 차이(및 HEVC/H.265의 움직임 벡터 예측 인덱스)가 송신되어야 한다.
동일한 동작 특성을 가진 인접 영역의 인코딩을 단순화하기 위해, HEVC/H.265는 소위 병합(MERGE) 모드를 지원하며, 여기서 로컬로 인접하거나 시간적으로 같은 위치에 있는 블록의 예측 파라미터(즉, 참조 인덱스 및 움직임 벡터)는 현재 블록에 대해 재사용될 수 있다. HEVC/H.265의 스킵(SKIP) 모드는 예측 잔차가 송신되지 않는 병합의 특별한 경우이다.
오늘날 비디오 코덱의 사용 가능하고 지원되는 예측 모드는 이러한 예측 모드를 사용하여 예측을 제어하는 데 필요한적절한 양의 예측 부가 정보로 예측 잔차를 낮게 유지하는 측면에서 이미 꽤 효과적이지만, 블록 기반 예측 비디오 코덱의 코딩 효율성을 더욱 높이는 것이 좋을 것이다.
따라서, 본 발명의 목적은 코딩 효율이 향상된 블록 기반 예측 코딩을 이용한 비디오 코덱을 제공하는 것이다.
이 목적은 본 출원의 독립 청구항의 주제에 의해 달성된다.
합성된(composed) 예측 신호를 사용하여 픽처의 미리 결정된 블록을 예측함으로써 코딩 효율 증가를 달성할 수 있다는 것이 본 발명의 기본 개념이다.
일 실시예에 따르면, 합성된 예측 신호의 합성 결과로 조합된 프리미티브 예측(primitive prediction)의 수는 2개를 초과할 수 있고, 또는, 다르게 말하면, 제1 예측 신호와 함께 미리 결정된 블록이 최종적으로 예측되는 기초가 되는 제1 예측 신호를 넘어서는 추가 예측 신호의 수는 1을 초과할 수 있다. 합성된 예측 신호에 기여하는 예측 신호 또는 프리미티브(primitive) 예측의 최대 수는 디폴트 값 또는 데이터 스트림에서 시그널링되는 일부 값에 의해 제한될 수 있다. 미리 결정된 블록에 대해 합성된 예측 신호 당 이렇게 많은 수의 기여 예측 신호 또는 프리미티브 예측을 허용 할 수 있는 가능성은 개별 예측 기여의 독립적인 노이즈 성분의 상호 노이즈 감소를 활용함으로써 합성된 예측 신호의 고유 노이즈 감소 가능성을 제공한다.
본 출원의 실시예들에 따르면, 미리 결정된 블록이 예측되는 기초가 되는 기본 예측 또는 조합된 예측 신호의 수, 즉 합성된 예측 신호가 형성되는 기본 예측들의 모음의 카디널리티(cardinality)는 하위 픽처 입도에서 지역적 차이가 있을 수 있다. 시그널링 오버헤드는 공간적 및/또는 시간적 예측을 수정하기 위한 잔차 데이터를 시그널링하기 위해 데이터 스트림에 전달된 명시적 정보를 사용하거나 사용하지 않고 변동을 제어하기 위해 공간 및/또는 시간적 예측을 사용함으로써 낮게 유지될 수 있다. 이 외에도, 예를 들어 HEVC에서 사용되는 블록 병합의 개념은 최종적으로 합성된 예측 신호에 기여하는 제1 예측 신호 또는 제1 프리미티브 예측과 관련될 뿐만 아니라 추가 프리미티브 예측 또는 추가 예측 신호의 정의와도 관련되도록 확장될 수 있다. 예를 들어, 기여하는 프리미티브 예측 또는 예측 신호의 수와 관련 예측 파라미터 및 예측 모드는 병합 후보로부터 채택될 수 있어, 각각 기여하는 프리미티브 예측 및 예측 신호의 수의 증가로 인한 시그널링 오버헤드의 추가 감소를 제공한다.
본 출원의 실시예에 따르면, 기여하는 프리미티브 예측 또는 예측 신호가 조합되어 합성된 예측 신호로 생성되는 방식은 데이터 스트림의 부가 정보에 의해 제어된다. 특히, 본 출원의 특정 실시예에 따르면, 개별 프리미티브 예측 또는 예측 신호는 순차적으로 합산된다. 제1 프리미티브 예측 또는 제1 예측 신호에, 제1 중간 합을 형성하기 위해 제2 프리미티브 예측 또는 제1 추가 예측 신호가 추가된다. 이 제1 합산을 제어하기 위해, 기여 가중치가 미리 결정된 블록에 대한 데이터 스트림에서 시그널링된다. 합산에서, 이 기여도 값은 현재 프리미티브 예측 또는 추가 예측 신호, 즉 각각 제2 프리미티브 예측 또는 제1 추가 예측 신호에 의해 형성된 가산에 가중치를 부여하는 데 사용되고, 한편 1 마이너스 기여 가중치는 각각 제1 프리미티브 예측 또는 제1 예측 신호에 가중치를 부여하기 위해 사용된다. 마찬가지로, 제3 프리미티브 예측 또는 제2 추가 예측 신호의 합산을 방금 언급한 중간 합 등에 제어하기 위해 미리 결정된 블록에 대해 제2 기여 값이 송신된다. 따라서, 합성은 블록 자체의 단위와 같은 하위 픽처 입도로도 제어된다. 이러한 방식으로 기여도를 제어할 때, 합성을 제어하기 위한 부가 정보 오버헤드가 낮게 유지될 수 있다. 특히, 본 출원의 실시예에 따르면, 기여 가중치는 인코더에 의해 선택되고 각각의 기여 가중치가 가정할 수 있는 개별 값의 개별 값 도메인을 사용하여 데이터 스트림에서 시그널링된다. 예를 들어,이 개별 가중치 값의 수는 순차적으로 수행된 개별 합산에 대해, 즉 모든 기여 가중치에 대해 동일할 수 있으며, 이러한 제한에도 불구하고 이전 프리미티브 예측 또는 이전 추가 예측 신호가 기여하는 유효 가중치의 미세 설정 합성된 예측 신호는 이 유효 가중치가 이러한 초기 프리미티브 예측 또는 추가 예측 신호의 기여도 값뿐만 아니라 각각 이후에 추가된 프리미티브 예측 및 추가 예측 신호의 기여 가중치의 곱에 의해 실제로 형성된다는 사실에 의해 달성될 수 있다. 구현과 관련하여, 순차 가산을 수행하기 위한 계산 오버헤드는 중간 합의 적어도 일부 또는 순차적으로 수행된 합산 결과의 일부를 클리핑 및/또는 반올림 연산에 적용함으로써 낮게 유지될 수 있다. 인코더에 관한 한, 유리하게도, 예측 신호를 구성하는 데있어 증가된 자유도 테스트는 각각의 프리미티브 예측 또는 예측 신호 각각에 대한 테스트가 대부분 기존 인코더의 구현에서 이미 수행되었기 때문에 계산 오버헤드가 합리적으로 증가하여, 순차 합산은 예측 신호를 구성하는 새로운 자유에 의해 제공되는 코딩 효율 증가에 비해 인코더 오버헤드의 합리적인 증가를 초래한다.
상기 개념과 조합하여 사용되거나 그로부터 독립적으로 사용되는 본 출원의 추가 양태에 따르면, 병합은 데이터 스트림의 구문에 의해 제어될 수 있다. 병합 후보 제한 시그널링은 이중 예측의 예측 파라미터 병합 후보들에 대한 병합 후보 세트 구성의 제한을 활성화할 수 있으며, 그렇다면 최종적으로 선택된 예측 파라미터 병합 후보의 가설 중 하나를 선택하기 위해 가설 선택 표시가 추가된다. 대안적으로, 병합 후보 제한 시그널링은 제한된 병합을 활성화할 수 있고, 그렇다면 최종적으로 선택된 예측 파라미터 병합 후보의 가설 중 하나를 선택하기 위해 가설 선택 표시가 추가된다. 여기서 구성은 세트에 대한 단일 및 이중 예측 후보를 모두 허용하지만 이중 예측 후보가 선택되고 선택된 가설만 현재 블록의 단일 예측 처리에 사용된다. 이러한 방식으로 병합 절차를 적용하기 위해 합리적인 양의 부가 정보만 추가함으로써 병합 개념이 보다 효과적으로 렌더링된다.
본 출원의 유리한 양태는 종속항의 주제이다. 본 출원의 바람직한 실시예는 도면과 관련하여 하에서 설명되며:
도 1은 본 출원의 실시예들에 따라 합성된 예측 개념이 구현될 수 있는 비디오 디코더에 대한 예로서 비디오를 예측적으로 코딩하기 위한 장치의 블록도를 도시한다;
도 2는 본 출원의 실시예들에 따라 합성된 예측 개념이 구현될 수 있는 비디오 디코더의 예로서, 도 1의 장치에 적합한 비디오를 예측 디코딩하기 위한 장치의 블록도를 도시한다;
도 3은 예측 신호를 정의하기 위한 세분화 설정, 예측 잔차 신호 처리 등을 각각 설명하기 위해 예측 잔차 신호, 예측 신호 및 재구성된 신호 사이의 관계에 대한 예를 예시하는 개략도이다;
도 4는 반복적 접근법 또는 반복 관계를 각각 사용하는 실시예에 따른 예측 신호의 합성을 나타내는 개략도를 도시한다;
도 5는 암시적 및/또는 명시적 시그널링의 사용에 의해 개별 프리미티브 예측이 지정될 수 있는 것에 관하여 설명하는 개략도를 도시한다;
도 6은 중간 합계에 추가된 기여 계수에 의해 가중되고, 차례로 1에서 기여 계수를 뺀 가중치가 부여되는 방식으로, 반복당 합성된 예측 신호에 기여하는 예에 따라, 도 5와 같이 반복적인 접근 방식에 의해 예측 신호를 구성하는 개념을 설명하는 개략도를 도시한다;
도 7은 도 6의 추가적인 프리미티브 예측에 대한 기여 값에 대한 시그널링 가능한 이산 값의 값 도메인을 나타내는 개략도를 도시한다;
도 8은 합성 예측 개념과 병합 개념을 조합 할 수 있는 가능성을 나타내는 개략도를 도시한다;
도 9는 불가피하게 인터 모드 예측인 추가 프리미티브 예측을 시그널링하는 예측 유닛 구문에 대한 예를 도시하며, 그 예는 다수의 암시적으로 정의된 추가 프리미티브 예측이 병합 후보로부터 도출되었을 수 있음을 예시한다;
도 10은 암시적으로 정의된 추가 프리미티브 예측이 제공되지 않는다는 점에서 도 9와 다른 예측 단위 구문에 대한 구문 예를 도시한다;
도 11은 도 10의 예에 추가하여, B-예측 제1 프리미티브 예측에 대한 가설의 단지 부분적인 상속을 허용하기 위해 추가 구문이 소비되는 예측 단위 구문에 대한 구문 예를 도시한다;
도 12는 합성된 예측의 개념이 제1 예측이 인트라 예측 모드인 블록에도 적용될 수 있음을 예시하고, 시그널링된 추가 프리미티브 예측이 데이터 스트림에서 시그널링되는 선택과 함께 인트라 예측 모드 또는 인터 예측 모드일 수 있음을 추가로 예시하는 코딩 단위 구문의 구문 예를 나타낸다; 그리고
도 13은 도 12의 CU 구문에 의해 호출되는 예측 단위 구문에 대한 예시 구문을 도시하며, 인터 예측 블록에 대해서도 추가 프리미티브 예측이 인트라 예측 및 인터 예측 모드 중 하나일 수 있음을 도시한다.
도면의 다음 설명은 합성된 예측 코덱에 대한 실시예가 내장되어 있을 수 있는 코딩 프레임워크에 대한 예를 형성하기 위해 비디오의 픽처를 코딩하기 위한 블록 기반 예측 코덱의 인코더 및 디코더에 대한 설명으로 시작한다. 비디오 인코더 및 비디오 디코더는 도 1 내지 도 3을 참조하여 설명된다. 이하, 본 출원의 합성된 예측 개념의 실시예에 대한 설명이 이러한 개념이 각각 도 1 및 도 2의 인코더 및 디코더에 구축될 수 있는 방법에 대한 설명과 함께 제공되며, 이후의 도 4 및 다음에서 설명되는 실시예는 도 1 및 2의 인코더 및 디코더의 기본이 되는 코딩 프레임워크에 따라 작동하지 않는 인코더 및 디코더를 형성하는 데에도 사용될 수 있다.
도 1은 일련의 픽처(12)으로 구성된 비디오(11)를 데이터 스트림(14)으로 예측 코딩하기 위한 장치를 도시한다. 이를 위해 블록 단위 예측 코딩이 사용된다. 또한, 변환 기반 잔차 코딩이 예시적으로 사용된다. 장치 또는 인코더는 참조 부호 10을 사용하여 표시된다. 도 2는 대응하는 디코더(20), 즉 변환 기반 잔차 디코딩을 사용하여 데이터 스트림(14)으로부터 픽처(12')를 예측적으로 디코딩하도록 구성된 장치(20)를 도시하며, 여기서 아포스트로피(apostrophe)는 디코더(20)에 의해 재구성된 픽처(12')가 예측 잔차 신호의 양자화에 의해 도입된 코딩 손실 측면에서 장치(10)에 의해 원래 인코딩된 픽처(12)로부터 벗어남을 나타내기 위해 사용되었다. 도 1 및 도 2는 본 출원의 실시예가 이러한 종류의 예측 잔차 코딩에 제한되지 않지만, 변환 기반 예측 잔차 코딩을 예시적으로 사용한다. 이는 이후에 설명되는 것처럼 도 1 및 도 2와 관련하여 설명된 다른 세부 사항에 대해서도 마찬가지이다.
인코더(10)는 예측 잔차 신호를 공간-스펙트럼 변환하고, 그 다음에 획득된 예측 잔차 신호를 데이터 스트림(14)으로 인코딩하도록 구성된다. 마찬가지로, 디코더(20)는 데이터 스트림(14)으로부터의 예측 잔차 신호를 디코딩하고, 이렇게 얻어진 예측 잔차 신호를 스펙트럼-공간 변환하도록 구성된다.
내부적으로, 인코더(10)는 원래의 신호, 즉 픽처(12)으로부터 예측 신호(26)의 편차를 측정하기 위해 예측 잔차 신호(24)를 생성하는 예측 잔차 신호 형성기(22)를 포함할 수 있다. 예측 잔차 신호 형성기(22)는 예를 들어 원래의 신호, 즉 픽처(12)로부터 예측 신호를 감산하는 감산기일 수 있다. 인코더(10)는 그 다음에 예측 잔차 신호(24)가 공간-스펙트럼 변환되게 하여 스펙트럼 도메인 예측 잔차 신호(24')를 획득하는 변환기(28)를 더 포함하며, 스펙트럼 도메인 예측 잔차 신호(24')는 그 다음에 역시 인코더(10)에 포함된 양자화기(32)에 의해 양자화된다. 이렇게 양자화된 예측 잔차 신호(24")는 비트스트림(14)으로 코딩된다. 이를 위해, 인코더(10)는 선택적으로 엔트로피 코더(34)를 포함할 수 있으며, 엔트로피 코더(34)는 변환 및 양자화된 예측 잔차 신호를 데이터 스트림(14)으로 엔트로피 코딩한다. 예측 잔차(26)는 데이터 스트림(14)으로 디코딩되고 데이터 스트림(14)으로부터 디코딩 가능한 예측 잔차 신호(24")에 기초하여 인코더(10)의 예측 스테이지(36)에 의해 생성된다. 이를 위해, 도 1에 도시된 바와 같이, 예측 스테이지(36)는 내부적으로 양자화해제기(38)를 포함하며, 양자화해제기(38)는 예측 잔차 신호(24'')를 양자화해제하여 스펙트럼 도메인 예측 잔차 신호(24''')를 얻고, 스펙트럼 도메인 예측 잔차 신호(24''')는 양자화 손실을 제외하고 신호(24')에 대응하고, 양자화해제기에 뒤이어 역 변환기(40)가 오며, 역 변환기(40)은 후자의 예측 잔차 신호(24''')를 역 변환되게 하여, 즉 스펙트럼-공간 변환하여, 예측 잔차 신호(24'''')를 획득하고, 예측 잔차 신호(24'''')는 양자화 손실을 제외하고 원래의 예측 잔차 신호(24)에 대응한다. 그 다음, 예측 스테이지(36)의 조합기(42)는 예컨대 예측 신호(26) 및 예측 잔차 신호(24'''')를 가산함으로써 재조합하여 재구성된 신호(46), 즉 원래의 신호(12)의 재구성을 얻는다. 재구성된 신호(46)는 신호(12')에 대응할 수 있다.
측 스테이지(36)의 예측 모듈(44)은 예를 들어 공간 예측, 즉 인트라 예측 및/또는 시간적 예측, 즉 인터 예측을 사용하여 신호(46)에 기초하여 예측 신호(26)를 생성한다. 이와 관련된 자세한 내용은 다음에서 설명된다.
마찬가지로, 디코더(20)는 내부적으로 예측 스테이지(36)에 대응하는 구성 요소로 구성되며, 예측 스테이지(36)에 대응하는 방식으로 상호 접속될 수 있다. 특히, 디코더(20)의 엔트로피 디코더(50)는 데이터 스트림으로부터 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 엔트로피 디코더할 수 있으며, 예측 스테이지(36)의 모듈과 관련하여 전술한 방식으로 상호 접속되고 협력하는 양자화해제기(52), 역 변환기(54), 조합기(56), 및 예측 모듈(58)은 예측 잔차 신호(24'')에 기초하여 재구성된 신호를 복원하고, 도 2에 도시된 바와 같이, 조합기(56)의 출력은 재구성된 신호, 즉 픽처(12')이다.
상기에서 구체적으로 기술되지는 않았지만, 인코더(10)가 예를 들어 어떤 레이트 및 왜곡 관련 기준을 최적화하는 방식과 같은 몇몇 최적화 체계에 따라, 예를 들어, 예측 모드, 움직임 파라미터 등을 포함하는 일부 코딩 파라미터를 설정할 수 있음이 명백하다. 아래에 자세히 설명되는 바와 같이, 인코더(10) 및 디코더(20) 및 대응 모듈(44, 58)은 각각 픽처 블록의 예측이 아래에서 자세히 설명하는 방식으로 합성되는 것에 기초한 프리미티브 예측 모드들의 세트 또는 풀을 형성하는 인트라 코딩 모드 및 인터 코딩 모드와 같은 서로 다른 예측 모드를 지원한다. 인코더와 디코더가 이들 예측 구성 사이에서 전환하는 입도는 픽처(12 및 12')를 각각 블록으로 세분화하는 것에 대응할 수 있다. 이러한 블록 중 일부는 인트라 코딩된 블록일 수 있고 일부 블록은 인터 코딩된 블록일 수 있으며, 선택적으로 추가 블록은 인트라 코딩 및 인터 코딩을 모두 사용하여 얻은 블록일 수 있지만 세부 사항은 설정되어 있음에 유의한다. 인트라 코딩 모드에 따르면, 각 블록의 공간적, 이미 코딩/디코딩된 이웃을 기반으로 블록에 대한 예측 신호가 획득된다. 몇 가지 인트라 코딩 하위 모드가 선택될 수 있으며, 그 중에서 준(quasi)은 일종의 인트라 예측 파라미터를 나타낸다. 각 방향 인트라 코딩 하위 모드에 특정한 특정 방향을 따라 이웃의 샘플 값을 각각의 블록으로 외삽하여 각각의 블록에 대한 예측 신호가 채워지는 방향 또는 각도 인트라 코딩 하위 모드가 있을 수 있다. 인트라 코딩 하위 모드는 또한 각각의 블록에 대한 예측은 각 인트라 코딩된 블록 내의 모든 샘플에 DC 값을 할당하는 DC 코딩 모드, 및/또는 각각의 블록의 예측은 인접 샘플을 기반으로 한 2차원 선형 함수에 의해 정의된 평면의 기울기 및 오프셋을 구동하는 각각의 블록의 샘플 위치에 대해 2차원 선형 함수에 의해 설명된 샘플 값의 공간 분포인 것으로 추정되거나 결정되는 평면 인트라 코딩 하위 모드와 같은 하나 이상의 추가 모드를 포함할 수 있다. 이에 비해 인터 예측 모드에 따라 블록 내부를 시간적으로 예측하여 블록에 대한 예측 신호를 획득할 수 있다. 인터 예측 모드의 파라미터화를 위해 움직임 벡터가 데이터 스트림 내에서 시그널링될 수 있으며, 움직임 벡터는 각 블록에 대한 예측 신호를 얻기 위해 이전에 코딩된/디코딩된 픽처가 샘플링되는 비디오(11)의 이전에 코딩된 픽처의 부분의 공간 변위를 나타낸다. 이는, 양자화된 스펙트럼 도메인 예측 잔차 신호(24'')를 나타내는 엔트로피 코딩된 변환 계수 레벨과 같은 데이터 스트림(14)에 포함된 잔차 신호 코딩에 추가하여, 데이터 스트림(14)은 블록 예측 모드에 할당하기 위한 예측 관련 파라미터, 할당된 예측 모드에 대한 측 파라미터, 예컨대 인터 예측 모드에 대한 움직임 파라미터를 그 안에 인코딩할 수 있고, 선택적으로, 할당된 예측 모드 및 예측 파라미터를 사용하여 블록에 대한 최종 예측 신호의 합성을 제어하는 추가 파라미터는 아래에서 더 자세히 설명된다. 추가적으로, 데이터 스트림은 픽처(12 및 12')의 세분화를 각각 블록으로 제어하고 시그널링하는 파라미터를 포함할 수 있다. 디코더(20)는 이들 파라미터를 사용하여 인코더와 동일한 방식으로 픽처를 세분화하고, 동일한 예측 모드 및 파라미터를 블록에 할당하고, 동일한 예측을 수행하여 동일한 예측 신호를 얻는다.
도 3은 한편으로는 재구성된 신호, 즉 재구성된 픽처(12')과, 다른 한편으로는 데이터 스트림에서 시그널링된 예측 잔차 신호(24''''')와 예측 신호(26)의 조합을 도시한다. 이미 위에서 언급한 바와 같이, 그 조합은 추가일 수 있다. 예측 신호(26)는 픽처 영역을 다양한 크기의 블록(80)으로 세분화 한 것으로 도 3에 도시되어 있지만, 이것은 단지 예일뿐이다. 세분화는 블록의 행과 열로의 픽처 영역의 규칙적인 세분화, 또는 쿼드 트리 세분화 등과 같은 다양한 크기의 리프 블록으로의 픽처(12)의 다중 트리 세분화와 같은 임의의 세그먼트화일 수 있으며, 여기서 이들의 혼합이 도 3에 도시되어 있는데, 여기서 픽처 영역은 먼저 트리 루트 블록의 행과 열로 세분화되고, 그런 다음 재귀적 다중 트리 세분화에 따라 추가로 세분화되어 블록(80)이 된다.
도 3의 예측 잔차 신호(24'''')는 또한 픽처 영역을 블록(84)으로 세분화하는 것으로 도시되어 있다. 이러한 블록은 코딩 블록(80 및 82)과 동일한 것을 구별하기 위해 변환 블록이라고 불릴 수 있다. 사실상, 도 3은 인코더(10) 및 디코더(20)가 각각 픽처(12) 및 픽처(12')가 블록으로의, 2개의 상이한 세분화, 즉 각각 코딩 블록(80)으로 세분화하고 블록(84)로 다른 세분화는 블록(84)으로의 세분화를 사용할 수 있음을 도시한다. 세분화 양자 모두는 동일할 수 있다, 즉 각각의 블록(80)은 변환 블록(84)를 동시에 형성할 수 있다, 그러나 도 3 은 예를 들어 블록(80)의 2개의 블록 사이의 임의의 경계가 2개의 블록(84) 사이의 경계에 중첩하도록 변환 블록(84)으로의 세분화가 코딩 블록(80)로의 세분화의 확장을 형성하는 경우, 또는 달리 말하면, 각각의 블록(80)이 변환 블록(84) 중 하나와 일치하거나 변환 블록(84)의 클러스터와 일치하는 경우를 도시한다. 그러나, 세분화는 또한 서로 독립적으로 결정되거나 선택될 수 있어서, 변환 블록(84)은 대안적으로 블록(80) 사이의 블록 경계를 횡단할 수 있다. 변환 블록(84) 로의 세분화에 관한 한, 블록(80)으로의 세분화와 관련하여 앞서 제시된 것과 유사하다, 즉 블록(84)은 재귀적인 멀티 트리의 결과가 픽처 영역을 세분화하는, 픽처 영역을 행 및 열로 배열된 블록, 또는 그의 조합이나 임의의 다른 종류의 블록으로 규칙적으로 세분화한 결과일 수 있다. 마찬가지로, 블록(80 및 84)은 2차, 직사각형, 또는 임의의 다른 형상으로 제한되지 않음에 유의한다. 또한, 현재 픽처(12)를 예측 신호가 형성되는 블록(80)으로 세분화, 및 예측 잔차가 코딩되는 블록(84)으로 현재 픽처(12)의 세분화는 코딩/디코딩에 사용되는 유일한 세분화가 아닐 수 있다. 이러한 세분화는 예측 신호 결정 및 잔차 코딩이 수행되는 입도에서 나뉘지만, 첫째로, 잔차 코딩은 세분화 없이 대안적으로 수행될 수 있고, 둘째로, 이들 세분화 이외의 다른 입도에서 인코더 및 디코더는 예측 파라미터, 예측 신호 합성 제어 신호 등과 같은 전술한 파라미터 중 일부를 포함할 수 있는 특정 코딩 파라미터를 설정할 수 있다.
도 3은 예측 신호(26)와 예측 잔차 신호(24'''')의 조합이 재구성된 신호(12')를 직접 도출하는 것을 도시한다. 그라나, 하나 이상의 예측 신호(26)는 예측 잔차 신호(24'''')와 조합되어 다른 뷰로부터 획득된 예측 신호 또는 A에서 코딩/디코딩된 다른 코딩 레이어로부터 획득된 예측 신호와 같은 대안적인 실시예, 예를 들어, 별도의 DPB가 있는 별도의 예측 루프에 따라 픽처(12')로 귀결될 수 있음에 유의해야 한다.
도 3에서, 변환 블록(84)은 이하의 의미를 가질 수 있다. 변환기(28) 및 역 변환기(54)는 이들 변환 블록(84) 단위로 변환을 수행한다. 예를 들어, 많은 코덱은 모든 변환 블록(84)에 대해 일종의 DST 또는 DCT를 사용할 수 있다. 일부 코덱은 변환 블록(84)의 일부에 대해 예측 잔차 신호가 공간 도메인에서 직접 코딩되도록 변환을 스킵할 수 있게 한다. 그러나, 후술되는 실시예에 따르면, 인코더(10) 및 디코더(20)는 몇몇 변환을 지원하는 방식으로 구성된다. 예를 들어, 인코더(10) 및 디코더(20c)에 의해 지원되는 변환은 다음을 포함할 수 있다:
o DCT-II(또는 DCT-III), 여기서 DCT는 Discrete Cosine Transform을 의미함
o DST-IV, 여기서 DST는 Discrete Sine Transform를 의미함
o DCT-IV
o DST-VII
o 항등 변환(Identity Transformation, IT)
당연히, 변환기(28)는 이들 변환의 모든 순방향 변환 버전을 지원하지만, 디코더(20) 또는 역 변환기(54)는 대응하는 역방향 또는 역 버전을 지원할 것이다:
o 역 DCT-II(또는 역 DCT-III)
o 역 DST-IV
o 역 DCT-IV
o 역 DST-VII
o 항등 변환(Identity Transformation, IT)
임의의 경우에, 지원되는 변환 세트는 하나의 스펙트럼-공간 또는 공간-스펙트럼 변환과 같은 변환만을 포함할 수 있다는 점에 유의해야 한다.
위에서 이미 설명된 바와 같이, 도 1 내지 3은 본 출원에 따른 인코더 및 디코더에 대한 특정 예를 형성하기 위해 아래에서 추가로 설명되는 합성된 예측 개념이 구현될 수 있는 예로서 제시되었다. 지금까지, 도 1 및 2의 인코더 및 디코더는 각각 아래에서 설명되는 인코더 및 디코더의 가능한 구현을 나타낸다. 아래에서 자세히 설명될 바와 같이, 도 1 및 도 2의 비디오 인코더 및 디코더에 내장된 본 출원에 따라 합성된 예측을 위한 후속 설명된 실시예를 갖는 경우, 도 1의 비디오 인코더 및 도 2의 비디오 디코더는 적어도 하나의 옵션으로서 아래에 더 상세히 설명된 방식으로 블록(80)을 프로세싱하거나 현재 픽처(12)가 구성되는 모든 블록을 프로세싱하도록 지원한다. 따라서, 이하에서 설명되는 실시예는 아래에 더 상세히 설명된 방식으로 블록(80)을 처리하는 도 1의 인코더(10)와 동일한 인코더를 참조하고, 도 2의 디코더에 대해서도 동일하게 적용되며, 따라서, 블록이 아래에서 더 상세히 설명되는 방식으로 처리되는 실시예에 따른 디코더에 대한 예를 나타낸다. 그러나, 도 1과 2는 특정 예일 뿐이다. 그러나, 본 출원의 실시예들에 따른 비디오 인코더는 블록(80)으로의 세분화는 도 3에 예시된 것과 다른 방식으로 수행되고, 또는 이 인코더는 예를 들어 공간 영역에서 직접 대신에 예측 잔차를 코딩하는 변환 예측 잔차 코딩을 사용하지 않는다는 점에서, 아래에서 더 상세히 설명되고 도 1의 인코더와 다른 개념을 사용하여 블록 기반 인코딩을 수행할 수 있다. 마찬가지로, 본 출원의 실시예에 따른 비디오 디코더는 도 3과 관련하여 설명된 것과 다른 방식으로 픽처(12')를 블록으로 세분화하고, 및/또는 그것이 예를 들어, 변환 도메인에서 데이터 스트림(14)으로부터 예측 잔차를 도출하는 것이 아니라 공간 도메인에서 도출된다는 점에서, 아래에 추가로 설명된 합성된 예측 코딩 개념을 사용하여 데이터 스트림(14)으로부터 디코딩을 수행할 수 있지만, 예를 들어도 2의 디코더(20)와 다를 수 있다.
특히, 블록(80)으로의 블록 세분화와 관련하여, 동일한 것이 도 3에 대해 개략적으로 설명된 방식으로 또는 상이한 방식으로 수행될 수 있다는 점에 유의한다. 존재하는 경우 변환 블록으로의 세분화는 도 3과 관련하여 설명된 대로 또는 다른 방식으로 수행될 수도 있다. 특히, 한편으로는 블록으로의 세분화 및 다른 한편으로는 변환 블록과 같은 다른 블록으로의 세분화는 픽처(12)를 이들 블록으로 각각 개별적으로 세분화함으로써 서로 독립적으로 또는 종속 방식으로 수행될 수 있다. 예를 들어, 변환 블록으로의 세분화와 같은 하나의 세분화는 위에서 설명한대로 다른 세분화의 확장을 형성할 수 있고, 또는 예를 들어, 도 3과 관련하여 설명된 바와 같이 트리 루트 블록의 배열로 도의 세분화와 같은 공통 기본 세분화의 별도의 확장을 형성할 수 있다. 그리고 그러한 가능성은 또한 특정 예측 파라미터, 예측 모드, 기여 가중치 등의 정의와 관련하여 아래에서 언급될 다른 하위 픽처 입도에도 적용된다. 이러한 엔티티의 서로 다른 항목에 대해 서로 다른 세분화가 사용될 수 있으며 동일한 항목이 서로 독립적으로, 부분적으로 독립적으로 또는 서로 확장으로 정의될 수 있다.
이를 말하면서, 다음 설명은 인코더 및 디코더에서 블록(80)을 예측하는 데 집중한다. 목표는 인트라, 인터 단일 및 인터 이중 예측 간의 기존 하드 구분을 보다 일반적인 접근 방식으로 대체하여 비디오 코딩의 속도 왜곡 성능을 개선하는 것이며, 이는 예측 신호를 얻는 방식에서 더 큰 유연성을 허용한다. 상기 아이디어는 구성이 구성하는 프리미티브 예측 연산 중 어느 것보다 더 나은 예측 신호를 생성하도록 여러 프리미티브 예측 연산을 구성하는 것이다. 간단한 경우, 구성 프리미티브 예측 연산은 인트라 예측 또는 인터 예측(단일 또는 이중) 일 수 있으며 합성 연산은 가중치 중첩일 수 있다. 이 경우 결과 전체 예측 신호 q는 구성 프리미티브 예측 신호
Figure 112020101157630-pct00001
에서
Figure 112020101157630-pct00002
로 도출되며, αn은 가중치 인자이고, N은 구성 프리미티브 예측의 수이다. 여기서 그리고 다음에서,
Figure 112020101157630-pct00003
및 q는 해당 신호의 샘플 값 즉, 예측할 블록 모양의 2차원 벡터로 구성된 벡터이다.
특정 실시예에서, 전체 예측 신호는 합성 연산의 반복적용에 의해 획득된다. 다음과 같이 초기화
Figure 112020101157630-pct00004
및 반복 관계(recurrence relation)
Figure 112020101157630-pct00005
를 정의한다.
합성 연산자(composition operator) fn은 중간 합성 예측 신호 qn과 하나 이상의 프리미티브 예측 신호
Figure 112020101157630-pct00006
을 새로운 중간 예측 신호 q(n + 1)에 매핑한다. νn + 1 및 νn+1의 값은 중간 예측 신호 qn+1을 생성하는 데 사용되는 첫 번째 및 마지막 프리미티브 예측 신호의 인덱스를 지정한다. 전체 예측 신호는 최종 중간 예측 신호
Figure 112020101157630-pct00007
로 획득된다. K는적용되는 작성 작업의 수를 지정함에 유의한다. 예를 들어, K ≥ 0, K ≥ 1 또는 K> 1 및 1 o 2와 같은 상한도 적용될 수 있다. 구성 프리미티브 예측 신호의 총 수가 N으로 주어지면
Figure 112020101157630-pct00008
을 따른다.
이를 더 자세히 설명하기 위해, 도 4를 참조한다. 디코더와 인코더가 지원하는 기본 예측 모드들의 세트는 100으로 표시된다. 이 세트(100)는 인트라 예측 모드(102) 및 인터 예측 모드(104)를 포함할 수 있다. 단일 예측 인터 예측 모드 및 이중 예측 인터 예측 모드는 세트(100)의 개별 요소를 형성할 수 있거나, 도 4에서 점선으로 도시된 바와 같이 인터 예측 모드(104)의 상이하게 파라미터화된 버전으로 해석될 수 있다. 현재 예측할 블록은 106으로 표시된다. 합성된 예측 신호 q(108)를 형성하기 위해, 미리 결정된 블록(106)에 대해, 디코더 및 인코더는 프리미티브 예측의 모음(110), 즉 p1 내지
Figure 112020101157630-pct00009
을 제공한다. 인코더 및 디코더는 예측 모드들의 세트(100)를 사용하여 이 모음(110)을 도출하거나, 보다 정확하게는 세트(100) 중 프리미티브 예측 모드의 모음(112)을 도출하며, 여기서 이 모음(112)은 세트(100)와 동일 할 수 있거나, 세트(100)의 예측 모드에 대한 개별 프리미티브 예측 pi의 연관에 따라 그것의 적절한 하위 세트일 수 있다. 특히, 프리미티브 예측들의 모음(110)의 도출(114)에 대해, 각각의 프리미티브 예측 pi는 세트(100)의 예측 모드 중 연관된 하나 및 따라서 모음(110) 형태 모음(112)의 프리미티브 예측 중 적어도 하나에 연관된 모든 예측 모드에 의해 도출될 수 있다. 프리미티브 예측의 모음, 즉 110에 기초하여 디코더 및 인코더는 프리미티브 예측의 모음(110)을 조합함으로써 미리 결정된 블록(106)에 대해 합성된 예측 신호(108)를 구성한다. 마지막 공식에 의해 표시된 바와 같이,이 조합(116)은 단계적으로 또는 반복적으로 순차적으로 수행될 수 있다. 반복 횟수는 위에서 K로 표시되었다. 특히, 특히, 중간 예측 신호 q2를 획득하기 위해 보통 또는 기본 예측을 다소 형성하는 제1 프리미티브 예측 p1은 먼저 함수 f1을 통해 추가 프리미티브 예측의 제1 하위 세트, 즉
Figure 112020101157630-pct00010
를 통해 조합된다. 후자는 추가 프리미티브 예측의 추가 하위 세트, 즉
Figure 112020101157630-pct00011
과 함께 또 다른 함수 f2의 적용을 받아 중간 예측 신호 q3이 되고, 그래서 함수 fK의 결과로 최종 합성된 예측 신호(108), 즉 q를 산출한다.
도 4에 도시된 바와 같이, 각각의 프리미티브 예측 pi 및 합성된 예측 신호 q 및 모든 중간 예측 신호 qi는 예측된 샘플 값을 블록(106)의 각 샘플 위치에 연관시키는 벡터 또는 매트릭스를 나타낸다. 도 1 및 2와 관련하여 위에서 설명된 바와 같이, 인코더는 블록(106)을 재구성하기 위해 블록(106)에 대한 예측 잔차를 데이터 스트림(14), 즉 합성된 예측 신호(108)를 수정하기 위해 합성된 예측 신호(108)에 대해 인코딩한다.
다음 설명을 쉽게 이해하기 위해, 도 5는 연관된 예측 모드를 기반으로 개별 프리미티브 예측 pi를 도출하는 방법에 대한 질문과 관련하여 인코더와 디코더 간에 파라미터화를 공유해야 하는 상황을 도시한다. 특히, 도 5는 인코더가 블록(106)에 대해 선택될 예측 모드를 120에서 각각의 프리미티브 예측 pi에 대해 선택하고 122에서 그것의 파라미터화를 선택하는 것을 예시한다. 예를 들어 120에서 선택된 예측 모드가 인트라 예측 모드인 경우, 122에서 선택된 파라미터화는 인트라 모드 파라미터이다. 하나 이상의 인트라 모드 파라미터들의 세트(124)는 예를 들어, 예를 들어 인트라 예측 방향 또는 각도에서 서로 다른 각도 모드를 구별할 수 있고, 선택적으로 위에서 표시된 바와 같이 DC 및 평면 모드와 같은 하나 이상의 추가 모드를 구별할 수 있다. 선택된 예측 모드가 인터 예측 모드이면, 하나 이상의 인터 모드 파라미터(126)의 세트는 움직임 벡터 및 선택적으로 참조 픽처 인덱스 및 선택적으로 예측자 인덱스를 포함할 수 있다. 특히, 파라미터들의 세트(126)의 움직임 벡터는 공간 및/또는 시간적 예측에 의해 블록(106)의 공간적 및/또는 시간적 이웃으로부터 획득된 움직임 벡터 예측자에 대한 움직임 벡터 차이로서 시그널링될 수 있으며, 예측자 인덱스를 포함하는 파라미터들의 세트(126)의 경우, 움직임 벡터 차이에 대한 기초로서 이러한 여러 예측자 후보 중 하나를 선택할 수 있다. 따라서, 각각의 프리미티브 예측 pi에 대해, 데이터 스트림(14)은 디코더가 블록(106)의이 프리미티브 예측 pi에 대한 예측 모드(128)뿐만 아니라 대응 모드(128)를 파라미터화하기 위한 하나 이상의 예측 파라미터의 연관된 세트를 도출할 수 있게 하여, 그에 따라 파라미터화된 이 모드를 사용하여 예측 pi, 즉 예측 파라미터들의 세트(130)를 산출한다. 따라서 132에서 얻어진 프리미티브 예측은 조합(116)을 사용하여 조합되어 최종 조합 예측 신호 q(108)를 산출한다. 아래에서 자세히 설명될 것으로, 인코더 및 디코더를 동기화된 상태로 유지하는 것과 관련된 시그널링 오버헤드와 관련된 부담을 완화하기 위해 또는 대안적으로 말하면, 각각의 프리미티브 예측에 대한 정보(128 및 130)를 디코더에 신호하기 위해 상이한 메커니즘이 사용될 수 있다. 조합(116)을 제어하고 이에 따라 예측 신호(108)를 구성하는 또 다른 파라미터는 인코더에 의한 하위 픽처 레벨 변화에 따라 아래에 더 상세히 설명되는 본 출원의 실시예에 따라 다음과 관련될 수 있다:
1) 반복 또는 반복 횟수 K. 134에서 도 5에 도시된 바와 같이, K는 예를 들어 블록(106)과 같은 각각의 블록에 대해 하위 픽처 입도에서 변경될 수 있다.
2) 반복 또는 반복 횟수 K는 도 6의 반복 구성 접근 방식을 사용하는 경우 변경될 수 있다. K가 변하면, 이것은 예측들의 모음(110)의 카디널리티도 간접적으로 변하고, 추가 예측 p2 내지
Figure 112020101157630-pct00012
에 대해 둘 이상의 모드를 허용하는 경우, 모드들의 모음(112)의 카디널리티도 변한다. 그러나 후자의 카디널리티 중 하나 또는 둘 모두는 반복적 접근 방식을 사용하지 않을 때 달라질 수 있다.
3) 조합(116)은 하위 픽처 입도에서 제어될 수 있다. 예를 들어, 위 공식의 반복적인 구성을 사용하는 경우, 각각의 반복의 함수 fn은 인코더에 의해 변경될 수 있다. 아래에서 자세히 설명될 것으로, 함수 fn은 각각의 합성 제어 정보(138)를 데이터 스트림(14)을 통해 디코더에 제출하거나 시그널링하여 함수 f_n의 파라미터화를 선택(136)하여 인코더로 파라미터화 가능할 수 있으며, 이에 따라 조합(116)의 합성을 수행하기 위해 디코더에 제공될 수 있다.
도 5에 도시된 바와 같이 구성(116)과 연관된 시그널링, 즉 반복 횟수 K, 예측 모드(128) 및 각각의 관련 프리미티브 예측 및 구성 제어(138)에 대한 파라미터화는 블록(106)에 대해 데이터 스트림에서 명시적으로 시그널링될 필요가 없다. 즉, 이러한 정보 항목은 블록(106) 또는 블록(106)이 위치해 있는 픽처(12)의 일부 하위 영역에 대한 추가 정보로서 송신할 필요가 없다. 오히려 아래에서 자세히 설명될 것으로, 이 정보의 일부 또는 전부는 암시적 시그널라이제이션을 통해 시그널링될 수 있는데, 이는 디코더가 예를 들어, 동일한 정보 유형에 관련된 데이터 스트림(14)의 다른 데이터로부터 각각의 정보 엔티티를 추론할 수 있다는 것을 의미하지만 인접한 다른 블록에 대해 예를 들어, 블록(106) 또는 예를 들어 잔차 코딩 등과 관련된 것과 같은 다른 코딩 파라미터 문제와 관련된다. 이하에 실시예를 설명한다.
즉,도 5는 프리미티브 예측 신호
Figure 112020101157630-pct00013
을 생성하기 위한 예측 모드에 대한 정보(128), 인트라 모드와 같은 예측 모드 파라미터화 관련 정보(130), 참조 인덱스 및 움직임 벡터와 같은 예측 제어 정보가 디코더에 알려지므로 데이터 스트림 (14)의 부가 정보에서 송신되어 한다. 또한, 이 예측 관련 정보는 명시적으로 또는 묵시적으로 송신되거나 시그널링될 수 있다는 것이 설명되었다. 명시적 시그널라이제이션은 인트라 예측 모드 또는 참조 인덱스, 움직임 벡터 예측 인덱스, 움직임 벡터 예측 인덱스 또는 특히 블록(80) 또는 블록(80)이 위치해 있는 픽처의 일부 하위에 대한 움직임 벡터 차이와 같은 예측 관련 정보의 일부 또는 전부를 송신하는 것으로 설명될 수 있고, 한편 암시적 시그널라이제이션은 예측 관련 정보 또는 그 일부가 현재 예측된 블록(80)이 아닌 다른 블록에 관련된 데이터 스트림(14)의 일부와 같은 데이터 스트림(14)의 다른 부분, 즉 블록(80)이 위치하지 않는 블록으로부터 추론될 수 있음을 의미하는 것으로 설명될 수 있다. 예를 들어 도 4를 참조한다. 현재 예측된 블록(106)은 참조 부호(106)를 사용하여 거기에 표시되었다. 이 참조 부호는 도 4에 도시된 작업이 이 블록(106)에 대해 구체적으로 수행된다는 것을 나타내기 위해 사용되었다. 그러나, 블록(106)은 106 뒤의 괄호 안의 80으로 예시된 블록(80)이고, 예측 구성에 관한 작업은 대안적으로 모든 블록(80) 또는 예를 들어 p1이 인터 예측 모드인 블록(80)에 대해 수행될 수 있다. 따라서, 인접한 그러한 블록으로부터, 추가 프리미티브 예측을 도출하는 데 관련된 정보의 일부와 그 수 또는 반복 횟수를 추론 할 수 있으며, 예를 들어 도 8과 관련하여 설명될 바와 같은 병합 표시자 또는 병합을 통한 추론을 활성화할 수 있다. 다른 인접한 블록은 K가 0인 경우, 즉 추가 프리미티브 예측의 수가 0인 블록으로 처리될 수 있다.
예를 들어, 아래에 더 자세히 설명된 예에서, 암시적 시그널라이제이션은 예를 들어 HEVC 또는 H.265에서 사용되는 병합 방식 또는 병합 모드를 적응 및 추가 개발하는 방식으로 사용된다. 특정 실시예에서, 예를 들어, 정보(128 및 130 또는 130)는
Figure 112020101157630-pct00014
의 하위 세트에 대해 명시적으로 그리고 암시적으로 보완 세트에 대해 데이터 스트림(14)에서 시그널링된다.
예를 들어, 예측 모드는, 예를 들어 제1 프리미티브 예측 p1을 제외한 프리미티브 예측에 관한 한 기본적으로 디코더 및 인코더에 의해 설정될 수 있다.
참조 부호(138)와 관련하여 위에서 설명한 바와 같이, 합성 연산자
Figure 112020101157630-pct00015
도 디코더에 알려져야 한다. 그것들은 고정되거나 이미 송신된 구문 요소로부터 추론되거나 비트 스트림에서 명시적으로 시그널링될 수 있다.
특정한 일 실시예에서, 개별
Figure 112020101157630-pct00016
는 다음과 같이 일반 합성 연산자 h로부터 획득될 수 있다:
Figure 112020101157630-pct00017
h
Figure 112020101157630-pct00018
여기서, 모든 합성 연산자
Figure 112020101157630-pct00019
에 대해 구성 프리미티브 예측 신호의 수가 동일하다고 가정한다. 벡터 αn은 특정 합성 연산자 fn이 획득되도록 일반 합성 연산자 h를 파라미터화한다. 따라서, 일반 합성 연산자 h가 고정된 경우, αn만 지정하면 된다. αn의 차원은
Figure 112020101157630-pct00020
(및 qn)의 차원과 독립적이며 αn을 스칼라로 만들 수도 있음에 유의한다. αn의 값은 합성 연산자 fn을 지정하므로, 디코더에도 알려야 한다. 이는 고정되거나, 추론되거나 비트 스트림에서 시그널링될 수 있다.
각 합성 연산(즉,
Figure 112020101157630-pct00021
)에서 평균 보존 가중 선형 중첩과 하나의 프리미티브 예측 신호의 특정 경우에 대해 일반 합성 연산자 h는 다음과 같이 정의될 수 있다:
h
Figure 112020101157630-pct00022
여기서 αn ∈ R은 가중치 또는 합성 인자이다. 가중치 인자 αn은 디코더에 알려야 하기 때문에, 고정되거나 추론되거나 비트 스트림에서 시그널링될 수 있다. αn에 대한 (일반적으로 적은) 수의 값만 가능하면 인덱스 값
Figure 112020101157630-pct00023
N 대신 송신할 수 있으며, 이는 αn의 실제 값을 나타낸다. αn의 실제 값은 룩업 테이블을 사용하거나 계산 또는 다른 수단을 통해 도출된다. αn의 허용된 값은 모든 n에 대해 동일 할 필요는 없음에 유의한다. αn 또는
Figure 112020101157630-pct00024
도 음수일 수 있으며 해당 예측 신호를 뺄 수 있음에 또한 유의한다.
합성된 예측 신호(108)를 산출하기 위해 디코더 및 인코더에 의해 수행되는 후자의 절차는 도 6에 도시되어 있다. K + 1 프리미티브 예측
Figure 112020101157630-pct00025
이 존재하고 K번의 반복 또는 연속적인 합산(1501 내지 150K)이 수행된다. 각 반복(150i)에서, 상응하는 기여 인자 αi로 가중된 다음 프리미티브 예측
Figure 112020101157630-pct00026
은 지금까지 형성된 중간 합, 즉 q1이 p1이고 1에서 상응하는 기여 인자 αi를 뺀 가중된 qi, 즉
Figure 112020101157630-pct00027
에 추가된다 . 따라서, 예를 들어, 추가 프리미티브 예측 p2는 α1가 아닌
Figure 112020101157630-pct00028
의 유효 계수에서 최종 합성 예측 신호(108)에 효과적으로 영향을 주거나 기여한다. 실제로 이는 예를 들어 개별 기여 계수 α1에서 αK까지의 설정은 제한된 수의 개별 가중치 값으로 제한되더라도, 특히 이전의 프리미티브 예측 또는 더 낮은 인덱스를 가진 프리미티브 예측의 경우 유효 가중치가 매우 미세하게 설정될 수 있음을 의미한다. 예를 들어, 인코더에 의한 기여 값 αi의 설정 및 암시적 또는 명시적 시그널라이제이션에 의한 데이터 스트림(14)에 의한 그 시그널링에 대한 일부 가능성을 예시하는 도 7을 참조하라. 특히, 도 7은 기여도 값 αi가 인코더에 의해 설정될 수 있는 기여도 값 αi의 값 도메인(160), 즉 인코더에 의해 설정될 수 있고, 데이터 스트림(14)에서 암시적으로 또는 명시적으로 시그널링될 수 있으며, 도 7에서 십자 표시로 표시된 개별 가중치 값으로 제한될 수 있음을 예시한다. 도 7에 예시된 바와 같이, 제한된 수의 개별 가중치 값은 적어도 하나의 음의 값과 적어도 하나의 양의 값을 포함할 수 있다. 추가적으로 또는 대안적으로,적어도 하나의 추정 가능한 값이 간격 [0; 1]이 기여도 값 αi에 대해 그 자체 또는
Figure 112020101157630-pct00029
는 음수이다. 대안으로, 예를 들어 양수 값만 허용될 수 있다. 위에서 이미 언급한 바와 같이, 한편으로는 αi에 대한 신호 정보와 다른 한편으로는 가중치 값 간의 테이블 조회 또는 산술 관계를 인덱싱하여 기여도 값 αi를 시그널링하기 위해 사용할 수 있다. 값 도메인(160)의 이산 가중치 값의 개수 및 값은 기여도 값
Figure 112020101157630-pct00030
간에 동일하거나 기여도 값에 따라 다를 수 있다. αi 또는
Figure 112020101157630-pct00031
는 데이터 스트림에서 시그널링될 수 있음에 유의한다.
위와 유사하게, αn ∈ R²이 2차원 벡터인 경우 일반 합성 연산자 h는 다음과 같이 정의할 수 있다:
h
Figure 112020101157630-pct00032
위와 유사하게,
Figure 112020101157630-pct00033
및
Figure 112020101157630-pct00034
의 값은 디코더에 알려야 하며 비트 스트림에서 고정, 추론, 또는 시그널링될 수 있다. 어떤 의미에서, αn ∈ R을 사용하는 앞서 설명한 일반 합성 연산자 h는 여기에서 특별한 경우로 볼 수 있으며, 여기서
Figure 112020101157630-pct00035
은 항상 추론된다.
추가의 특정 실시예에서, 클리핑 및/또는 반올림 연산이 합성 연산자 fn에 포함될 수 있다. 고정 또는 추론되거나 클리핑 및/또는 반올림 연산이 수행되는지 여부를 비트 스트림에서 시그널링한다. 클리핑 및/또는 반올림 연산은 합성 연산자
Figure 112020101157630-pct00036
의 하위 세트에 대해서만 포함된다(예를 들어 전체 예측 신호
Figure 112020101157630-pct00037
에 대해서만 클리핑 및/또는 반올림이 수행되는 경우, 그러면 fK만 클리핑 및/또는 반올림 연산을 포함하는 것이 또한 가능하다.
예를 들어, 도 6의 파선 상자(170)을 참조하라. 그것들은 각각의 중간 합계 q2 내지 qK가 클리핑 및/또는 반올림 연산(170)을 받을 수 있음을 나타냈다. 추가적으로, 클리핑 및/또는 반올림 연산(172)은 최종 합성된 예측 신호 q를 산출하기 위해 최종 합
Figure 112020101157630-pct00038
에 적용될 수 있다. 임의의 반올림(170/172)은 중간 합계가 계산되고 표현되는 계산 정확도보다 상당히 거친 양자화를 형성하는 것이 자명할 것이다. 클리핑 및/또는 반올림 동작(172)은, 예를 들어 합성된 예측 신호 q, 108의 샘플 값이 픽처(12)가 코딩되는 샘플 값의 허용된 표현 범위 또는 값 도메인 내에 있음을 보장한다.
또한 특정 샘플 위치에서 (새로운 중간) 예측 신호
Figure 112020101157630-pct00039
의 결과 샘플 값은 동일한 샘플 위치에서 프리미티브 예측 신호
Figure 112020101157630-pct00040
및 중간 예측 신호 qn에만 의존한다는 점에서 합성 연산자 fn은 스칼라일 수 있다.
다시, 설명을 위해, 도 6을 참조하라. 각각의 프리미티브 예측 pi는 합성된 예측 신호(108)의 샘플 위치(180) 당 또는 블록(106/80)의 샘플 위치(180) 당 각각 구성 요소 또는 샘플 값을 포함하는 2차원 벡터이고, 정의는 예측 신호(108)의 각 샘플 위치(180)가 프리미티브 예측 pi 내의 대응하는 동일 위치 샘플 위치에 기초하여 단독으로 결정되는 방식으로 행해진다. 대안은 중간 합계의 일부가 FIR 필터링 등과 같은 일종의 필터링의 대상이 될 수 있다는 것이다.
중간 예측 신호
Figure 112020101157630-pct00041
(또는 그 하위 세트)가 표현되는 영역(예를 들어, 동적 범위, 비트 깊이, 정밀도)은 프리미티브 예측 신호
Figure 112020101157630-pct00042
의 도메인과 다를 수 있다.
다중 색상 평면(예를 들어, R, G, B, 루마, 크로마, 깊이, 알파 채널 등)의 공동 인코딩의 경우 합성 연산자는 평면의 (하위) 세트 간에 공유되거나 독립적일 수 있다. 동일한 합성 연산자를 사용하는 평면은 고정, 추론 또는 비트 스트림에서 시그널링된다.
합성 연산자 fn 또는 h는 전체 비디오 시퀀스에 대해 정의되거나 주어진 입도(예를 들어, 랜덤 액세스 기간 레벨, 픽처 레벨, 슬라이스 레벨, 블록 레벨 등)에서 달라질 수 있다. 입도는 고정되거나, 추론되거나 비트 스트림에서 시그널링된다. 합성 연산자 자체와 함께 숫자 K도 동일하거나 다른 입도 내에서 다를 수 있다. 최대 합성 연산자 수를 제한하는 상한 Kmax가 있을 수 있다. Kmax의 값은 고정 또는 추론되거나 비트 스트림에서 시그널링된다.
합성 연산자 fn 또는 h는 명시적으로(예를 들어, 파라미터 벡터 αn을 시그널링하여) 또는 암시적으로(예를 들어, HEVC/H.265의 병합 모드와 유사) 시그널링될 수 있다. 후자의 경우, 이미 인코딩된 합성 연산자 세트에 대한 참조가 시그널링되고 해당 합성 연산자가 사용된다(예를 들어, 블록 크기, 색상 채널, 비트 깊이 등에 대한적응 후). 암시적 및 명시적 시그널링의 혼합도 가능하다. 예를 들어 제1
Figure 112020101157630-pct00043
구성 연산자
Figure 112020101157630-pct00044
는 암시적으로, 즉, 이미 시그널링되는 합성 연산자를 참조하여 시그널링되고, 나머지
Figure 112020101157630-pct00045
합성 연산자
Figure 112020101157630-pct00046
는 명시적으로, 즉, 디코더가 합성 연산을 수행할 수 있도록 필요한 정보를 직접 시그널링함으로써 시그널링된다. 합성 연산자가 명시적으로 시그널링되고 암시적으로 시그널링되는 고정, 추론, 또는 비트 스트림에서 시그널링된다.
HEVC 코덱을 수정하여 본 출원의 실시예의 구현을 획득할 수 있는 가능성에 대한 설명을 진행하기 전에, 병합 개념과 합성된 예측 개념을 조합하는 후자의 측면은 도 8과 관련하여 설명될 것이다. 도 8은 현재 프로세싱된, 즉 현재 디코딩되거나 현재 인코딩된 블록, 즉 블록(80)인 블록(106)을 도시한다. 그 근처에는 블록 190a와 190b가 있다. 이들은 디코딩/코딩 순서에서 블록(106)보다 선행하므로 예측 또는 병합에 이용 가능하다. 도 8에 도시된 바와 같이 2개의 인접한 블록(190a 및 190b)은 단지 예시 목적으로 선택되었으며 단지 하나의 인접한 블록 또는 둘 이상의 사용이 또한 사용될 수 있다는 사실에 또한 유의해야 한다. 또한, 인접한 블록(190a 및 190b) 모두가 블록(106)과 동일한 크기인 것으로 도시되어 있다는 사실은 단지 설명을 위한 것일 뿐이다. 사실, 블록(190a 및 190b)도 블록(80)이며, 즉, 이들 블록에 대해 예측 신호(108)는 위에서 설명한 것과 동일한 방식으로 결정되었다. 디코더 및 인코더는 예를 들어, 블록(106)의 하나 이상의 미리 결정된 샘플 위치에 기초하여, 이전에 프로세싱된 모든 블록, 즉 코딩 순서로 선행하는 블록 중에서 블록 190a 및 190b를 식별할 수 있다. 예를 들어, 블록 190a는 블록 106의 왼쪽 상단 샘플(192)의 왼쪽에 있는 샘플을 포함하는 블록으로 결정될 수 있으며, 블록 190b는 왼쪽 상단 샘플(192)의 상단에 있는 샘플을 포함하는 블록 80으로 결정될 수 있다. 그러나, 다른 예도 가능하다. 예를 들어, 블록 후보는 또한 앞서 언급된 특정 위치(192)에 배치된 샘플 위치를 포함하는 것과 같이 블록(106)에 배치된 것과 같은 다른 픽처의 블록을 포함할 수 있다. 블록(106)에 대한 병합을 사용하는 경우, 하나 이상의 병합 후보들 중 선택은 데이터 스트림(14)에서 시그널링될 수 있다.
블록(190a 및 190b)이 예측 블록(80), 즉 예측 신호(100a)가 결정된 블록이므로, 이들 블록 각각에 대해 블록(190a)에 대해 도 8에 예시된 바와 같이 예측 관련 정보(194)가 존재한다. 더 정확하게 말하면, 예측 관련 정보(194)는 블록 190a에 대해 블록 190a에 대해 합성된 예측 신호(108)로 안내되었다. 예측 관련 정보(194)는 예를 들어, 프리미티브 예측 p1의 도출에 기초한 예측 모드 및 대응하는 예측 파라미터에 대한 정보를 포함할 수 있다. 추가적으로, 정보(194)는 추가 프리미티브 예측의 수 N을 나타낸다.도 8은 예측 신호 구성이도 6의 개념을 따른다고 가정하고, 예를 들어, 예측 관련 정보(194)가 각각 적용된 반복 횟수(150)와 동일한 추가 프리미티브 예측 횟수 K를 나타낸다는 것을 나타낸다. 유효한 가능성인 K> 0인 경우, 예측 관련 정보(134)는 추가 프리미티브 예측
Figure 112020101157630-pct00047
을 도출하기 위한 모드 및 해당 예측 파라미터에 대한 정보를 추가로 포함한다. 또한, 각각의 프리미티브 예측 pi에 대해 해당 기여 가중치
Figure 112020101157630-pct00048
가 예측 관련 정보(194)에 포함된다. 인접한 블록(190a)에 대한 예측 관련 정보(194)는 데이터 스트림(14)으로 명시적으로 전달 될 필요가 없지만, 그 예측 관련 정보(194)는 데이터 스트림(14)에서적어도 부분적으로 암시적으로 시그널링될 수 있음이 자명할 것이다. 어떠한 경우에도, 인코더 및 디코더는 프로세싱 블록(106)에서 블록 190a의 예측 관련 정보(194)에 액세스하거나 이에 대한 지식을 갖는다. 시그널링 오버헤드를 절약하기 위해, 인코더는 블록 106에 대한 병합 모드를 선택하여 블록 106에 대한 대응하는 예측 관련 정보의 적어도 특정 부분이 블록 190a의 예측 관련 정보(194) 또는 블록 190b의 대응하는 예측 관련 정보와 같은 일부 다른 병합 후보로부터 추론 될 것임을 시그널링할 기회를 갖는다. 즉, 인코더는 병합 모드를 활성화하고 선택적으로 사용될 병합 후보를 표시하는 병합 정보(196)와 병합 정보(196)를 통해 블록(106)에 대한 병합 모드의 활성화를 데이터 스트림(14) 내에서 시그널링할 수 있다.
가능하게는, 병합 정보(196)는 병합 후보의 예측 관련 정보(194)의 어느 부분이 현재 블록(106)에 대한 예측 관련 정보(198)의 대응 부분의 추론에 사용될 것인지에 대한 정보를 추가로 포함한다. 예를 들어, 하나의 옵션에 따르면, 제1 프리미티브 예측 p1을 도출하는 방법에 대한 정보만 중괄호(200)로 표시된 병합의 대상이 된다. 따라서, 예측 관련 정보(198) 내의 대응 정보(200')는 정보(200)와 동일하게 설정될 것이다. p2와 같은 임의의 추가 프리미티브 예측의 경우, 예측 관련 정보 또는 파라미터는 인접 블록에 사용되는 예측 파라미터 목록을 가리키는 정보를 통해 해당 블록(106)에 대한 데이터 스트림에서 시그널링될 수 있으며 해당 특정 프리미티브 예측의 예측 모드와 관련된다. 병합 후보 목록에 기여하는 인접한 블록과 후자 목록에 기여하는 블록, 따라서 병합 정보(196) 및 시그널링(206)에 의해 이들 목록에서 예측 관련 정보가 가리키는 블록은 다를 수 있음에 유의한다. 예를 들어, 예측 p_1은 인터 예측 신호이고, 한편 p_2는 인트라 예측 신호일 수 있다.
대안이 방금 설명되었다: 병합 정보(196)는 블록 190a의 p1에 대한 이중 예측 모드를 블록 106의 p1에 대한 단일 예측 모드로 전환하는 추가 시그널링을 포함하며, 추가로 블록 190a에 대한 이중 예측 모드의 2개의 가설 중 어느 것을 선택하면 블록 106의 기본 예측 p1의 단일 예측 모드에 대한 기초가 형성될 수 있다. 대안으로, 병합 정보(196)는 병합 후보의 결정을 p1에 대한 이중 예측 모드를 사용하는 것으로 제한하는 추가 시그널링을 포함하며, 추가적으로 이러한 이중 예측 코딩된 병합 블록의 2개의 가설 중 어느 것이 블록(106)의 기본 예측 p1에 대한 기초를 형성할지에 대한 신호를 시그널링할 수 있다. 두 대안 모두에서, 블록(106)의 p1의 모드는 단일 예측 모드로 설정된다. 후자의 대안에서, 아래에서 다시 더 상세히 논의될 경우, 병합 정보(196)는 따라서 병합 후보 세트의 형성을 이중 예측된 인터 블록 인 것으로 제한할 것이며, 가능하게는 블록(106)의 병합 파트너로서 최종적으로 선택된 정보를 시그널링할 것이다. 전자의 대안에서, 이 제한은 생략되고 시그널링된 병합 후보는 p1에 대해 단일 예측 또는 이중 예측일 수 있고, 이중 예측인 경우, 블록 106에 대한 p1의 단일 예측 모드 도출을 파라미터화하기 위해 시그널링된 가설만 사용된다.
또 다른 옵션은 예를 들어, 주제(부분 200에 더하여)에 추가 프리미티브 예측의 수 K 및 해당 프리미티브 예측을 도출하는 방법 및 중괄호 202로 표시된 병합 작업에 해당 기여도 값을 설정하는 방법에 대한 해당 정보이다. 그 경우, 블록(106)의 예측 관련 정보(198)의 대응하는 부분(202')은 블록(190a)의 그 부분(202), 즉
Figure 112020101157630-pct00049
곱하기 모드에 대한 정보, 관련 예측 파라미터 및 추가 기본 예측
Figure 112020101157630-pct00050
에 대한 기여 값으로부터 추론될 것이다. 즉, 옵션 202에 따르면, 예측 도출 정보, 즉 모드 및 관련 예측 파라미터는 물론 인접 블록 190a의 모든 K개의 추가 프리미티브 예측 p2 내지
Figure 112020101157630-pct00051
에 대한 기여 가중치는 블록(106)의 합성된 예측 신호를 구성하기 위해 동일한 수의 프리미티브 예측에 대한 대응하는 프리미티브 예측 도출 정보 및 기여 가중치 정보를 형성하는 데 사용된다. 즉, 이 예에 따르면, 블록(106)에 대한 결정이 블록(106), 즉 부분 200에 대한 p1에 대한 예측 파라미터를 암시적으로 도출하는 모드인 경우, 이는 동시에
Figure 112020101157630-pct00052
에 대한 예측 파라미터 및 기여 값의 암시적 추론을 시그널링하거나 트리거한다. 그러나, 도 8에 도시된 바와 같이, 인코더는
Figure 112020101157630-pct00053
를 인접 블록(190a)의 K와 동일하게 설정하는 것에 비해 현재 블록(106)에 대한 추가 프리미티브 예측의 수를 확장하기로 추가로 결정할 수 있다. 인코더는 데이터 스트림(14) 내에서 오프셋 또는 상이한
Figure 112020101157630-pct00054
를 시그널링하여 다수의 명시적으로 시그널링된 프리미티브 예측을 시그널링할 수 있다. 따라서, 블록(106)에 대한 예측 관련 정보(198)는 대응하는 프리미티브 예측
Figure 112020101157630-pct00055
을 도출하는 방법을 블록(106)에 대한 데이터 스트림(14)에서 명시적으로 시그널링할 것이다. 정보 콘텐츠(198)의 K는 블록(106)에 대한 추가 프리미티브 예측의 수와 관련이 있으며, 한편 정보(194) 내의 K는 블록(190a)과 관련되며, 두 파라미터는 모두 다르게 설정될 수 있음이 자명할 것이다. 둘 다 위에서 언급한 바와 같이 기본값으로 설정되거나 데이터 스트림(14)에서 시그널링될 수 있는 일부 Kmax에 의해 제한될 수 있다.
옵션(202) 대신에, 인코더가 인접한 블록(190a)의 모든 추가 프리미티브 예측(K)이 현재 블록(106)에 대한 예측 관련 정보(198)를 설정하는 데 사용되는 것은 아니라는 신호를 보낼 추가 자유를 가질 수 있다. 다시 말해서, 데이터 스트림(14)은 블록(106)에 대한
Figure 112020101157630-pct00056
를 얻기 위해 블록 190a의 K, 즉 병합 후보를 수정하는 방법을 신호하는 데 사용될 수 있다. 후자의 옵션은 중괄호 204를 사용하여 도 8에 설명되어 있다. 어떤 옵션(200 내지 204)이 사용되는지는 구현에 따라 달라질 수 있다. 예를 들어, 옵션(200 내지 204) 중 하나는 인코더 및 디코더에 의해 고정된 방식으로 사용될 수 있다. 대안으로, 일부 정보는 옵션(200 내지 204) 중 둘 또는 모두 사이의 전환을 제공할 수 있다. 인코더에 블록 190a와 관련된 정보(194) 내에서 K를 수정하여 블록 106에 대한
Figure 112020101157630-pct00057
를 양보하고 데이터 스트림(14)의 시그널링을 통해 이에 대해 디코더에 알릴 기회를 제공하는 대신, 블록 190a에 관한 정보(194) 내의 K와 블록 106에 대한
Figure 112020101157630-pct00058
사이의 관계는 디폴트로 고정되거나 암시적 시그널링에 의해 결정될 수 있다.
도 8과 관련하여, 예측 관련 정보(198) 내의 블록(106)의 추가 프리미티브 예측 p2 내지
Figure 112020101157630-pct00059
중 임의의 것에 대해 어떤 예측 모드, 즉 인트라 또는 인터가 사용되는지에 대해 디폴트로 알려질 수 있음에 유의해야 한다. 따라서, 명시적으로 시그널링된 프리미티브 예측에 관한 한, 이 상황과 관련된 어떠한 구문도 데이터 스트림(14)에서 전달될 필요가 없을 수 있다. 유사한 진술이 블록 106의 p_1에 대해 참일 수 있다. 예를 들어, 병합 옵션/동작은 예를 들어, 데이터 스트림에서 블록(106)의 p1이 인터 모드와 같은 특정 모드임을 이미 시그널링된 블록(106)에 대해 각각의 병합 플래그에 의해 활성화될 수 있고,또는 병합 활성화 자체는 동시에 블록(106)의 p1이 병합 후보 세트(목록은 p1이 각각의 예측 모드에 속하는 후보들을 허용함으로써 그에 따라 구성됨)로서 특정 모드임을 동시에 드러낼 수 있다.
이제 HEVC/H.264 코덱을 수정함으로써 달성된 본 출원의 실시예의 가능한 구현의 프레젠테이션으로 넘어 가자. HEVC/H.265에서 각각의 픽처는 여러 코딩 트리 단위(Coding Tree Unit, CTU)로 나뉘며, 각각의 코딩 트리 단위는 코딩 단위(Coding Unit, CU)로 더 세분화될 수 있다. CU는 다시 예측 단위(Prediction Unit, PU)와 변환 단위(Transform Unit, TU)로 더 나눌 수 있다. 전술한 합성 예측은 PU 레벨에서 시그널링될 수 있다. HEVC/H.265의 일반적인 예측 파라미터(즉, 인트라 예측 모드 또는 움직임 벡터 및 참조 인덱스)에 추가하여, 추가 예측 파라미터(또한 인트라 또는 인터)는 합성 정보와 함께 시그널링될 수 있으며, 이는 개별 예측 파라미터로부터 얻은 개별 예측 신호가 결과적인 전체 예측 신호로 어떻게 구성되는지를 나타낸다. 즉, 이전에 설명된 블록(106)은 HEVC 명명법에 따른 PU 블록일 수 있다. 추가 예측 파라미터의 가용성은 하나의 추가 구문 요소에 의해 표시될 수 있다. 이 구문 요소가 추가 예측 파라미터가 없음을 나타내면 더 이상 데이터를 송신할 필요가 없다. 그렇지 않으면, 추가 예측 신호에 대응하는 구문 요소는 일반 HEVC/H.265 예측 신호 및 추가 예측 신호의 합성 동작이 수행되는 방법을 지정하는 데이터와 함께 따른다. 간단한 경우, 추가 예측 신호에 대한 가중치 또는 기여 인자가 송신된다. 이 인자는 직접적으로 또는 실제 가중치 인자를 얻는 조회 테이블에 대한 인덱스로 시그널링할 수 있다. 하나 이상의 추가 예측 신호가 사용되는 경우, 시그널링은 처음부터 다시 시작된다, 즉 더 많은 추가 예측 신호가 뒤따르는지 나타내는 하나의 구문 요소가 시그널링된다. 그런 다음, 이전에 설명한대로 시그널링이 계속된다.
후자의 진술에서, 블록(106)에 대한 K 또는 대안적으로
Figure 112020101157630-pct00060
를 시그널링하는 한 가지 방법이 개시되었다. 특히 다음에 제시된 구문 예제에서 예시될 것으로, 데이터 스트림(14)의 현재 블록에 대해 추가적인 명시적으로 시그널링된 프리미티브 예측이 따르는지 여부를 추가 프리미티브 예측, 즉 대응 플래그를 통해 순차적으로 블록 106에 대한 데이터 스트림(14)에 표시할 수 있으며, 따라서,이 추가적인 프리미티브 예측에 대해 예측 파라미터 및 그 기여 가중치가 따르는지 여부를 표시할 수 있다. 이들 플래그는 다음에서 예시되는 바와 같이, 프리미티브 예측 도출 정보 및 대응 기여 가중치에 대한 대응하는 명시적 정보와 인터리빙되는 방식으로 데이터 스트림(14)에서 송신될 수 있다. 요약하면,
Figure 112020101157630-pct00061
프리미티브 예측은 명시적으로 정의된
Figure 112020101157630-pct00062
프리미티브 예측에 의해 확장될 수 있다.
Figure 112020101157630-pct00063
프리미티브 예측을 제어하는 파라미터는 병합 후보에서 도출된다.
Figure 112020101157630-pct00064
추가적인 명시적으로 정의된 프리미티브 예측의 수는 데이터 스트림(14)의 블록(106)에 대해 시그널링된다. 이것은 추가로 명시적으로 정의된 프리미티브 예측마다 특정 상태의 플래그 하나를 보내고 다른 상태의 한 비트를 송신함으로써 수행될 수 있다(선택적으로 최대 수 Kmax에 도달하지 않는 한). 명시적으로 정의된 프리미티브 예측에 대한 정보, 즉 도 8의 206은 블록(106)에 대한 데이터 스트림(14)으로 전달된다.
도 8은 블록(106)에 대한 예측 신호의 구성에 참여하는 각각의 프리미티브 예측에 대해, 모드가 정보(198)에 의해 표시된다는 것을 예시한다는 점에 유의해야 한다. 그러나, 이것은 이 모드 표시가 이들 프리미티브 예측 각각에 대해 데이터 스트림(14) 내에서 전달되어야 한다는 것을 의미하지 않는다. 오히려, 이들 프리미티브 예측 중 일부에 대해,적어도 각각의 프리미티브 예측이 어떤 모드에 속하는지 기본적으로 알려질 수 있다. 예를 들어, 아래에 더 상세히 설명된 실시예 중 일부는 추가 프리미티브 예측
Figure 112020101157630-pct00065
중 임의의 것이 인터 예측 모드이므로 시그널링 오버헤드를 소비할 필요가 없다고 가정한다.
도 8의 설명을 HEVC의 병합 모드와 간략히 비교하고, 도 8과 관련하여 설명된 실시예에 대한 하나의 구현 예를 형성하기 위해 HEVC가 병합 모드에 대해 어떻게 수정될 수 있는지에 대해 간략하게 설명하자. HEVC/H.265에서 병합 모드는 이미 송신된 인접 또는 시간적으로 병치되어 있는(co-located) 블록에서 인터 예측 파라미터를 사용할 수 있다. 이렇게 하면 필요한 데이터 양이 줄어 든다.
Figure 112020101157630-pct00066
inter_pred_idc(list0, list1 또는 bi-prediction이 사용되는지 여부를 나타냄)
Figure 112020101157630-pct00067
움직임 벡터 예측 인덱스/인덱스들(이중 예측의 경우)
Figure 112020101157630-pct00068
참조 픽처 인덱스/인덱스들(이중 예측의 경우)
Figure 112020101157630-pct00069
움직임 벡터 차이 모
를 시그널링하는 대신에, 예측 파라미터가 현재 PU에 대해 재사용될 예측 단위(PU)를 나타내는 병합 인덱스만 시그널링된다.
도 8과 관련하여 설명된 바와 같이, 하나 이상의 프리미티브 예측 신호에 대해 병합 모드를 사용하는 것도 가능하다. 다시 말해, 예를 들어, 제1 프리미티브 예측 신호 p1에 대해 병합 모드가 사용되는 경우, 하나 이상의 추가 예측 신호(들), 즉 명시적으로 정의된 신호(들)를 송신하고, 전술한 바와 같이 이들을 하나의 전체 예측 신호로 구성하는 것이 가능하다. 또한, 추가 시그널링을 통해, 사용 가능한 예측 데이터의 일부만 p1에 사용되거나(예를 들어, 이중 예측 대신 list0 또는 list 1 예측) 사용 가능한 예측 데이터가 수정되도록(예를 들어, 결과 움직임 벡터 그리드에서 이동 여부에 관계없이 전체 픽셀 또는 하프 픽셀 움직임 벡터 정확도로 양자화되도록) 병합 모드를 제한할 수 있다. 병합 모드가 제한되는 방식은 추가 구문 요소에 의해 표시된다(예를 들어, list0 또는 list1 예측을 사용할지 여부를 나타내는 하나의 플래그를 사용하여 단일 예측에 대한 이중 예측의 경우).
사용된 병합 후보(병합 인덱스로 표시됨)가 합성된 예측을 사용하는 경우, 모든 구성 프리미티브 예측 신호 또는 그 하위 세트는 현재 프리미티브 예측 신호, 즉 묵시적으로 정의된 프리미티브 예측을 위해 사용될 수 있다. 병합 인접 항목의
Figure 112020101157630-pct00070
중 어떤 부분 세트가 암시적 정의에 사용되는지는 고정되거나 추론되거나 명시적으로 시그널링된다. 예를 들어, 앞서 언급한 양방향에서 단일 예측으로 제한된 병합 모드의 경우 이중 예측 신호를 지정하는 2개의 움직임 파라미터 중 하나뿐만 아니라 모든 추가 프리미티브 예측 신호도 폐기되도록 수정할 수 있다. 다른 예에서, 그러한 제한이 부과되지 않으면, 사용된 병합 후보의 모든 프리미티브 예측 파라미터가 현재 블록에 사용될 수 있다.
HEVC/H.265에서 병합 후보 목록은 중복 항목을 방지하는 방식으로 구성된다. 합성된 예측의 맥락에서 이것은 제1 프리미티브 예측 신호 p1의 움직임 파라미터가 동등성에 대해 검사될 수 있을 뿐만 아니라 다른 모든 프리미티브 예측 신호에 대해서도 검사될 수 있음을 의미한다.
비트 스트림에 지정된 예측자의 순서에 대한 예는 도 9를 참조하며, 이는 정보(206)를 정의하기 위한 PU 구문의 일부를 도시한다. 제1 예측 가설 p1은 "보통"(즉, 인트라, 단일 예측 인터 또는 이중 예측 인터) 예측 신호일 수 있다. HEVC/H.265(또는 이와 유사한 것)의 병합 모드의 특수한 경우, 즉 다른 코딩된 블록에 대한 참조가 만들어지고 거기로부터의 예측 파라미터도 현재 블록에 사용되는 예측 모드의 경우, 이중 예측의 사용을 최대 2개의 구문 요소에 의해 두 구성 요소 예측 신호 중 하나로 제한할 수 있음에 유의한다(이러한 제한이 적용되는지 여부를 나타내며, 그렇다면 2개의 [list0 또는 list1] 예측 신호 중 어느 것이 사용될지 여부). 이 제1 "일반적인" 예측 가설 이후 일련의 구문 요소를 따른다.
변수 NumMergedAdditionalHypotheseis(208)은 추가 가설이 있는 블록에서 병합 모드를 통해 "상속"된 추가 가설의 수를 제공한다. 변수 MaxNumAdditionalHypotheseis(209)는 추가 가설의 총 수를 제한한다. 그 값은 고정되거나 일부 프로파일/레벨 제약에 의해 제공되거나 비트 스트림 등으로 송신될 수 있다.
특히, 도 9의 예에 따르면, 명시적으로 정의된 프리미티브 예측의 수는 일련의 플래그(210), additional_hypotheseis_flag를 통해 시그널링된다. 즉, 1인 특정 상태를 갖는 플래그(210)의 수는 명시적으로 정의된 프리미티브 예측의 수를 정의하고 다른 상태의 플래그(210)가 0이 된다. 각각의 플래그(210)는 1이고, 각각의 추가 프리미티브 예측이 어떻게 해석되는지에 대한 정보가 뒤따른다. 이 예에서, 이러한 추가 프리미티브 예측 각각은 인터 예측 모드에 속한다고 가정한다. 따라서, 명시적으로 정의된 각 추가 기본 예측에 대해 다음 구문 요소가 송신된다: ref_idx_add_hyp(212)는 각각의 추가 명시적으로 정의된 프리미티브 예측 i, 즉 i번째 플래그(210)가 1인 참조 픽처의 참조 인덱스를 나타낸다; 구문 부분 mvp_coding, 214는 움직임 벡터 차이, 즉, 움직임 벡터 예측자에 대한 차이를 포함하며, 이는 후자의 움직임 벡터 예측자에 추가될 때 i번째 프리미티브 예측을 설정/도출하기 위한 움직임 벡터를 산출하며, mvp_add_hyp_flag(216)는 2개의 움직임 벡터 예측자 중 하나를 선택하는 플래그이다; 플래그 대신, 더 많은 상태를 가진 구문 요소가 사용될 수 있거나 인코더와 디코더에서 단 하나의 예측자가 사용되는 경우 누락될 수 있다; 구문 요소 add_hyp_weight_idx, 218은 i번째 프리미티브 예측이 합성된 예측 신호에 기여하는 기여 가중치를 나타내며, 여기서 αn 또는
Figure 112020101157630-pct00071
은 218로 표시될 수 있다. 도 6의 개념은 도 9에 따라 사용될 수 있다. 도 9에 도시된 바와 같이, 구문 요소(212 내지 218)는 후자의 플래그가 1인 경우 i번째 플래그(210)를 따르고, 플래그(210)가 1이고 대응 정보(212 내지 218)가 인터리빙된다. 또한, 209에 의해 정의된 허용된 추가 프리미티브 예측의 최대 수에 이미 도달했기 때문에 더 이상의 프리미티브 예측이 따를 수 없다는 사실이 이미 알려진 경우 플래그(210)가 송신되지 않는다. 이미 위에서 설명한 바와 같이, 인코더는 예를 들어 전체 비디오, 픽처 시퀀스 또는 픽처 단위로 데이터 스트림에서 변수(209)의 값을 시그널링할 수 있다. 또한, 이미 위에서 설명된 바와 같이, 변수(208)는 이미 암시적으로 정의된 프리미티브 예측의 수를 정의할 수 있다. 일 실시예에 따르면,이 변수는 불가피하게 0으로 설정되는데, 즉 모든 추가 프리미티브 예측은 명시적으로 정의된 것이고, 다른 실시예에 따르면,이 변수(200)는 도 8의 수
Figure 112020101157630-pct00072
를 정의한다.
위에 주어진 구문 테이블에서, add_hyp_weight_idx[x0][y0][i]의 값은 공간 위치(x0, y0)에서 i번째 추가 가설(루마 샘플에서 제공됨)에 대한 가중치 계수(조회 테이블로 인덱싱하여)를 지정한다. 결과적으로, 공간 입도는 예측 블록 레벨(HEVC/H.265의 CU 또는 PU)에 있다.
여러 프리미티브 예측을 조합하는 비반복적 접근 방식에 비해 도 6에 따른 반복적 구성의 이점에 주목한다. 특히, 하나의 버퍼는 개별 예측 가설을 축적하는 데 사용할 수 있는 반면 다른 버퍼에는 현재 예측 신호가 포함되어 있기 때문에 이중 예측에 비해 필요한 예측 샘플 버퍼 배열의 수가 증가하지 않는다. 그 외에도 적당한 복잡성 인코딩 알고리즘을 허용하는데, 여기서 개별 가설은 "탐욕적인 알고리즘"(즉, 로컬 최적화)의 정신으로 차례로 결정되며, 모든 가설의 예측 파라미터(즉, 움직임 벡터)가 로컬에서 변경되는 개선 단계가 뒤따를 수 있으며, 최대 반복 횟수에 도달하거나 추가 개선이 이루어지지 않을 때까지 모든 가설을 여러 번 반복할 수 있다.
또한, 합성된 예측 신호를 형성할 때 반올림 및/클리핑 연산(170, 172)과 같은 비선형 연산을 사용할 가능성에 대해 몇 가지 주의를 기울여야 한다. 실제적인 관점에서 개별 예측 변수/가설의 누적에 대해 실제 표현 비트 깊이(예를 들어, 10비트)보다 높은 비트 깊이 정확도(예를 들어, 14비트)가 사용되는지 여부에 대한 질문과는 별도로, 새로운 예측자/가설이 축적된 후 ("추가된") 비선형 반올림 연산이 적어도 몇 가지 있어야 한다. (누적 비트 깊이가 10이고 주어진 위치에서 지금까지 누적된 샘플 값이 1023이고 현재 추가 가설에 해당하는 샘플 값이 1022이고 두 예측 변수에 0.5가 가중된 경우 결과 값이 된다고 가정한다, 그러면 10 비트로 저장할 수 없는 1022.5가 될 것이며, 따라서 비트 깊이를 일정하게 유지하려면 반올림이 필요하거나 새로운 예측 변수마다 비트 깊이가 증가해야 한다.) 비트 깊이를 일정하게 유지하는 것이 일반적으로 바람직하기 때문에 반올림이 불가피하므로 구성이 반복적 인 방식으로 수행되어야 하며 하나의 큰 가중치 합계(또는 유사한 것)로 확장되지 않아야 한다.
또한, 도 6의 가중치 αi는 [0..1] 범위로 제한되지 않는다. 특히, 현재 (누적된) 예측 변수에 대한 가중치 {3/4, 9/8, 17/16} 및 추가 가설에 대한 {1/4, -1/8, -1/16}, 각각 (1-α) 및 α로 각각 사용될 수 있다. 반올림 외에 클리핑을 포함하는 연산 170, 172를 가짐으로써 결과 예측 샘플 값이 중간 합계 qi 및 최종 합성 예측자 q에 대한 범위를 벗어나는 것을 방지한다(예를 들어, 10 비트에 대해 <0 또는 >1023).
도 9의 구문 테이블은 Num병합dAdditionalHypotheseis의 값이 구문 분석 중에 이미 알려져 있다는 사실에 의존한다. 병합 후보 목록을 결정하고 결과적으로 사용된 병합 후보를 결정하는 데 시간이 많이 걸리는 작업이 될 수 있으며, 이는 구문 분석 프로세스 중에 피하고 실제 디코딩(즉, 재구성된 샘플 값의 계산)이 수행될 때까지 지연될 수 있기 때문에 그렇지 않을 수 있다. 다시 말해, 도 9에 따르면, 예측 파라미터를 정의하기 위한 명시적 정보 및 블록(106)의 명시적으로 정의된 프리미티브 예측의 수조차도 최종적으로 선택된 병합 후보의 예측 관련 정보, 즉 후자의 추가 프리미티브 예측의 수 K에 의존했다. 그러나 송신 손실로 인해 병합 후보가 디코더 측에서 확실하게 결정되지 않을 수 있으며, 디코더는 블록의 명시적으로 정의된 프리미티브 예측(206)에 관한 수 및 예측 파라미터에 관한 구문을 정확하게 분석할 수 없으므로, 송신 손실 문제가 증가한다. 따라서, 도 10의 구문 차트에서, 이 종속성은 데이터 스트림에서 이러한 정보 항목을 구문 분석하기 전에
Figure 112020101157630-pct00073
가 0으로 설정되어 미리 설정하여 분리되는데, 즉 연관된 기여 가중치(218)와 함께 구문 요소(212 내지 216)에 의해 시그널링되는 예측 파라미터의 수 및 플래그(210)를 통해 시그널링되는 블록(106)의 명시적으로 정의된 프리미티브 예측의 수. 다시 말해, 후자의 정보 항목의 코딩 및 구문 분석은 병합 후보의 설정, 특히 여기서 도출될 수 있는 모든
Figure 112020101157630-pct00074
, 특히 병합 후보 중에서 최종적으로 선택된 항목과는 독립적으로 렌더링된다. 그러나, 해당 디코딩 프로세스에서 다음 2개의 측면을 준수해야 한다.
Figure 112020101157630-pct00075
추가 가설
Figure 112020101157630-pct00076
의 효과적인 목록은 시그널링된 추가 가설, 즉 인접한 블록 K와 독립적인 플래그(210) 및 구문 요소(212 내지 218)를 사용하여도 10에 따라 송신되는 것들, 즉
Figure 112020101157630-pct00077
,
Figure 112020101157630-pct00078
병합된 추가 가설, 즉,
Figure 112020101157630-pct00079
을 추가한 결과이다.
Figure 112020101157630-pct00080
유효 목록의 최대 크기에 대한 제약 Kmax, 즉 209가 주어질 수 있다. 유효 목록이 너무 커서 너무 많은 추가 가설이 시그널링되면,
Figure 112020101157630-pct00081
+ 210에서 218을 통해 시그널링된 명시적으로 시그널링된 예측의 수가 Kmax를 초과하기 때문에 비트 스트림은 유효하지 않다.
병합 후보 목록에 대한 제한도 존재할 수 있다. 도 11의 구문 테이블에서 HEVC/H.265와 관련된 변경 사항이 강조 표시된다. 구문 요소(226), 병합 플래그에 의해 활성화된 병합 모드의 경우, B 슬라이스에 대해 추가 구문 요소(230) restricted_merge_flag가 송신되어 수정된 병합 후보가 사용될 것임을 표시한다. 이 플래그(230)가 참(즉, 1과 같음)이면, 병합 후보가 어떻게 수정되어야 하는지를 나타내는 추가 구문 요소(232, restricted_merge_list)가 송신된다. restricted_merge_list == 0이면, 사용된 병합 후보에 대해 list0 예측 만 사용된다. 마찬가지로, restricted_merge_list == 1이면, 사용된 병합 후보에 대해 list1 예측만 사용된다. 어쨌든, restricted_merge_flag == 1이면, 사용된 병합 후보의 잠재적으로 사용 가능한 모든 추가 가설은 폐기되는데, 즉 k 암시적 값은 불가피하게 0으로 설정된다. 대안적으로, 구문 요소(230)는 단지 이중 예측된 병합 후보들이 허용된다는 점에서 병합 후보 목록의 형성에 대한 변형을 시그널링할 수 있다. 이 가능성은 도 8과 관련하여 위에서 설명되었다.
추가 예는 도 12에 제공된다. 도 12는 CU 구문 예를 나타내고 HEVC에 대한 변경을 강조함으로써, 도 9 내지 11과 관련하여 제공된 실시예가 인터 예측 블록과 관련하여 사용에 제한되지 않음을 예시한다. 도 12의 예에서, 블록(106)의 예측자의 합성을 사용하는 개념은 또한 예측된 블록(106/80)에 적용된다. 도 12는 CU 구문을 도시한다. 명시적으로 정의된 추가 프리미티브 예측의 수는 다시 플래그(210)에 의해 시그널링된다. 그러나, 각각의 추가로 명시적으로 정의된 프리미티브 예측에 대해, 구문 요소(220)는 모드를 나타낸다. 즉, 명시적으로 정의된 hyp번째 추가 프리미티브 예측이 인트라 예측 또는 인터 예측 모드에 의해 해석된 것인지를 나타낸다. 이에 따라, 각각의 hyp번째 명시적으로 정의된 프리미티브 예측을 정의하는 인트라 예측 관련 구문 요소(222)가 뒤 따르고, 인터 예측 세부 사항의 관점에서 hyp번째 추가 프리미티브 예측을 정의하는 모든 구문 요소(210, 212, 214 및 216)가 이어진다. 두 경우 모두, 기여 가중치는 데이터 스트림, 즉 각각 218 또는 228로 송신된다. 그러나, 도 12의 예에 따르면, 합성된 예측 신호의 개념은 인트라 예측 블록(106)뿐만 아니라, 도 12의 CU 구문에 의해 호출되는 예측 단위 구문을 도시하는 도 13에 도시된 바와 같이 인터 예측 블록에도 사용된다. 여기에서도, 인터 예측베이스 예측 p1의 경우, 추가 프리미티브 예측 p2 내지
Figure 112020101157630-pct00082
의 모드는 시그널링된 하나의 인트라 예측 관련 또는 인터 예측 관련일 수 있다. 즉, 인트라 예측 블록에 대해 도 12에 표시된 것과 동일한 구문이 인터 예측 PU에 적용되므로 도 13에서 동일한 참조 부호가 사용되었다.
다르게 또는 다른 용어를 사용하여, 위의 실시예는 블록 기반 예측 디코딩/인코딩을 사용하여 데이터 스트림으로부터/내부로 비디오를 디코딩/인코더하기 위한 인터 앨리어스, 비디오 디코더 및 비디오 인코더를 나타내며, 여기서 미리 결정된 블록에 대한 예측 106은 다음을 포함한다: 데이터 스트림(14)에서 전달되는 제1 예측 정보. 병합 모드를 활성화하여 병합 모드를 사용할 수 있다. 즉, 제1 예측 정보는 병합 플래그(226)를 포함할 수 있다. 플래그가 병합 모드를 활성화하지 않는 경우, 제1 예측 정보는 예측 모드 및 관련 파라미터를 명시적으로 나타낼 수 있다. 예를 들어, p1에 대해 인터 예측 모드가 적용되는 블록(80)만이 복합 예측의 대상이 될 수 있지만, p1에 대해 인트라 예측 모드가 적용된 블록(80)만 또는 두 블록 모두에 적용될 수도 있고, 즉, p1에 대해 인터 예측 모드가 적용되는 것과 p1에 대해 인트라 예측 모드가 적용된 것이 복합 예측의 대상이 된다는 것에 유의한다. 제1 예측 정보에 기초하여,도 4의 도출(114)의 일부와 같이 제1 예측 신호 p1이 결정/도출된다. 또한, 숫자 K는 데이터 스트림(14)으로부터 도출된다. 실시예에서, 이것은 Kmax가 이미 도달되었는지 여부에 따라 K + 1 또는 K회 순차적으로 송신되는 플래그(210)를 통해 수행된다. 그러나, 이러한 잘린(truncated) 단항 코드 대신 다른 코딩이 사용될 수 있다. 특히, 데이터 스트림에서 후속적으로 언급되는 정보를 갖는 플래그(210)의 인터리빙은 다르게 해결될 수 있다. 또한, K는 데이터 스트림(14)에서 예측적으로 코딩될 수 있다. 예를 들어, 위에서
Figure 112020101157630-pct00083
는
Figure 112020101157630-pct00084
만 송신되는 K에 대한 예측자로 볼 수 있다. K개의 추가 예측 신호
Figure 112020101157630-pct00085
이 결정되고 K개의 추가 예측 신호 각각에 대해 합성 가중치가 결정된다. 명시적 시그널링 및/또는 암시적 시그널링은 디코더 및 인코더를 동기화 상태로 유지하기 위해, 즉
Figure 112020101157630-pct00086
에 대한 하나 이상의 예측 파라미터들의 세트를 송신하고 기여 가중치를 송신하기 위해 사용될 수 있다. 예를 들어,
Figure 112020101157630-pct00087
모두에 대해, 하나 이상의 예측 파라미터들의 세트가 명시적으로 송신될 수 있다. 이 세트는 모든 예측 신호
Figure 112020101157630-pct00088
에 대해 도 30에서 130으로 표시되었다. 도 9 내지13에서이 세트에는 모드에 따라 212 내지 216 또는 222가 포함되었다. 모드 표시(220)는 또한 포함되거나 시그널링될 수 있다. 그러나, 모든
Figure 112020101157630-pct00089
은 기본적으로 단일 예측 모드와 같은 인터 예측 모드일 수 있다. 기여 가중치
Figure 112020101157630-pct00090
에 대한 정보는 명시적으로 및/또는 암시적으로 송신될 수도 있다. 예를 들어, 이들 모두는 구문 요소(218/228)를 통해 명시적으로 송신될 수 있다. 인덱싱은 도 7과 관련하여 위에서 설명한대로 사용될 수 있다. 미리 결정된 블록(106)은 제1 예측 신호 및 K개의 추가 예측 신호 및 이에 대한 합성 가중치에 기초하여 최종적으로 예측된다. 예측을 위해 도 6과 관련하여 설명된 바와 같이, K개의 추가 예측 신호들 각각은 각각의 추가 예측 신호에 대한 합성 가중치로 각각의 추가 예측 신호에 가중치를 부여하고, 각각의 추가 예측 신호에 대한 순차 추가의 중간 합을 가중하여 제1 예측 신호에 순차적으로 추가될 수 있으며, 1에서 구성 가중치를 뺀 값이 추가된다. K개의 추가 예측 신호 각각에 대한 기여 가중치는 기여 가중치가 K개의 추가 예측 신호에 대해 동일한 수의 값으로 구성된 값 도메인에서 하나의 값을 가정하도록 하는 방식으로 데이터 스트림에 전달 될 수 있다. 값 도메인은 K개의 추가 예측 신호에 대해 동일할 수 있다.
Figure 112020101157630-pct00091
중 하나에 대해 하나 이상의 값이 [0; 1] 밖에 있을 수 있다. 클리핑 및/또는 반올림 연산(170; 172) 및/또는 다른 비선형이 적어도 중간 합계의 하위 세트에 대해 적용될 수 있다.
다음 사항도 언급된다. 위의 예는 제1 예측 p1에 대해 동일한 것이 일종의 제어된 제한된 병합의 대상이 될 가능성을 보여준다. 병합 플래그(226)에 의해 병합 모드가 활성화되는 블록(106)에 대해, 병합 후보 제한 시그널링(230)이 데이터 스트림에 시그널링된다. 미리 결정된 블록(106)에 대한 예측 파라미터 병합 후보들의 세트의 결정은 예측 파라미터 병합 후보들의 세트로부터 단일 예측의 예측 파라미터 병합 후보들, 즉 정보(194)가 지시하는 블록들(190a, b) 중 하나를 제외함으로써 행해진 다. p1에 대한 이중 예측의 미사용, 병합 후보 제한 시그널링(230)이 이중 예측의 예측 파라미터 병합 후보에 대한 병합 후보 제한을 나타내는 경우, 단일 예측의 예측 파라미터 병합 후보를 예측 파라미터 병합 후보 세트에 허용하는 경우 병합 후보 제한 시그널링(230)은 이중 예측의 예측 파라미터 병합 후보들, 즉 블록 190a, b에 대한 병합 후보 제한을 나타내지 않으며, 이에 대한 대응 정보(194)는 대응 정보가 있는 블록 190a, b에 추가하여 단일 예측을 제안하는데, 194는 이중 예측을 제안한다. 예측 파라미터 병합 후보들의 세트는 실제로 순서화된 세트, 즉 목록 일 수 있음에 유의한다. 정렬은 블록(106)에 대한 특정 추정치 또는 설정과 함께 각각의 예측 파라미터 병합 후보와 비교함으로써 수행될 수 있다. 예측 파라미터 병합 후보 또는 병합 후보는 이전 설명뿐만 아니라 여기에 언급된 바와 같이 하나의 인접 블록에서만 또는 둘 이상의 해당 블록에서 획득되었을 수 있는 200, 202 및 204와 같은 예측 관련 설정과 관련되며, 어떤 종류의 평균이나 다른 조합 등으로 인접한다는 것에 유의한다. 더욱이, 인접한 블록은 위에서 개략적으로 설명된 바와 같이 블록 106이 아닌 다른 픽처에도 놓일 수 있다. 더욱이, 예측 파라미터 병합 후보 세트는 예를 들어 세트/목록에서 예측 파라미터 병합 후보의 고정된 수 또는 카디널리티를 달성하기 위해 하나 이상의 기본 예측 파라미터 설정에 의해 추가로 보완되었을 수 있으며, 일부 인접한 블록이 누락되었다. 예측 파라미터 병합 후보 세트 중 하나가 미리 결정된 블록에 대해 선택된다. 이를 위해 도 12의 merde_idx와 같은 인덱스를 사용할 수 있다. 예측 파라미터 병합 후보 세트 중 하나를 인덱싱한다. 병합 후보 제한 시그널링(230)이 이중 예측의 예측 파라미터 병합 후보들에 대한 병합 후보 제한을 나타내는 경우, 데이터 스트림은 가설 선택 표시(232)를 포함한다. 미리 결정된 블록에 대한 예측 정보를 결정하는 것은 선택된 예측 파라미터 병합 후보의 2개의 가설 중 하나에 따라 파라미터화된 단일 예측의 예측을 사용하여 획득되며, 병합 후보 제한이 있는 경우, 가설 선택 표시(232)에 따라 하나의 가설이 선택됨 시그널링(230)은 이중 예측의 예측 파라미터 병합 후보에 대한 병합 후보 제한을 나타내고, 병합 후보 제한 시그널링(230)이 이중 예측의 예측 파라미터 병합 후보에 대한 병합 후보 제한을 나타내지 않는 경우, 선택된 예측 파라미터 병합 후보에 따른 예측, 즉 선택된 예측 파라미터 병합 후보가 이중 예측인 경우, 선택된 예측 파라미터 병합 후보의 2개의 가설에 따라 파라미터화된 이중 예측의 예측 및 다음과 같은 경우 선택된 예측 파라미터 병합 후보에 따라 파라미터화된 단일 예측의 예측 선택된 예측 파라미터 병합 후보는 단일 예측이다. 전술한 바와 같이, 단일 예측에서 예측 신호는 참조 픽처의 시프트 및 보간된 영역, 즉 참조에 사용되는 픽처일 수 있다. 사용된 참조 픽처는 참조 인덱스에 의해 지정되고 참조 픽처 내에서 보간 될 수 있는 영역의 위치는 움직임 벡터에 의해 현재 블록에 상대적으로 지정된다. 참조 인덱스 및 움직임 벡터는 병합 후보로부터 채택되거나 다르게 말하면 블록(106)의 단일 예측을 파라미터화하는 데 사용되는데, 즉, 단위 예측 또는 이중 예측의 선택된 가설에서 사용된다. 이중 예측에서 2개의 움직임 보상 예측 신호는 2개의 구성 예측 신호 또는 일부 다른 가중치 비율에 대해 계수 0.5를 사용하는 것과 같이 선형적으로 중첩된다. 따라서, 이중 예측의 경우 이중 예측 병합 후보에서 2개의 참조 인덱스와 움직임 벡터를 채택하거나 이중 예측을 파라미터화하는 데 사용한다. 여기에서 이중 예측에 대한 모든 언급과 마찬가지로, 여기서 2개의 가설의 조합은 2개의 가설을 동일한 가중치로 합산하거나 데이터 스트림에서 픽처별로 시그널링된 일부 가중치 비율로 합산하여 고정적으로 수행할 수 있다. 따라서, 병합 후보 제한 시그널링(230)이 이중 예측의 예측 파라미터 병합 후보에 대한 병합 후보 제한을 나타내는지 여부에 따라, p1의 도출은 이 실시예에 따라 처음부터 다르게, 즉 병합 후보 목록의 구성과 다르게 행해졌다. 그러나, 대안적인 실시예에 따르면, 비디오 디코더와 비디오 인코더는
Figure 112020101157630-pct00092
의 형태로 추가 가설을 추가하는 것을 지원하지 않지만, 단지 설명된 방식으로 인터 예측된 블록 106에 대한 병합을 처리하며, 블록(106) 및 도 12 및 13의 예에서,
Figure 112020101157630-pct00093
의 추가와 관련된 것보다 HEVC 구문에 추가하여 단지 구문 요소(230 및 32)가 있을 것이다. 지금까지, 제한된 병합 후보 목록 구성의 방금 강조된 문제와 관련하여 설명된 한 위에 제시된 모든 세부 사항은 p1과 관련하여 병합에 초점을 맞춘 최근 강조된 실시예에 대한 추가 세부 사항을 위한 저장소를 형성할 것인데, 예를 들어, 인코더 및 디코더를 내부적으로 구현하는 방법 및 픽처를 현재 처리된 블록, 즉 106을 포함하는 블록(80)으로 세분화하는 방법과 같은, 도 1 내지 도 3과 관련하여 위에 제시된 모든 세부 사항과 같은 다른 예측 신호를 형성할 것이다.
또한 다음 사항에 유의한다. 위의 예는 또한 제1 예측 p1에 대해, 병합 후보의 예측 설정이 현재 블록(106)에 대해 재사용되는 범위, 즉 채택된 수와 관련하여 일종의 제어된 제한된 병합의 대상이 될 가능성을 나타내며, 선택된 병합 후보가 이중 예측, 즉 병합 후보 목록 형성을 이중 예측으로 제한하는 것이 아니라 이중 예측 모드가 적용되는 경우에 대한 가설이다. merge_flag를 사용하는 것과 같이 병합 모드가 활성화되는 블록(106)에 대해, 미리 결정된 블록에 대한 예측 파라미터 병합 후보들의 세트가 디코더 및 인코더에서 결정된다. 결정은 도 8 또는 이전 단락에서와 같이 위에서 이미 설명한 방식으로 수행된다. 미리 정의된 블록에 대한 예측 파라미터 병합 후보 세트 중 하나가 선택된다. 예를 들어, 도 8과 관련하여 이미 설명한 것처럼 데이터 스트림에서 선택된 인덱스에 대한 인덱스 시그널라이제이션을 사용하거나 이전 단락에서 병합 후보 제한 시그널링(230)은 데이터 스트림에서 시그널링된다. 이것은 불가피하게 수행될 수 있는데, 즉 선택된 병합 후보가 이중 예측인지 아닌지에 관계없이, 오류 견고성을 증가 시키거나, 단일 예측인 선택된 병합 후보가 다음과 같은 경우 시그널링(230)을 생략하여 이중 예측이 되는 선택된 병합 후보에 응답한다. 병합 후보 제한 무시(230)가 제한된 병합 동작을 나타내는 경우, 데이터 스트림에는 가설 선택 표시(232)가 추가로 제공된다. 미리 결정된 블록에 대한 예측 정보는 다음을 사용하여 결정된다: 1) 선택된 예측 파라미터 병합 후보가 선택된 예측 파라미터 병합 후보에 따라 파라미터화된 단일 예측, 단일 예측의 예측인 경우, 2) 선택된 예측 파라미터 병합 후보가 선택된 예측 파라미터 병합 후보의 2개의 가설 중 하나에 따라 파라미터화된 이중 예측, 단일 예측의 예측이면, 병합 후보 제한 시그널링 인 경우 가설 선택 표시(232)에 따라 하나의 가설이 선택됨 230은 제한된 병합 작업을 나타냄, 3) 선택된 예측 파라미터 병합 후보가 이중 예측이고, 병합 후보 제한 시그널링(230)이 제한된 병합 동작을 나타내지 않으면, 선택된 예측 파라미터 병합 후보의 2개의 가설에 따라 파라미터화된 이중 예측의 예측. 이러한 방식으로, 블록(106)에 대한 p1이 결정되었다. 그러나, 대안적인 실시예에 따르면, 비디오 디코더 및 비디오 인코더는
Figure 112020101157630-pct00094
의 형태로 추가 가설의 추가를 지원하지 않고, 단지 개요가 설명된 방식으로 인터 예측된 블록(106)에 대한 병합을 처리 할 뿐인데, 즉 그러한 블록(106)에 대한 단지 p1이 있다. 지금까지, 제한된 병합 후보 목록 구성의 방금 강조된 문제와 관련하여 설명된 한 위에 제시된 모든 세부 사항은 p1과 관련하여 병합에 초점을 맞춘 최근 강조된 실시예에 대한 추가 세부 사항을 위한 저장소를 형성할 것인데, 예를 들어, 인코더 및 디코더를 내부적으로 구현하는 방법 및 픽처를 현재 처리된 블록, 즉 106을 포함하는 블록(80)으로 세분화하는 방법과 같은, 도 1 내지 3과 관련하여 위에 제시된 모든 세부 사항과 같은 다른 예측 신호를 형성할 것이다.
일부 양태가 장치의 맥락에서 설명되었지만, 이러한 양태가 또한 대응하는 방법의 설명을 나타내는 것이 명백하며, 여기서 블록 및 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 양태은 또한 대응하는 블록 또는 아이템의 설명 또는 대응하는 장치의 특징을 나타낸다. 방법 단계의 일부 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해 (또는 사용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 실행될 수 있다.
본 발명의 데이터 스트림은 디지털 저장 매체에 저장될 수 있거나 인터넷과 같은 유선 송신 매체 또는 무선 송신 매체와 같은 송신 매체를 통해 송신될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전기적으로 판독 가능한 제어 신호가 저장된, 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루 레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 본원에 설명된 방법 중 하나가 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되는 경우 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어에 저장될 수 있다.
다른 실시예는 기계 판독 가능 캐리어 상에 저장된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해, 본 발명의 방법의 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 다른 실시예는 그 위에 기록된, 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 통상적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능 논리 디바이스를 포함한다.
다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 다른 실시예는 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에(예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예에서, 필드 프로그램 가능 게이트 어레이는 본원에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본원에 설명된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 기재된 장치 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본원에 설명된 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법 또는 본 명세서에 설명된 장치의 임의의 구성 요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다.
위에서 설명된 실시예는 본 발명의 원리를 예시하기 위한 것일 뿐이다. 본원에 설명된 구성 및 세부사항의 수정 및 변형은 본 기술분야의 통상의 기술자에게 명백할 것임을 이해한다. 따라서, 곧 있을 청구범위의 범위에 의해서만 제한되고 본원의 실시예에 대한 기술 및 설명에 의해 제공된 특정 세부사항에 의해서만 한정되는 것은 아니다.

Claims (131)

  1. 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더에 있어서,
    상기 비디오 디코더는
    프리미티브 예측 모드들의 세트(100)로부터의 하나 이상의 프리미티브 예측 모드들의 모음(112)을 사용하여, 미리 결정된 블록(106)에 대한 하나 이상의 프리미티브 예측들의 모음(110)을 도출하고(114),
    하나 이상의 프리미티브 예측들의 모음을 조합(116)함으로써 상기 미리 결정된 블록(106)에 대해 합성된 예측 신호(108)를 형성함으로써,
    상기 합성된 예측 신호(108)에 의해 상기 미리 결정된 블록(106)을 예측하도록 구성된 상기 비디오(11')의 픽처(12')의 블록들(80)을 예측하기 위한 프리미티브 예측 모드들의 세트(100)를 지원하며,

    상기 비디오 디코더는,
    반복 관계
    Figure 112022052109319-pct00187

    Figure 112022052109319-pct00188
    에 대해,
    Figure 112022052109319-pct00189

    을 사용함으로써 상기 합성을 수행하도록 구성되며,
    Figure 112022052109319-pct00190
    은 상기 합성된 예측 신호(108)이고,
    Figure 112022052109319-pct00191
    은 상기 프리미티브 예측 모드들의 모음(112)을 사용하여 도출된 상기 하나 이상의 프리미티브 예측들의 모음(110)이고,
    Figure 112022052109319-pct00192
    이고
    Figure 112022052109319-pct00193
    이며, mn은 fn이 의존하는 프리미티브 예측들의 수이고,
    Figure 112022052109319-pct00194
    Figure 112022052109319-pct00195
    이고,
    Figure 112022052109319-pct00196
    은 상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티이고,
    fn은 중간 합성된 예측 신호 qn과 하나 이상의 프리미티브 예측 신호들
    Figure 112022052109319-pct00197
    을 새로운 중간 예측 신호
    Figure 112022052109319-pct00198
    에 매핑하는 함수인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  2. 제1항에 있어서,
    가중 중첩을 사용하여 상기 하나 이상의 프리미티브 예측들의 모음을 조합(116)함으로써 상기 미리 결정된 블록에 대한 합성된 예측 신호를 형성하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  3. 제1항에 있어서,
    상기 블록들(80) 중 하나를 초과하는 블록에 대해 합성된 예측 신호에 의해 예측을 수행하고,
    하위 픽처 입도에서,
    상기 하나 이상의 프리미티브 예측 모드들의 모음(112)의 카디널리티 및/또는
    상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티
    를 로컬 변경하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  4. 제1항에 있어서,
    공간적 및/또는 시간적 예측에 의해, 상기 미리 결정된 블록에 대해,
    상기 하나 이상의 프리미티브 예측 모드들의 모음(112)의 카디널리티 및/또는
    상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티
    를 결정하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  5. 제1항에 있어서,
    공간적 및/또는 시간적 예측을 도출하고 상기 데이터 스트림(14)에서 전달된 명시적 정보(210)를 사용하여 이를 수정함으로써, 상기 미리 결정된 블록에 대해,
    상기 하나 이상의 프리미티브 예측 모드들의 모음(112)의 카디널리티 및/또는
    상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티
    를 결정하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  6. 제1항에 있어서,
    상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티가 2보다 크도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  7. 제1항에 있어서,
    상기 블록들(80) 중 하나를 초과하는 블록에 대해 합성된 예측 신호에 의해 예측을 수행하고, 상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티를 하위 픽처 입도에서 로컬 변경하여, 상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티가 1...Kmax+1 사이에서 변경되도록 구성되며, 상기 비디오 디코더는 상기 데이터 스트림(14)으로부터 Kmax를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    모든 n =1...K에 대해, 각각의 함수 fn
    Figure 112022052109319-pct00107
    h
    Figure 112022052109319-pct00108

    에 의해 일반 합성 함수 h로부터 도출 가능하고,
    αn은 함수 fn에 대해 상기 일반 합성 함수 h를 파라미터화하는 하나 또는 함수 파라미터들의 세트인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  11. 제10항에 있어서,
    αn은 n = 1...K 중 적어도 하나 또는 모두에 대한 스칼라인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  12. 삭제
  13. 제10항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, αn은 스칼라 αn이고,
    Figure 112020101276014-pct00109
    이고, h
    Figure 112020101276014-pct00110
    ·
    Figure 112020101276014-pct00111
    인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  14. 제13항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, αn은 간격 [0; 1] 외부의 적어도 하나의 값을 포함하는 시그널링 가능한 값 범위로 상기 데이터 스트림에서 시그널링되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  15. 제10항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해,
    Figure 112020101276014-pct00112
    이고, h
    Figure 112020101276014-pct00113
    이고,
    Figure 112020101276014-pct00114
    및
    Figure 112020101276014-pct00115
    은 각각 αn에 의해 정의되는 샘플별 가중치
    Figure 112020101276014-pct00116
    및
    Figure 112020101276014-pct00117
    에 대한 가중치 인자 블록들인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  16. 제15항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해,
    Figure 112020101157630-pct00118
    인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  17. 제1항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, 상기 함수 fn은 클리핑 및/또는 반올림 연산자(170; 172)를 포함하는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  18. 제1항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, 상기 함수 fn은 구성 요소별 연산이므로
    Figure 112022052109319-pct00119
    의 각각의 샘플 위치는
    Figure 112022052109319-pct00120
    에서의 다른 샘플 위치들과 독립적인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  19. 제1항에 있어서,
    인접하는 이전에 디코딩된 블록들(190a, 190b)의 세트에 사용되는 예측 설정들에서 병합 후보를 결정하고,
    상기 병합 후보로부터, 상기 프리미티브 예측 신호 p1의 도출을 위해, 상기 프리미티브 예측 신호 p1이 연관되는 프리미티브 예측 모드를 파라미터화하기 위한 하나 이상의 예측 파라미터들의 세트(130)를 상속받도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  20. 삭제
  21. 삭제
  22. 제1항에 있어서,
    이전에 디코딩된 블록들(190a, 190b)의 세트에 사용되는 예측 설정들에서 병합 후보를 결정하고,
    상기 병합 후보로부터,
    Figure 112022052109319-pct00121
    (
    Figure 112022052109319-pct00122
    )을 도출하고,
    상기 데이터 스트림으로부터 오프셋
    Figure 112022052109319-pct00123
    을 도출하고,
    상기 프리미티브 예측 신호
    Figure 112022052109319-pct00124
    각각의 도출을 위해, 상기 각각의 프리미티브 예측 신호가 연관되는 프리미티브 예측 모드를 파라미터화하기 위한 하나 이상의 예측 파라미터들의 세트(130)를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  23. 제22항에 있어서,
    상기 병합 후보로부터
    Figure 112020101157630-pct00125
    을 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  24. 제22항에 있어서,
    상기 데이터 스트림에서 플래그별로 시그널링되는 증분 단위로 상기 데이터 스트림으로부터
    Figure 112020101276014-pct00126
    의 오프셋을 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  25. 제22항에 있어서,
    상기 병합 후보로 구성된 K를 상기 미리 결정된 블록에 대한
    Figure 112020101276014-pct00127
    로 채택하고, 또는
    디폴트 방식으로,
    상기 데이터 스트림에서의 시그널링에 따라,
    상기 병합 후보로 구성된 K를 감소시킴으로써,
    상기 병합 후보로부터
    Figure 112020101276014-pct00128
    를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  26. 제1항에 있어서,
    상기 프리미티브 예측 모드들의 세트는 하나 이상의 인트라 예측 모드들 및 하나 이상의 인터 예측 모드들을 포함하고, 상기 비디오 디코더는 상기 프리미티브 예측 모드들의 모음에 포함되는 상기 하나 이상의 인터 예측 모드들을 사용하여
    Figure 112022101670238-pct00129
    을 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  27. 제1항에 있어서,
    상기 미리 결정된 블록(106)에 대한 하나 이상의 프리미티브 예측들의 모음(110)을 도출(114)할 시에, 인터 예측을 사용하여 제1 프리미티브 예측 신호 p1을 도출하고, 인트라 예측을 사용하여 제2 프리미티브 예측 신호 p2를 도출하고,
    Figure 112020101276014-pct00130
    에 따라 상기 미리 결정된 블록(106)에 대해 상기 합성된 예측 신호(108)를 합성하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  28. 제27항에 있어서,
    인접한 이전에 디코딩된 블록들(190a, 190b)의 세트에 사용되는 예측 설정들에서 병합 후보를 결정하고, 상기 병합 후보로부터 상기 제1 프리미티브 예측 신호 p1의 도출을 위한 하나 이상의 인터 예측 파라미터들의 세트(130)를 상속받고, 상기 미리 결정된 블록(106)에 대해 상기 데이터 스트림에 포함된 정보로부터 상기 프리미티브 예측 신호 p2에 대한 하나 이상의 인트라 예측 파라미터들의 세트(130)를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  29. 제28항에 있어서,
    상기 병합 후보로부터 상기 제1 프리미티브 예측 신호 p1의 도출을 위한 하나 이상의 인터 예측 파라미터들의 세트(130)를 상속받고, 합성된 예측 신호를 사용하여 코딩된 병합 후보의 경우 및 인트라 예측된 프리미티브 예측을 포함하는 프리미티브 예측들의 조합으로 형성된 합성 예측 신호를 사용하여 코딩된 병합 후보의 경우, 상기 미리 결정된 블록(106)에 대해 상기 데이터 스트림에 포함된 정보로부터 상기 프리미티브 예측 신호 p2에 대한 하나 이상의 인트라 예측 파라미터들의 세트(130)를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하기 위한 비디오 디코더.
  30. 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더에 있어서,
    상기 비디오 인코더는
    예측 모드들의 세트(100)로부터의 하나 이상의 예측 모드들의 모음(112)을 사용하여, 미리 결정된 블록(106)에 대한 프리미티브 예측들의 모음(110)을 도출하고(114),
    상기 프리미티브 예측들의 모음을 조합(116)함으로써 상기 미리 결정된 블록(106)에 대해 합성된 예측 신호(108)를 형성함으로써,
    상기 합성된 예측 신호에 의해 상기 미리 결정된 블록(106)을 예측하도록 구성된 상기 비디오의 픽처(12)의 블록들(80)을 예측하기 위한 프리미티브 예측 모드들의 세트(100)를 지원하며,

    상기 비디오 인코더는,
    반복 관계
    Figure 112022052109319-pct00199

    Figure 112022052109319-pct00200
    에 대해,
    Figure 112022052109319-pct00201

    을 사용함으로써 상기 합성을 수행하도록 구성되며,
    Figure 112022052109319-pct00202
    은 상기 합성된 예측 신호이고,
    Figure 112022052109319-pct00203
    은 상기 하나 이상의 프리미티브 예측 모드들의 모음을 사용하여 도출된 상기 프리미티브 예측들의 모음이고,
    Figure 112022052109319-pct00204
    이고
    Figure 112022052109319-pct00205
    이며, mn은 fn이 의존하는 프리미티브 예측들의 수이고,
    Figure 112022052109319-pct00206
    Figure 112022052109319-pct00207
    이고,
    Figure 112022052109319-pct00208
    은 상기 프리미티브 예측들의 모음의 카디널리티이고,
    fn은 중간 합성된 예측 신호 qn과 하나 이상의 프리미티브 예측 신호들
    Figure 112022052109319-pct00209
    을 새로운 중간 예측 신호
    Figure 112022052109319-pct00210
    에 매핑하는 함수인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  31. 제30항에 있어서,
    가중 중첩을 사용하여 상기 프리미티브 예측들의 모음을 조합함으로써 상기 미리 결정된 블록에 대한 합성된 예측 신호를 형성하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  32. 제30항에 있어서,
    상기 블록들 중 하나를 초과하는 블록에 대해 합성된 예측 신호에 의해 예측을 수행하고,
    하위 픽처 입도에서,
    상기 하나 이상의 프리미티브 예측 모드들의 모음의 카디널리티 및/또는
    상기 프리미티브 예측들의 모음의 카디널리티
    를 로컬 변경하도록 구성되는 것을 특징으로 하는 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  33. 제30항에 있어서,
    공간적 및/또는 시간적 예측에 의해, 상기 미리 결정된 블록에 대해,
    상기 하나 이상의 프리미티브 예측 모드들의 모음의 카디널리티 및/또는
    상기 프리미티브 예측들의 모음의 카디널리티
    를 결정하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  34. 제30항에 있어서,
    공간적 및/또는 시간적 예측을 도출하고 상기 데이터 스트림으로 명시적 정보(210)를 사용하여 이의 수정을 시그널링함으로써, 상기 미리 결정된 블록에 대해,
    상기 하나 이상의 프리미티브 예측 모드들의 모음의 카디널리티 및/또는
    상기 프리미티브 예측들의 모음의 카디널리티
    를 결정하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  35. 제30항에 있어서,
    상기 프리미티브 예측들의 모음(110)의 카디널리티가 2보다 크도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  36. 제30항에 있어서,
    상기 블록들(80) 중 하나를 초과하는 블록에 대해 합성된 예측 신호에 의해 예측을 수행하고, 상기 프리미티브 예측들의 모음(110)의 카디널리티를 하위 픽처 입도에서 로컬 변경하여, 상기 프리미티브 예측들의 모음(110)의 카디널리티가 1...Kmax+1 사이에서 변경되도록 구성되며, 상기 비디오 인코더는 상기 데이터 스트림(14)으로부터 Kmax를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  37. 삭제
  38. 삭제
  39. 제30항에 있어서,
    모든 n =1...K에 대해, 각각의 함수 fn
    Figure 112022052109319-pct00143
    h
    Figure 112022052109319-pct00144

    에 의해 일반 합성 함수 h로부터 도출 가능하고,
    αn은 함수 fn에 대해 상기 일반 합성 함수 h를 파라미터화하는 하나 또는 함수 파라미터들의 세트인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  40. 제39항에 있어서,
    αn은 n = 1...K 중 적어도 하나 또는 모두에 대한 스칼라인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  41. 삭제
  42. 제39항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, αn은 스칼라 αn이고,
    Figure 112020101276014-pct00145
    이고, h
    Figure 112020101276014-pct00146
    ·
    Figure 112020101276014-pct00147
    인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  43. 제42항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, αn을 결정하여, 간격 [0; 1] 외부의 적어도 하나의 값을 포함하는 시그널링 가능한 값 범위로 상기 데이터 스트림에서 시그널링하는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  44. 제39항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해,
    Figure 112020101276014-pct00148
    이고, h
    Figure 112020101276014-pct00149
    이고,
    Figure 112020101276014-pct00150
    및
    Figure 112020101276014-pct00151
    은 각각 αn에 의해 정의되는 샘플별 가중치
    Figure 112020101276014-pct00152
    및
    Figure 112020101276014-pct00153
    에 대한 가중치 인자 블록들인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  45. 제44항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해,
    Figure 112020101276014-pct00154
    인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  46. 제30항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, 상기 함수 fn은 클리핑 및/또는 반올림 연산자를 포함하는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  47. 제30항에 있어서,
    n = 1...K 중 적어도 하나 또는 모두에 대해, 상기 함수 fn은 구성 요소별 연산이므로
    Figure 112022052109319-pct00155
    의 각각의 샘플 위치는
    Figure 112022052109319-pct00156
    에서의 다른 샘플 위치들과 독립적인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  48. 제30항에 있어서,
    인접하는 이전에 인코딩된 블록들의 세트에 사용되는 예측 설정들에서 병합 후보를 결정하고,
    상기 병합 후보로부터, 상기 프리미티브 예측 신호 p1의 도출을 위해, 상기 프리미티브 예측 신호 p1이 연관되는 하나의 프리미티브 예측 모드를 파라미터화하기 위한 하나 이상의 예측 파라미터들의 세트를 상속받도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  49. 삭제
  50. 삭제
  51. 제30항에 있어서,
    이전에 인코딩된 블록들의 세트에 사용되는 예측 설정들에서 병합 후보를 결정하고,
    상기 병합 후보로부터,
    Figure 112022052109319-pct00157
    (
    Figure 112022052109319-pct00158
    )을 도출하고,
    상기 데이터 스트림으로부터
    Figure 112022052109319-pct00159
    로부터 K의 오프셋을 도출하고,
    상기 프리미티브 예측 신호
    Figure 112022052109319-pct00160
    각각의 도출을 위해, 상기 각각의 프리미티브 예측 신호가 연관되는 하나의 프리미티브 예측 모드를 파라미터화하기 위한 하나 이상의 예측 파라미터들의 세트를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  52. 제51항에 있어서,
    상기 병합 후보로부터
    Figure 112020101276014-pct00161
    을 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  53. 제51항에 있어서,
    상기 데이터 스트림에서 플래그별로 시그널링함으로써 증분 단위로 상기 데이터 스트림에서 K로부터
    Figure 112020101276014-pct00162
    의 오프셋을 시그널링하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  54. 제51항에 있어서,
    상기 병합 후보로 구성된 K를 상기 미리 결정된 블록에 대한
    Figure 112020101276014-pct00163
    로 채택하고, 또는
    디폴트 방식으로,
    상기 데이터 스트림에서의 시그널링에 따라,
    상기 병합 후보로 구성된 K를 감소시킴으로써,
    상기 병합 후보로부터
    Figure 112020101276014-pct00164
    를 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  55. 제30항에 있어서,
    상기 프리미티브 예측 모드들의 세트는 하나 이상의 인트라 예측 모드들 및 하나 이상의 인터 예측 모드들을 포함하고, 상기 비디오 인코더는 상기 프리미티브 예측 모드들의 모음에 포함되는 상기 하나 이상의 인터 예측 모드들을 사용하여
    Figure 112022101670238-pct00165
    을 도출하도록 구성되는 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하기 위한 비디오 인코더.
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하는 방법에 있어서,
    상기 방법은 상기 비디오(11')의 픽처(12')의 블록들(80)을 예측하기 위한 프리미티브 예측 모드들의 세트(100)를 지원하고,
    상기 방법은
    프리미티브 예측 모드들의 세트(100)로부터의 하나 이상의 프리미티브 예측 모드들의 모음(112)을 사용하여, 미리 결정된 블록(106)에 대한 프리미티브 예측들의 모음(110)을 도출하고(114),
    상기 프리미티브 예측들의 모음을 조합(116)함으로써 상기 미리 결정된 블록(106)에 대해 합성된 예측 신호(108)를 형성함으로써,
    상기 합성된 예측 신호(108)에 의해 상기 미리 결정된 블록(106)을 예측하는 단계를 포함하며,

    상기 방법은,
    반복 관계
    Figure 112022052109319-pct00211

    Figure 112022052109319-pct00212
    에 대해,
    Figure 112022052109319-pct00213

    을 사용함으로써 상기 합성을 수행하는 것을 포함하며,
    Figure 112022052109319-pct00214
    은 상기 합성된 예측 신호(108)이고,
    Figure 112022052109319-pct00215
    은 상기 프리미티브 예측 모드들의 모음(112)을 사용하여 도출된 상기 하나 이상의 프리미티브 예측들의 모음(110)이고,
    Figure 112022052109319-pct00216
    이고
    Figure 112022052109319-pct00217
    이며, mn은 fn이 의존하는 프리미티브 예측들의 수이고,
    Figure 112022052109319-pct00218
    Figure 112022052109319-pct00219
    이고,
    Figure 112022052109319-pct00220
    은 상기 하나 이상의 프리미티브 예측들의 모음(110)의 카디널리티이고,
    fn은 중간 합성된 예측 신호 qn과 하나 이상의 프리미티브 예측 신호들
    Figure 112022052109319-pct00221
    을 새로운 중간 예측 신호
    Figure 112022052109319-pct00222
    에 매핑하는 함수인 것을 특징으로 하는 블록 기반 예측 디코딩을 사용하여 데이터 스트림(14)으로부터 비디오(11')를 디코딩하는 방법.
  79. 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하는 방법에 있어서,
    상기 방법은 상기 비디오의 픽처(12)의 블록들(80)을 예측하기 위한 프리미티브 예측 모드들의 세트(100)를 지원하고,
    상기 방법은
    예측 모드들의 세트(100)로부터의 하나 이상의 예측 모드들의 모음(112)을 사용하여, 미리 결정된 블록(106)에 대한 프리미티브 예측들의 모음(110)을 도출하고(114),
    상기 프리미티브 예측들의 모음을 조합(116)함으로써 상기 미리 결정된 블록(106)에 대해 합성된 예측 신호(108)를 형성함으로써,
    상기 합성된 예측 신호에 의해 상기 미리 결정된 블록(106)을 예측하는 단계를 포함하며,

    상기 방법은,
    반복 관계
    Figure 112022052109319-pct00223

    Figure 112022052109319-pct00224
    에 대해,
    Figure 112022052109319-pct00225

    을 사용함으로써 상기 합성을 수행하는 것을 포함하며,
    Figure 112022052109319-pct00226
    은 상기 합성된 예측 신호이고,
    Figure 112022052109319-pct00227
    은 상기 하나 이상의 프리미티브 예측 모드들의 모음을 사용하여 도출된 상기 프리미티브 예측들의 모음이고,
    Figure 112022052109319-pct00228
    이고
    Figure 112022052109319-pct00229
    이며, mn은 fn이 의존하는 프리미티브 예측들의 수이고,
    Figure 112022052109319-pct00230
    Figure 112022052109319-pct00231
    이고,
    Figure 112022052109319-pct00232
    은 상기 프리미티브 예측들의 모음의 카디널리티이고,
    fn은 중간 합성된 예측 신호 qn과 하나 이상의 프리미티브 예측 신호들
    Figure 112022052109319-pct00233
    을 새로운 중간 예측 신호
    Figure 112022052109319-pct00234
    에 매핑하는 함수인 것을 특징으로 하는 블록 기반 예측 코딩을 사용하여 비디오(11)를 데이터 스트림(14)으로 인코딩하는 방법.
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 컴퓨터 상에서 실행될 때 제78항 또는 제79항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장매체.
  87. 제79항에 따른 방법에 의해 생성된 데이터 스트림을 기록한 컴퓨터 판독가능 저장매체.
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 삭제
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 삭제
  121. 삭제
  122. 삭제
  123. 삭제
  124. 삭제
  125. 삭제
  126. 삭제
  127. 삭제
  128. 삭제
  129. 삭제
  130. 삭제
  131. 삭제
KR1020207027455A 2018-02-28 2019-02-27 합성된 예측 및 제한된 병합 KR102534719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237016617A KR20230074302A (ko) 2018-02-28 2019-02-27 합성된 예측 및 제한된 병합

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18159304 2018-02-28
EP18159304.7 2018-02-28
PCT/EP2019/054896 WO2019166508A1 (en) 2018-02-28 2019-02-27 Composed prediction and restricted merge

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237016617A Division KR20230074302A (ko) 2018-02-28 2019-02-27 합성된 예측 및 제한된 병합

Publications (2)

Publication Number Publication Date
KR20200128065A KR20200128065A (ko) 2020-11-11
KR102534719B1 true KR102534719B1 (ko) 2023-05-22

Family

ID=61526667

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207027455A KR102534719B1 (ko) 2018-02-28 2019-02-27 합성된 예측 및 제한된 병합
KR1020237016617A KR20230074302A (ko) 2018-02-28 2019-02-27 합성된 예측 및 제한된 병합

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237016617A KR20230074302A (ko) 2018-02-28 2019-02-27 합성된 예측 및 제한된 병합

Country Status (7)

Country Link
US (2) US11284065B2 (ko)
EP (1) EP3759911A1 (ko)
JP (2) JP7170738B2 (ko)
KR (2) KR102534719B1 (ko)
CN (1) CN112075078B (ko)
TW (2) TWI789986B (ko)
WO (1) WO2019166508A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023205185A1 (en) * 2022-04-18 2023-10-26 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA06002212A (es) * 2003-08-26 2006-05-19 Thomson Licensing Metodo y aparato para codificar bloques intra-inter-codificados hibridos.
KR100727972B1 (ko) 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
EP3410706B1 (en) * 2007-06-29 2021-12-01 Velos Media International Limited Image encoding device and image decoding device
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
EP2497271B1 (en) * 2009-11-06 2020-08-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding
US9118929B2 (en) * 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
EP3962088B1 (en) * 2010-11-04 2023-06-21 GE Video Compression, LLC Picture coding supporting block merging and skip mode
RU2586876C2 (ru) * 2011-10-17 2016-06-10 Кабусики Кайся Тосиба Устройство кодирования, устройство декодирования, способ кодирования и способ декодирования
WO2013059470A1 (en) * 2011-10-21 2013-04-25 Dolby Laboratories Licensing Corporation Weighted predictions based on motion information
US9531990B1 (en) * 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) * 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
KR102179383B1 (ko) * 2013-08-09 2020-11-16 삼성전자주식회사 병합 모드 결정 방법 및 장치
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
WO2016072775A1 (ko) * 2014-11-06 2016-05-12 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11503292B2 (en) * 2016-02-01 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using graph-based separable transform
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction

Also Published As

Publication number Publication date
WO2019166508A1 (en) 2019-09-06
JP2021516009A (ja) 2021-06-24
US20210021808A1 (en) 2021-01-21
US20220286665A1 (en) 2022-09-08
JP2023011807A (ja) 2023-01-24
CN112075078A (zh) 2020-12-11
US11284065B2 (en) 2022-03-22
WO2019166508A9 (en) 2019-12-19
EP3759911A1 (en) 2021-01-06
JP7170738B2 (ja) 2022-11-14
TWI789986B (zh) 2023-01-11
TW202234889A (zh) 2022-09-01
TWI749297B (zh) 2021-12-11
TW201937931A (zh) 2019-09-16
CN112075078B (zh) 2024-03-15
JP7478211B2 (ja) 2024-05-02
KR20230074302A (ko) 2023-05-26
KR20200128065A (ko) 2020-11-11
US11895290B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
CN109076218B (zh) 基于多个滤波器混淆的视频编码/解码方法、装置
AU2019343426B2 (en) Inter prediction method and apparatus
CN107710764B (zh) 确定用于视频译码的照明补偿状态的系统及方法
KR102519778B1 (ko) 비디오 코딩에서의 모션 정보 유도 모드 결정
KR101814890B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
KR102435500B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR20180133411A (ko) 비디오 코딩에서 콜로게이팅된 참조 인덱스에 대한 컨포먼스 제한
KR102617235B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20210119429A (ko) 인트라 예측 기반 비디오 신호 처리 방법 및 장치
JP7478211B2 (ja) 複合予測および制限付きマージ
JPWO2020211807A5 (ko)
KR102432580B1 (ko) 화상의 블록 기반 예측 코딩 및 디코딩
CN114026853A (zh) 基于区域的帧内块复制
US20220070468A1 (en) Image encoding/decoding method and device
WO2020011775A1 (en) Multi-hypothesis prediction
WO2023200907A1 (en) Methods and devices for geometric partitioning mode with adaptive blending

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant