KR102647497B1 - 인터 예측을 위한 비디오 신호의 처리 방법 및 장치 - Google Patents

인터 예측을 위한 비디오 신호의 처리 방법 및 장치 Download PDF

Info

Publication number
KR102647497B1
KR102647497B1 KR1020237042353A KR20237042353A KR102647497B1 KR 102647497 B1 KR102647497 B1 KR 102647497B1 KR 1020237042353 A KR1020237042353 A KR 1020237042353A KR 20237042353 A KR20237042353 A KR 20237042353A KR 102647497 B1 KR102647497 B1 KR 102647497B1
Authority
KR
South Korea
Prior art keywords
mvd
prediction
flag
information
motion vector
Prior art date
Application number
KR1020237042353A
Other languages
English (en)
Other versions
KR20230170823A (ko
Inventor
장형문
박내리
남정학
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020247007729A priority Critical patent/KR20240038114A/ko
Publication of KR20230170823A publication Critical patent/KR20230170823A/ko
Application granted granted Critical
Publication of KR102647497B1 publication Critical patent/KR102647497B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 명세서의 실시예들은 인터 예측(inter prediction)을 위한 비디오 신호의 인코딩 및 디코딩 방법을 제공한다. 본 명세서의 실시예에 따른 디코딩 방법은, 제1 레벨 유닛에 대한 제1 코딩 정보로부터 제1 방향 예측을 위한 제1 MVD(motion vector difference) 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하는 단계와, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보로부터, 상기 제1 플래그에 기반하여 현재 블록에 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 획득하는 단계와, 상기 제1 MVD 정보에 기반하여 상기 현재 블록에 대한 제1 MVD를 결정하는 단계와, 상기 제2 플래그에 기반하여 제2 MVD를 결정하는 단계와, 상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하는 단계와, 상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함한다.

Description

인터 예측을 위한 비디오 신호의 처리 방법 및 장치{METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL FOR INTER-PREDICTION}
본 명세서의 실시예는 비디오/영상 압축 코딩 시스템에 관한 것으로서, 보다 구체적으로 비디오 신호의 인코딩/디코딩 과정에서 인터 예측(inter prediction)을 수행하기 위한 방법 및 장치에 관한 것이다.
압축 부호화는 디지털화된 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 영상, 이미지, 음성 등의 미디어가 압축 부호화의 대상이 될 수 있으며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고 프레임 율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.
인터 예측(inter prediction)은 다른 픽처의 복원된 샘플들을 참조하여 현재 픽처에 대한 예측을 수행하는 방법이다. 인터 예측의 효율을 증대시키기 위하여, 새로운 인터 예측 기법과 함께 다양한 움직임 벡터 유도 방법이 논의되고 있다.
본 명세서의 실시예는 인터 예측을 위한 정보의 인코딩/디코딩 과정에서 SMVD(symmetric motion vector difference)의 적용 여부를 지시하는 정보의 시그널링 효율성을 증대시키기 위한 방법 및 장치를 제공한다.
본 명세서의 실시예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 명세서의 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 실시예들은 인터 예측(inter prediction)을 위한 비디오 신호의 인코딩 및 디코딩 방법을 제공한다. 본 명세서의 실시예에 따른 디코딩 방법은, 제1 레벨 유닛에 대한 제1 코딩 정보로부터 제1 방향 예측을 위한 제1 MVD(motion vector difference) 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하는 단계와, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보로부터, 상기 제1 플래그에 기반하여 현재 블록에 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 획득하는 단계와, 상기 제1 MVD 정보에 기반하여 상기 현재 블록에 대한 제1 MVD를 결정하는 단계와, 상기 제2 플래그에 기반하여 제2 MVD를 결정하는 단계와, 상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하는 단계와, 상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함한다.
일 실시예에서, 상기 제1 레벨 유닛은 픽처(picture), 타일 그룹(tile group), 또는 슬라이스(slice) 중 하나에 해당하고, 상기 제2 레벨 유닛은 코딩 유닛(coding unit)에 해당할 수 있다.
일 실시예에서, 상기 제1 플래그가 0이면 상기 제2 MVD 정보의 디코딩이 수행되고, 상기 제1 플래그가 1이면 상기 제2 MVD 정보의 디코딩이 생략될 수 있다.
일 실시예에서, 상기 제2 플래그를 획득하는 단계는, 상기 제1 플래그가 0이고 추가 조건이 만족되면 제2 플래그를 디코딩하는 단계와, 상기 제1 플래그가 1이면 상기 제2 플래그의 디코딩 없이 상기 제2 플래그를 0으로 추론(infer)하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 MVD를 결정하는 단계는, 상기 제2 플래그가 0이면 상기 제2 MVD 정보로부터 상기 제2 MVD를 결정하는 단계와, 상기 제2 플래그가 1이면 상기 SMVD에 기반하여 상기 제1 MVD로부터 상기 제2 MVD를 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 플래그가 1이면 상기 제2 MVD는 상기 제1 MVD와 동일한 크기(magnitude)와 상기 제1 MVD와 반대의 부호(sign)를 가질 수 있다.
일 실시예에서, 상기 제1 움직임 벡터 및 상기 제2 움직임 벡터를 결정하는 단계는, 상기 제1 방향 예측을 위한 제1 MVP(motion vector predictor) 정보 및 상기 제2 방향 예측을 위한 제2 MVP 정보를 획득하는 단계와, 상기 제1 방향 예측을 위한 제1 MVP 후보 리스트에서 상기 제1 MVP 정보에 대응하는 제1 후보 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 MVP 후보 리스트에서 상기 제2 MVP 정보에 대응하는 제2 후보 움직임 벡터를 결정하는 단계와, 상기 제1 후보 움직임 벡터에 상기 제1 MVD를 더함으로써 상기 제1 움직임 벡터를 결정하는 단계와, 상기 제2 후보 움직임 벡터에 상기 제2 MVD를 더함으로써 상기 제2 움직임 벡터를 결정할 수 있다.
일 실시예에서, 상기 현재 블록의 예측 샘플을 생성하는 단계는, 상기 제1 방향 예측을 위한 제1 참조 픽처 및 상기 제2 방향 예측을 위한 제2 참조 픽처를 결정하는 단계와, 상기 제1 참조 픽처에서 상기 제1 움직임 벡터에 의해 지시되는 제1 참조 샘플과 상기 제2 참조 픽처에서 상기 제2 움직임 벡터에 의해 지시되는 제2 참조 샘플에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 참조 픽처는 상기 제1 방향 예측을 위한 제1 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이전 참조 픽처에 해당하고, 상기 제2 참조 픽처는 상기 제2 방향 예측을 위한 제2 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이후 참조 픽처에 해당할 수 있다.
본 명세서의 실시예에 따른 인코딩 방법은, 제1 레벨 유닛에 대한 제1 코딩 정보를 인코딩하는 단계와, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보를 인코딩하는 단계를 포함한다. 상기 제1 코딩 정보는 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 포함하고, 상기 제2 코딩 정보는 상기 제2 레벨 유닛에 해당하는 현재 블록에 대하여 SMVD가 적용되는지 여부와 관련된 제2 플래그를 포함하고, 상기 제2 플래그는 상기 제1 플래그에 기반하여 인코딩된다.
일 실시예에서, 상기 제1 플래그가 0이면 상기 제2 MVD 정보의 인코딩이 수행되고, 상기 제1 플래그가 1이면 상기 제2 MVD 정보의 인코딩이 생략될 수 있다.
일 실시예에서, 상기 제2 정보를 인코딩하는 단계는, 상기 제1 플래그가 0이면 상기 제1 방향 예측을 위한 제1 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 움직임 벡터의 탐색 절차에 기반하여 제2 플래그를 인코딩할 수 있다.
본 명세서의 실시예에 따른 디코딩 장치는, 상기 비디오 신호를 저장하는 메모리와, 상기 메모리와 결합되고 상기 비디오 신호를 처리하는 프로세서를 포함한다. 상기 프로세서는 제1 레벨 유닛에서 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하고, 상기 제1 플래그에 기반하여 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 해당하는 현재 블록에 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 획득하고, 상기 제1 MVD 정보에 기반하여 상기 현재 블록에 대한 제1 MVD를 결정하고, 상기 제2 플래그에 기반하여 제2 MVD를 결정하고, 상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하고, 상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정된다.
본 명세서의 실시예에 따른 인코딩 장치는 상기 비디오 신호를 저장하는 메모리와, 상기 메모리와 결합되고 상기 비디오 신호를 처리하는 프로세서를 포함한다. 상기 프로세서는 제1 레벨 유닛에 대한 제1 코딩 정보를 인코딩하고, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보를 인코딩하도록 설정된다. 상기 제1 코딩 정보는 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 포함하고, 상기 제2 코딩 정보는 상기 제2 레벨 유닛에 해당하는 현재 블록에 대하여 SMVD가 적용되는지 여부와 관련된 제2 플래그를 포함하고, 상기 제2 플래그는, 상기 제1 플래그에 기반하여 인코딩된다.
또한, 본 명세서의 실시예는 하나 또는 그 이상의 명령어들을 저장하는 비일시적 컴퓨터 판독가능한 매체(non-transitory computer-readable medium)를 제공한다. 상기 하나 또는 그 이상의 명령어들은, 비디오 신호 처리 장치로 하여금, 제1 레벨 유닛에서 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하고, 상기 제1 플래그에 기반하여 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 해당하는 현재 블록에 SMVD가 적용되는지 여부와 관련된 제2 플래그를 획득하고, 상기 제1 MVD 정보에 기반하여 상기 현재 블록에 대한 제1 MVD를 결정하고, 상기 제2 플래그에 기반하여 제2 MVD를 결정하고, 상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하고, 상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 제어한다.
또한, 상기 하나 또는 그 이상의 명령어들은, 비디오 신호 처리 장치로 하여금, 제1 레벨 유닛에 대한 제1 코딩 정보를 인코딩하고, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보를 인코딩하도록 제어한다. 상기 제1 코딩 정보는 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 포함하고, 상기 제2 코딩 정보는 상기 제2 레벨 유닛에 해당하는 현재 블록에 대하여 SMVD가 적용되는지 여부와 관련된 제2 플래그를 포함하고, 상기 제2 플래그는, 상기 제1 플래그에 기반하여 인코딩된다.
본 명세서의 실시예에 따르면, 양방향 예측 정보 중 하나의 예측 정보가 코딩되지 않는 경우에도 불필요하게 대칭적 양방향 예측을 적용하는 SMVD(symmetric motion vector difference)의 사용 여부를 지시하는 정보가 시그널링되는 경우를 방지함으로써, 인터 예측(inter prediction)에 필요한 정보의 데이터 량과 코딩 복잡도/시간을 감소시킬 수 있다.
본 명세서의 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서의 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
도 1은 본 명세서의 실시예에 따른 영상 코딩 시스템의 예를 도시한다.
도 2는 본 명세서의 실시예에 따른 비디오 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도의 예를 도시한다.
도 3은 본 명세서의 실시예에 따른 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도의 예를 도시한다.
도 4는 본 명세서의 실시예에 따른 컨텐츠 스트리밍 시스템의 예를 도시한다.
도 5는 본 명세서의 실시예에 따른 비디오 신호 처리 장치의 예를 도시한다.
도 6은 본 명세서의 실시예에 따른 픽처의 분할 구조의 예를 도시한다.
도 7a 내지 도 7d는 본 명세서의 실시예에 따른 블록 분할 구조의 예를 도시한다.
도 8은 본 명세서의 실시예에 따른 TT(ternary tree) 및 BT(binary tree) 분할이 제한되는 경우의 예를 도시한다.
도 9는 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 인코딩을 위한 흐름도의 예이다.
도 10은 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 디코딩을 위한 흐름도의 예이다.
도 11은 본 명세서의 실시예에 따른 코딩된 영상에 대한 계층 구조의 예를 도시한다.
도 12는 본 명세서의 실시예에 따른 비디오 신호의 인코딩 과정에서 인터 예측을 위한 흐름도의 예이다.
도 13은 본 명세서의 실시예에 따른 인코딩 장치 내 인터 예측부의 예를 도시한다.
도 14는 본 명세서의 실시예에 따른 비디오 신호의 디코딩 과정에서 인터 예측을 위한 흐름도의 예이다.
도 15는 본 명세서의 실시예에 따른 디코딩 장치 내 인터 예측부의 예를 도시한다.
도 16은 본 명세서의 실시예에 따른 공간적 머지 후보로서 사용되는 공간적 주변 블록들의 예를 도시한다.
도 17은 본 명세서의 실시예에 따른 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.
도 18은 본 명세서의 실시예에 따른 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하기 위한 흐름도의 예이다.
도 19는 본 명세서의 실시예에 따른 대칭적(symmetric) MVD(motion vector difference) 모드가 적용되는 경우의 예를 도시한다.
도 20은 본 명세서의 실시예에 따른 어파인 움직임 모델(affine motion model)들의 예를 도시한다.
도 21a 및 도 21b는 본 명세서의 실시예에 따른 제어점(control point)별 움직임 벡터의 예를 도시한다.
도 22는 본 명세서의 실시예에 따른 각 서브블록에 대한 움직임 벡터의 예를 도시한다.
도 23은 본 명세서의 실시예에 따른 어파인 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.
도 24는 본 명세서의 실시예에 따른 상속된(inherited) 어파인 움직임 예측자를 유도하기 위한 블록들의 예를 도시한다.
도 25는 본 명세서의 실시예에 따른 상속된 어파인 움직임 예측자를 유도하기 위한 제어점 움직임 벡터들의 예를 도시한다.
도 26은 본 명세서의 실시예에 따른 구성된(constructed) 어파인 머지 후보를 유도하기 위한 블록들의 예를 도시한다.
도 27은 본 명세서의 실시예에 따른 어파인 MVP 후보 리스트를 구성하기 위한 흐름도의 예이다.
도 28은 본 명세서의 실시예에 따른 움직임 벡터를 유도하기 위한 흐름도의 예를 도시한다.
도 29는 본 명세서의 실시예에 따른 움직임 추정을 위한 흐름도의 예를 도시한다.
도 30은 본 명세서의 실시예에 따른 인터 예측을 위한 비디오 신호의 인코딩 흐름도의 예이다.
도 31은 본 명세서의 실시예에 따른 인터 예측을 위한 비디오 신호의 디코딩 흐름도의 예이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다. 예를 들어, 신호, 데이터, 샘플, 픽처, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.
이하 본 명세서에서 '처리 유닛'은 예측, 변환 및/또는 양자화 등과 같은 인코딩/디코딩의 처리 과정이 수행되는 단위를 의미한다. 또한, 처리 유닛은 휘도(luma) 성분에 대한 단위와 색차(chroma) 성분에 대한 단위를 포함하는 의미로 해석될 수 있다. 예를 들어, 처리 유닛은 블록(block), 코딩 유닛(coding unit, CU), 예측 유닛(prediction unit, PU) 또는 변환 유닛(transform unit, TU)에 해당될 수 있다.
또한, 처리 유닛은 휘도 성분에 대한 단위 또는 색차 성분에 대한 단위로 해석될 수 있다. 예를 들어, 처리 유닛은 휘도 성분에 대한 코딩 트리 블록(coding tree block, CTB), 코딩 블록(coding block, CB), PU 또는 변환 블록(transform block, TB)에 해당될 수 있다. 또는, 처리 유닛은 색차 성분에 대한 CTB, CB, PU 또는 TB에 해당할 수 있다. 또한, 이에 한정되는 것은 아니며 처리 유닛은 휘도 성분에 대한 단위와 색차 성분에 대한 단위를 포함하는 의미로 해석될 수도 있다.
또한, 처리 유닛은 반드시 정사각형의 블록으로 한정되는 것은 아니며, 3개 이상의 꼭지점을 가지는 다각형 형태로 구성될 수도 있다.
또한, 이하 본 명세서에서 픽셀 또는 화소 등을 샘플로 통칭한다. 그리고, 샘플을 이용한다는 것은 픽셀 값 또는 화소 값 등을 이용한다는 것을 의미할 수 있다.
도 1은 본 명세서의 실시예에 따른 영상 코딩 시스템의 예를 도시한다. 영상 코딩 시스템은 소스 디바이스(10) 및 수신 디바이스(20)를 포함할 수 있다. 소스 디바이스(10)는 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스(20)로 전달할 수 있다.
소스 디바이스(10)는 비디오 소스(11), 인코딩 장치(12), 송신기(13)를 포함할 수 있다. 수신 디바이스(20)는 수신기(21), 디코딩 장치(22) 및 렌더러(23)를 포함할 수 있다. 인코딩 장치(12)는 비디오/영상 인코딩 장치로 지칭될 수 있고, 디코딩 장치(22)는 비디오/영상 디코딩 장치로 지칭될 수 있다. 송신기(13)는 인코딩 장치(12)에 포함될 수 있다. 수신기(21)는 디코딩 장치(22)에 포함될 수 있다. 렌더러(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브를 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 태블릿(tablet) 및 스마트폰을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터를 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
인코딩 장치(12)는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치(12)는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화와 같은 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.
송신기(13)는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스(20)의 수신기(21)로 전달할 수 있다. 디지털 저장 매체는 USB(universal serial bus), SD 카드(secure digital card), CD(compact disc), DVD(digital versatile disc), 블루레이 디스크(blu-ray disc), HDD(hard disk drive), SSD(solid state drive)와 같은 다양한 저장 매체를 포함할 수 있다. 송신기(13)는 미리 정해진 파일 포맷을 통해 미디어 파일을 생성하기 위한 엘레먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 수신기(21)는 비트스트림을 추출하여 디코딩 장치(22)로 전달할 수 있다.
디코딩 장치(22)는 인코딩 장치(12)의 동작에 대응하는 역양자화, 역변환, 예측과 같은 일련의 절차를 수행함으로써 비디오/영상을 디코딩할 수 있다.
렌더러(23)는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이 될 수 있다.
도 2는 본 명세서의 실시예에 따른 비디오 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도의 예를 도시한다. 도 2의 인코딩 장치(100)는 도 1의 인코딩 장치(12)에 대응할 수 있다.
도 2를 참조하면, 인코딩 장치(100)는 영상 분할부(image partitioning module)(110), 감산부(subtraction module)(115), 변환부(transform module)(120), 양자화부(quantization module)(130), 역양자화부(de-quantization module)(140), 역변환부(inverse-transform module)(150), 가산부(addition module)(155), 필터링부(filtering module)(160), 메모리(memory)(170), 인터 예측부(inter prediction module)(180), 인트라 예측부(intra prediction module)(185), 및 엔트로피 인코딩부(entropy encoding module)(190)를 포함할 수 있다. 인터 예측부(180) 및 인트라 예측부(185)를 합쳐서 예측부라고 불릴 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150)는 레지듀얼(residual) 처리부에 포함될 수 있다. 레지듀얼 처리부는 감산부(115)를 더 포함할 수도 있다. 상술한 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 인코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(170)는 DPB(decoded picture buffer)(175)를 포함할 수 있고, 디지털 저장 매체에 의하여 구성될 수도 있다.
영상 분할부(110)는 인코딩 장치(100)에 입력된 입력 영상(또는, 픽처, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 예를 들어, 처리 유닛은 코딩 유닛(CU)으로 지칭될 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT (Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조 및/또는 바이너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 명세서의 실시예에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율에 기반하여 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있다. 또한, 필요에 따라 코딩 유닛은 재귀적으로 보다 하위 뎁스의 코딩 유닛들로 분할됨으로써 최적의 사이즈를 갖는 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술되는 예측, 변환, 및 복원과 같은 절차를 포함할 수 있다. 다른 예로, 처리 유닛은 예측 유닛(prediction unit, PU) 또는 변환 유닛(transform unit, TU)을 더 포함할 수 있다. 이 경우 예측 유닛 및 변환 유닛은 각각 상술한 코딩 유닛으로부터 분할될 수 있다. 예측 유닛은 샘플 예측의 단위일 수 있고, 변환 유닛은 변환 계수를 유도하는 단위 또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
본 문서에서 사용되는 용어 '유닛(unit)'은 경우에 따라서 '블록(block)' 또는 '영역(area)'과 같은 용어와 혼용될 수 있다. 본 문서에서, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값을 나타낼 수도 있다. 샘플은 하나의 픽처(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.
인코딩 장치(100)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부 (180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산함으로써 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있다. 생성된 레지듀얼 신호는 변환부(120)로 전송된다. 이 경우 도시된 바와 같이 인코딩 장치(100) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(115)로 지칭될 수 있다. 예측부는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부(prediction module)는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 각 예측모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보와 같이 예측에 관한 정보를 생성하고, 예측에 관한 정보를 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되고, 비트스트림 형태로 출력될 수 있다.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 감소시키기 위해 인터 예측부(180)는 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록, 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU)로 지칭될 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)로 지칭될 수 있다. 예를 들어, 인터 예측부(180)는 주변 블록들의 움직임 정보에 기반하여 움직임 정보 후보 리스트를 구성하고, 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드에 기반하여 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드가 사용되는 경우, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로서 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않는다. 움직임 벡터 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference, MVD)을 시그널링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.
예측부는 후술되는 다양한 예측 방법을 기반으로 예측 신호(예측 샘플)를 생성할 수 있다. 예를 들어, 예측부는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐만 아니라, 인트라 예측과 인터 예측을 함께(동시에) 적용할 수 있다. 이는 CIIP(combined inter and intra prediction)으로 지칭될 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 IBC(intra block copy)를 수행할 수도 있다. IBC는, 예를 들어, SCC(screen content coding)와 같이 컨텐츠(예: 게임) 영상/동영상 코딩을 위하여 사용될 수 있다. 또한, IBC는 CPR(current picture referencing)로 지칭될 수도 있다. IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나 현재 픽처 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 문서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다.
예측부(인터 예측부(180) 및/또는 인트라 예측부(185)를 포함)에 의해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다. 변환부(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)을 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 나타내는 그래프로부터 획득되는 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)를 이용하여 예측 신호를 생성하고, 예측 신호에 기반하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아니거나 가변적인 크기를 갖는 블록에도 적용될 수 있다.
양자화부(130)는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 엔트로피 인코딩부(190)로 전송한다. 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩함으로써 비트스트림으로 출력할 수 있다. 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보로 지칭될 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)에 기반하여 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 1차원 벡터 형태의 양자화된 변환 계수들의 특성에 기반하여 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다. 엔트로피 인코딩부(190)는, 예를 들어, 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding)과 같은 다양한 인코딩 기법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예를 들어, 신택스 요소들(syntax elements)의 값)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(예: 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 비디오/영상 정보는 APS(adaptation parameter set), PPS(picture parameter set), SPS(sequence parameter set), 또는 VPS(video parameter set)와 같은 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 본 문서에서 후술되는 시그널링/전송되는 정보 및/또는 신택스 요소들은 상술한 인코딩 절차를 통하여 인코딩되어 비트스트림에 포함될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD와 같은 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(100)의 내/외부 엘레먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소일 수도 있다.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 복원 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 대한 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호가 복원될 수 있다. 가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼 신호가 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(160)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어, 필터링부(160)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 메모리(170)의 DPB(175)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset, SAO), 적응적 루프 필터(adaptive loop filter, ALF), 양방향 필터(bilateral filter)를 포함할 수 있다. 필터링부(160)는 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 정보를 생성하고, 필터링에 관한 정보를 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링에 관한 정보는 엔트로피 인코딩부(190)에서의 엔트로피 인코딩을 통해 비트스트림 형태로 출력될 수 있다.
DPB(175)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 인터 예측이 적용되는 경우, 인코딩 장치(100)는 수정된 복원 픽처를 사용하여 인코딩 장치(100)와 디코딩 장치(200)에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다. DPB(175)는 수정된 복원 픽처를 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 저장할 수 있다. 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 사용하기 위하여 인터 예측부(180)에 전달될 수 있다. 메모리(170)는 현재 픽처 내 복원된 블록들의 복원된 샘플들을 저장할 수 있고, 복원된 샘플들에 대한 정보를 인트라 예측부(185)에 전달할 수 있다.
도 3은 본 명세서의 실시예에 따른 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도의 예를 도시한다. 도 3의 디코딩 장치(200)는 도 1의 디코딩 장치(22)에 대응할 수 있다.
도 3을 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(entropy decoding module)(210), 역양자화부(de-quantization module)(220), 역변환부(inverse transform module)(230), 가산부(addition module)(235), 필터링부(filtering module)(240), 메모리(250), 인터 예측부(inter prediction module)(260) 및 인트라 예측부(intra prediction module)(265)를 포함할 수 있다. 인터 예측부(260) 및 인트라 예측부(265)는 예측부(prediction module)로 통칭될 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 역양자화부(220)와 역변환부(230)는 레지듀얼 처리부(residual processing module)로 통칭될 수 있다. 즉, 레지듀얼 처리부는 역양자화부(220)와 역변환부(230)를 포함할 수 있다. 상술한 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 인터 예측부(260), 및 인트라 예측부(265)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 메모리(250)는 DPB(255)를 포함할 수도 있고, 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구성될 수 있다.
비디오/이미지 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(200)는 도 2의 인코딩 장치(100)에서 비디오/이미지 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(200)는 인코딩 장치(100)에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩시 처리 유닛은 예를 들어 코딩 유닛일 수 있고, 코딩 유닛은 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 쿼드 트리 구조 및/또는 바이너리 트리 구조를 따라서 분할될 수 있다. 그리고, 디코딩 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.
디코딩 장치(200)는 도 2의 인코딩 장치(100)로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예: 비디오/영상 정보)를 도출할 수 있다. 비디오/영상 정보는 APS(adaptation parameter set), PPS(picture parameter set), SPS(sequence parameter set), 또는 VPS(video parameter set)와 같은 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 디코딩 장치는 파라미터 세트에 관한 정보를 기반으로 픽처를 디코딩할 수 있다. 본 문서에서 후술되는 시그널링/수신되는 정보 및/또는 신택스 요소들은 디코딩 절차를 통하여 디코딩되어 비트스트림으로부터 획득될 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC과 같은 코딩 기법을 사용하여 비트스트림 내 정보를 획득하고, 영상 복원에 필요한 신택스 엘레먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈(bin)을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행함으로써 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 인코딩 장치(100)로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(200)의 내/외부 엘레먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소일 수도 있다. 한편, 본 명세서에 따른 디코딩 장치(200)는 비디오/영상/픽처 디코딩 장치로 지칭될 수 있다. 디코딩 장치(200)는 정보 디코더(비디오/영상/픽처 정보 디코더) 및 샘플 디코더(비디오/영상/픽처 샘플 디코더)로 구분될 수도 있다. 정보 디코더는 엔트로피 디코딩부(210)를 포함할 수 있고, 샘플 디코더는 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 메모리(250), 인터 예측부(260), 및 인트라 예측부(265) 중 적어도 하나를 포함할 수 있다.
역양자화부(220)는 양자화된 변환 계수들의 역양자화를 통해 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 인코딩 장치(100)에서 수행된 계수 스캔 순서에 기반하여 재정렬이 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예: 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)을 획득할 수 있다.
역변환부(230)는 변환 계수들을 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득한다.
예측부는 현재 블록에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 예측에 관한 정보에 기반하여 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다.
예측부는 후술되는 다양한 예측 방법을 기반으로 예측 신호(예측 샘플)를 생성할 수 있다. 예를 들어, 예측부는 하나의 블록에 대한 예측을 위하여 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐만 아니라, 인트라 예측과 인터 예측을 함께(동시에) 적용할 수 있다. 이는 CIIP(combined inter and intra prediction)으로 지칭될 수 있다. 또한, 예측부는 블록에 대한 예측을 위하여 IBC(intra block copy)를 수행할 수도 있다. IBC는, 예를 들어, SCC(screen content coding)와 같이 컨텐츠(예: 게임) 영상/동영상 코딩을 위하여 사용될 수 있다. 또한, IBC는 CPR(current picture referencing)로 지칭될 수도 있다. IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나 현재 픽처 내에서 참조 블록을 도출하는 점에서 인터 예측과 유사하게 수행될 수 있다. 즉, IBC는 본 문서에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다.
인트라 예측부(265)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 이격되어 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(265)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록, 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신된 후보 선택 정보를 기반으로 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예측에 관한 정보는 현재 블록에 대한 인터 예측의 모드를 지시하는 정보를 포함할 수 있다.
가산부(235)는 획득된 레지듀얼 신호를 예측부(인터 예측부(260) 및/또는 인트라 예측부(265) 포함)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다.
가산부(235)는 복원부 또는 복원 블록 생성부로 지칭될 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(240)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어, 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 메모리(250)의 DPB(255)에 전송할 수 있다. 다양한 필터링 방법은, 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter)를 포함할 수 있다.
메모리(250)의 DPB(255)에 전달된 수정된 복원 픽처는 인터 예측부(260)에 의해 참조 픽처로 사용될 수 있다. 메모리(250)는 현재 픽처 내 움직임 정보가 도출된(또는 디코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(260)에 전달할 수 있다. 메모리(250)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(265)에 전달할 수 있다.
본 명세서에서, 인코딩 장치(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코딩 장치의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.
도 4는 본 명세서의 실시예에 따른 컨텐츠 스트리밍 시스템의 예를 도시한다. 본 명세서의 실시예가 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버(encoding server)(410), 스트리밍 서버(streaming server)(420), 웹 서버(web server)(430), 미디어 저장소(media storage)(440), 사용자 장치(user equipment)(450), 및 멀티미디어 입력 장치(multimedia input device)(460)를 포함할 수 있다.
인코딩 서버(410)는 스마트폰, 카메라, 캠코더와 같은 멀티미디어 입력 장치(460)로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고, 생성된 비트스트림을 스트리밍 서버(420)로 전송한다. 다른 예로, 스마트폰, 카메라, 캠코더와 같은 멀티미디어 입력 장치(460)가 비트스트림을 직접 생성하는 경우, 인코딩 서버(410)는 생략될 수 있다.
비트스트림은 본 명세서의 실시예가 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 스트리밍 서버(420)는 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 비트스트림을 저장할 수 있다.
스트리밍 서버(420)는 웹 서버(430)를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치(450)에 전송하고, 웹 서버(430)는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 웹 서버(430)에 원하는 서비스를 요청하면, 웹 서버(430)는 요청된 서비스에 대한 정보를 스트리밍 서버(420)에 전달하고, 스트리밍 서버(420)는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 제어 서버는 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
스트리밍 서버(420)는 미디어 저장소(440) 및/또는 인코딩 서버(410)로부터 컨텐츠를 수신할 수 있다. 예를 들어, 인코딩 서버(410)로부터 컨텐츠를 수신하는 경우, 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 스트리밍 서버(420)는 비트스트림을 일정 시간동안 저장할 수 있다.
사용자 장치(450)는, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지를 포함할 수 있다.
컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
도 5는 본 명세서의 실시예에 따른 비디오 신호 처리 장치의 예를 도시한다. 도 5의 비디오 신호 처리 장치는 도 1의 인코딩 장치(100) 또는 도 2의 디코딩 장치(200)에 해당할 수 있다.
비디오 신호를 처리하는 비디오 신호 처리 장치(500)는, 비디오 신호를 저장하는 메모리(520)와, 메모리(520)와 결합되면서 비디오 신호를 처리하는 프로세서(510)를 포함한다. 본 명세서의 실시예에 따른 프로세서(510)는 비디오 신호의 처리를 위한 적어도 하나의 프로세싱 회로로 구성될 수 있으며, 비디오 신호의 인코딩/디코딩을 위한 명령어들을 실행함으로써 비디오 신호를 처리할 수 있다. 즉, 프로세서(510)는 이하 설명되는 인코딩/디코딩 방법들을 실행함으로써 원본 비디오 데이터를 인코딩하거나 인코딩된 비디오 신호를 디코딩할 수 있다. 프로세서(510)는, 도 2 또는 도 3의 각 모듈들에 대응하는 하나 또는 그 이상의 프로세서들로 구성될 수 있다. 메모리(520)는 도 2의 메모리(170) 또는 도 3의 메모리(250)에 해당할 수 있다.
분할 구조(Partitioning structure)
본 명세서에 따른 비디오/영상 코딩 방법은 후술되는 분할 구조에 기반하여 수행될 수 있다. 구체적으로 후술되는 예측, 레지듀얼 처리(예: (역)변환, (역)양자화), 신택스 요소 코딩, 필터링과 같은 절차는 부할 구조에 기반하여 도출된 CTU(coding tree unit), CU(및/또는 TU, PU)에 기반하여 수행될 수 있다. 블록 분할 절차는 상술한 인코딩 장치(100)의 영상 분할부(110)에서 수행될 수 있으며, 분할 관련 정보는 엔트로피 인코딩부(190)에서 (인코딩) 처리되어 비트스트림 형태로 디코딩 장치(200)로 전달될 수 있다. 디코딩 장치(200)의 엔트로피 디코딩부(210)는 비트스트림으로부터 획득된 분할 관련 정보를 기반으로 현재 블록의 블록 분할 구조를 도출하고, 이를 기반으로 영상 디코딩을 위한 일련의 절차(예: 예측, 레지듀얼 처리, 블록/픽처 복원, 인루프 필터링)를 수행할 수 있다.
본 명세서의 실시예에 따른 비디오/이미지의 코딩에 있어서, 영상 처리 단위는 계층적 구조를 가질 수 있다. 하나의 픽처는 하나 이상의 타일 또는 타일 그룹으로 구분될 수 있다. 하나의 타일 그룹은 하나 이상의 타일을 포함할 수 있다. 하나의 타일은 하나 이상의 CTU를 포함할 수 있다. CTU는 하나 이상의 CU로 분할될 수 있다. 타일은 픽처 내에서 특정 타일 행 및 특정 타일 열 내의 CTU들을 포함하는 사각 영역이다(a rectangular region of CTUs within a particular tile column and a particular tile row in a picture). 타일 그룹은 픽처 내의 타일 래스터 스캔에 따른 정수개의 타일들을 포함할 수 있다. 타일 그룹 헤더는 해당 타일 그룹에 적용될 수 있는 정보/파라미터를 전달할 수 있다. 인코딩 장치(100)/디코딩 장치(200)가 멀티 코어 프로세서를 갖는 경우, 타일 또는 타일 그룹에 대한 인코딩/디코딩 절차는 병렬 처리될 수 있다. 여기서 타일 그룹은 intra (I) tile group, predictive (P) tile group, 및 bi-predictive (B) tile group을 포함하는 타일 그룹들 중 하나의 타입을 가질 수 있다. I 타일 그룹 내의 블록들에 대한 예측을 위하여 인터 예측이 사용되지 않고 인트라 예측만이 사용될 수 있다. 물론 I 타일 그룹에 대해서도 예측 없이 코딩된 원본 샘플 값이 시그널링될 수 있다. P 타일 그룹 내의 블록들에 대하여 인트라 예측 또는 인터 예측이 사용될 수 있으며, 인터 예측이 사용되는 경우 단방향(uni) 예측만이 사용될 수 있다. 한편, B 타일 그룹 내의 블록들에 대하여 인트라 예측 또는 인터 예측이 사용될 수 있으며, 인터 예측이 사용되는 경우 단방향 예측뿐만 아니라 쌍(bi) 예측도 사용될 수 있다.
도 6은 본 명세서의 실시예에 따른 픽처의 분할 구조의 예를 도시한다. 도 6에서, 216개(18 by 12)의 휘도 CTU들을 갖는 픽처가 12개의 타일들과 3개의 타일 그룹들로 분할된다.
인코더는 비디오 영상의 특성(예를 들어, 해상도)에 따라 또는 코딩의 효율 또는 병렬 처리를 고려하여 타일/타일 그룹, 최대 및 최소 코딩 유닛 크기를 결정하고, 이에 대한 정보 또는 이를 유도하기 위한 정보를 비트스트림에 포함시킬 수 있다.
디코더는 현재 픽처의 타일/타일 그룹, 타일 내 CTU가 다수의 코딩 유닛들로 분할되었는지 여부를 나타내는 정보를 획득할 수 있다. 이러한 정보가 디코더에 의해 항상 획득(디코딩)되는 것이 아니라 특정 조건 하에서만 획득(디코딩)되도록하면 코딩 효율이 증대될 수 있다.
타일 그룹 헤더(타일 그룹 헤더 신택스)는 타일 그룹에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. APS(APS 신택스) 또는 PPS(PPS 신택스)는 하나 이상의 픽처에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. SPS(SPS 신택스)는 하나 이상의 시퀀스에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. VPS(VPS 신택스)는 비디오 전반에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. 본 명세서의 상위 레벨 신택스라 함은 APS 신택스, PPS 신택스, SPS 신택스, VPS 신택스 중 적어도 하나를 포함할 수 있다.
또한, 예를 들어 타일/타일 그룹의 분할 및 구성에 관한 정보는 상위 레벨 신택스를 통하여 인코더에서 구성된 후 비트스트림 형태로 디코더로 전송될 수 있다.
도 7a 내지 7d는 본 명세서의 실시예에 따른 블록 분할 구조의 예를 도시한다. 도 7a는 QT(quadtree, QT), 도 7b는 BT(binary tree, BT), 도 7c는 TT(ternary tree, TT) 도 7d는 AT(asymmetric Tree, AT)에 의한 블록 분할 구조들의 예를 도시한다.
비디오 코딩 시스템에서, 하나의 블록은 QT 분할 방식에 기반으로 분할될 수 있다. 또한, QT 분할 방식에 의해서 분할된 하나의 서브 블록(subblock)은 QT 분할 방식에 따라 재귀적으로 더 분할될 수 있다. 더 이상 QT 분할 방식에 의해 분할되지 않는 리프 블록(leaf block)은 BT, TT, 또는 AT 중 적어도 하나의 방식에 의해서 분할될 수 있다. BT는 수평 BT (2NxN, 2NxN)과 수직 BT (Nx2N, Nx2N)와 같은 두 가지 형태의 분할을 가질 수 있다. TT는 수평 TT (2Nx1/2N, 2NxN, 2Nx1/2N)와 수직 TT (1/2Nx2N, Nx2N, 1/2Nx2N)와 같은 두 가지 형태의 분할을 가질 수 있다. AT는 수평-상향(horizontal-up) AT (2Nx1/2N, 2Nx3/2N), 수평-하향(horizontal-down) AT (2Nx3/2N, 2Nx1/2N), 수직-좌측(vertical-left) AT (1/2Nx2N, 3/2Nx2N), 수직-우측(vertical-right) AT (3/2Nx2N, 1/2Nx2N)의 네 가지 형태의 분할을 가질 수 있다. 각각의 BT, TT, AT는 BT, TT, AT를 사용하여 재귀적으로 더 분할될 수 있다.
도 7a는 QT 분할의 예를 도시한다. 블록 A는 QT에 의해서 4개의 서브 블록 (A0, A1, A2, A3)으로 분할될 수 있다. 서브 블록 A1은 다시 QT에 의해서 4개의 서브 블록 (B0, B1, B2, B3)로 분할될 수 있다.
도 7b는 BT 분할의 예를 도시한다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 BT (C0, C1) 또는 수평 BT (D0, D1)에 의해 분할될 수 있다. 블록 C0와 같이 각각의 서브 블록은 수평 BT (E0, E1) 또는 수직 BT (F0, F1)의 형태와 같이 재귀적으로 더 분할될 수 있다.
도 7c는 TT 분할의 예를 도시한다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 TT (C0, C1, C2) 또는 수평 TT (D0, D1, D2)으로 분할될 수 있다. 블록 C1와 같이 각각의 서브 블록은 수평 TT (E0, E1, E2) 또는 수직 TT (F0, F1, F2)의 형태와 같이 재귀적으로 더 분할될 수 있다.
도 7d는 AT 분할의 예를 도시한다. QT에 의해서 더 이상 분할되지 않는 블록 B3은 수직 AT (C0, C1) 또는 수평 AT (D0, D1)로 분할 될 수 있다. 블록 C1와 같이 각각의 서브 블록은 수평 AT (E0, E1) 또는 수직 TT (F0, F1)의 형태와 같이 재귀적으로 더 분할 될 수 있다.
한편, BT, TT, AT 분할은 하나의 블록에 함께 적용될 수 있다. 예를 들어, BT에 의해 분할된 서브 블록은 TT 또는 AT에 의해 분할될 수 있다. 또한, TT에 의해 분할된 서브 블록은 BT 또는 AT에 의해 분할될 수 있다. AT에 의해 분할된 서브 블록은 BT 또는 TT에 의해 분할될 수 있다. 예를 들어, 수평 BT 분할 이후, 각각의 서브 블록이 수직 BT에 의해 분할될 수 있다. 또한, 수직 BT 분할 이후, 각각의 서브 블록이 수평 BT에 의해 분할될 수도 있다. 이 경우 분할 순서는 다르지만 최종적으로 분할되는 모양은 동일하다.
또한, 블록이 분할되면 블록을 탐색하는 순서가 다양하게 정의될 수 있다. 일반적으로, 좌측에서 우측으로, 상단에서 하단으로 탐색을 수행하며, 블록을 탐색한다는 것은 각 분할된 서브 블록의 추가적인 블록 분할 여부를 결정하는 순서를 의미하거나, 블록이 더 이상 분할되지 않을 경우 각 서브 블록의 부호화 순서를 의미하거나, 또는 서브 블록에서 다른 이웃 블록의 정보를 참조할 때의 탐색 순서를 의미할 수 있다.
또한, 픽처 내 파이프라인 처리를 위하여 VPDUs(virtual pipeline data units)가 정의될 수 있다. VPDUs는 하나의 픽처 내에서 비-중첩 유닛들(non-overlapping units)로 정의될 수 있다. 하드웨어 디코더에서, 다중 파이프라인 스테이지들에 의하여 연속적인(successive) VPDUs가 동시에 처리될 수 있다. VPDU 사이즈는 대부분의 파이프라인 스테이지들(most pipeline stages)에서 버퍼 사이즈에 대략적으로 비례한다(roughly proportional). 따라서, VDPU 사이즈를 작게 유지하는 것은 하드웨어 관점에서 버퍼 사이즈를 고려할 때 중요하다. 대부분의 하드웨어 디코더에서, VPDU 사이즈는 최대 TB 사이즈와 같도록 설정될 수 있다. 예를 들어, VPDU 사이즈는 64x64(64x64 휘도 샘플들) 사이즈일 수 있다. 다만 이는 예시이며 상술한 TT 및/또는 BT 파티션을 고려하여 VPDU 사이즈는 변경(증가 또는 감소)될 수 있다.
도 8은 본 명세서의 실시예에 따른 TT 및 BT 분할이 제한되는 경우의 예를 도시한다. VPDU 사이즈를 64x64 휘도 샘플들 사이즈로 유지하기 위하여, 도 8에 도시된 것과 같이 아래와 같은 제한들 중 적어도 하나가 적용될 수 있다.
- 너비(width) 또는 높이(height), 또는 너비와 높이 모두가 128인 CU에 대한 TT 분할은 허용되지 않는다(TT split is not allowed for a CU with either width or height, or both width and height equal to 128).
- 128xN(N <= 64)(즉, 너비가 128이고 높이가 128보다 작은) CU에 대한 수평 BT는 허용되지 않는다(For a 128xN CU with N <= 64 (i.e. width equal to 128 and height smaller than 128), horizontal BT is not allowed).
- Nx128(N <= 64)(즉, 높이가 128이고 너비가 128보다 작은) CU에 대한 수직 BT는 허용되지 않는다(For an Nx128 CU with N <= 64 (i.e. height equal to 128 and width smaller than 128), vertical BT is not allowed).
영상/비디오 코딩 절차
영상/비디오 코딩에 있어서, 영상/비디오를 구성하는 픽처는 일련의 디코딩 순서(decoding order)에 따라 인코딩/디코딩될 수 있다. 디코딩된 픽처의 출력 순서(output order)에 해당하는 픽처 순서(picture order)는 디코딩 순서와 다르게 설정될 수 있으며, 이를 기반으로 인터 예측시 순방향 예측뿐만 아니라 역방향 예측 또한 수행될 수 있다.
도 9는 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 인코딩을 위한 흐름도의 예를 도시한다. 도 9에서 S910 단계는 도 2에서 설명된 인코딩 장치(100)의 예측부(180, 185)에 의해 수행될 수 있고, S920 단계는 레지듀얼 처리부(115, 120, 130)에 의해 수행될 수 있고, S930 단계는 엔트로피 인코딩부(190)에 의해 수행될 수 있다. S910 단계는 본 문서에서 설명되는 인터/인트라 예측 절차를 포함할 수 있고, S920 단계는 본 문서에서 설명되는 레지듀얼 처리 절차를 포함할 수 있고, S930 단계는 본 문서에서 설명되는 정보 인코딩 절차를 포함할 수 있다.
도 9를 참조하면, 픽처 인코딩 절차는 도 2에서 설명된 것과 같이 개략적으로 픽처 복원을 위한 정보(예: 예측 정보, 레지듀얼 정보, 파티셔닝 정보)를 인코딩함으로써 비트스트림 형태로 출력하는 절차뿐만 아니라, 현재 픽처에 대한 복원 픽처를 생성하는 절차 및 복원 픽처에 인루프 필터링을 적용하는 절차(optional)를 포함할 수 있다. 인코딩 장치(100)는 역양자화부(140) 및 역변환부(150)를 통해 양자화된 변환 계수로부터 (수정된) 레지듀얼 샘플들을 도출할 수 있으며, S910 단계의 출력에 해당하는 예측 샘플들과 (수정된) 레지듀얼 샘플들에 기반하여 복원 픽처를 생성할 수 있다. 이렇게 생성된 복원 픽처는 상술한 디코딩 장치(200)에서 생성된 복원 픽처와 동일할 수 있다. 복원 픽처에 대한 인루프 필터링 절차를 통하여 수정된 복원 픽처가 생성될 수 있으며, 이는 메모리(170)(DPB(175))에 저장될 수 있으며, 디코딩 장치(200)에서의 경우와 마찬가지로, 이후 픽처의 인코딩시 인터 예측 절차에서 참조 픽처로 사용될 수 있다. 상술한 바와 같이 경우에 따라 인루프 필터링 절차의 일부 또는 전부는 생략될 수 있다. 인루프 필터링 절차가 수행되는 경우, (인루프) 필터링 관련 정보(파라미터)가 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있고, 디코딩 장치(200)는 필터링 관련 정보를 기반으로 인코딩 장치(100)와 동일한 방법으로 인루프 필터링 절차를 수행할 수 있다.
이러한 인루프 필터링 절차를 통하여 블로킹 아티팩스(artifact) 및 링잉(ringing) 아티팩트와 같은 영상/동영상 코딩시 발생하는 노이즈를 감소시킬 수 있으며, 주관적/객관적 비주얼 퀄리티를 개선할 수 있다. 또한, 인코딩 장치(100)와 디코딩 장치(200)에서 모두 인루프 필터링 절차를 수행함으로써, 인코딩 장치(100)와 디코딩 장치(200)는 동일한 예측 결과를 도출할 수 있으며, 픽처 코딩의 신뢰성을 높이고, 픽처 코딩을 위하여 전송되는 데이터 량을 감소시킬 수 있다.
도 10은 본 명세서의 실시예에 따른 비디오 신호를 구성하는 픽처의 디코딩을 위한 흐름도의 예를 도시한다. S1010 단계는 도 3의 디코딩 장치(200)에서의 엔트로피 디코딩부(210)에 의해 수행될 수 있고, S1020 단계는 예측부(260, 265)에 의해 수행될 수 있고, S1030 단계는 레지듀얼 처리부(220, 230)에 의해 수행될 수 있고, S1040 단계는 가산부(235)에 의해 수행될 수 있고, S1050 단계는 필터링부(240)에 의해 수행될 수 있다. S1010 단계는 본 문서에서 설명된 정보 디코딩 절차를 포함할 수 있고, S1020 단계는 본 문서에서 설명된 인터/인트라 예측 절차를 포함할 수 있고, S1030 단계는 본 문서에서 설명된 레지듀얼 처리 절차를 포함할 수 있고, S1040 단계는 본 문서에서 설명된 블록/픽처 복원 절차를 포함할 수 있고, S1050 단계는 본 문서에서 설명된 인루프 필터링 절차를 포함할 수 있다.
도 10을 참조하면, 픽처 디코딩 절차는 도 2에서 설명된 것과 같이 개략적으로 비트스트림으로부터 (디코딩을 통한) 영상/비디오 정보 획득 절차(S1010), 픽처 복원 절차(S1020 내지 S1040), 및 복원된 픽처에 대한 인루프 필터링 절차(S1050)를 포함할 수 있다. 픽처 복원 절차는 본 문서에서 설명된 인터/인트라 예측(S1020) 및 레지듀얼 처리(S1030, 양자화된 변호나 계수에 대한 역양자화, 역변환) 과정을 거쳐서 획득된 예측 샘플들 및 레지듀얼 샘플들을 기반으로 수행될 수 있다. 픽처 복원 절차를 통하여 생성된 복원 픽처에 대한 인루프 필터링 절차를 통하여 수정된(modified) 복원 픽처가 생성될 수 있으며, 수정된 복원 픽처가 디코딩된 픽처로서 출력될 수 있고, 또한 디코딩 장치(200)의 DPB(255)에 저장되어 이후 픽처의 디코딩시 인터 예측 철차에서 참조 픽처로 사용될 수 있다. 경우에 따라서 인루프 필터링 절차는 생략될 수 있으며, 이 경우 복원 픽처가 디코딩된 픽처로서 출력될 수 있고, 디코딩 장치(200)의 DPB(255)에 저장되어 이후 픽처의 디코딩시 인터 예측 철차에서 참조 픽처로 사용될 수 있다. 인루프 필터링 절차(S1050)는 상술한 바와 같이 디블로킹 필터링 절차, SAO(sample adaptive offset) 절차, ALF(adaptive loop filter) 절차, 및/또는 바이래터럴 필터(bi-lateral filter) 절차를 포함할 수 있고, 그 일부 또는 전부가 생략될 수 있다. 또한, 디블로킹 필터링 절차, SAO 절차, ALF 절차, 및 바이래터럴 필터 절차들 중 하나 또는 일부가 순차적으로 적용될 수 있고, 또는 모두가 순차적으로 적용될 수 있다. 예를 들어, 복원 픽처에 대하여 디블로킹 필터링 절차가 적용된 후 SAO 절차가 수행될 수 있다. 또한, 예를 들어, 복원 픽처에 대하여 디블로킹 필터링 절차가 적용된 후 ALF 절차가 수행될 수 있다. 이는 인코딩 장치(100)에서도 마찬가지로 수행될 수 있다.
상술한 바와 같이 디코딩 장치(200) 뿐만 아니라 인코딩 장치(100)에서도 픽처 복원 절차가 수행될 수 있다. 각 블록 단위로 인트라 예측/인터 예측에 기반하여 복원 블록이 생성될 수 있으며, 복원 블록들을 포함하는 복원 픽처가 생성될 수 있다. 현재 픽처/슬라이스/타일 그룹이 I 픽처/슬라이스/타일 그룹인 경우 현재 픽처/슬라이스/타일 그룹에 포함되는 블록들은 인트라 예측만을 기반으로 복원될 수 있다. 이 경우 현재 픽처/슬라이스/타일 그룹 내 일부 블록들에 대하여 인터 예측이 적용되고, 나머지 일부 블록들에 대하여 인트라 예측이 적용될 수 있다. 픽처의 컬러 성분은 휘도 성분 및 색차 성분을 포함할 수 있으며, 본 문서에서 명시적으로 제한하지 않으면 본 문서에서 제안되는 방법들 및 실시예들은 휘도 성분 및 색차 성분에 적용될 수 있다.
코딩 계층 및 구조의 예
도 11은 본 명세서의 실시예에 따른 코딩된 영상에 대한 계층 구조의 예를 도시한다.
코딩된 영상은 영상의 디코딩 처리 및 그 자체를 다루는 VCL(video coding layer), 부호화된 정보를 전송하고 저장하는 하위 시스템, 그리고 VCL과 하위 시스템 사이에 존재하며 네트워크 적응 기능을 담당하는 NAL(network abstraction layer)로 구분될 수 있다.
VCL에서 압축된 영상 데이터(타일 그룹 데이터)를 포함하는 VCL 데이터가 생성되거나, 또는 PPS(picture parameter set), SPS(sequence parameter set), VPS(video parameter set)과 같은 정보를 포함하는 파라미터 세트 또는 영상의 디코딩 과정에서 부가적으로 필요한 SEI(supplemental enhancement information) 메시지가 생성될 수 있다.
NAL에서 VCL에서 생성된 RBSP(raw byte sequence payload)에 헤더 정보(NAL 유닛 데이터)가 부가되어 NAL 유닛이 생성될 수 있다. 이때, RBSP는 VCL에서 생성된 타일 그룹 데이터, 파라미터 세트, SEI 메시지를 지칭할 수 있다. NAL 유닛 헤더에서 해당 NAL 유닛에 포함되는 RBSP 데이터에 따라 특정되는 NAL 유닛 타입 정보를 포함할 수 있다.
도 11에서 도시된 것과 같이, NAL 유닛은 VCL에서 생성된 RBSP에 따라 VCL NAL 유닛과 Non-VCL NAL 유닛으로 구분될 수 있다. VCL NAL 유닛은 영상에 대한 정보(타일 그룹 데이터)를 포함하고 있는 NAL 유닛을 의미할 수 있고, Non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메시지)를 포함하고 있는 NAL 유닛을 의미할 수 있다.
상술한 VCL NAL 유닛, Non-VCL NAL 유닛은 하위 시스템의 데이터 규격에 따라 헤더 정보가 부가된 상태로 네트워크를 통해 전송될 수 있다. 예를 들어, NAL 유닛은 H.266/VVC 파일 포맷, RTP(real-time transport protocol), TS(transport stream)과 같은 소정 규격의 데이터 형태로 변환된 이후 다양한 네트워크를 통해 전송될 수 있다.
상술한 바와 같이, NAL 유닛은 해당 NAL 유닛에 포함되는 RBSP 데이터 구조에 따라 NAL 유닛 타입이 특정될 수 있으며, 이러한 NAL 유닛 타입에 대한 정보는 NAL 유닛 헤더에 저장되어 시그널링될 수 있다.
예를 들어, NAL 유닛은 영상에 대한 정보(타일 그룹 데이터)를 포함하는지 여부에 따라 크게 VCL NAL 유닛 타입과 Non-VCL NAL 유닛 타입으로 분류될 수 있다. VCL NAL 유닛 타입은 VCL NAL 유닛이 포함하는 픽처의 성질 및 종류에 따라 분류될 수 있으며, Non-VCL NAL 유닛 타입은 파라미터 세트의 종류에 따라 분류될 수 있다.
아래는 Non-VCL NAL 유닛 타입이 포함하는 파라미터 세트의 종류에 따라 특정된 NAl 유닛 타입의 일 예이다.
- APS(Adaptation Parameter Set) NAL unit: APS를 포함하는 NAL 유닛에 대한 타입
- VPS(Video Parameter Set) NAL unit: VPS를 포함하는 NAL 유닛에 대한 타입
- SPS(Sequence Parameter Set) NAL unit: SPS를 포함하는 NAL 유닛에 대한 타입
- PPS(Picture Parameter Set) NAL unit: PPS를 포함하는 NAL 유닛에 대한 타입
상술한 NAL 유닛 타입들은 NAL 유닛 타입을 위한 신택스 정보를 가지며, 신택스 정보는 NAL 유닛 헤더에 저장되어 시그널링될 수 있다. 예를 들어, 신택스 정보는 nal_unit_type일 수 있으며, NAL 유닛 타입들은 nal_unit_type 값에 의해 특정될 수 있다.
타일 그룹 헤더(타일 그룹 헤더 신택스)는 타일 그룹에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. APS(APS 신택스) 또는 PPS(PPS 신택스)는 하나 이상의 픽처에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. SPS(SPS 신택스)는 하나 이상의 시퀀스에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. VPS(VPS 신택스)는 비디오 전반에 공통적으로 적용될 수 있는 정보/파라미터를 포함할 수 있다. 본 명세서에서 상위 레벨 신택스라 함은 APS 신택스, PPS 신택스, SPS 신택스, VPS 신택스 중 적어도 하나를 포함할 수 있다.
본 명세서에서 인코딩 장치(100)에서 디코딩 장치(200)로 인코딩되어 비트스트림 형태로 시그널링되는 영상/비디오 정보는 픽처 내 파티셔닝 관련 정보, 인트라/인터 예측 정보, 레지듀얼 정보, 인루프 필터링 정보를 포함할 뿐만 아니라, APS에 포함된 정보, PPS에 포함된 정보, SPS에 포함된 정보, 및/또는 VPS에 포함된 정보를 포함할 수 있다.
인터 예측
이하, 본 명세서의 실시예에 따른 인터 예측 기법에 대하여 설명하도록 한다. 이하 설명되는 인터 예측은 도 2의 인코딩 장치(100)의 인터 예측부(180) 또는 도 3의 디코딩 장치(200)의 인터 예측부(260)에 의해 수행될 수 있다. 또한, 본 명세서의 실시예에 따라 인코딩된 데이터는 비트스트림의 형태로 저장될 수 있다.
인코딩 장치(100)/디코딩 장치(200)의 예측부는 블록 단위로 인터 예측을 수행하여 예측 샘플을 도출할 수 있다. 인터 예측은 현재 픽처 이외의 픽처(들)의 데이터 요소들(예: 샘플값들, 또는 움직임 정보 등)에 의존적인 방법으로 도출되는 예측을 나타낼 수 있다(Inter prediction can be a prediction derived in a manner that is de-pendent on data elements (e.g., sample values or motion information) of picture(s) other than the current picture). 현재 블록에 인터 예측이 적용되는 경우, 참조 픽처 인덱스가 가리키는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록(예측 샘플 어레이)을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 현재 블록의 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 타입(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측이 적용되는 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 현재 블록의 주변 블록들을 기반으로 움직임 정보 후보 리스트가 구성될 수 있고, 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 선택(사용)되는지를 지시하는 플래그 또는 인덱스 정보가 시그널링될 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 현재 블록의 움직임 정보는 선택된 주변 블록의 움직임 정보와 같을 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 선택된 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)은 시그널링될 수 있다. 이 경우 움직임 벡터 예측자 및 움직임 벡터 차분의 합을 이용하여 상기 현재 블록의 움직임 벡터를 도출할 수 있다.
도 12는 본 명세서의 실시예에 따른 비디오 신호의 인코딩 과정에서 인터 예측을 위한 흐름도의 예이고, 도 13은 본 명세서의 실시예에 따른 인코딩 장치 내 인터 예측부의 예를 도시한다.
인코딩 장치(100)는 현재 블록에 대한 인터 예측을 수행한다(S1210). 인코딩 장치(100)는 현재 블록의 인터 예측 모드 및 움직임 정보를 도출하고, 현재 블록의 예측 샘플들을 생성할 수 있다. 여기서 인터 예측 모드 결정, 움직임 정보 도출 및 예측 샘플들 생성 절차는 동시에 수행될 수도 있고, 어느 한 절차가 다른 절차보다 먼저 수행될 수도 있다. 예를 들어, 인코딩 장치(100)의 인터 예측부(180)는 예측 모드 결정부(181), 움직임 정보 도출부(182), 예측 샘플 도출부(183)를 포함할 수 있으며, 예측 모드 결정부(181)에서 현재 블록에 대한 예측 모드를 결정하고, 움직임 정보 도출부(182)에서 현재 블록의 움직임 정보를 도출하고, 예측 샘플 도출부(183)에서 현재 블록의 예측 샘플들을 도출할 수 있다. 예를 들어, 인코딩 장치(100)의 인터 예측부(180)는 움직임 추정(motion estimation)을 통하여 참조 픽처들의 일정 영역(서치 영역) 내에서 상기 현재 블록과 유사한 블록을 서치하고, 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이를 기반으로 상기 참조 블록이 위치하는 참조 픽처를 가리키는 참조 픽처 인덱스를 도출하고, 참조 블록과 현재 블록의 위치 차이를 기반으로 움직임 벡터를 도출할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들 중 현재 블록에 대하여 적용되는 모드를 결정할 수 있다. 인코딩 장치(100)는 다양한 예측 모드들에 대한 RD(rate-distortion) 비용(cost)을 비교하고 현재 블록에 대한 최적의 예측 모드를 결정할 수 있다.
예를 들어, 인코딩 장치(100)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 후술하는 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 가리키는 참조 블록들 중 현재 블록과 중 현재 블록과의 차이가 최소 또는 일정 기준 이하인 참조 블록을 도출할 수 있다. 이 경우 도출된 참조 블록과 연관된 머지 후보가 선택되며, 선택된 머지 후보를 가리키는 머지 인덱스 정보가 생성되어 디코딩 장치(200)로 시그널링될 수 있다. 선택된 머지 후보의 움직임 정보를 이용하여 현재 블록의 움직임 정보가 도출될 수 있다.
다른 예로, 인코딩 장치(100)는 현재 블록에 (A)MVP 모드가 적용되는 경우, 후술하는 (A)MVP 후보 리스트를 구성하고, (A)MVP 후보 리스트에 포함된 MVP(motion vector predictor) 후보들 중 선택된 MVP 후보의 움직임 벡터를 현재 블록의 MVP로 이용할 수 있다. 이 경우, 예를 들어, 상술한 움직임 추정에 의하여 도출된 참조 블록을 가리키는 움직임 벡터가 현재 블록의 움직임 벡터로 이용될 수 있으며, MVP 후보들 중 현재 블록의 움직임 벡터와의 차이가 가장 작은 움직임 벡터를 갖는 MVP 후보가 선택된 MVP 후보가 될 있다. 현재 블록의 움직임 벡터에서 MVP를 뺀 차분인 MVD(motion vector difference)가 도출될 수 있다. 이 경우 MVD에 관한 정보가 디코딩 장치(200)로 시그널링될 수 있다. 또한, (A)MVP 모드가 적용되는 경우, 참조 픽처 인덱스의 값은 참조 픽처 인덱스 정보 구성되어 별도로 디코딩 장치(200)로 시그널링될 수 있다.
인코딩 장치(100)는 예측 샘플들을 기반으로 레지듀얼 샘플들을 도출할 수 있다(S1220). 인코딩 장치(100)는 현재 블록의 원본 샘플들과 예측 샘플들의 비교를 통하여 레지듀얼 샘플들을 도출할 수 있다.
인코딩 장치(100)는 예측 정보 및 레지듀얼 정보를 포함하는 영상 정보를 인코딩한다(S1230). 인코딩 장치(100)는 인코딩된 영상 정보를 비트스트림 형태로 출력할 수 있다. 예측 정보는 예측 절차에 관련된 정보들로서 예측 모드 정보(예: skip flag, merge flag, 또는 mode index) 및 움직임 정보를 포함할 수 있다. 움직임 정보는 움직임 벡터를 도출하기 위한 정보인 후보 선택 정보(예: merge index, mvp flag, 또는 mvp index)를 포함할 수 있다. 또한 움직임 정보는 상술한 MVD에 관한 정보 및/또는 참조 픽처 인덱스 정보를 포함할 수 있다. 또한 움직임 정보는 L0 예측, L1 예측, 또는 쌍(bi) 예측이 적용되는지 여부를 나타내는 정보를 포함할 수 있다. 레지듀얼 정보는 레지듀얼 샘플들에 관한 정보이다. 레지듀얼 정보는 레지듀얼 샘플들에 대한 양자화된 변환 계수들에 관한 정보를 포함할 수 있다. 예측 모드 정보와 움직임 정보는 인터 예측 정보로 통칭될 수 있다.
출력된 비트스트림은 (디지털) 저장매체에 저장되어 디코딩 장치로 전달될 수 있고, 또는 네트워크를 통하여 디코딩 장치로 전달될 수도 있다.
한편, 상술한 바와 같이 인코딩 장치는 상기 참조 샘플들 및 상기 레지듀얼 샘플들을 기반으로 복원 픽처(복원 샘플들 및 복원 블록 포함)를 생성할 수 있다. 이는 디코딩 장치(200)에서 수행되는 것과 동일한 예측 결과를 인코딩 장치(100)에서 도출하기 위함이며, 이를 통하여 코딩 효율을 높일 수 있기 때문이다. 따라서, 인코딩 장치(100)는 복원 픽처(또는 복원 샘플들, 복원 블록)을 메모리에 저장하고, 인터 예측을 위한 참조 픽처로 활용할 수 있다. 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
도 14는 본 명세서의 실시예에 따른 비디오 신호의 디코딩 과정에서 인터 예측을 위한 흐름도의 예이고, 도 15는 본 명세서의 실시예에 따른 디코딩 장치 내 인터 예측부의 예를 도시한다.
디코딩 장치(200)는 인코딩 장치(100)에서 수행된 동작과 대응되는 동작을 수행할 수 있다. 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 예측을 수행하고 예측 샘플들을 도출할 수 있다.
구체적으로 디코딩 장치(200)는 수신된 예측 정보를 기반으로 현재 블록에 대한 예측 모드를 결정할 수 있다(S1410). 디코딩 장치(200)는 예측 정보 내의 예측 모드 정보를 기반으로 현재 블록에 어떤 인터 예측 모드가 적용되는지 결정할 수 있다.
예를 들어, 디코딩 장치(200)는 머지 플래그(merge flag)를 기반으로 현재 블록에 머지 모드가 적용되지 또는 (A)MVP 모드가 결정되는지 여부를 결정할 수 있다. 또는 디코딩 장치(200)는 모드 인덱스(mode index)를 기반으로 다양한 인터 예측 모드 후보들 중 하나를 선택할 수 있다. 인터 예측 모드 후보들은 스킵 모드, 머지 모드 및/또는 (A)MVP 모드를 포함할 수 있고, 또는 후술하는 다양한 인터 예측 모드들을 포함할 수 있다.
디코딩 장치(200)는 결정된 인터 예측 모드를 기반으로 현재 블록의 움직임 정보를 도출한다(S1420). 예를 들어, 디코딩 장치(200)는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는 경우, 후술하는 머지 후보 리스트를 구성하고, 머지 후보 리스트에 포함된 머지 후보들이 중 하나의 머지 후보를 선택할 수 있다. 머지 후보의 선택은 머지 인덱스(merge index)를 기반으로 수행될 수 있다. 선택된 머지 후보의 움직임 정보로부터 현재 블록의 움직임 정보가 도출할 수 있다. 선택된 머지 후보의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다.
다른 예로, 디코딩 장치(200)는, 현재 블록에 (A)MVP 모드가 적용되는 경우, 후술하는 (A)MVP 후보 리스트를 구성하고, (A)MVP 후보 리스트에 포함된 MVP 후보들 중 선택된 MVP 후보의 움직임 벡터를 현재 블록의 MVP로 이용할 수 있다. MVP의 선택은 상술한 선택 정보(MVP 플래그 또는 MVP 인덱스)를 기반으로 수행될 수 있다. 이 경우 디코딩 장치(200)는 MVD에 관한 정보를 기반으로 상기 현재 블록의 MVD를 도출할 수 있으며, 현재 블록의 MVP와 MVD를 기반으로 현재 블록의 움직임 벡터를 도출할 수 있다. 또한, 디코딩 장치(200)는 참조 픽처 인덱스 정보를 기반으로 현재 블록의 참조 픽처 인덱스를 도출할 수 있다. 현재 블록에 관한 참조 픽처 리스트 내에서 참조 픽처 인덱스가 가리키는 픽처가 현재 블록의 인터 예측을 위하여 참조되는 참조 픽처로 도출될 수 있다.
한편, 후술하는 바와 같이 후보 리스트 구성 없이 상기 현재 블록의 움직임 정보가 도출될 수 있으며, 이 경우 후술하는 예측 모드에서 개시된 절차에 따라 현재 블록의 움직임 정보가 도출될 수 있다. 이 경우 상술한 바와 같은 후보 리스트 구성은 생략될 수 있다.
디코딩 장치(200)는 현재 블록의 움직임 정보를 기반으로 현재 블록에 대한 예측 샘플들을 생성할 수 있다(S1430). 이 경우 디코딩 장치(200)는 현재 블록의 참조 픽처 인덱스를 기반으로 참조 픽처를 도출하고, 현재 블록의 움직임 벡터가 참조 픽처 상에서 가리키는 참조 블록의 샘플들을 이용하여 현재 블록의 예측 샘플들을 도출할 수 있다. 이 경우 후술하는 바와 같이 경우에 따라 현재 블록의 예측 샘플들 중 전부 또는 일부에 대한 예측 샘플 필터링 절차가 더 수행될 수 있다.
예를 들어, 디코딩 장치(200)의 인터 예측부(260)는 예측 모드 결정부(261), 움직임 정보 도출부(262), 예측 샘플 도출부(263)를 포함할 수 있으며, 예측 모드 결정부(181)에서 수신된 예측 모드 정보를 기반으로 상기 현재 블록에 대한 예측 모드를 결정하고, 움직임 정보 도출부(182)에서 수신된 움직임 정보에 관한 정보를 기반으로 상기 현재 블록의 움직임 정보(움직임 벡터 및/또는 참조 픽처 인덱스 등)를 도출하고, 예측 샘플 도출부(183)에서 상기 현재 블록의 예측 샘플들을 도출할 수 있다.
디코딩 장치(200)는 수신된 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성한다(S1440). 디코딩 장치(200)는 예측 샘플들 및 레지듀얼 샘플들을 기반으로 현재 블록에 대한 복원 샘플들을 생성하고, 이를 기반으로 복원 픽처를 생성할 수 있다(S1450). 이후 상기 복원 픽처에 인루프 필터링 절차 등이 더 적용될 수 있음은 상술한 바와 같다.
상술한 바와 같이 인터 예측 절차는 인터 예측 모드 결정 단계, 결정된 예측 모드에 따른 움직임 정보 도출 단계, 도출된 움직임 정보에 기반한 예측 수행(예측 샘플 생성) 단계를 포함할 수 있다.
인터 예측 모드 결정
픽처 내 현재 블록의 예측을 위하여 다양한 인터 예측 모드가 사용될 수 있다. 예를 들어, 머지 모드, 스킵 모드, MVP 모드, 어파인(Affine) 모드 등 다양한 모드가 사용될 수 있다. DMVR(decoder side motion vector refinement) 모드, AMVR(adaptive motion vector resolution) 모드 등이 부수적인 모드로 더 사용될 수 있다. 어파인 모드는 어파인 움직임 예측(affine motion prediction) 모드라고 불릴 수도 있다. MVP 모드는 AMVP(advanced motion vector prediction) 모드라고 불릴 수도 있다.
현재 블록의 인터 예측 모드를 가리키는 예측 모드 정보가 인코딩 장치로부터 디코딩 장치(200)로 시그널링될 수 있다. 예측 모드 정보는 비트스트림에 포함되어 디코딩 장치(200)에서 수신될 수 있다. 예측 모드 정보는 다수의 후보 모드들 중 하나를 지시하는 인덱스 정보를 포함할 수 있다. 또는, 플래그 정보의 계층적 시그널링을 통하여 인터 예측 모드를 지시할 수도 있다. 이 경우 예측 모드 정보는 하나 이상의 플래그들을 포함할 수 있다. 예를 들어, 인코딩 장치(100)는 스킵 플래그를 시그널링하여 스킵 모드 적용 여부를 지시하고, 스킵 모드가 적용 안되는 경우에 머지 플래그를 시그널링하여 머지 모드 적용 여부를 지시하고, 머지 모드가 적용 안되는 경우에 MVP 모드 적용되는 것으로 지시하거나 추가적인 구분을 위한 플래그를 더 시그널링할 수도 있다. 어파인 모드는 독립적인 모드로 시그널링될 수도 있고, 또는 머지 모드 또는 MVP 모드 등에 종속적인 모드로 시그널링될 수도 있다. 예를 들어, 어파인 모드는 후술하는 바와 같이 머지 후보 리스트 또는 MVP 후보 리스트의 하나의 후보로 구성될 수도 있다.
움직임 정보 도출
인코딩 장치(100) 또는 디코딩 장치(200)는 현재 블록의 움직임 정보를 이용하여 인터 예측을 수행할 수 있다. 인코딩 장치(100)는 움직임 추정(motion estimation) 절차를 통하여 현재 블록에 대한 최적의 움직임 정보를 도출할 수 있다. 예를 들어, 인코딩 장치(100)는 현재 블록에 대한 원본 픽처 내 원본 블록을 이용하여 상관성이 높은 유사한 참조 블록을 참조 픽처 내의 정해진 탐색 범위 내에서 분수 픽셀 단위로 탐색할 수 있고, 이를 통하여 움직임 정보를 도출할 수 있다. 블록의 유사성은 위상(phase) 기반 샘플 값들의 차를 기반으로 도출될 수 있다. 예를 들어, 블록의 유사성은 현재 블록(또는 현재 블록의 템플릿)과 참조 블록(또는 참조 블록의 템플릿) 간 SAD(sum of absolute difference)를 기반으로 계산될 수 있다. 이 경우 탐색 영역 내 SAD가 가장 작은 참조 블록을 기반으로 움직임 정보를 도출할 수 있다. 도출된 움직임 정보는 인터 예측 모드 기반으로 여러 방법에 따라 디코딩 장치로 시그널링될 수 있다.
머지 모드 및 스킵 모드
머지 모드(merge mode)가 적용되는 경우, 현재 예측 블록의 움직임 정보가 직접적으로 전송되지 않고, 주변 예측 블록의 움직임 정보를 이용하여 현재 예측 블록의 움직임 정보를 유도하게 된다. 따라서, 인코딩 장치(100)는 머지 모드를 이용하였음을 알려주는 플래그 정보 및 주변의 어떤 예측 블록을 이용하였는지를 알려주는 머지 인덱스를 전송함으로써 현재 예측 블록의 움직임 정보를 지시할 수 있다.
인코딩 장치(100)는 머지 모드를 수행하기 위해서 현재 예측 블록의 움직임 정보를 유도하기 위해 이용되는 머지 후보 블록(merge candidate block)을 서치하여야 한다. 예를 들어, 머지 후보 블록은 최대 5개까지 이용될 수 있으나, 본 명세서는 이에 한정되지 않는다. 그리고, 머지 후보 블록의 최대 개수는 슬라이스 헤더 또는 타일 그룹 헤더에서 전송될 수 있으며, 본 명세서는 이에 한정되지 않는다. 머지 후보 블록들을 찾은 후, 인코딩 장치(100)는 머지 후보 리스트를 생성할 수 있고, 이들 중 가장 작은 비용을 갖는 머지 후보 블록을 최종 머지 후보 블록으로 선택할 수 있다.
머지 후보 리스트는 예를 들어 5개의 머지 후보 블록을 이용할 수 있다. 예를 들어, 4개의 공간적 머지 후보(spatial merge candidate)와 1개의 시간적 머지 후보(temporal merge candidate)를 이용할 수 있다.
도 16은 본 명세서의 실시예에 따른 공간적 머지 후보로서 사용되는 공간적 주변 블록들의 예를 도시한다.
도 16을 참조하면, 현재 블록의 예측을 위하여 좌측 이웃 블록(A1), 좌하측(bottom-left) 이웃 블록(A0), 우상측(top-right) 이웃 블록(B0), 상측 이웃 블록(B1), 좌상측(top-left) 이웃 블록(B2) 중 적어도 하나가 사용될 수 있다. 현재 블록에 대한 머지 후보 리스트는 도 17과 같은 절차를 기반으로 구성될 수 있다.
도 17은 본 명세서의 실시예에 따른 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.
코딩 장치(인코딩 장치(100) 또는 디코딩 장치(200))는 현재 블록의 공간적 주변 블록들을 탐색하여 도출된 공간적 머지 후보들을 머지 후보 리스트에 삽입한다(S1710). 예를 들어, 공간적 주변 블록들은 현재 블록의 좌하측 코너 주변 블록, 좌측 주변 블록, 우상측 코너 주변 블록, 상측 주변 블록, 좌상측 코너 주변 블록들을 포함할 수 있다. 다만, 이는 예시로서 상술한 공간적 주변 블록들 이외에도 우측 주변 블록, 하측 주변 블록, 우하측 주변 블록 등 추가적인 주변 블록들이 더 상기 공간적 주변 블록들로 사용될 수 있다. 코딩 장치는 공간적 주변 블록들을 우선순위를 기반으로 탐색하여 가용한 블록들을 검출하고, 검출된 블록들의 움직임 정보를 공간적 머지 후보들로 도출할 수 있다. 예를 들어, 인코딩 장치(100) 또는 디코딩 장치(200)는 도 16에 도시된 5개의 블록들을 A1, B1, B0, A0, B2의 순서대로 탐색하여, 가용한 후보들을 순차적으로 인덱싱하여 머지 후보 리스트로 구성할 수 있다.
코딩 장치는 현재 블록의 시간적 주변 블록을 탐색하여 도출된 시간적 머지 후보를 상기 머지 후보 리스트에 삽입한다(S1720). 시간적 주변 블록은 현재 블록이 위치하는 현재 픽처와 다른 픽처인 참조 픽처 상에 위치할 수 있다. 시간적 주변 블록이 위치하는 참조 픽처는 동일 위치 픽처(collocated picture) 또는 콜 픽처(col picture)라고 불릴 수 있다. 시간적 주변 블록은 콜 픽처 상에서의 현재 블록에 대한 동일 위치 블록(collocated block)의 우하측 코너 주변 블록 및 우하측 센터 블록의 순서로 탐색될 수 있다. 한편, 움직임 데이터 압축(motion data compression)이 적용되는 경우, 콜 픽처에 일정 저장 단위마다 특정 움직임 정보를 대표 움직임 정보로 저장할 수 있다. 이 경우 상기 일정 저장 단위 내의 모든 블록에 대한 움직임 정보를 저장할 필요가 없으며 이를 통하여 움직임 데이터 압축 효과를 얻을 수 있다. 이 경우, 일정 저장 단위는 예를 들어 16x16 샘플 단위, 또는 8x8 샘플 단위 등으로 미리 정해질 수도 있고, 또는 인코딩 장치(100)로부터 디코딩 장치(200)로 일정 저장 단위에 대한 사이즈 정보가 시그널링될 수도 있다. 움직임 데이터 압축이 적용되는 경우 시간적 주변 블록의 움직임 정보는 시간적 주변 블록이 위치하는 일정 저장 단위의 대표 움직임 정보로 대체될 수 있다. 즉, 이 경우 구현 측면에서 보면, 시간적 주변 블록의 좌표에 위치하는 예측 블록이 아닌, 시간적 주변 블록의 좌표(좌상단 샘플 포지션)를 기반으로 일정 값만큼 산술적 우측 시프트 후 산술적 좌측 시프트 한 위치를 커버하는 예측 블록의 움직임 정보를 기반으로 시간적 머지 후보가 도출될 수 있다. 예를 들어, 일정 저장 단위가 2nx2n 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> n) << n), (yTnb >> n) << n))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다. 구체적으로 예를 들어, 일정 저장 단위가 16x16 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> 4) << 4), (yTnb >> 4) << 4))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다. 또는 예를 들어, 일정 저장 단위가 8x8 샘플 단위인 경우, 시간적 주변 블록의 좌표가 (xTnb, yTnb)라 하면, 수정된 위치인 ((xTnb >> 3) << 3), (yTnb >> 3) << 3))에 위치하는 예측 블록의 움직임 정보가 시간적 머지 후보를 위하여 사용될 수 있다.
코딩 장치는 현재 머지 후보들의 개수가 최대 머지 후보들의 개수보다 작은지 여부를 확인할 수 있다(S1730). 최대 머지 후보들의 개수는 미리 정의되거나 인코딩 장치(100)에서 디코딩 장치(200)로 시그널링될 수 있다. 예를 들어, 인코딩 장치(100)는 최대 머지 후보들의 개수에 관한 정보를 생성하고, 인코딩하여 비트스트림 형태로 디코딩 장치(200)로 전달할 수 있다. 최대 머지 후보들의 개수가 다 채워지면 이후의 후보 추가 과정은 진행하지 않을 수 있다.
확인 결과 현재 머지 후보들의 개수가 상기 최대 머지 후보들의 개수보다 작은 경우, 코딩 장치는 추가 머지 후보를 머지 후보 리스트에 삽입한다(S1740). 추가 머지 후보는 예를 들어 ATMVP(adaptive temporal motion vector prediction), 결합된 양방향 예측(combined bi-predictive) 머지 후보(현재 슬라이스의 슬라이스 타입이 B 타입인 경우) 및/또는 영 벡터(zero vector) 머지 후보를 포함할 수 있다.
MVP 모드
도 18은 본 명세서의 실시예에 따른 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트를 구성하기 위한 흐름도의 예이다.
MVP 모드는 AMVP(advanced MVP 또는 adaptive MVP)로 지칭될 수 있다. MVP 모드가 적용되는 경우, 복원된 공간적 주변 블록(예를 들어, 도 16의 주변 블록)의 움직임 벡터 및/또는 시간적 주변 블록(또는 Col 블록)에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자(motion vector predictor, MVP) 후보 리스트가 생성될 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록에 대응하는 움직임 벡터는 움직임 벡터 예측자 후보로 사용될 수 있다. 상기 예측에 관한 정보는 상기 리스트에 포함된 움직임 벡터 예측자 후보들 중에서 선택된 최적의 움직임 벡터 예측자 후보를 지시하는 선택 정보(예: MVP 플래그 또는 MVP 인덱스)를 포함할 수 있다. 이 때, 예측부는 상기 선택 정보를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 예측자 후보들 중에서, 현재 블록의 움직임 벡터 예측자를 선택할 수 있다. 인코딩 장치(100)의 예측부는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 비트스트림 형태로 출력할 수 있다. 즉, MVD는 현재 블록의 움직임 벡터에서 상기 움직임 벡터 예측자를 뺀 값으로 구해질 수 있다. 이 때, 디코딩 장치의 예측부는 상기 예측에 관한 정보에 포함된 움직임 벡터 차분을 획득하고, 상기 움직임 벡터 차분과 상기 움직임 벡터 예측자의 가산을 통해 현재 블록의 상기 움직임 벡터를 도출할 수 있다. 디코딩 장치의 예측부는 참조 픽처를 지시하는 참조 픽처 인덱스 등을 상기 예측에 관한 정보로부터 획득 또는 유도할 수 있다. 예를 들어, 움직임 벡터 예측자 후보 리스트는 도 18과 같이 구성될 수 있다.
도 18을 참조하면, 코딩 장치는 움직임 벡터 예측을 위한 공간적 후보 블록을 탐색하여 예측 후보 리스트에 삽입한다(S1810). 예를 들어, 코딩 장치는 정해진 탐색 순서에 따라 주변 블록들에 대한 탐색을 수행하고, 공간적 후보 블록에 대한 조건을 만족하는 주변 블록의 정보를 예측 후보 리스트(MVP 후보 리스트)에 추가할 수 있다.
공간적 후보 블록 리스트를 구성한 후, 코딩 장치는 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수와 기 설정된 기준 개수(예: 2)를 비교한다(S1820). 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수가 기준 개수(예: 2)보다 크거나 같은 경우, 코딩 장치는 예측 후보 리스트의 구성을 종료할 수 있다.
그러나, 예측 후보 리스트에 포함된 공간적 후보 리스트의 개수가 기준 개수(예: 2)보다 작은 경우, 코딩 장치는 시간적 후보 블록을 탐색하여 예측 후보 리스트에 추가 삽입하고(S1830), 시간적 후보 블록이 사용 불가능한 경우, 제로 움직임 벡터를 예측 후보 리스트에 추가한다(S1840).
예측 모드에 따라 도출된 움직임 정보를 기반으로 현재 블록에 대한 예측된 블록이 도출될 수 있다. 예측된 블록은 현재 블록의 예측 샘플들(예측 샘플 어레이)을 포함할 수 있다. 현재 블록의 움직임 벡터가 분수 샘플 단위를 가리키는 경우, 보간(interpolation) 절차가 수행될 수 있으며, 이를 통하여 참조 픽처 내에서 분수 샘플 단위의 참조 샘플들을 기반으로 상기 현재 블록의 예측 샘플들이 도출될 수 있다. 현재 블록에 어파인(affine) 인터 예측이 적용되는 경우, 샘플/서브블록 단위 움직임 벡터(motion vector)에 기반하여 예측 샘플들이 생성될 수 있다. 양방향(bi-direction) 예측이 적용되는 경우, 제1 방향 예측(예: L0 예측)을 기반으로 도출된 예측 샘플들과 제2 방향 예측(예: L1 예측)을 기반으로 도출된 예측 샘플들의 (위상에 따른) 가중합을 통하여 최종 예측 샘플들이 도출될 수 있다. 도출된 예측 샘플들을 기반으로 복원 샘플들 및 복원 픽처가 생성될 수 있고, 이후 인루프 필터링 등의 절차가 수행될 수 있음은 상술한 바와 같다.
한편, MVP 모드가 적용되는 경우, 참조 픽처 인덱스가 명시적으로 시그널링될 수 있다. 이 경우 L0 예측을 위한 참조 픽처 인덱스(refidxL0)와 L1 예측을 위한 참조 픽처 인덱스(refidxL1)가 개별적으로 시그널링될 수 있다. 예를 들어, MVP 모드가 적용되고 쌍 예측이 적용되는 경우, refidxL0에 관한 정보 및 refidxL1에 관한 정보가 모두 시그널링될 수 있다.
MVP 모드가 적용되는 경우, 상술한 바와 같이 인코딩 장치(100)에서 도출된 MVD에 관한 정보가 디코딩 장치(200)로 시그널링될 수 있다. MVD에 관한 정보는, 예를 들어, MVD 절대값 및 부호에 대한 x, y 성분을 나타내는 정보를 포함할 수 있다. 이 경우, MVD 절대값이 0보다 큰지 여부(abs_mvd_greater0_flag), 1보다 큰지 여부, MVD 나머지를 나타내는 정보(abs_mvd_greater1_flag)가 단계적으로 시그널링될 수 있다. 예를 들어, MVD 절대값이 1보다 큰지 여부를 나타내는 정보(abs_mvd_greater1_flag)는 MVD 절대값이 0보다 큰지 여부를 나타내는 플래그 정보(abs_mvd_greater0_flag)의 값이 1인 경우에 한하여 시그널링될 수 있다.
예를 들어, MVD에 관한 정보는 아래의 표 1과 같은 신택스로 구성되어 인코딩 장치(100)에서 인코딩되어 디코딩 장치(200)로 시그널링될 수 있다.
예를 들어, MVD[compIdx]는 abs_mvd_greater0_flag[compIdx] *( abs_mvd_minus2[compIdx] + 2 ) * ( 1 - 2 * mvd_sign_flag[compIdx])를 기반으로 도출될 수 있다. 여기서 compIdx(또는 cpIdx)는 각 성분의 인덱스를 나타내며, 0 또는 1 값을 가질 수 있다. compIdx 0은 x 성분을 가리킬 수 있고, compIdx 1은 y 성분을 가리킬 수 있다. 다만, 이는 예시로서, x, y 좌표계 말고 다른 좌표계를 써서 각 성분별로 값을 나타낼 수도 있다.
한편, L0 예측을 위한 MVD (MVDL0)와 L1 예측을 위한 MVD(MVDL1)이 구분되어 시그널링될 수도 있으며, MVD에 관한 정보는 MVDL0에 관한 정보 및/또는 MVDL1에 관한 정보를 포함할 수 있다. 예를 들어, 현재 블록에 MVP 모드가 적용되고 양방향 예측이 적용되는 경우, MVDLO에 관한 정보와 MVDL1에 관한 정보가 모두 시그널링될 수 있다.
Symmetric MVD(SMVD)
도 19는 본 명세서의 실시예에 따른 대칭적(symmetric) MVD(motion vector difference) 모드가 적용되는 경우의 예를 도시한다.
한편, 양방향 예측이 적용되는 경우, 코딩 효율을 고려하여 SMVD(symmetric MVD)가 사용될 수도 있다. 이 경우, 움직임 정보 중 일부의 시그널링이 생략될 수 있다. 예를 들어, SVMD가 현재 블록에 적용되는 경우, refidxL0에 관한 정보, refidxL1에 관한 정보, MVDL1에 관한 정보가 인코딩 장치(100)로부터 디코딩 장치(200)로 시그널링되지 않고, 내부적으로 도출될 수 있다. 예를 들어, 현재 블록에 MVP 모드 및 양방향 예측이 적용되는 경우, SMVD 적용 여부를 지시하는 플래그 정보(예: symmetric MVD 플래그 정보 또는 sym_mvd_flag 신택스 요소)가 시그널링될 수 있으며 플래그 정보의 값이 1인 경우 디코딩 장치(200)는 현재 블록에 SMVD가 적용되는 것으로 판단할 수 있다.
SMVD 모드가 적용되는 경우(즉, symmetric MVD 플래그 정보의 값이 1인 경우), mvp_l0_lfag, mvp_l1_flag, 및 MVDL0에 관한 정보가 명시적으로(explicitly) 시그널링될 수 있고, 상술한 바와 같이 refidxL0에 관한 정보, refidxL1에 관한 정보, MVDL1에 관한 정보의 시그널링이 생략된 상태로 디코더의 내부에서 도출될 수 있다. 예를 들어, refidxL0는 참조 픽처 리스트 0(리스트 0, L0, 또는 제1 참조 리스트로 지칭될 수 있음) 내에서 POC(picture order count) 순서상 현재 픽처에 가장 가까운 이전 참조 픽처를 가리키는 인덱스로 도출될 수 있다. refidxL1은 참조 픽처 리스트 1 (리스트 1, L1, 또는 제2 참조 픽처 리스트로 지칭될 수 있음) 내에서 POC 순서상 현재 픽처에 가장 가까운 이후 참조 픽처를 가리키는 인덱스로 도출될 수 있다. 또한, 예를 들어, refidxL0 및 refidxL1은 둘 다 각각 0으로 도출될 수 있다. 또한, 예를 들어, refidxL0 및 refidxL1은 현재 픽처와의 관계에서 동일한 POC 차를 가지는 최소 인덱스로 각각 도출될 수 있다. 보다 구체적인 예로서, [현재 픽처의 POC] - [refidxL0가 지시하는 제1 참조 픽처의 POC]를 제1 POC 차분이라고 하고, [refidxL1가 지시하는 제2 참조 픽처의 POC]를 제2 POC 차분이라고 할 때, 제1 POC 차분과 제2 POC 차분이 동일한 경우에 한하여 제1 참조 픽처를 가리키는 refidxL0의 값이 현재 블록의 refidxL0의 값으로 도출되고, 제2 참조 픽처를 가리키는 refidxL1의 값이 현재 블록의 refidxL1의 값으로 도출될 수도 있다. 또한, 예를 들어, 제1 POC 차분과 제2 POC 차분이 동일한 복수의 집합이 있는 경우, 그중 차분이 최소인 집합의 refidxL0, refidxL1이 현재 블록의 refidxL0, refidxL1로 도출될 수 있다.
MVDL1은 -MVDL0로 도출될 수 있다. 예를 들어, 현재 블록에 대한 최종 MV는 아래의 수학식 1과 같이 도출될 수 있다.
수학식 1에서, mvx0, mvy0는 현재 블록에 대한 L0 방향 움직임 벡터의 x, y 성분을 나타내고, mvx1, mvy1는 현재 블록에 대한 L0 방향 예측을 위한 움직임 벡터의 x, y 성분을 나타내고, L1 방향 예측을 위한 움직임 벡터의 x, y 성분을 나타낸다. mvp0, mvp0는 L0 방향 예측을 위한 MVP의 움직임 벡터(L0 베이스 움직임 벡터), mvp1, mvp1은 L1 방향 예측을 위한 MVP의 움직임 벡터(L1 베이스 움직임 벡터)를 나타낸다. mvd0, mvd0는 L0 방향 예측을 위한 MVD의 x, y 성분을 나타낸다. 수학식 1에 따르면 L1 방향 예측을 위한 MVD는 L0 MVD와 동일한 값을 갖되 반대 부호를 갖는다.
어파인 모드(Affine mode)
기존 비디오 코딩 시스템은 코딩 블록의 움직임을 표현하기 위해 하나의 움직임 벡터를 사용하였다(translation motion model 사용). 그러나, 하나의 움직임 벡터를 사용한 방법은 블록 단위에서 최적의 움직임을 표현했을 수 있으나, 실제 각 화소에 대한 최적의 움직임은 아니므로, 화소 단위에서 최적의 움직임 벡터를 결정한다면 부호화 효율을 높일 수 있다. 이를 위해 본 실시예는 어파인 움직임 모델(affine motion model)을 사용하여 인코딩/디코딩을 수행하는 어파인 움직임 예측(affine motion prediction) 방법이 설명된다. 어파인 움직임 예측 방법은 2개, 3개 혹은 4개의 움직임 벡터를 사용하여 블록의 각 화소 단위로 움직임 벡터가 표현될 수 있다.
도 20은 본 명세서의 실시예에 따른 어파인 움직임 모델(affine motion model)들의 예를 도시한다.
어파인 움직임 모델은 도 16과 같이 4개의 움직임을 표현할 수 있다. 어파인 움직임 모델이 표현할 수 있는 움직임 중 3가지 움직임(translation, scale, rotate)을 표현하는 어파인 움직임 모델은 유사(또는 단순화된) 어파인 움직임 모델로 지칭되며, 본 명세서는 유사(또는 단수화된) 어파인 움직임 모델을 기준으로 제안된 방법들을 설명한다. 그러나, 본 명세서의 실시예가 유사(또는 단수화된) 어파인 움직임 모델에 한정되는 것은 아니다.
도 21a 및 도 21b는 본 명세서의 실시예에 따른 제어점(control point)별 움직임 벡터의 예를 도시한다.
도 21a 및 도 21b와 같이 어파인 움직임 예측은 2개 이상의 제어점 움직임 벡터(control point motion vector, CPMV)들을 이용하여 블록에 포함된 화소 위치별로 움직임 벡터를 결정할 수 있다.
4-파라미터 어파인 움직임 모델(도 21a)에 대하여, 샘플 위치(x, y)에서의 움직임 벡터는 아래의 수학식 2와 같이 유도될 수 있다.
6-파라미터 어파인 움직임 모델(도 21b)에 대하여, 샘플 위치(x, y)에서의 움직임 벡터는 아래의 수학식 3과 같이 유도될 수 있다.
여기서 {v0x, v0y}는 부호화 블록의 좌상측(top-left) 코너 위치의 CP의 CPMV이고, {v1x, v1y}는 우상측(top-right) 코너 위치의 CP의 CPMV이고, {v2x, v2y}는 좌하측(bottom-left) 코너 위치의 CP의 CPMV이다. 그리고 W는 현재 블록의 너비(width)에 해당하고, H는 현재 블록의 높이(height)에 해당하고, {vx, vy}는 {x, y} 위치에서의 움직임 벡터이다.
도 22는 본 명세서의 실시예에 따른 각 서브블록에 대한 움직임 벡터의 예를 도시한다.
인코딩/디코딩 과정에서 어파인 MVF(motion vector field)는 화소 단위 혹은 이미 정의된 서브블록 단위에서 결정될 수 있다. 화소 단위로 MVF가 결정되는 경우 각 화소 값을 기준으로 움직임 벡터가 획득되고, 서브블록 단위로 MVP가 결정되는 경우 서브블록의 중앙(센터 우하측, 즉 중앙 4개의 샘플들 중 우하측 샘플) 화소 값 기준으로 해당 블록의 움직임 벡터가 획득될 수 있다. 이하 설명에서, 도 22와 같이 어파인 MVF가 4*4서브블록 단위에서 결정되는 경우를 가정하여 설명한다. 다만, 이것은 설명의 편의를 위함일 뿐 서브블록의 사이즈는 다양하게 변형될 수 있다.
즉, 어파인 예측이 사용 가능한 경우, 현재 블록에 적용가능한 움직임 모델은 다음 3가지를 포함할 수 있다. 병진 움직임 모델(translational motion model), 4-파라미터 어파인 움직임 모델(4-parameter affine motion model), 6-파라미터 어파인 움직임 모델(6-parameter affine motion mode). 여기서, 병진 움직임 모델은 기존 블록 단위 움직임 벡터가 사용되는 모델을 나타낼 수 있고, 4-파라미터 어파인 움직임 모델은 2개의 CPMV가 사용되는 모델을 나타낼 수 있고, 6-파라미터 어파인 움직임 모델은 3개의 CPMV가 사용되는 모델을 나타낼 수 있다.
어파인 움직임 예측은 어파인 MVP(또는 affine inter) 모드 및 어파인 머지를 포함할 수 있다. 어파인 움직임 예측에서, 현재 블록의 움직임 벡터들은 샘플 단위 또는 서브블록 단위로 유도될 수 있다.
어파인 머지(Affine merge)
어파인 머지 모드에서, CPMV는 어파인 움직임 예측으로 코딩된 주변 블록의 어파인 움직임 모델에 따라 결정될 수 있다. 탐색 순서에서 어파인 코딩된 주변 블록이 어파인 머지 모드를 위해 사용될 수 있다. 하나 또는 그 이상의 주변 블록들이 어파인 움직임 예측으로 코딩될 때 현재 블록은 AF_MERGE로 코딩될 수 있다. 즉, 어파인 머지 모드가 적용되는 경우, 주변 블록의 CPMV들을 이용하여 현재 블록의 CPMV들이 도출될 수 있다. 이 경우 주변 블록의 CPMV들이 그대로 현재 블록의 CPMV들로 사용될 수도 있고, 주변 블록의 CPMV들이 주변 블록의 사이즈 및 현재 블록의 사이즈를 기초로 수정됨으로써 현재 블록의 CPMV들로 사용될 수 있다.
어파인 머지 모드가 적용되는 경우, 현재 블록에 대한 CPMV들의 도출을 위하여 어파인 머지 후보 리스트가 구성될 수 있다. 어파인 머지 후보 리스트는, 예를 들어, 다음 후보들 중 적어도 하나를 포함할 수 있다.
1) 상속된 어파인 후보들(inherited affine candidates)
2) 구성된 어파인 후보들(constructed affine candidates)
3) 제로 MV 후보(zero MV candidate)
여기서, 상속된 어파인 후보들은 주변 블록이 어파인 모드로 코딩된 경우, 주변 블록의 CPMV들을 기반으로 도출되는 후보이고, 구성된 어파인 후보들(constructed affine candidates)은 각 CPMV 단위로 해당 CP 주변 블록의 MV를 기반으로 CPMV들을 구성함(constructing)으로써 도출된 후보이고, 제로 MV 후보(zero MV candidate)는 0을 값으로 갖는 CPMV들로 구성된 후보를 나타낼 수 있다.
도 23은 본 명세서의 실시예에 따른 어파인 머지 후보 리스트를 구성하기 위한 흐름도의 예이다.
도 23을 참조하면, 코딩 장치(인코딩 장치 또는 디코딩 장치)는 후보 리스트에 상속된 어파인 후보들(inherited affine candidates)을 삽입하고(S2310), 구성된 어파인 후보들(constructed affine candidates)을 어파인 후보 리스트에 삽입하고(S2320), 제로 MV 후보(zero MV candidate)를 어파인 후보 리스트에 삽입할 수 있다(S2330). 일 실시예에서, 코딩 장치는, 후보 리스트에 포함된 후보들의 개수가 기준 개수(예: 2개)보다 작은 경우, 구성된 어파인 후보들 또는 제로 MV 후보를 삽입할 수 있다.
도 24는 본 명세서의 실시예에 따른 상속된(inherited) 어파인 움직임 예측자를 유도하기 위한 블록들의 예를 도시하며, 도 25는 본 명세서의 실시예에 따른 상속된 어파인 움직임 예측자를 유도하기 위한 제어점 움직임 벡터들의 예를 도시한다.
최대 2개(좌측 인접 CU로부터 하나와 상측 인접 CU들 중 하나)의 상속된 어파인 후보들이 있을 수 있으며, 이는 주변 블록들의 어파인 움직임 모델로부터 유도될 수 있다. 도 24에서 후보 블록들이 도시된다. 좌측 예측자에 대한 스캔 순서는 A0 - A1이고, 상측 예측자에 대한 스캔 순서는 B0 - B1 - B2이다. 각 측면으로부터의 첫번째 상속된 후보들만이 선택된다. 두 상속된 후보들 사이에 프루닝 체크(pruning check)는 수행되지 않을 수 있다. 인접한 어파인 CU가 확인되면, 인접한 어파인 CU의 제어점 움직임 벡터들이 현재 CU의 어파인 머지 리스트에서 CPMVP(control point motion vector predictor) 후보를 유도하기 위해 사용될 수 있다. 도 25에 도시된 것과 같이, 만약 좌측 주변 블록 A가 어파인 모드로 코딩된 경우, 블록 A를 포함하는 CU의 움직임 벡터들 좌상측 코너, 우상측 코너, 및 좌하측 코너의 v2, v3, 및 v4가 사용된다. 블록 A가 4-파라미터 어파인 모델로 코딩되면, 현재 CU의 2개의 CPMV들이 v2 및 v3에 따라 계산된다. 블록 A가 6-파라미터 모델로 코딩된 경우, 현재 CU의 3개의 CPMV들은 v2, v3, 및 v4에 따라 계산된다.
도 26은 본 명세서의 실시예에 따른 구성된(constructed) 어파인 머지 후보를 유도하기 위한 블록들의 예를 도시한다.
구성된 어파인 머지(constructed affine merge)는 각 제어점 마다의 이웃한 병진 움직임 정보를 결합함으로써 구성되는 후보를 의미한다. 도 26에서 도시된 것과 같이 제어점들에 대한 움직임 정보는 특정된 공간적 이웃들 및 시간적 이웃들로부터 유도된다. CPMVk (k = 1, 2, 3, 4)는 k번째 제어점을 나타낸다. 좌상측 코너의 CPMV1 (CP0)에 대하여, B2 - B3 - A2 순서로 블록들이 체크되고 첫번째 사용 가능한 블록의 MV가 사용된다. 우상측 코너의 CPMV2 (CP1)에 대하여 B1 - B0 순서로 블록들이 체크되고, 좌하측 코너의 CPMV3 (CP2)에 대하여 A1 - A0 순서로 블록들이 체크된다. 사용 가능하다면, TMVP가 우하측 코너의 CPMV4 (CP3)에 대하여 사용된다.
4개의 제어점들의 MV들이 획득되면, 어파인 머지 후보들이 이러한 움직임 정보에 기반하여 구성된다. 아래의 제어점 MV들의 조합들이 순서대로 사용된다:
{CPMV1, CPMV2, CPMV3}, {CPMV1, CPMV2, CPMV4}, {CPMV1, CPMV3, CPMV4},
{CPMV2, CPMV3, CPMV4}, {CPMV1, CPMV2}, {CPMV1, CPMV3}
3개의 CPMV들의 조합들은 6-파라미터 어파인 머지 후보를 구성하고, 2개의 CPMV들의 조합은 4-파라미터 어파인 머지 후보를 구성한다. 모션 스케일링 프로세스를 회피하기 위하여, 제어점들의 참조 인덱스들이 다르면, 관련된 제어점 MV들의 조합은 버려진다(discarded).
어파인 MVP(Affine MVP)
도 27은 본 명세서의 실시예에 따른 어파인 MVP 후보 리스트를 구성하기 위한 흐름도의 예이다.
어파인 MVP 모드에서, 현재 블록에 대한 2개 이상의 CPMVP(control point motion vector prediction)와 CPMV가 결정 이후, 차이 값에 해당하는 CPMVD(control point motion vector difference)를 인코딩 장치(100)로부터 디코딩 장치(200)로 전송된다.
어파인 MVP 모드가 적용되는 경우, 현재 블록에 대한 CPMV들의 도출을 위하여 어파인 MVP 후보 리스트가 구성될 수 있다. 예를 들어, 어파인 MVP 후보 리스트는 다음 후보들 중 적어도 하나를 포함할 수 있다. 예를 들어, 어파인 MVP 후보 리스트는 최대 n개(예: 2개)의 후보를 포함할 수 있다.
1) 인접 CU들의 CPMV들로부터 외삽된(extrapolated) 상속된 어파인 MVP 후보들 (Inherited affine mvp candidates that extrapolated from the CPMVs of the neighbour CUs) (S2710)
2) 인접 CU들의 병진 MV들을 사용하여 유도되는 구성된 어파인 MVP 후보들 CPMVPs (Constructed affine mvp candidates CPMVPs that are derived using the translational MVs of the neighbour CUs) (S2720)
3) 주변 CU들로부터의 병진 MV들에 기반한 추가적인 후보들 (Additional candidates based on Translational MVs from neighboring CUs) (S2730)
4) 제로 MV 후보 (Zero MVs candidate) (S2740)
여기서, 상속된 어파인 후보(inherited affine candidate)는, 주변 블록이 어파인 모드로 코딩된 경우 주변 블록의 CPMV들에 기반하여 도출되는 후보이고, 구성된 어파인 후보(constructed affine candidate)는 각 CPMV 단위로 해당 CP 주변 블록의 MV를 기반으로 CPMV들을 구성함으로써 도출된 후보이며, 제로 MV 후보는 그 값이 0인 CPMV들로 구성된 후보를 나타낸다. 어파인 MVP 후보 리스트에 대한 최대 후보 개수가 2개인 경우, 위 순서에서 2) 이하의 후보들은 현재 후보의 개수가 2개 미만인 경우에 대해 고려되고 추가될 수 있다. 또한, 주변 CU들로부터의 병진 MV들에 기반한 추가적인 후보들(additional candidates based on Translational MVs from neighboring CUs)은 아래와 같은 순서로 도출될 수 있다.
1) 만약 후보 개수가 2 미만이고 구성된 후보(constructed candidate)의 CPMV0가 유효하면 CPMV0를 어파인 MVP 후보로 사용한다. 즉, CP0, CP1, CP2의 MV가 모두 구성된 후보(constructed candidate)의 CPMV0와 동일하게 설정된다.
2) 만약 후보 개수가 2 미만이고 구성된 후보(constructed candidate)의 CPMV1 이 유효하면 CPMV1를 어파인 MVP 후보로 사용한다. 즉, CP0, CP1, CP2의 MV 가 모두 구성된 후보(constructed candidate)의 CPMV1와 동일하게 설정된다.
3) 만약 후보 개수가 2 미만이고 구성된 후보(constructed candidate)의 CPMV2가 유효하면 CPMV2를 어파인 MVP 후보로 사용한다. 즉, CP0, CP1, CP2의 MV가 모두 구성된 후보(constructed candidate)의 CPMV2와 동일하게 설정된다.
4) 만약 후보 개수가 2 미만이면 TMVP(temporal motion vector predictor or mvCol)를 어파인 MVP 후보로 사용한다.
어파인 MVP 후보 리스트는 도 27과 같은 절차에 의해 도출될 수 있다.
상속된 MVP 후보들의 확인 순서는 상속된 어파인 머지 후보들의 확인 순서와 동일하다. 다른 점은, MVP 후보에 대하여, 현재 블록과 동일한 참조 픽처를 갖는 어파인 CU만이 고려된다는 점이다. 상속된 어파인 움직임 예측자가 후보 리스트에 추가될 때 프루닝 프로세스는 적용되지 않는다.
구성된 MVP 후보는 도 26에 도시된 주변 블록들로부터 유도된다. 어파인 머지 후보의 구성과 동일한 확인 순서가 사용된다. 또한, 주변 블록의 참조 픽처 인덱스 또한 확인된다. 확인 순서에서 인터 코딩되고 현재 CU와 동일한 참조 픽처를 갖는 첫번째 블록이 사용된다.
AMVR (Adaptive Motion Vector Resolution)
기존에, 슬라이스 헤더에서 use_integer_mv_flag가 0일 때 (CU의 예측된 움직임 벡터와 움직임 벡터 사이의) MVD(motion vector difference)가 1/4 휘도 샘플(quarter-luma-sample) 단위로 시그널링 될 수 있다. 본 문서에서, CU-레벨 AMVR 방식이 소개된다. AMVR은 CU의 MVD가 1/4 휘도 샘플, 정수 휘도 샘플, 또는 4 휘도 샘플 단위로 코딩되도록 할 수 있다. 현재 CU가 적어도 하나의 0이 아닌 MVD 성분(non-zero MVD component)을 가지면, CU-레벨 MVD 해상도 지시자(indication)가 조건적으로 시그널링된다. 모든 MVD 성분들(즉, 참조 리스트 L0 및 참조 리스트 L1에 대한 수평 및 수직 MVD들)이 0이면, 1/4 휘도 샘플 MVD 해상도가 유추된다.
적어도 하나의 0이 아닌 MVD 성분을 갖는 CU에 대하여, 제1 플래그가 1/4 휘도 샘플 MVD 정확도가 상기 CU에 대해 적용되는지 여부를 결정하기 위해 시그널링된다. 만약 제1 플래그가 0이면, 추가적인 시그널링이 필요하지 않고 1/4 휘도 샘플 MVD 정확도가 현재 CU에 대해 사용된다. 그렇지 않으면, 제2 플래그가 정수 휘도 샘플 또는 4 휘도 샘플 MVD 정확도가 사용되는지 여부를 지시하기 위해 시그널링 된다. 복원된 MV가 의도된 정확도(1/4 휘도 샘플, 정수 휘도 샘플, 또는 4 휘도 샘플)를 담보하기 위하여, CU에 대한 움직임 벡터 예측자들은 이전에 MVD와 함께 추가된 움직임 벡터 예측자와 동일한 정확도를 갖도록 반올림될(rounded) 수 있다. 움직임 벡터 예측자들은 0으로 반올림될 수 있다. (즉, 음의 움직임 벡터 예측자는 양의 무한대로 반올림되고 양의 움직임 벡터 예측자는 음의 무한대로 반올림된다). 인코더는 RD 체크를 사용하여 현재 CU에 대한 움직임 벡터 해상도를 결정한다. 각 MVD 해상도에 대한 3번의 CU-레벨 RD 체크를 항상 수행하는 것을 회피하기 위하여, 4 휘도 샘플 MVD 해상도의 RD 체크는 조건적으로 호출될 수 있다. 1/4 샘플 MVD 정확도의 RD 비용이 첫번째로 계산된다. 그러면, 4 휘도 샘플 MVD 정확도의 RD 비용의 확인이 필요한지 여부를 결정하기 위하여 정수 휘도 샘플 MVD 정확도의 RD 비용이 1/4 휘도 샘플 MVD 정확도의 RD 비용과 비교된다. 1/4 휘도 샘플 MVD 정확도에 대한 RD 비용이 정수 휘도 샘플 MVD 정확도의 RD 비용보다 작을 때, 4 샘플 MVD 정확도의 RD 비용은 생략된다.
움직임 필드 저장 (Motion Field Storage)
메모리 부하의 감소를 위하여, 이전에 디코딩된 참조 픽처의 움직임 정보는 일정 영역 단위로 저장될 수 있다. 이는 temporal motion field storage, motion field compression, 또는 motion data compression으로 지칭될 수 있다. 이 경우 어파인 모드가 적용되었는지 여부에 따라 움직임 정보의 저장 단위가 다르게 설정될 수 있다. 이 경우, 명시적으로 시그널링된 움직임 벡터들 중에서 가장 높은 정확도를 갖는 것은 1/4 휘도 샘플(quarter-luma-sample)이다. 어파인 모드와 같은 몇몇 인터 예측 모드들에서, 움직임 벡터들은 1/16 휘도 샘플 정확도(1/16th-luma-sample precision)에서 유도되고 움직임 보상된 예측은 1/16 샘플 정확도에서 수행된다. 내부적 움직임 필드 저장의 관점에서, 모든 움직임 벡터들은 1/16 휘도 샘플 정확도로 저장된다.
본 문서에서, TMVP와 ATMVP에 의해 사용되는 시간적 움직임 필드 저장을 위하여, 움직임 필드 압축은 8x8 정확도(granularity)에서 수행된다.
히스토리 기반 머지 후보 유도(History-based merge candidate derivation)
HMVP(history-based MVP) 머지 후보는 공간적 MVP와 TMVP 이후 머지 리스트에 추가될 수 있다. 본 방법에서, 이전에 코딩된 블록의 움직임 정보가 테이블에 저장되고 현재 CU에 대한 MVP로서 사용된다. 다수의 HMVP 후보들로 구성된 테이블은 인코딩/디코딩 프로세스 동안 유지된다. 새로운 CTU 행이 사용되면, 테이블은 리셋된다(비워진다). 서브블록이 아닌 인터 예측으로 코딩된 CU가 있을 때, 관련된 움직임 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다.
일 실시예에서, HMVP 테이블 사이즈(S)는 6으로 설정되는데, 이는 최대 6개의 HVMP 후보들이 테이블에 추가될 수 있음을 의미한다. 테이블에 새로운 움직임 후보를 삽입할 때, 제한된(constrained) FIFO(first-in-first-out) 규칙이 사용된다. 여기서 추가하고자 하는 HMVP 후보가 동일한 HMVP 후보가 테이블에 존재하는지 여부를 확인하기 위한 중복성(redundancy) 확인이 먼저 수행된다. 동일한 HMVP 후보가 존재하면, 기존의 동일한 HMVP 후보가 테이블로부터 제거되고 모든 HMVP 후보들이 앞 순서로 이동한다.
HMVP 후보들은 머지 후보 리스트 구성 프로세스에서 사용될 수 있다. 테이블에서 가장 최근의 HMVP 후보들이 확인되고, TMVP 후보 다음 순서로 머지 후보 리스트에 삽입된다. HMVP 후보에 대한 중복성 확인이 공간적 또는 시간적 머지 후보에 대해 적용된다.
중복성 확인 동작들의 수행 횟수를 감소시키기 위하여, 아래의 단순화 방법들이 사용될 수 있다.
1) 머지 리스트 생성을 위한 HMVP 후보들의 개수는 (N <= 4) ? M : (8 - N)으로 설정된다. 여기서 N은 머지 리스트에 존재하는 후보들의 개수, M은 테이블에서 사용 가능한 HMVP 후보들의 개수를 나타낸다.
2) 사용 가능한 머지 후보들의 총 개수가 최대 허용된 머지 후보들의 개수에서 1을 뺀 값에 도달하면, HVMP로부터의 머지 후보 리스트 구성 프로세스는 종료된다.
쌍 평균 머지 후보 유도(Pair-wise average merge candidates derivation)
쌍 평균 후보들은 머지 후보 리스트에 존재하는 후보들의 기 정의된 쌍들의평균에 의해 생성된다. 여기서 기 정의된 쌍들은 {(0, 1), (0, 2), (1, 2), (0, 3), (1, 3), (2, 3)}로서 정의되는데, 0, 1, 2, 3과 같은 숫자들은 머지 후보 리스트에서의 머지 인덱스이다. 움직임 벡터들의 평균은 각 참조 리스트에 대해 개별적으로 계산된다. 하나의 리스트에서 2개의 움직임 벡터들이 모두 사용 가능하면, 2개의 움직임 벡터들이 서로 다른 참조 픽처에 대한 것이라 하더라도 2개의 움직임 벡터들의 평균 값이 사용된다. 만약 하나의 움직임 벡터만이 사용 가능하면, 그 사용 가능한 움직임 벡터가 바로 사용된다. 사용 가능한 움직임 벡터가 없으면, 그 리스트는 사용 불가능한(invalid) 것으로 유지된다.
쌍 평균 머지 후보가 추가된 이후에도 머지 리스트가 채워지지 않을 때, 제로 MV들이 최대 머지 후보 개수에 도달할 때까지 삽입된다.
예측 샘플 생성
예측 모드에 따라 도출된 움직임 정보를 기반으로 현재 블록에 대한 예측된 블록이 도출될 수 있다. 예측된 블록은 현재 블록의 예측 샘플들(예측 샘플 어레이)를 포함할 수 있다. 현재 블록의 움직임 벡터가 분수(fractional) 샘플 단위를 가리키는 경우, 보간(interpolation) 절차가 수행될 수 있다. 보간 절차를 통하여 참조 픽처 내에서 분수 샘플 단위의 참조 샘플들로부터 현재 블록의 예측 샘플들이 도출될 수 있다. 현재 블록에 어파인 인터 예측이 적용되는 경우, 샘플/서브블록 단위의 움직임 벡터를 기반으로 예측 샘플들이 생성될 수 있다. 쌍 예측(bi prediction)이 적용되는 경우, L0 방향 예측(즉, L0 참조 픽처 리스트 내 참조 픽처와 L0 움직임 벡터를 이용한 예측)을 기반으로 도출된 예측 샘플들과 L1 예측(즉, L1 참조 픽처 리스트 내 참조 픽처와 L1 움직임 벡터를 이용한 예측)을 기반으로 도출된 예측 샘플들의 (위상에 따른) 가중합 또는 가중평균을 통하여 도출된 예측 샘플들이 현재 블록의 예측 샘플들로 이용될 수 있다. 쌍 예측이 적용되는 경우, L0 예측에 이용된 참조 픽처와 L1 예측에 이용된 참조 픽처가 현재 픽처를 기준으로 서로 다른 시간적 방향에 위치하는 경우(즉, 쌍 예측이면서 양방향(bi-directional) 예측에 해당하는 경우) 진정(true) 쌍 예측으로 지칭될 수 있다.
도출된 예측 샘플들을 기반으로 복원 샘플들 및 복원 픽처가 생성될 수 있고, 이후 인루프 필터링 등의 절차가 수행될 수 있음은 전술한 바와 같다.
BWA (Bi-prediction with weighted average)
상술한 바와 같이 본 명세서에 따르면 현재 블록에 쌍 예측이 적용되는 경우, 가중 평균(weighted average)을 기반으로 예측 샘플이 도출될 수 있다. 쌍 예측 신호(즉, 쌍 예측 샘플들)은 L0 예측 신호(L0 예측 샘플들)와 L1 예측 신호(L1 예측 샘플들)의 단순 평균 또는 가중 평균을 통해 도출될 수 있다. 단순 평균에 의한 예측 샘플 도출이 적용되는 경우, 쌍 예측 샘플들은 L0 참조 픽처 및 L0 움직임 벡터에 기반한 L0 예측 샘플들과 L1 참조 픽처 및 L1 움직임 벡터에 기반한 L1 예측 샘플들의 평균 값들로서 도출될 수 있다. 본 명세서의 실시예에 따르면, 쌍 예측이 적용되는 경우 아래의 수학식 4와 같이 L0 예측 신호와 L1 예측 신호의 가중 평균을 통하여 쌍 예측 신호(쌍 예측 샘플들)이 도출될 수 있다.
수학식 4에서 Pbi-pred는 쌍 예측 샘플 값, P0는 L0 예측 샘플 값, P1은 L0 예측 샘플 값, w는 가중치 값을 나타낸다.
가중 평균 쌍 예측에서 5개의 가중치 값(w)들이 허용될 수 있는데, 그 가중치 값(w)들은 -2, 3, 4, 5, 10일 수 있다. 쌍 예측이 적용된 각 CU에 대하여, 가중치 w는 2가지 방법들 중 하나에 의해 결정될 수 있다.
1) 머지 모드가 아닌(non-merge) CU에 대하여, 가중치 인덱스는 MVD 이후 시그널링된다.
2) 머지 CU에 대하여, 가중치 인덱스는 머지 후보 인덱스에 기반하여 주변 블록들로부터 추론된다.
가중합 쌍 예측은 오직 256 또는 그 이상의 휘도 샘플들을 갖는 CU들(CU 너비와 CU 높이의 곱이 256보다 크거나 같은 CU들)에만 적용될 수 있다. 저지연(low-delay) 픽처들에 대하여, 모든 5개의 가중치들이 사용될 수 있다. 저지연이 아닌 픽처들에 대하여, 오직 3개의 가중치들(3, 4, 5)이 사용될 수 있다.
a) 인코더에서, 인코더 복잡도의 상당한 증가 없이 가중치 인덱스를 찾기 위하여 고속 탐색 알고리즘이 적용된다. 이러한 알고리즘들은 아래와 같이 요약된다. AMVR과 결합될 때, 현재 픽처가 저지연 픽처이면 동일하지 않은(unequal) 가중치들만이 1-pel 및 4-pel 움직임 벡터 정확도에 대해 조건적으로 확인된다.
b) 어파인과 결합될 때, 어파인 모드가 현재 최적의 모드로서 선택되면 어파인 ME(motion estimation)가 동일하지 않은 가중치들에 대해 수행될 것이다.
c) 쌍 예측에서 두 참조 픽처들이 동일할 때, 동일하지 않은 가중치들만이 조건적으로 확인된다.
e) 현재 픽처와 그 참조 픽처들 사이의 POC 거리, 코딩 QP(quantization parameter), 시간적 레벨(temporal level)에 따라, 특정 조건이 만족되지 않을 때 동일하지 않은 가중치들이 탐색되지 않는다.
CIIP (combined inter and intra prediction)
CIIP는 현재 CU에 적용될 수 있다. 예를 들어, CU가 머지 모드로 코딩될 때, CU가 적어도 64개의 휘도 샘플들을 포함하면(CU 너비와 CU 높이의 곱이 64보다 크거나 같으면) 추가적인 플래그가 CIIP 모드가 현재 CU에 적용되는지 여부를 지시하기 위하여 시그널링될 수 있다. CIIP 모드는 다중 가설(multi-hypothesis) 모드 또는 인터/인트라 다중 가설 모드로 지칭될 수도 있다.
인트라 예측 모드 도출 (intra prediction mode derivation)
DC, PLANAR, HORIZONTAL, 및 VERTICAL 모드들을 포함하는 최대 4개의 인트라 예측 모드들이 CIIP 모드에서 휘도 성분을 예측하기 위해 사용될 수 있다. CU 모양이 매우 넓으면(wide)(예를 들어, 너비가 높이보다 2배 이상 크면), HORIZONTAL 모드는 허용되지 않는다. CU 모양이 매우 좁으면(narrow)(즉, 높이가 너비보다 2배 이상 크면), VERTICAL 모드는 허용되지 않는다. 이 경우들에 대하여, 3개의 인트라 예측 모드들이 허용된다.
CIIP 모드는 인트라 예측을 위하여 3개의 MPM(most probable mode)를 사용한다. CIIP MPM 후보 리스트는 아래와 같이 형성된다.
- 좌측 및 상측 이웃 블록들이 각각 A와 B로 설정됨
- 블록 A와 블록 B의 예측 모드들이 각각 intraModeA와 intraModeB로 명명되며, 이하와 같이 도출됨
· X를 A 또는 B로 둠
· 만약 i) 블록 X가 사용 불가능하거나, ii) 블록 X가 CIIP 모드를 사용하여 예측되지 않거나, 또는 iii) 블록 B가 현재 CTU 외부에 위치하면, intraModeX는 DC로 설정됨
· 그렇지 않으면, i) 블록 X의 인트라 예측 모드가 DC 또는 PLANAR이면, intraModeX는 DC 또는 PLANAR로, ii) 블록 X의 인트라 예측 모드가 "수직에 가까운(vertical-like)" 방향성 모드(34보다 큰 모드)이면 intraModeX는 VERTICAL로, 또는 iii) 블록 X의 인트라 예측 모드가 "수평에 가까운(horizontal-like)" 방향성 모드(34보다 작거나 같은 모드)이면 intraModeX는 HORIZONTAL로 설정됨
- intraModeA와 intraModeB가 동일하면,
· intraModeA가 PLANAR 또는 DC이면, 3개의 MPM들은 {PLANAR, DC, VERTICAL} 순서로 설정됨
· 그렇지 않으면, 3개의 MPM들은 {intraModeA, PLANAR, DC} 순서로 설정됨
- 그렇지 않으면(intraModeA와 intraModeB가 동일하지 않으면),
· 첫번째 2개의 MPM 들은 {intraModeA, intraModeB} 순서로 설정됨
· PLANAR, DC, VERTICAL의 고유성(uniqueness)(중복성)이 그 순서대로 첫번째 2개의 MPM 후보들에 대하여 확인되며, 고유의(중복되지 않는) 모드가 발견되면 3번째 MPM으로서 추가됨
만약 CU 모양이 매우 넓거나 매우 좁으면, MPM 플래그는 시그널링 없이 1로 추론된다. 그렇지 않으면, CIIP 인트라 예측 모드가 CIIP MPM 후보 모드들 중 하나인지 여부를 지시하기 위한 MPM 플래그가 시그널링된다.
만약 MPM 플래그가 1이면, MPM 후보 모드들 중에서 어느 것이 CIIP 인트라 예측에서 사용되는지를 지시하기 위한 MPM 인덱스가 추가적으로 시그널링된다. 그렇지 않으면, MPM 플래그가 0이면, MPM 후보 리스트에서 인트라 예측 모드는 "미싱(missing)" 모드로 설정된다. 예를 들어, 만약 PLANAR 모드가 MPM 후보 리스트에서 없으면, PLANAR가 미싱 모드가 되고, 인트라 예측 모드는 PLANAR로 설정된다. CIIP에서 4개의 가능한 인트라 예측 모드가 허용되므로, MPM 후보 리스트는 오직 3개의 인트라 예측 후보들 만을 포함한다. 색차 성분들에 대하여, 추가적인 시그널링 없이 항상 DM 모드가 적용된다. 즉, 휘도 성분과 동일한 예측 모드가 색차 성분들에 사용된다. CIIP로 코딩된 CU의 인트라 예측 모드는 이후의 주변 CU들의 인트라 모드 코딩을 위하여 저장되고 사용될 것이다.
인터와 인트라 예측 신호들의 결합 (Combining the inter and intra prediction signals)
CIIP 모드에서의 인터 예측 신호 Pinter는 일반적인 머지 모드에 적용된 동일한 인터 예측 프로세스를 사용하여 유도되고, 인트라 예측 신호 Pintra는 인트라 예측 프로세스에 따른 CIIP 인트라 예측을 사용하여 유도된다. 그러면, 인트라 및 인터 예측 신호들은 가중 평균을 사용하여 결합되며, 여기서 가중치 값은 아래와 같이 인트라 예측 모드와 코딩 블록에서 샘플이 위치한 곳에 의존한다.
- 인트라 예측 모드가 DC 또는 플래너 모드이거나, 블록 너비 또는 높이가 4보다 작으면, 동일한 가중치가 인트라 예측과 인터 예측 신호들에 적용된다.
- 그렇지 않으면, 가중치들은 인트라 예측 모드(이 경우 수평 모드 또는 수직 모드)와 블록 내 샘플 위치에 기반하여 결정된다. 수평 예측 모드를 예로서 설명한다(수직 모드에 대한 가중치들이 유사하나 직교 방향에서 유도될 수 있음). 블록의 너비를 W, 블록의 높이를 H로 둔다. 코딩 블록은 처음에 4개의 동일-영역 파트들로 분할되고, 각각의 차원은 (W/4)xH이다. 인트라 예측 참조 샘플들과 가장 가까운 파트에서 시작하여 인트라 예측 샘플들로부터 가장 먼 파트를 끝으로, 4개 영역들 각각에 대한 가중치 wt는 6, 5, 3, 2로 설정된다. 최종 CIIP 예측 신호는 아래의 수학식 5와 같이 유도될 수 있다.
수학식 5에서, PCIIP는 CIIP 예측 샘플 값, Pinter는 인터 예측 샘플 값, Pintra는 인트라 예측 샘플 값, wt는 가중치를 나타낸다.
실시예
본 명세서의 실시예는 인터 예측 방법 중에서 MVP 예측 및 Symmetric MVD와 관련된 것으로서, 인터 예측을 위한 움직임 정보 유도 방법, 신택스 시그널링 방법에 대해 설명한다.
SMVD(symmetric motion vector difference)가 적용되면, MVP 모드로 코딩된 블록이 쌍 예측(bi prediction)으로 코딩된 경우, SMVD의 적용 여부를 지시하는 SMVD 플래그(sym_mvd_flag)가 디코더로 시그널링되고, L0 방향 예측을 위한 MVD, L0 방향 예측을 위한 MVP 인덱스, L1 방향의 MVP 인덱스만이 디코더로 전송된다. 디코더는 L0, L1 참조 픽처 인덱스(refidxL0, refidxL1)와 L1 MVD(MVDL1)를 유도함으로써, 쌍 예측을 수행할 수 있다. refidxL0는 refidxsymL0로 지칭될 수 있고, refidxL1은 refidxsymL1으로 지칭될 수 있다.
한편, MVDL1이 0인지 여부를 지시하는 플래그(mvd_l1_zero_flag)가 시그널링될 수 있다. mvd_l1_zero_flag가 0이면 MVDL1에 대한 코딩(디코딩)이 수행되고, mvd_l1_zero_flag가 1이면 MVDL1에 대항 코딩(디코딩)이 수행되지 않는다.
mvd_l1_zero_flag는, 예를 들어, 현재 블록이 포함된 현재 타일 그룹(또는 픽처, 슬라이스)의 타일 그룹 타일(픽처 타입, 슬라이스 타입)이 B(쌍 예측)인 경우 시그널링될 수 있다. 즉, mvd_l1_zero_flag는 현재 블록(코딩 유닛)보다 상위 레벨(예: 픽처, 슬라이스, 타일 그룹)에 대한 코딩 정보에 포함되어 시그널링될 수 있다.
mvd_l1_zero_flag가 1인 경우, 인코더의 MV 결정 방법을 고려할 때 SMVD 방법이 사용되는 것은 비효율 적이다. 따라서, 본 명세서의 실시예는 mvd_l1_zero_flag가 1인 경우 sym_mvd_flag의 시그널링(파싱) 없이 sym_mvd_flag의 값을 0으로 추론(infer)하는 방법을 제공한다.
본 명세서의 실시예에 따른 코딩 유닛에 대한 신택스 구조는 표 2와 같을 수 있다.
표 2에서, 디코더는 SMVD의 적용 여부를 지시하는 플래그(즉, L0(sym_mvd_flag)를 파싱하기 위한 조건으로서, L1 방향 MVD가 0인지 여부를 지시하는 플래그(mvd_l1_zero_flag)를 확인한다. 즉, 디코더는 mvd_l1_zero_flag에 기반하여 sym_mvd_flag를 파싱한다. sym_mvd_flag가 1인 경우, L0 참조 픽처에 관한 정보(예: ref_idx_l0), L1 참조 픽처에 관한 정보(예: ref_idx_l1), L1 MVD에 대한 정보(예: mvd_coding(x0, y0, 1, 0))의 코딩(파싱)이 생략된다.
도 28은 본 명세서의 실시예에 따른 움직임 벡터를 유도하기 위한 흐름도의 예를 도시한다. 도 28의 동작들은 디코딩 장치(200)의 인터 예측부(260) 또는 비디오 신호 처리 장치(500)의 프로세서(510)에 의해 수행될 수 있다. 도 28의 흐름도는 도 14의 S1420 단계의 일 예에 해당할 수 있다.
먼저, 디코더는 현재 블록에 스킵 모드 또는 머지 모드가 적용되는지 여부를 확인한다(S2805). 예를 들어, 표 1의 신택스 구조에서 나타난 것과 같이, 디코더는 스킵 모드의 적용 여부를 지시하는 플래그(cu_skip_flag)를 사용하여 스킵 모드가 적용되는 지 여부를 확인하고, 스킵 모드가 적용되지 않으면(cu_skip_flag = 0) 머지 모드의 적용 여부를 지시하는 플래그(merge_flag)를 사용하여 머지 모드가 적용되는지 여부를 확인한다.
스킵 모드 또는 머지 모드가 적용되는 경우, 디코더는 머지 후보를 구성하고(S2810), 머지 인덱스에 기반하여 움직임 벡터를 도출한다(S2815). 스킵 모드 또는 머지 모드가 적용되지 않으면, 디코더는 현재 블록의 예측 타입을 지시하는 인덱스(inter_pred_idc)를 확인한다(S2820). 여기서 예측 타입은 uni 예측 또는 bi 예측 중 하나에 해당할 수 있다. 예측 타입이 uni 예측인 경우, 디코더는 MVP[X] 후보 리스트(X는 0 또는 1)를 구성하고(S2825), L0 또는 L1 방향에 대한 MVP 인덱스(mvp_idx[X])에 기반하여 MVP[X]를 유도하고, MVD[X]와 MVP[X]를 더하여 움직임 벡터를 유도할 수 있다(S2830).
현재 블록의 예측 타입이 bi 예측인 경우, 디코더는 SMVD의 적용여부를 지시하는 플래그(Sym_mvd_flag)를 확인한다(S2835). SMVD가 적용되지 않으면, 디코더는 L0 방향과 L1 방향 각각에 대한 움직임 벡터 유도 프로세스를 수행한다(S2840), 디코더는 LX에 대한 MVP 후보를 구성하고(S2870), LX에 대한 MVP 인덱스에 기반하여MVP 움직임 벡터를 유도하고(S2875), MVP 움직임 벡터와 MVD의 합을 통해 최종 움직임 벡터를 유도한다(S2880).
SMVD가 적용되면, 디코더는 L0에 대한 MVP 후보 리스트와 L1에 대한 MVP 후보 리스트를 각각 구성한다(S2845, S2850). MVP 후보 리스트의 구성에 앞서, 디코더는 현재 픽처의 참조 픽처 리스트에서 가장 가까운 픽처들에 해당하는 참조 픽처 인덱스가 L0, L1에 대한 참조 인덱스로 도출될 수 있다(S2885). SMVD에 의하여, 디코더는 L1에 대한 MVD(MVD[L1])을 L0에 대한 MVD(MVD[L0])와 동일한 크기를 갖되 다른 부호를 갖도록 결정한다(MVD[L1] = -1 * MVD[L0]). 이후, 디코더는 L0과 L1 각각에 대하여 MVD와 MVP 인덱스에 대응하는 MVP 움직임 벡터에 기반하여 최종 움직임 벡터를 유도한다(S2860, S2865).
도 29는 본 명세서의 실시예에 따른 움직임 추정을 위한 흐름도의 예를 도시한다. 도 29의 동작들은 인코딩 장치(100)의 인터 예측부(180) 또는 비디오 신호 처리 장치(500)의 프로세서(510)에 의해 수행될 수 있다. 도 29의 흐름도는 도 12의 S1210 단계의 일 예에 해당할 수 있다.
먼저, 인코더는 L0와 L1에 대한 MVP 후보 리스트를 구성한다(S2905, S2910). 이후 인코더는 mvd_l1_zero_flag를 통해 현재 블록이 포함된 타일 그룹(또는 픽처, 슬라이스)에서 L1 MVD가 0인지 여부(L1 MVD 정보가 코딩되는지 여부)를 확인한다(S2915). L1 MVD가 코딩되는 경우(mvd_l1_zero_flag가 0인 경우), 인코더는 L0와 L1 모두에 대하여 움직임 탐색을 수행한다(S2920).
L1 MVD가 코딩되지 않는 경우(mvd_l1_zero_flag가 1인 경우), 인코더는 L1 MV를 MVP 움직임 벡터(PMV)로 고정하고, L1 MV(MV[L1])에 대응하는 L1 예측 블록을 가져온다(S2930). 이후, 인코더는 L0에 대한 움직임 벡터 탐색을 수행하는데(S2935), 탐색 범위 내에서 움직임 탐색을 수행하고(S2940), L0 예측자와 L1 예측자의 평균 값을 결정하고(S2945), 최적의 L0 MV를 결정한다(S2950).
본 명세서의 실시예에 따르면, 인코더에서 mvd_l1_zero_flag가 1인 경우(L1 MVD가 코딩되지 않는 경우), 움직임 예측을 수행하는 과정에서 SMVD가 적용되면 오히려 비효율적일 수 있다. 도 29는 인코더에서 mvd_l1_zero_flag가 1인 경우, 쌍 예측을 수행하여 최적의 MV를 결정하는 과정을 나타낸다. 도 29에서 나타난 것과 같이, mvd_l1_zero_flag가 1인 경우 L0 움직임 탐색이 수행된다. 이때 SMVD가 적용되면 최적의 MV[L0]를 결정하는 과정에서 매번 MVD[L0]를 미러링하여 L1쪽에 적용한 후 계산이 수행되므로, 움직임 탐색 프로세스가 매우 복잡해질 수 있다. 그리하여, 본 명세서의 실시예는 mvd_l1_zero_flag가 1인 경우 SMVD가 적용되지 않는 방법을 제공한다.
비트스트림
상술한 본 명세서의 실시예들을 기반으로 인코딩 장치(100)에 의하여 도출된 인코딩된 정보(예: 인코딩된 비디오/영상 정보)는 비트스트림 형태로 출력될 수 있다. 인코딩된 정보는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 비 일시적(non-transitory) 디지털 저장매체에 저장될 수 있다. 또한, 상술한 바와 같이 비트스트림은 인코딩 장치(100)에서 디코딩 장치(200)로 바로 전송되지 않고, 외부 서버(예: 컨텐츠 스트리밍 서버)를 통하여 스트리밍/다운로드 서비스될 수도 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.
도 30은 본 명세서의 실시예에 따른 인터 예측을 위한 비디오 신호의 인코딩 흐름도의 예이다. 도 30의 동작들은 인코딩 장치(100)의 인터 예측부(180) 또는 비디오 신호 처리 장치(500)의 프로세서(510)에 의해 수행될 수 있다. 도 29의 흐름도는 도 12의 S1230 단계의 일 예에 해당할 수 있다.
S3010 단계에서, 인코더는 제1 레벨 유닛에 대한 제1 코딩 정보를 인코딩한다. 여기서 제1 레벨 유닛은 상대적으로 상위 레벨의 처리 유닛(예: 픽처, 슬라이스, 타일 그룹)에 해당할 수 있다.
본 명세서의 실시예에 따르면, 제1 코딩 정보는 제1 방향 예측(L0 예측)을 위한 제1 MVD(L0 MVD) 정보와 제2 방향 예측(L1 예측)을 위한 제2 MVD(L0 MVD) 정보 중에서 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그(mvd_l1_zero_flag)를 포함한다. 여기서 제1 MVD 정보와 제2 MVD 정보는 표 1과 같은 신택스 구조로 코딩될 수 있는데, 제1 플래그(mvd_l1_zero_flag)에 따라 제2 MVD 정보에 대한 코딩은 생략된 상태로 0으로 추론될 수 있다. 예를 들어, 제1 플래그(mvd_l1_zero_flag)가 0이면 제2 MVD 정보의 인코딩이 수행되고, 제2 플래그(mvd_l1_zero_flag)가 1이면 제2 MVD 정보의 인코딩이 생략될 수 있다.
S3020 단계에서, 인코더는 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보를 인코딩한다. 여기서 제2 레벨 유닛은 코딩 유닛에 해당할 수 있다. 여기서 제2 코딩 정보는 제2 레벨 유닛에 해당하는 현재 블록에 대하여 SMVD가 적용되는지 여부와 관련된 제2 플래그(sym_mvd_flag)를 포함한다.
본 명세서의 실시예에 따르면, 제2 플래그(sym_mvd_flag)는 제1 플래그(mvd_l1_zero_flag)에 기반하여 인코딩된다. 예를 들어, 제1 플래그(sym_mvd_flag)가 0이면 인코더는 제1 방향 예측을 위한 제1 움직임 벡터(L0 움직임 벡터) 및 제2 방향 예측을 위한 제2 움직임 벡터(L1 움직임 벡터)의 탐색 절차에 기반하여 제2 플래그를 인코딩할 수 있다. 제1 플래그(sym_mvd_flag)가 1이면 인코더는 SMVD의 적용을 배제한 상태로 움직임 추정을 수행하고, 제2 플래그(sym_mvd_flag)를 인코딩하지 않는다.
도 31은 본 명세서의 실시예에 따른 인터 예측을 위한 비디오 신호의 디코딩 흐름도의 예이다. 도 31의 동작들은 디코딩 장치(200)의 인터 예측부(260) 또는 비디오 신호 처리 장치(500)의 프로세서(510)에 의해 수행될 수 있다. 도 31의 S3110 단계 내지 S3150 단계는 도 14의 S1420 단계의 일 예에 해당하고, 도 31의 S3160 단계는 도 14의 S1430 단계의 일 예에 해당한다.
S3110 단계에서, 디코더는 제1 레벨 유닛에 대한 제1 코딩 정보로부터 제1 방향 예측(L0 예측)을 위한 제1 MVD 정보(L0 MVD 정보)와 제2 방향 예측(L1 예측)을 위한 제2 MVD 정보(L1 MVD 정보) 중에서 제2 MVD 정보(L1 MVD 정보)가 코딩되는지 여부와 관련된 제1 플래그(mvd_l1_zero_flag)를 획득한다. 제1 레벨 유닛은 상대적으로 상위 레벨의 처리 유닛으로서, 픽처, 슬라이스, 또는 타일 그룹 중 하나에 해당할 수 있다. 제1 MVD 정보(L0 MVD 정보)와 제2 MVD 정보(L1 MVD 정보)는 표 1과 같은 신택스 구조를 통해 디코딩될 수 있다.
예를 들어, 제1 플래그(mvd_l1_zero_flag)가 0이면 제2 MVD 정보(L1 MVD 정보)의 디코딩이 수행되지 않고, 제1 플래그(mvd_l1_zero_flag)가 1이면 제2 MVD 정보(L1 MVD 정보)의 디코딩이 생략될 수 있다. 예를 들어, 표 2에서 제1 플래그(mvd_l1_zero_flag)가 1이면 제2 MVD에 대한 코딩 절차 없이 제2 MVD 값(MvdL1, MvdCpL1)은 0으로 간주된다.
S3120 단계에서, 인코더는 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보로부터, 제1 플래그(mvd_l1_zero_flag)에 기반하여 현재 블록에 SMVD가 적용되는지 여부와 관련된 제2 플래그(sym_mvd_flag)를 획득한다.
예를 들어, 제1 플래그(mvd_l1_zero_flag)가 0이고 추가 조건이 만족되면, 디코더는 제2 플래그(sym_mvd_flag)를 디코딩하고, 제1 플래그(mvd_l1_zero_flag)가 1이고 상기 제2 플래그의 디코딩 없이 상기 제2 플래그를 0으로 추론할 수 있다. 예를 들어, 표 2에서 제2 플래그(sym_mvd_flag)를 파싱하기 위한 조건으로서, 제1 플래그(mvd_l1_zero_flag)가 0일 것이 포함된다.
S3130 단계에서, 인코더는 제1 MVD 정보(L0 MVD 정보)에 기반하여 현재 블록에 대한 제1 MVD(L0 MVD)를 결정한다. 예를 들어, 인코더는 표 2의 mvd_coding 절차를 호출한 이후, 표 1과 같은 신택스 구조를 통해 제1 MVD(L0 MVD)를 결정할 수 있다.
S3140 단계에서, 인코더는 제2 플래그(sym_mvd_flag)에 기반하여 제1 MVD(L0 MVD)로부터 제2 MVD(L1 MVD)를 결정한다. 예를 들어, 제2 플래그(sym_mvd_flag)가 0이면 디코더는 제2 MVD 정보(L1 MVD 정보)로부터 제2 MVD(L1 MVD)를 결정하고, 제2 플래그(sym_mvd_flag)가 1이면 SMVD에 기반하여 제1 MVD(L0 MVD)로부터 제2 MVD(L1 MVD)를 결정할 수 있다. 예를 들어, 제2 플래그(sym_mvd_flag)가 0이면 제2 MVD 정보의 코딩 절차(mvd_coding(x0, y0, 1, 0))를 호출함으로써 표 1과 같은 신택스 구조를 통해 제2 MVD(L1 MVD)를 결정하고, 제2 플래그(sym_mvd_flag)가 1이면 제1 MVD(L0 MVD)로부터 제2 MVD(L1 MVD)를 결정한다. 표 2에 나타난 것과 같이, 제2 플래그(sym_mvd_flag)가 1이면 제2 MVD(L1 MVD)는 제1 MVD(L0 MVD)와 동일한 크기와 제1 MVD와 반대의 부호를 가질 수 있다. (MvdL1[ x0 ][ y0 ][ 0 ] = - MvdL0[ x0 ][ y0 ][ 0 ], MvdL1[ x0 ][ y0 ][ 1 ] = - MvdL0[ x0 ][ y0 ][ 1 ]).
S3150 단계에서, 디코더는 제1 MVD(L0 MVD) 및 제2 MVD(L1 MVD)에 기반하여 제1 움직임 벡터(L0 움직임 벡터) 및 제2 움직임 벡터(L1 움직임 벡터)를 결정한다. 예를 들어, 디코더는 제1 방향 예측(L0 예측)을 위한 제1 MVP 정보(L0 MVP 정보)(예: 표 2의 mvp_l0_flag) 및 제2 방향 예측(L1 예측)을 위한 제2 MVP 정보(L1 MVP 정보)(예: 표 2의 mvp_l1_flag)를 획득할 수 있다. 이후, 디코더는 제1 방향 예측(L0 예측)을 위한 제1 MVP 후보 리스트(L0 MVP 후보 리스트)에서 제1 MVP 정보(L0 MVP 정보)에 대응하는 제1 후보 움직임 벡터(L0 후보 움직임 벡터) 및 제2 방향 예측(L1 예측)을 위한 제2 MVP 후보 리스트(L1 MVP 후보 리스트)에서 제2 MVP 정보(L1 MVP 정보)에 대응하는 제2 후보 움직임 벡터(L1 후보 움직임 벡터)를 결정할 수 있다. 또한, 디코더는 제1 후보 움직임 벡터(L0 후보 움직임 벡터)에 제1 MVD(L0 MVD)를 더함으로써 제1 움직임 벡터(L0 움직임 벡터)를 결정하고, 제2 후보 움직임 벡터(L1 후보 움직임 벡터)에 제2 MVD(L1 MVD)를 더함으로써 제2 움직임 벡터(L1 움직임 벡터)를 결정할 수 있다.
S3160 단계에서, 디코더는 제1 움직임 벡터(L0 움직임 벡터) 및 제2 움직임 벡터(L1 움직임 벡터)에 기반하여 현재 블록의 예측 샘플을 생성한다. 예를 들어, 디코더는 제1 방향 예측(L0 예측)을 위한 제1 참조 픽처(L0 참조 픽처) 및 제2 방향 예측(L1 예측)을 위한 제2 참조 픽처(L1 참조 픽처)를 결정하고, 제1 참조 픽처(L0 참조 픽처)에서 제1 움직임 벡터(L0 움직임 벡터)에 의해 지시되는 제1 참조 샘플(L0 참조 샘플)과 제2 참조 픽처(L1 참조 픽처)에서 제2 움직임 벡터(L1 움직임 벡터)에 의해 지시되는 제2 참조 샘플(L1 참조 샘플)에 기반하여 현재 블록의 예측 샘플을 생성할 수 있다. 일 예로서, 참조 샘플은 제1 참조 샘플(L0 참조 샘플)과 제2 참조 샘플(L1 참조 샘플)의 가중 평균을 통하여 도출될 수 있다.
일 실시예에서, 제1 참조 픽처(L0 참조 픽처)는 제1 방향 예측(L0 예측)을 위한 제1 참조 픽처 리스트(L0 참조 픽처 리스트)에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이전 참조 픽처에 해당하고, 제2 참조 픽처(L1 참조 픽처)는 제2 방향 예측(L1 예측)을 위한 제2 참조 픽처 리스트(L1 참조 픽처 리스트)에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이후 참조 픽처에 해당할 수 있다.
상기 기술된 것과 같이, 본 발명에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.
본 명세서의 실시예에 따른 비디오 신호 처리 장치(500)는, 비디오 신호를 저장하는 메모리(520)와, 상기 메모리(520)와 결합된 프로세서(510)를 포함할 수 있다.
비디오 신호의 인코딩을 위하여, 상기 프로세서(510)는 제1 레벨 유닛에 대한 제1 코딩 정보를 인코딩하고, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보를 인코딩하도록 설정된다. 상기 제1 코딩 정보는 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 포함하고, 상기 제2 코딩 정보는 상기 제2 레벨 유닛에 해당하는 현재 블록에 대하여 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 포함한다. 상기 제2 플래그는, 상기 제1 플래그에 기반하여 인코딩된다.
일 실시예에서, 상기 제1 레벨 유닛은 픽처, 타일 그룹, 또는 슬라이스 중 하나에 해당하고, 상기 제2 레벨 유닛은 코딩 유닛에 해당할 수 있다.
일 실시예에서, 상기 제1 플래그가 0이면 상기 제2 MVD 정보의 인코딩이 수행되고, 상기 제1 플래그가 1이면 상기 제2 MVD 정보의 인코딩이 생략될 수 있다.
일 실시예에서, 상기 프로세서(510)는, 상기 제1 플래그가 0이면 상기 제1 방향 예측을 위한 제1 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 움직임 벡터의 탐색 절차에 기반하여 제2 플래그를 인코딩하도록 설정될 수 있다.
비디오 신호의 디코딩을 위하여, 상기 프로세서(510)는 제1 레벨 유닛에서 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하고, 상기 제1 플래그에 기반하여 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 해당하는 현재 블록에 SMVD가 적용되는지 여부와 관련된 제2 플래그를 획득하고, 상기 제1 MVD 정보에 기반하여 상기 현재 블록에 대한 제1 MVD를 결정하고, 상기 제2 플래그에 기반하여 제2 MVD를 결정하고, 상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하고, 상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정된다.
일 실시예에서, 상기 제1 레벨 유닛은 픽처, 타일 그룹, 또는 슬라이스 중 하나에 해당하고, 상기 제2 레벨 유닛은 코딩 유닛에 해당할 수 있다.
일 실시예에서, 상기 제1 플래그가 0이면 상기 제2 MVD 정보의 디코딩이 수행되고, 상기 제1 플래그가 1이면 상기 제2 MVD 정보의 디코딩이 생략될 수 있다.
일 실시예에서, 상기 제2 플래그를 획득하는 과정에서, 상기 프로세서(510)는 상기 제1 플래그가 0이고 추가 조건이 만족되면 제2 플래그를 디코딩하고, 상기 제1 플래그가 1이면 상기 제2 플래그의 디코딩 없이 상기 제2 플래그를 0으로 추론하도록 설정될 수 있다.
일 실시예에서, 상기 제2 MVD를 결정하는 과정에서, 상기 프로세서(510)는 상기 제2 플래그가 0이면 상기 제2 MVD 정보로부터 상기 제2 MVD를 결정하고, 상기 제2 플래그가 1이면 상기 SMVD에 기반하여 상기 제1 MVD로부터 상기 제2 MVD를 결정하도록 설정될 수 있다.
일 실시예에서, 상기 제2 플래그가 1이면 상기 제2 MVD는 상기 제1 MVD와 동일한 크기와 상기 제1 MVD와 반대의 부호를 가질 수 있다.
일 실시예에서, 상기 제1 움직임 벡터 및 상기 제2 움직임 벡터를 결정하는 과정에서, 상기 프로세서(510)는 상기 제1 방향 예측을 위한 제1 MVP 정보 및 상기 제2 방향 예측을 위한 제2 MVP 정보를 획득하고, 상기 제1 방향 예측을 위한 제1 MVP 후보 리스트에서 상기 제1 MVP 정보에 대응하는 제1 후보 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 MVP 후보 리스트에서 상기 제2 MVP 정보에 대응하는 제2 후보 움직임 벡터를 결정하고, 상기 제1 후보 움직임 벡터에 상기 제1 MVD를 더함으로써 상기 제1 움직임 벡터를 결정하고, 상기 제2 후보 움직임 벡터에 상기 제2 MVD를 더함으로써 상기 제2 움직임 벡터를 결정하도록 설정될 수 있다.
일 실시예에서, 상기 현재 블록의 예측 샘플을 생성하는 과정에서, 상기 프로세서(510)는 상기 제1 방향 예측을 위한 제1 참조 픽처 및 상기 제2 방향 예측을 위한 제2 참조 픽처를 결정하고, 상기 제1 참조 픽처에서 상기 제1 움직임 벡터에 의해 지시되는 제1 참조 샘플과 상기 제2 참조 픽처에서 상기 제2 움직임 벡터에 의해 지시되는 제2 참조 샘플에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정될 수 있다.
일 실시예에서, 상기 제1 참조 픽처는 상기 제1 방향 예측을 위한 제1 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이전 참조 픽처에 해당하고, 상기 제2 참조 픽처는 상기 제2 방향 예측을 위한 제2 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이후 참조 픽처에 해당할 수 있다.
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 발명의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 발명의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
본 명세서의 실시예에 따른 비-일시적 컴퓨터-판독 가능한 매체(non-transitory computer-readable medium)는 하나 또는 그 이상의 프로세서들에 의해 실행되는 하나 또는 그 이상의 명령어들을 저장한다. 상기 하나 또는 그 이상의 명령어들은, 비디오 신호의 인코딩을 위하여, 제1 레벨 유닛에 대한 제1 코딩 정보를 인코딩하고, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보를 인코딩하도록 비디오 신호 처리 장치(500)(또는 인코딩 장치(100))를 제어한다. 상기 제1 코딩 정보는 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 포함하고, 상기 제2 코딩 정보는 상기 제2 레벨 유닛에 해당하는 현재 블록에 대하여 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 포함하며, 상기 제2 플래그는 상기 제1 플래그에 기반하여 인코딩된다.
일 실시예에서, 상기 제1 레벨 유닛은 픽처, 타일 그룹, 또는 슬라이스 중 하나에 해당하고, 상기 제2 레벨 유닛은 코딩 유닛에 해당할 수 있다.
일 실시예에서, 상기 제1 플래그가 0이면 상기 제2 MVD 정보의 인코딩이 수행되고, 상기 제1 플래그가 1이면 상기 제2 MVD 정보의 인코딩이 생략될 수 있다.
일 실시예에서, 상기 하나 또는 그 이상의 명령어들은, 상기 제1 플래그가 0이면 상기 제1 방향 예측을 위한 제1 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 움직임 벡터의 탐색 절차에 기반하여 제2 플래그를 인코딩하도록 비디오 신호 처리 장치(500)(또는 인코딩 장치(100))를 제어할 수 있다.
또한, 상기 하나 또는 그 이상의 명령어들은, 비디오 신호의 디코딩을 위하여, 제1 레벨 유닛에 대한 제1 코딩 정보로부터 제1 방향 예측을 위한 제1 MVD 정보와 제2 방향 예측을 위한 제2 MVD 정보 중에서 상기 제2 MVD 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하고, 상기 제1 레벨 유닛보다 하위의 제2 레벨 유닛에 대한 제2 코딩 정보로부터, 상기 제1 플래그에 기반하여 현재 블록에 SMVD가 적용되는지 여부와 관련된 제2 플래그를 획득하고, 상기 제1 MVD 정보에 기반하여 상기 현재 블록에 대한 제1 MVD를 결정하고, 상기 제2 플래그에 기반하여 제2 MVD를 결정하고, 상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하고, 상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 비디오 신호 처리 장치(500)(또는 디코딩 장치(200))를 제어한다.
일 실시예에서, 상기 제1 레벨 유닛은 픽처, 타일 그룹, 또는 슬라이스 중 하나에 해당하고, 상기 제2 레벨 유닛은 코딩 유닛에 해당할 수 있다.
일 실시예에서, 상기 제1 플래그가 0이면 상기 제2 MVD 정보의 디코딩이 수행되고, 상기 제1 플래그가 1이면 상기 제2 MVD 정보의 디코딩이 생략될 수 있다.
일 실시예에서, 상기 제2 플래그를 획득하는 과정에서, 상기 하나 또는 그 이상의 명령어들은 상기 제1 플래그가 0이고 추가 조건이 만족되면 제2 플래그를 디코딩하고, 상기 제1 플래그가 1이면 상기 제2 플래그의 디코딩 없이 상기 제2 플래그를 0으로 추론하도록 비디오 신호 처리 장치(500)(또는 디코딩 장치(200))를 제어할 수 있다.
일 실시예에서, 상기 제2 MVD를 결정하는 과정에서, 상기 하나 또는 그 이상의 명령어들은 상기 제2 플래그가 0이면 상기 제2 MVD 정보로부터 상기 제2 MVD를 결정하고, 상기 제2 플래그가 1이면 상기 SMVD에 기반하여 상기 제1 MVD로부터 상기 제2 MVD를 결정하도록 비디오 신호 처리 장치(500)(또는 디코딩 장치(200))를 제어할 수 있다.
일 실시예에서, 상기 제2 플래그가 1이면 상기 제2 MVD는 상기 제1 MVD와 동일한 크기와 상기 제1 MVD와 반대의 부호를 가질 수 있다.
일 실시예에서, 상기 제1 움직임 벡터 및 상기 제2 움직임 벡터를 결정하는 과정에서, 상기 하나 또는 그 이상의 명령어들은 상기 제1 방향 예측을 위한 제1 MVP 정보 및 상기 제2 방향 예측을 위한 제2 MVP 정보를 획득하고, 상기 제1 방향 예측을 위한 제1 MVP 후보 리스트에서 상기 제1 MVP 정보에 대응하는 제1 후보 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 MVP 후보 리스트에서 상기 제2 MVP 정보에 대응하는 제2 후보 움직임 벡터를 결정하고, 상기 제1 후보 움직임 벡터에 상기 제1 MVD를 더함으로써 상기 제1 움직임 벡터를 결정하고, 상기 제2 후보 움직임 벡터에 상기 제2 MVD를 더함으로써 상기 제2 움직임 벡터를 결정하도록 비디오 신호 처리 장치(500)(또는 디코딩 장치(200))를 제어할 수 있다.
일 실시예에서, 상기 현재 블록의 예측 샘플을 생성하는 과정에서, 상기 하나 또는 그 이상의 명령어들은 상기 제1 방향 예측을 위한 제1 참조 픽처 및 상기 제2 방향 예측을 위한 제2 참조 픽처를 결정하고, 상기 제1 참조 픽처에서 상기 제1 움직임 벡터에 의해 지시되는 제1 참조 샘플과 상기 제2 참조 픽처에서 상기 제2 움직임 벡터에 의해 지시되는 제2 참조 샘플에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 비디오 신호 처리 장치(500)(또는 디코딩 장치(200))를 제어할 수 있다.
일 실시예에서, 상기 제1 참조 픽처는 상기 제1 방향 예측을 위한 제1 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이전 참조 픽처에 해당하고, 상기 제2 참조 픽처는 상기 제2 방향 예측을 위한 제2 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이후 참조 픽처에 해당할 수 있다.
또한, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recorder) 등을 포함할 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
이 문서에서 "/"와 ","는 "및/또는"으로 해석된다. 예를 들어, "A/B"는 "A 및/또는 B"로 해석되고, "A, B"는 "A 및/또는 B"로 해석된다. 추가적으로, "A/B/C"는 "A, B 및/또는 C 중 적어도 하나"를 의미한다. 또한, "A, B, C"도 "A, B 및/또는 C 중 적어도 하나"를 의미한다. (In this document, the term "/" and "," should be interpreted to indicate "and/or." For instance, the expression "A/B" may mean "A and/or B." Further, "A, B" may mean "A and/or B." Further, "A/B/C" may mean "at least one of A, B, and/or C." Also, "A/B/C" may mean "at least one of A, B, and/or C.")
추가적으로, 본 문서에서 "또는"는 "및/또는"으로 해석된다. 예를 들어, "A 또는 B"은, 1) "A" 만을 의미하고, 2) "B" 만을 의미하거나, 3) "A 및 B"를 의미할 수 있다. 달리 표현하면, 본 문서의 "또는"은 "추가적으로 또는 대체적으로(additionally or alternatively)"를 의미할 수 있다. (Further, in the document, the term "or" should be interpreted to indicate "and/or." For instance, the expression "A or B" may comprise 1) only A, 2) only B, and/or 3) both A and B. In other words, the term "or" in this document should be interpreted to indicate "additionally or alternatively.")
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (10)

  1. 비디오 신호의 디코딩 방법으로서,
    현재 블록의 예측 모드를 인터 예측 모드로 결정하는 단계;
    제2 방향 예측을 위한 제2 MVD(motion vector difference) 정보가 코딩되는지 여부와 관련된 제1 플래그를 획득하는 단계;
    상기 제1 플래그에 기반하여 상기 현재 블록에 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 획득하는 단계, 여기서 상기 제2 플래그는 상기 제1 플래그의 값에 기초하여 획득 여부가 결정됨;
    제1 방향 예측을 위한 제1 MVD를 결정하는 단계;
    상기 제2 플래그에 기반하여 상기 제2 방향 예측을 위한 제2 MVD를 결정하는 단계;
    상기 제1 MVD 및 상기 제2 MVD에 기반하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정하는 단계;
    상기 제1 움직임 벡터 및 제2 움직임 벡터에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계; 및
    상기 예측 샘플에 기반하여 상기 현재 블록의 복원 샘플을 생성하는 단계를 포함하되,
    상기 제1 플래그가 상기 제2 MVD 정보가 코딩되지 않음을 지시하면, 상기 제2 플래그가 획득되고,
    상기 제1 플래그가 상기 제2 MVD 정보가 코딩됨을 지시하면, 상기 제2 플래그는 획득되지 않고, 상기 제2 플래그의 값은 0으로 추론(infer)되는 것을 특징으로 하는 디코딩 방법.
  2. 제1항에 있어서,
    상기 제1 플래그는 픽처(picture), 타일 그룹(tile group), 또는 슬라이스(slice) 중 하나인 제1 레벨 유닛에 대한 코딩 정보로부터 획득하고,
    상기 제2 플래그는 상기 제1 레벨 유닛보다 하위인 코딩 유닛(coding unit)에 대한 코딩 정보로부터 획득하는 것을 특징으로 하는 디코딩 방법.
  3. 제1항에 있어서,
    상기 제1 플래그의 값이 0이면 상기 제2 MVD 정보의 디코딩이 수행되고,
    상기 제1 플래그의 값이 1이면 상기 제2 MVD 정보의 디코딩이 생략되는 것을 특징으로 하는 디코딩 방법.
  4. 제1항에 있어서,
    상기 제2 MVD를 결정하는 단계는,
    상기 제2 플래그의 값이 0이면 상기 제2 MVD 정보로부터 상기 제2 MVD를 결정하는 단계; 및
    상기 제2 플래그의 값이 1이면 상기 SMVD에 기반하여 상기 제1 MVD로부터 상기 제2 MVD를 결정하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
  5. 제4항에 있어서,
    상기 제2 플래그의 값이 1이면 상기 제2 MVD는 상기 제1 MVD와 동일한 크기(magnitude)와 상기 제1 MVD와 반대의 부호(sign)를 갖는 것을 특징으로 하는 디코딩 방법.
  6. 제1항에 있어서,
    상기 제1 움직임 벡터 및 상기 제2 움직임 벡터를 결정하는 단계는,
    상기 제1 방향 예측을 위한 제1 MVP(motion vector predictor) 정보 및 상기 제2 방향 예측을 위한 제2 MVP 정보를 획득하는 단계;
    상기 제1 방향 예측을 위한 제1 MVP 후보 리스트에서 상기 제1 MVP 정보에 대응하는 제1 후보 움직임 벡터 및 상기 제2 방향 예측을 위한 제2 MVP 후보 리스트에서 상기 제2 MVP 정보에 대응하는 제2 후보 움직임 벡터를 결정하는 단계;
    상기 제1 후보 움직임 벡터에 상기 제1 MVD를 더함으로써 상기 제1 움직임 벡터를 결정하는 단계; 및
    상기 제2 후보 움직임 벡터에 상기 제2 MVD를 더함으로써 상기 제2 움직임 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
  7. 제1항에 있어서,
    상기 현재 블록의 예측 샘플을 생성하는 단계는,
    상기 제1 방향 예측을 위한 제1 참조 픽처 및 상기 제2 방향 예측을 위한 제2 참조 픽처를 결정하는 단계; 및
    상기 제1 참조 픽처에서 상기 제1 움직임 벡터에 의해 지시되는 제1 참조 샘플과 상기 제2 참조 픽처에서 상기 제2 움직임 벡터에 의해 지시되는 제2 참조 샘플에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
  8. 제7항에 있어서,
    상기 제1 참조 픽처는 상기 제1 방향 예측을 위한 제1 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이전 참조 픽처에 해당하고,
    상기 제2 참조 픽처는 상기 제2 방향 예측을 위한 제2 참조 픽처 리스트에서 현재 픽처에 대해 디스플레이 순서상 가장 가까운 이후 참조 픽처에 해당하는 것을 특징으로 하는 디코딩 방법.
  9. 비디오 신호의 인코딩 방법으로서,
    현재 블록의 제2 방향 예측을 위한 제2 MVD(motion vector difference) 정보가 코딩되는지 여부와 관련된 제1 플래그를 코딩하는 단계; 및
    상기 제 1 플래그 값에 기초하여 상기 현재 블록에 대하여 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 코딩하는 단계를 포함하고,
    상기 제2 플래그는, 상기 제1 플래그 값에 기초하여 코딩 여부가 결정되되,
    상기 제1 플래그가 상기 제2 MVD 정보가 코딩되지 않음을 지시하면, 상기 제2 플래그가 코딩되고
    상기 제1 플래그가 상기 제2 MVD 정보가 코딩됨을 지시하면, 상기 제2 플래그는 코딩되지 않고, 상기 제 2 플래그의 값은 상기 현재 블록의 디코딩 과정에서 0으로 추론되는 것을 특징으로 하는 인코딩 방법.
  10. 영상에 대한 비트스트림을 포함하는 데이터를 전송하는 방법에 있어서,
    상기 방법은,
    상기 영상에 대한 비트스트림을 획득하는 단계; 및
    상기 비트스트림을 구성하는 데이터를 전송하는 단계를 포함하고,
    상기 비트 스트림은,인터 예측(inter prediction)을 위한 비디오 신호의 인코딩 방법으로서,
    현재 블록의 제2 방향 예측을 위한 제2 MVD(motion vector difference) 정보가 코딩되는지 여부와 관련된 제1 플래그를 코딩하는 단계; 및
    상기 제 1 플래그 값에 기초하여 상기 현재 블록에 대하여 SMVD(symmetric MVD)가 적용되는지 여부와 관련된 제2 플래그를 코딩하는 단계를 포함하고,
    상기 제2 플래그는, 상기 제1 플래그 값에 기초하여 코딩 여부가 결정되되,
    상기 제1 플래그가 상기 제2 MVD 정보가 코딩되지 않음을 지시하면, 상기 제2 플래그가 코딩되고
    상기 제1 플래그가 상기 제2 MVD 정보가 코딩됨을 지시하면, 상기 제2 플래그는 코딩되지 않고, 상기 제 2 플래그의 값은 상기 현재 블록의 디코딩 과정에서 0으로 추론되는 것을 특징으로 하는, 방법.
KR1020237042353A 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치 KR102647497B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247007729A KR20240038114A (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962814281P 2019-03-05 2019-03-05
US62/814,281 2019-03-05
KR1020217023765A KR102612802B1 (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
PCT/KR2020/003120 WO2020180129A1 (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023765A Division KR102612802B1 (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247007729A Division KR20240038114A (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230170823A KR20230170823A (ko) 2023-12-19
KR102647497B1 true KR102647497B1 (ko) 2024-03-13

Family

ID=72337128

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020247007729A KR20240038114A (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
KR1020217023765A KR102612802B1 (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
KR1020237042353A KR102647497B1 (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020247007729A KR20240038114A (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
KR1020217023765A KR102612802B1 (ko) 2019-03-05 2020-03-05 인터 예측을 위한 비디오 신호의 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US20220038732A1 (ko)
KR (3) KR20240038114A (ko)
CN (1) CN113519161A (ko)
WO (1) WO2020180129A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3932070A4 (en) * 2019-04-28 2022-06-15 Beijing Bytedance Network Technology Co., Ltd. SYMMETRICAL MOTION VECTOR DIFFERENCE CODING
JP7471328B2 (ja) * 2019-06-21 2024-04-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
KR102640263B1 (ko) 2019-06-24 2024-02-23 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
US12015785B2 (en) * 2020-12-04 2024-06-18 Ofinno, Llc No reference image quality assessment based decoder side inter prediction
CN117999783A (zh) * 2021-09-30 2024-05-07 Lg 电子株式会社 用于对图像编码/解码的方法和装置以及其中存储比特流的记录介质
WO2024010362A1 (ko) * 2022-07-06 2024-01-11 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175720A1 (en) 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591312B2 (en) * 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
EP3355578B1 (en) * 2015-09-24 2020-12-09 LG Electronics Inc. Motion vector predictor derivation and candidate list construction
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2018048265A1 (ko) * 2016-09-11 2018-03-15 엘지전자 주식회사 향상된 옵티컬 플로우 움직임 백터를 이용하여 비디오 신호를 처리하는 방법 및 장치
US10462462B2 (en) * 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
CN117478884A (zh) * 2017-07-03 2024-01-30 Vid拓展公司 用于视频编解码的设备、方法
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175720A1 (en) 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Huanbang Chen et al., 'CE4: Symmetrical MVD mode (Test 4.5.1)', JVET of ITU-T and ISO/IEC, JVET-L0370-v1(2018.09.25.)
Jiancong Luo et al., 'CE4-related: Simplified symmetric MVD based on CE4.4.3', JVET of ITU-T and ISO/IEC, JVET-M0444-v2(2019.01.15.)

Also Published As

Publication number Publication date
CN113519161A (zh) 2021-10-19
WO2020180129A1 (ko) 2020-09-10
KR102612802B1 (ko) 2023-12-13
KR20230170823A (ko) 2023-12-19
KR20210100195A (ko) 2021-08-13
KR20240038114A (ko) 2024-03-22
US20220038732A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
US11909960B2 (en) Method and apparatus for processing video signal
US11876957B2 (en) Method and apparatus for processing video data
KR102647497B1 (ko) 인터 예측을 위한 비디오 신호의 처리 방법 및 장치
KR102702821B1 (ko) 비디오/영상 코딩 시스템에서 머지 데이터 신택스의 시그널링 방법 및 장치
US12003757B2 (en) Video signal processing method and device for processing motion vector difference information for inter prediction in video signal
KR102622468B1 (ko) 인터 예측 기반 영상 코딩 방법 및 장치
JP7462094B2 (ja) ビデオ／映像コーディングシステムにおける重複シグナリング除去方法及び装置
JP7522260B2 (ja) インター予測に基づく 映像コーディング方法及び装置
KR102697456B1 (ko) 쌍 예측(bi-prediction)을 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
US11962810B2 (en) Motion prediction-based image coding method and device
KR20220110284A (ko) 머지 후보들의 최대 개수 정보를 포함하는 시퀀스 파라미터 세트를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP2023165944A (ja) 同一位置ピクチャに関する情報を含むピクチャヘッダーに基づく画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2024019432A (ja) 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置
KR102702835B1 (ko) 비디오/영상 코딩 시스템에서 신택스 시그널링 방법 및 장치
KR102695896B1 (ko) 쌍 예측을 위한 가중치 인덱스 정보를 유도하는 비디오 또는 영상 코딩
KR102634644B1 (ko) 양방향 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
RU2812840C2 (ru) Способ и устройство декодирования изображения для выведения информации индекса веса для генерации выборки предсказания
KR20240145086A (ko) 비디오/영상 코딩 시스템에서 중복 시그널링 제거 방법 및 장치
JP2024019527A (ja) 画像コーディングシステムにおけるサブブロック単位の動き予測に基づく画像デコーディング方法及び装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant