KR102288109B1 - 비디오 압축에서의 양방향 예측 - Google Patents

비디오 압축에서의 양방향 예측 Download PDF

Info

Publication number
KR102288109B1
KR102288109B1 KR1020197036442A KR20197036442A KR102288109B1 KR 102288109 B1 KR102288109 B1 KR 102288109B1 KR 1020197036442 A KR1020197036442 A KR 1020197036442A KR 20197036442 A KR20197036442 A KR 20197036442A KR 102288109 B1 KR102288109 B1 KR 102288109B1
Authority
KR
South Korea
Prior art keywords
weight
subset
weights
bit stream
video
Prior art date
Application number
KR1020197036442A
Other languages
English (en)
Other versions
KR20200006099A (ko
Inventor
샨 리우
지아리 후
샨 가오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20200006099A publication Critical patent/KR20200006099A/ko
Application granted granted Critical
Publication of KR102288109B1 publication Critical patent/KR102288109B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

코딩 방법이 제공된다. 상기 방법은 인코더에 의해 구현될 수 있다. 상기 방법은, 현재 인터 블록에 대한 가용 가중치를 가중치 서브셋으로 분할하는 단계, 가중치 서브셋 중 하나를 선택하는 단계, 가중치 서브셋 플래그를 비트 스트림의 특정 부분으로 인코딩하는 단계 - 여기서, 가중치 서브셋 플래그는, 선택된 가중치 서브셋 중 하나를 식별하기 위해 사용되는 가중치 서브셋 인덱스를 포함함 - 및 가중치 서브셋 플래그를 포함하는 비트 스트림을 디코딩 디바이스에 전송하는 단계를 포함한다.

Description

비디오 압축에서의 양방향 예측
본 특허 출원은, Shan Liu 등에 의해 2017년 5월 10일에 출원되고 발명의 명칭이 "Method and Apparatus for Bidirectional Prediction in Video Compression"인 미국 가출원 제62/504,466호 및 2018년 4월 6일에 출원되고 발명의 명칭이 "Bidirectional Prediction In Video Compression"인 미국 출원 제15/947,219에 대해 우선권을 주장하며, 그 내용 전부는 참조에 의해 본 명세서에 포함된다.
본 출원은 비디오 압축에서의 양방향 예측에 관한 것이다.
비교적 짧은 비디오라도 묘사하기 위해 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 제한된 대역폭 용량을 갖는 통신 네트워크를 통해 스트리밍되거나 또는 이와 달리 통신될 때 어려움을 초래할 수 있다. 따라서, 비디오 데이터는 일반적으로, 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 리소스가 제한될 수 있기 때문에, 비디오가 저장 디바이스에 저장될 때 비디오의 크기도 문제가될 수 있다. 비디오 압축 디바이스는 종종, 소스(source)의 소프트웨어 및/또는 하드웨어를 사용하여, 전송 또는 저장 전에 비디오 데이터를 코딩함으로써, 디지털 비디오 이미지를 나타내기 위해 필요한 데이터의 양을 감소시킨다. 압축된 데이터는 이어서 비디오 데이터를 디코딩하는 비디오 압축 해제 디바이스에 의해 목적지에서 수신된다. 제한된 네트워크 자원 및 더 높은 비디오 품질에 대한 요구가 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 개선하는 개선된 압축 및 압축 해제 기술이 바람직하다.
본 개시의 일 측면에 따르면, 디코더에 의해 구현되는 코딩 방법이 제공된다. 상기 방법은, 특정 부분에서 가중치 서브셋 플래그(weight subset flag)를 포함하는 비트 스트림을 수신하는 단계; 가중치 서브셋 플래그를 사용하여 가중치 서브셋(weight subset)을 식별하는 단계 - 여기서, 가중치 서브셋은, 현재 인터 블록(inter block)에 대한 가용(available) 가중치의 서브셋을 포함함 -; 및 전자 디바이스의 디스플레이 상에, 가중치 서브셋 플래그에 의해 식별된 가중치 서브셋을 사용하여 생성된 이미지를 디스플레이하는 단계를 포함한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 가용 가중치가 일반화된 이중 예측(generalized bi-prediction, GBi)에 대응하는 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 시퀀스 파라미터 세트(sequence parameter set, SPS) 레벨인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 화상 파라미터 세트(picture parameter set, PPS) 레벨인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 슬라이스 헤더(slice header)인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 코딩 트리 유닛(coding tree unit, CTU) 또는 CTU 그룹에 의해 표현되는 비트 스트림의 영역인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 현재 블록에 대한 가용 가중치가 -1/4, 1/4, 3/8, 1/2, 5/8, 3/4 및 5/4에 추가하여 적어도 하나의 가중치를 포함하는 특징을 제공한다.
본 개시의 일 측면에 따르면, 인코더에 의해 구현되는 코딩 방법이 제공된다. 상기 방법은, 현재 인터 블록에 대한 가용 가중치를 가중치 서브셋으로 분할하는 단계; 가중치 서브셋 중 하나를 선택하는 단계; 가중치 서브셋 플래그를 비트 스트림의 특정 부분으로 인코딩하는 단계 - 여기서, 가중치 서브셋 플래그는, 선택된 가중치 서브셋 중 하나를 식별하기 위해 사용되는 가중치 서브셋 인덱스를 포함함 -; 및 가중치 서브셋 플래그를 포함하는 비트 스트림을 디코딩 디바이스에 전송하는 단계를 포함한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 선택된 가중치 서브셋 중 하나가 단일 가중치만을 포함하는 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 현재 인터 블록에 대한 가용 가중치를 가중치 서브셋으로 분할하는 단계가, 초기에 가용 가중치를 더 큰 가중치 서브셋으로 분할한 후, 더 큰 가중치 서브셋을 분할하여 가중치 서브셋을 형성하는 단계를 포함하는 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 선택된 가중치 서브셋 중 하나에서 단일 가중치를 선택하는 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 시퀀스 파라미터 세트(SPS) 레벨 및 비트 스트림의 화상 파라미터 세트(PPS) 레벨, 비트 스트림의 슬라이스 헤더, 및 코딩 트리 유닛(CTU) 또는 CTU 그룹에 의해 표현되는 비트 스트림의 영역 중 하나 이상인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 가중치 서브셋 플래그 내의 빈(bin)의 개수가 가중치 서브셋 인덱스 내의 가중치의 개수보다 하나 적게 되도록, 가변 길이 코딩을 사용하여 가중치 서브셋 플래그를 인코딩하는 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 가중치 서브셋 플래그 내의 빈의 개수가 가중치 서브셋 인덱스 내의 가중치 개수보다 적어도 둘 적게 되도록, 고정 길이 코딩을 사용하여 가중치 서브셋 플래그를 인코딩하는 특징을 제공한다.
본 개시의 일 측면에 따르면, 코딩 장치가 제공된다. 상기 코딩 장치는, 특정 부분에서 가중치 서브셋 플래그를 포함하는 비트 스트림을 수신하도록 구성되는 수신기; 수신기에 연결되는 메모리 - 여기서, 메모리는 명령을 포함함 -; 메모리에 연결되는 프로세서 - 여기서, 프로세서는, 메모리에 저장된 명령을 실행하여 프로세서로 하여금, 특정 부분에서 가중치 서브셋 플래그를 획득하기 위해 비트 스트림을 파싱(parse)하고; 가중치 서브셋 플래그를 사용하여 가중치 서브셋을 식별하게끔 하도록 구성되고, 가중치 서브셋은 현재 인터 블록에 대한 가용 가중치의 서브셋을 포함함 -; 및 프로세서에 연결된 디스플레이 - 여기서, 디스플레이는 가중치 서브셋에 기초하여, 생성된 이미지를 디스플레이하도록 구성됨 - 를 포함한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 시퀀스 파라미터 세트(SPS) 레벨인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 화상 파라미터 세트(PPS) 레벨인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 비트 스트림의 슬라이스 헤더인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 특정 부분이 코딩 트리 유닛(CTU) 또는 CTU 그룹에 의해 표현되는 비트 스트림의 영역인 특징을 제공한다.
선택적으로, 전술한 측면들 중 임의의 측면에서, 측면의 다른 구현은, 가용 가중치가 일반화된 이중 예측(GBi)에서 사용되는 모든 가중치를 포함하는 특징을 제공한다.
명확성을 위해, 전술한 실시 예들 중 임의의 한 실시 예는, 다른 전술한 실시 예들 중 임의의 하나 이상의 실시 예와 결합되어 본 개시의 범위 내에서 새로운 실시 예를 생성할 수 있다.
이들 및 다른 특징들은 첨부된 도면 및 청구 범위와 함께 취해진 다음의 상세한 설명으로부터 보다 명확하게 이해될 것이다.
본 개시의 더 완전한 이해를 위해, 이하에서는 첨부된 도면 및 상세한 설명과 관련하여 다음의 간략한 설명을 참조하며, 유사한 참조 번호는 유사한 부분을 나타낸다.
도 1은 양방향 예측 기술을 이용할 수 있는 예시적인 코딩 시스템을 도시하는 블록도이다.
도 2는 양방향 예측 기술을 구현할 수 있는 예시적인 비디오 인코더를 도시하는 블록도이다.
도 3은 양방향 예측 기술을 구현할 수 있는 비디오 디코더의 예를 나타내는 블록도이다.
도 4는 현재 블록 및 공간적으로 일반화된 양방향(GBi) 이웃(spatial generalized bidirectional(GBi) neighbor)의 도면이다.
도 5는 네트워크 디바이스의 개략도이다.
도 6은 코딩 방법의 일 실시 예를 도시한 흐름도이다.
도 7은 코딩 방법의 일 실시 예를 도시한 흐름도이다.
하나 이상의 실시 예들의 예시적인 구현이 아래에 제공되지만, 개시된 시스템들 및/또는 방법들은 현재 공지되거나 존재하는 임의의 수의 기술들을 사용하여 구현될 수 있다는 것을 처음부터 이해하여야 한다. 본 개시는 본 명세서에 도시되고 설명된 예시적인 설계 및 구현을 포함하여, 이하에 예시된 예시적인 구현, 도면 및 기술로 제한되어서는 안되며, 첨부된 청구항의 범위 내에서 그 등가물의 전체 범위와 함께 수정될 수 있다.
도 1은 양방향 예측 기술을 이용할 수 있는 예시적인 코딩 시스템(10)을 도시하는 블록도이다. 도 1에 도시된 바와 같이, 코딩 시스템(10)은 목적지 디바이스(14)에 의해 나중에 디코딩될, 인코딩된 비디오 데이터를 제공하는 소스 디바이스(12)를 포함한다. 특히, 소스 디바이스(12)는 컴퓨터로 판독 가능한 매체(16)를 통해 비디오 데이터를 목적지 디바이스(14)에 제공할 수 있다. 소스 디바이스(12) 및 목적지 디바이스(14)는, 데스크탑 컴퓨터, 노트북(즉, 랩탑) 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 소위 "스마트" 폰과 같은 전화 핸드셋, 소위 "스마트" 패드, 텔레비전, 카메라, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 디바이스 등을 포함하는 광범위한 장치 중 임의의 장치를 포함할 수 있다. 일부 경우에, 소스 디바이스(12) 및 목적지 디바이스(14)는 무선 통신을 위해 장착될 수 있다.
목적지 디바이스(14)는 컴퓨터로 판독 가능한 매체(16)를 통해 디코딩될, 인코딩된 비디오 데이터를 수신할 수 있다. 컴퓨터로 판독 가능한 매체(16)는, 인코딩된 비디오 데이터를 소스 디바이스(12)로부터 목적지 디바이스(14)로 이동시킬 수 있는 임의의 타입의 매체 또는 디바이스를 포함할 수 있다. 일례로, 컴퓨터로 판독 가능한 매체(16)는, 소스 디바이스(12)로 하여금 인코딩된 비디오 데이터를 목적지 디바이스(14)에 실시간으로 직접 전송할 수 있도록 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되어 목적지 디바이스(14)에 전송될 수 있다. 통신 매체는 무선 주파수(RF) 스펙트럼 또는 하나 이상의 물리적 전송 라인과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수 있다. 통신 매체는 근거리 네트워크, 광역 네트워크 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 스위치, 기지국, 또는 소스 디바이스(12)로부터 목적지 디바이스(14)로의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다.
일부 예에서, 인코딩된 데이터는 출력 인터페이스(22)로부터 저장 디바이스로 출력될 수 있다. 이와 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수 있다. 저장 디바이스는 하드 드라이브, 블루 레이 디스크, 디지털 비디오 디스크(DVD), CD-ROM(Compact Disc Read-Only Memories), 플래시 메모리, 휘발성 또는 비 휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적절한 디지털 저장 매체와 같은 다양한 분산 또는 로컬 액세스 데이터 저장 매체를 포함할 수 있다. 또 다른 예에서, 저장 디바이스는, 소스 디바이스(12)에 의해 생성된, 인코딩된 비디오를 저장할 수 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수 있다. 목적지 디바이스(14)는 스트리밍 또는 다운로드를 통해 저장 장치로부터 저장된 비디오 데이터를 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고, 인코딩된 비디오 데이터를 목적지 디바이스(14)로 전송할 수 있는 임의의 타입의 서버일 수 있다. 예시적인 파일 서버는 웹 서버(예를 들어, 웹 사이트 용), 파일 전송 프로토콜(FTP) 서버, NAS(Network Attached Storage) 디바이스 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스(14)는 인터넷 연결을 포함하는 임의의 표준 데이터 연결을 통해 인코딩된 비디오 데이터를 액세스할 수 있다. 이것은 무선 채널(예를 들어, Wi-Fi 연결), 유선 연결(예를 들어, DSL(digital subscriber line), 케이블 모뎀 등) 또는 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하기에 적합한 이들의 조합을 포함할 수 있다. 저장 디바이스로부터의 인코딩된 비디오 데이터의 전송은, 스트리밍 전송, 다운로드 전송 또는 이들의 조합일 수 있다.
본 개시의 기술은 반드시 무선 어플리케이션 또는 설정으로 제한되지는 않는다. 이 기술은 임의의 다양한 멀티미디어 어플리케이션을 지원하는 비디오 코딩, 예를 들어, 무선 텔레비전 방송, 케이블 텔레비전 전송, 위성 텔레비전 전송, 인터넷 스트리밍 비디오 전송, 예를 들어, HTTP를 통한 동적 적응적 스트리밍(DASH), 데이터 저장 매체에 인코딩된 디지털 비디오, 데이터 저장 매체에 저장된 디지털 비디오의 디코딩, 또는 다른 어플리케이션에 적용될 수 있다. 일부 예에서, 코딩 시스템(10)은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅 및/또는 영상 통화와 같은 어플리케이션을 지원하기 위해 단방향 또는 양방향 비디오 전송을 지원하도록 구성될 수 있다.
도 1의 예에서, 소스 디바이스(12)는 비디오 소스(18), 비디오 인코더(20) 및 출력 인터페이스(22)를 포함한다. 목적지 디바이스(14)는 입력 인터페이스(28), 비디오 디코더(30) 및 디스플레이 디바이스(32)를 포함한다. 본 개시에 따르면, 소스 디바이스(12)의 비디오 인코더(20) 및/또는 목적지 디바이스(14)의 비디오 디코더(30)는 양방향 예측을 위한 기술을 적용하도록 구성될 수 있다. 다른 예에서, 소스 디바이스 및 목적지 디바이스는 다른 구성요소 또는 배치를 포함할 수 있다. 예를 들어, 소스 디바이스(12)는 외부 카메라와 같은 외부 비디오 소스로부터 비디오 데이터를 수신할 수 있다. 마찬가지로, 목적지 디바이스(14)는 통합된 디스플레이 디바이스를 포함하지 않고 외부 디스플레이 디바이스와 인터페이스할 수 있다.
도 1의 도시된 코딩 시스템(10)은 단지 하나의 예일 뿐이다. 양방향 예측을 위한 기술은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수 있다. 본 개시의 기술은 일반적으로 비디오 코딩 디바이스에 의해 수행되지만, 이 기술은 또한, 일반적으로 "코덱(CODEC)"으로 지칭되는 비디오 인코더/디코더에 의해 수행될 수도 있다. 또한, 본 개시의 기술은 또한, 비디오 전처리기에 의해 수행될 수도 있다. 비디오 인코더 및/또는 디코더는 GPU(graphics processing unit) 또는 유사한 디바이스일 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14)는, 소스 디바이스(12)가 목적지 디바이스(14)로의 전송을 위해 코딩된 비디오 데이터를 생성하는 그러한 코딩 디바이스의 예일 뿐이다. 일부 예에서, 소스 디바이스(12) 및 목적지 디바이스(14)는 실질적으로 대칭적인 방식으로 동작하여, 소스 및 목적지 디바이스(12, 14) 각각은 비디오 인코딩 및 디코딩 구성요소를 포함한다. 따라서, 코딩 시스템(10)은 예를 들어 비디오 스트리밍, 비디오 재생, 비디오 방송 또는 화상 통화를 위해 비디오 디바이스(12, 14) 사이의 단방향 또는 양방향 비디오 전송을 지원할 수 있다.
소스 디바이스(12)의 비디오 소스(18)는 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 및/또는 비디오 컨텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스와 같은 비디오 캡처 디바이스를 포함할 수 있다. 다른 대안으로서, 비디오 소스(18)는 소스 비디오, 또는 라이브 비디오, 아카이브 비디오 및 컴퓨터 생성 비디오의 조합으로서 컴퓨터 그래픽 기반 데이터를 생성할 수 있다.
일부 경우에, 비디오 소스(18)가 비디오 카메라인 경우, 소스 디바이스(12) 및 목적지 디바이스(14)는 소위 카메라 폰 또는 비디오 폰을 형성할 수 있다. 그러나, 전술한 바와 같이, 본 개시에서 설명된 기술은 일반적으로 비디오 코딩에 적용 가능할 수도 있고, 무선 및/또는 유선 어플리케이션에 적용될 수도 있다. 각각의 경우에, 캡처된, 사전 캡처된 또는 컴퓨터로 생성된 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 이후 인코딩된 비디오 정보는 출력 인터페이스(22)에 의해 컴퓨터로 판독 가능한 매체(16) 상으로 출력될 수 있다.
컴퓨터로 판독 가능한 매체(16)는 무선 브로드 캐스트 또는 유선 네트워크 전송과 같은 일시적인 매체, 또는 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 블루 레이 디스크 또는 다른 컴퓨터로 판독 가능한 매체와 같은 저장 매체(즉, 비 일시적 저장 매체)를 포함할 수 있다. 일부 예에서, 네트워크 서버(미도시)는 소스 디바이스(12)로부터, 인코딩된 비디오 데이터를 수신하고, 예를 들어 네트워크 전송을 통해, 인코딩된 비디오 데이터를 목적지 디바이스(14)에 제공할 수 있다. 이와 유사하게, 디스크 스탬핑 설비와 같은 매체 생산 설비의 컴퓨팅 디바이스는, 소스 디바이스(12)로부터, 인코딩된 비디오 데이터를 수신하고, 인코딩된 비디오 데이터를 포함하는 디스크를 생성할 수 있다. 따라서, 컴퓨터로 판독 가능한 매체(16)는, 다양한 예에서, 다양한 형태의 하나 이상의 컴퓨터로 판독 가능한 매체를 포함하는 것으로 이해될 수 있다.
목적지 디바이스(14)의 입력 인터페이스(28)는 컴퓨터로 판독 가능한 매체(16)로부터 정보를 수신한다. 컴퓨터로 판독 가능한 매체(16)의 정보는, 비디오 디코더(30)에 의해서도 사용되고 비디오 인코더(20)에 의해 정의된 구문(syntax) 정보를 포함할 수 있으며, 이는, 예를 들어 GOP(group of pictures)와 같은 블록 및 다른 코딩된 유닛의 특징 및/또는 프로세싱을 기술하는 구문 요소를 포함한다. 디스플레이 디바이스(32)는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선 관(CRT), 액정 디스플레이(LCD), 플라즈마 디스플레이, 유기 발광 다이오드(OLED) 또는 다른 타입의 디스플레이 디바이스와 같은 임의의 다양한 디스플레이 디바이스를 포함할 수 있다.
비디오 인코더(20) 및 비디오 디코더(30)는, 현재 개발 중인 HEVC(High Efficiency Video Coding) 표준과 같은 비디오 코딩 표준에 따라 동작할 수도 있고, HEVC 테스트 모델(HM)을 따를 수도 있다. 대안적으로, 비디오 인코더(20) 및 비디오 디코더(30)는 다른 독점 또는 산업 표준, 예를 들어, ITU-T(International Telecommunications Union Telecommunication Standardization Sector) H.264 표준, MPEG-4(Motion Picture Expert Group-4), Part 10, AVC(Advanced Video Coding), H.265/ HEVC(High Efficiency Video Coding) 또는 그러한 표준의 확장에 따라 동작할 수도 있다. 그러나, 본 개시의 기술은 임의의 특정 코딩 표준으로 제한되지 않는다. 비디오 코딩 표준의 다른 예는 MPEG-2 및 ITU-T H.263을 포함한다. 도 1에는 도시되어 있지 않지만, 일부 측면에서, 비디오 인코더(20) 및 비디오 디코더(30)는 각각 오디오 인코더 및 디코더와 통합될 수 있고, 공통 데이터 스트림 또는 별도의 데이터 스트림에서의 오디오 및 비디오 모두의 인코딩을 처리하기 위해, 적절한 MUX-DEMUX(multiplexer-demultiplexer) 유닛 또는 다른 하드웨어 및 소프트웨어를 포함할 수 있다. 적용 가능하면, MUX-DEMUX 유닛은 ITU H.223 멀티플렉서 프로토콜 또는 사용자 데이터그램 프로토콜(UDP)과 같은 다른 프로토콜을 준수할 수 있다.
비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 마이크로 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA), 이산 논리, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합과 같은 다양한 적합한 인코더 회로 중 임의의 것으로 구현될 수도 있다. 이 기술이 부분적으로 소프트웨어로 구현될 때, 디바이스는 소프트웨어에 대한 명령을 적절한 비 일시적이고 컴퓨터로 판독 가능한 매체에 저장하고, 본 개시의 기술을 수행하기 위해 하나 이상의 프로세서를 사용하여 하드웨어에서 명령을 실행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 이들 중 하나는 각각의 디바이스에서 조합된 인코더/디코더(CODEC)의 일부로서 통합될 수도 있다. 비디오 인코더(20) 및/또는 비디오 디코더(30)를 포함하는 디바이스는 집적 회로, 마이크로 프로세서 및/또는 셀룰러 전화기와 같은 무선 통신 장치를 포함할 수도 있다.
도 2는 양방향 예측 기술을 구현할 수 있는 비디오 인코더(20)의 예를 도시하는 블록도이다. 비디오 인코더(20)는 비디오 슬라이스 내에서 비디오 블록의 인트라 및 인터 코딩을 수행할 수 있다. 인트라 코딩은 공간 예측에 의존하여, 주어진 비디오 프레임 또는 화상 내에서 비디오의 공간 중복성을 줄이거나 제거한다. 인터 코딩은 비디오 시퀀스의 인접한 프레임 또는 화상 내의 비디오에서 시간 중복성을 줄이거나 제거하기 위해 시간 예측에 의존한다. 인트라 모드(I 모드)는 몇몇 공간 기반 코딩 모드 중 임의의 것을 지칭할 수 있다. 단방향 예측(P 모드) 또는 양방향 예측(B 모드)과 같은 인터 모드는 몇몇여 시간 기반 코딩 모드 중 임의의 것을 지칭할 수 있다.
도 2에 도시된 바와 같이, 비디오 인코더(20)는, 인코딩될 비디오 프레임 내에서 현재 비디오 블록을 수신한다. 도 2의 예에서, 비디오 인코더(20)는 모드 선택 유닛(40), 참조 프레임 메모리(64), 합산기(50), 변환 프로세싱 유닛(52), 양자화 유닛(54) 및 엔트로피 코딩 유닛(56)을 포함한다. 모드 선택 유닛(40)은 차례로 모션 보상 유닛(44), 모션 추정 유닛(42), 인트라 예측 유닛(46) 및 파티션 유닛(48)을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더(20)는 또한 역 양자화 유닛(58), 역 변환 유닛(60) 및 합산기(62)를 포함한다. 디 블로킹 필터(deblocking filter)(도 2에 도시되지 않음)는 또한, 재구성된 비디오에서 블록 현상을 제거하기 위해 블록 경계를 필터링하기 위해 포함된다. 원하는 경우, 디 블로킹 필터는 전형적으로 합산기(62)의 출력을 필터링할 것이다. 디 블로킹 필터 외에 (루프 또는 포스트 루프에서) 추가 필터가 또한 사용될 수도 있다. 이러한 필터는 간결성을 위해 도시되지 않았지만, 원한다면, 합산기(50)의 출력을 (인 루프 필터로서) 필터링할 수 있다.
인코딩 프로세스 동안, 비디오 인코더(20)는, 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 유닛(42) 및 모션 보상 유닛(44)은, 시간 예측을 제공하기 위해 하나 이상의 참조 프레임에서 하나 이상의 블록에 대해, 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 인트라 예측 유닛(46)은 대안적으로, 공간 예측을 제공하기 위해, 코딩될 블록과 동일한 프레임 또는 슬라이스에서 하나 이상의 이웃하는 블록에 대해, 수신된 비디오 블록의 인트라 예측 코딩을 수행할 수 있다. 비디오 인코더(20)는, 예를 들어, 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스를 수행할 수 있다.
더욱이, 분할 유닛(48)은, 이전 코딩 패스에서의 이전 파티션 방식의 평가에 기초하여, 비디오 데이터의 블록을 서브 블록으로 파티션할 수 있다. 예를 들어, 파티션 유닛(48)은 초기에 프레임 또는 슬라이스를 최대 코딩 유닛(largest coding unit, LCU)으로 파티션하고, 레이트 왜곡 분석(예를 들어, 레이트 왜곡 최적화)에 기초하여 각각의 LCU를 서브 코딩 유닛(sub-coding unit, 서브 CU)으로 파티션할 수 있다. 모드 선택 유닛(40)은 LCU를 서브 CU로 파티셔닝함을 나타내는 쿼드 트리 데이터 구조를 추가로 생성할 수 있다. 쿼드 트리의 리프 노드 CU는 하나 이상의 예측 유닛(PU) 및 하나 이상의 변환 유닛(TU)을 포함할 수 있다.
본 개시는 "블록"이라는 용어를 사용하여, HEVC와 관련하여, CU, PU 또는 TU 중 어느 하나 또는 다른 표준과 관련하여 유사한 데이터 구조(예를 들어, H264/AVC에서 매크로 블록 및 그 서브 블록)를 지칭한다. CU는, 코딩 노드와 연관된 TU, PU 및 코딩 노들를 포함한다. CU의 크기는 코딩 노드의 크기에 대응하고 정사각형이다. CU의 크기는 8×8 픽셀 내지 최대 64×64 픽셀 이상의 트리 블록의 크기에 이를 수 있다. 각각의 CU는 하나 이상의 PU 및 하나 이상의 TU를 포함할 수 있다. CU와 연관된 구문 데이터는, 예를 들어 CU를 하나 이상의 PU로 파티션하는 것을 기술할 수 있다. CU가 생략되는지, 다이렉트 모드 인코딩되는지, 인트라 예측 모드 인코딩되는지, 또는 인터 예측 모드 인코딩되는지 여부 사이에 파티션 모드는 다를 수 있다. PU는 정사각형이 아닌 형태로 파티션될 수 있다. CU와 연관된 구문 데이터는, 예를 들어, 쿼드 트리에 따라 CU를 하나 이상의 TU로 파티션하는 것을 기술할 수 있다. TU는 정사각형 또는 비 정사각형(예를 들어, 직사각형)일 수 있다.
모드 선택 유닛(40)은, 예를 들어, 에러 결과에 기초하여, 인트라 또는 인터 코딩 모드 중 하나를 선택할 수 있고, 결과에 해당하는 인트라 또는 인터 코딩된 블록을 합산기(50)에 제공하여 잔차 블록 데이터를 생성하고, 합산기(62)에 제공하여 참조 프레임으로서 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 모드 선택 유닛(40)은 또한, 엔트로피 코딩 유닛(56)에, 모션 벡터, 인트라 모드 지시자, 파티션 정보 및 다른 이러한 구문 정보와 같은 구문 요소를 제공한다.
모션 추정 유닛(42) 및 모션 보상 유닛(44)은 고도로 통합될 수 있지만, 개념적 목적을 위해 개별적으로 도시된다. 모션 추정 유닛(42)에 의해 수행되는 모션 추정은, 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 현재 프레임(또는 다른 코딩된 유닛) 내에서 코딩되는 현재 블록에 대한 참조 프레임(또는 다른 코딩된 유닛) 내의 예측 블록에 대한 현재 비디오 프레임 또는 화상 내의 비디오 블록의 PU의 변위를 나타낼 수 있다. 예측 블록은, 픽셀 차이의 관점에서, 코딩될 블록과 밀접하게 일치하는 것으로 밝혀진 블록으로서, 이는 SAD(Sum of Absolute Difference), SSD(Sum of Square Difference) 또는 다른 차이 메트릭에 의해 결정될 수 있다. 일부 예에서, 비디오 인코더(20)는 참조 프레임 메모리(64)에 저장된 참조 화상의 서브 정수 픽셀 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 인코더(20)는 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 참조 화상의 다른 분수 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 유닛(42)은 전체 픽셀 위치 및 분수 픽셀 위치에 대해 모션 검색을 수행하고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다.
모션 추정 유닛(42)은 PU의 위치를 참조 화상의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 참조 화상은 제1 참조 화상 리스트(리스트 0) 또는 제2 참조 화상 리스트(리스트 1)로부터 선택될 수 있으며, 이들 각각은 참조 프레임 메모리(64)에 저장된 하나 이상의 참조 화상을 식별한다. 움직임 추정 유닛(42)은 계산된 모션 벡터를 엔트로피 인코딩 유닛(56) 및 모션 보상 유닛(44)에 송신한다.
모션 보상 유닛(44)에 의해 수행되는 모션 보상은 모션 추정 유닛(42)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch) 또는 생성하는 것을 포함할 수 있다. 또한, 일부 예에서, 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛(44)은 모션 벡터가 가리키는 예측 블록을 참조 화상 리스트 중 하나에 위치시킬 수 있다. 합산기(50)는, 코딩될 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 감산함으로써 잔차 비디오 블록을 형성하고, 후술하는 바와 같이, 픽셀 차이 값을 형성한다. 일반적으로, 모션 추정 유닛(42)은 루마 성분에 대한 모션 추정을 수행하고, 모션 보상 유닛(44)은 크로마 성분 및 루마 성분 모두에 대한 루마 성분에 기초하여, 계산된 모션 벡터를 사용한다. 모드 선택 유닛(40)은 또한, 비디오 슬라이스의 비디오 블록을 디코딩함에 있어서 비디오 디코더(30)에 의해 사용하기 위해 비디오 블록 및 비디오 슬라이스와 연관된 구문 요소를 생성할 수 있다.
인트라 예측 유닛(46)은, 전술한 바와 같이, 모션 추정 유닛(42) 및 모션 보상 유닛(44)에 의해 수행된 인터 예측에 대한 대안으로서 현재 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 유닛(46)은 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 예측 유닛(46)은 예를 들어, 개별 인코딩 패스 동안 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩할 수도 있고, 인트라 예측 유닛(46)(또는 일부 예에서 모드 선택 유닛(40))은, 테스트 모드에서, 사용할 적절한 인트라 예측 모드를 선택할 수 있다.
예를 들어, 인트라 예측 유닛(46)은, 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 이용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최고의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택할 수 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 에러) 량뿐만 아니라 생성에 사용된 비트 레이트(즉, 비트의 개수)를 결정한다. 인트라 예측 유닛(46)은 어떤 인트라 예측 모드가 블록에 대해 최상의 레이트 왜곡 값을 나타내는지를 결정하기 위해, 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산할 수 있다.
또한, 인트라 예측 유닛(46)은 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다. 모드 선택 유닛(40)은 가용 DMM 모드가, 예를 들어, 레이트-왜곡 최적화(rate-distortion optimization, RDO)를 사용하여 인트라 예측 모드 및 다른 DMM 모드보다 더 나은 코딩 결과를 생성 하는지 여부를 결정할 수 있다. 깊이 맵에 대응하는 텍스처 이미지에 대한 데이터는 참조 프레임 메모리(64)에 저장될 수 있다. 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 또한 깊이 맵의 깊이 블록을 인터-예측하도록 구성될 수 있다.
블록에 대한 인트라 예측 모드(예를 들어, 종래의 인트라 예측 모드 또는 DMM 모드 중 하나)를 선택한 후, 인트라 예측 유닛(46)은, 블록에 대해, 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 코딩 유닛(56)에 제공할 수 있다. 엔트로피 코딩 유닛(56)은, 선택된 인트라 예측 모드를 나타내는 정보를 인코딩할 수 있다. 비디오 인코더(20)는, 복수의 인트라 예측 모드 인덱스 테이블 및 복수의 수정된 인트라 예측 모드 인덱스 테이블(또한 코드워드 매핑 테이블이라고도 함)을 포함할 수 있는, 전송된 비트 스트림 구성 데이터에, 다양한 블록에 대한 인코딩 컨텍스트의 정의 및, 각각의 컨텍스트에 대해, 사용하기 위해 가장 가능성 있는 인트라 예측 모드, 인트라 예측 모드 인덱스 테이블 및 수정된 인트라 예측 모드 인덱스 테이블에 대한 표시를 포함할 수 있다.
비디오 인코더(20)는, 코딩될 원래 비디오 블록으로부터 모드 선택 유닛(40)으로부터 예측 데이터를 감산함으로써 잔차 비디오 블록을 형성한다. 합산기(50)은 이러한 감산 연산을 수행하는 구성 요소 또는 구성 요소들을 나타낸다.
변환 프로세싱 유닛(52)은 이산 코사인 변환(discrete cosine transform, DCT) 또는 개념적으로 유사한 변환과 같은, 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값을 포함하는 비디오 블록을 생성한다. 변환 프로세싱 유닛(52)은 DCT와 개념적으로 유사한 다른 변환을 수행할 수 있다. 웨이블릿 변환, 정수 변환, 서브 밴드 변환 또는 다른 타입의 변환도 사용될 수 있다.
변환 처리 유닛(52)은, 변환을 잔차 블록에 적용하여 잔차 변환 계수의 블록을 생성한다. 변환은 잔차 정보를 픽셀 값 도메인에서, 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 프로세싱 유닛(52)은, 결과적인 변환 계수를 양자화 유닛(54)에 송신할 수 있다. 양자화 유닛(54)은 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화한다. 양자화 프로세스는 일부 또는 모든 계수와 연관된 비트 깊이를 감소시킬 수 있다. 양자화 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은, 이후 양자화된 변환 계수들을 포함하는 매트릭스에 대한 스캔을 수행할 수 있다. 대안적으로, 엔트로피 인코딩 유닛(56)은 스캔을 수행할 수 있다.
양자화 후, 엔트로피 코딩 유닛(56)은 양자화된 변환 계수를 엔트로피 코딩한다. 예를 들어, 엔트로피 코딩 유닛(56)은 컨텍스트 적응형 가변 길이 코딩(context adaptive variable length coding, CAVLC), 컨텍스트 적응형 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 구문 기반 컨텍스트 적응형 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 파티션 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 코딩 기술을 수행할 수 있다. 컨텍스트 기반 엔트로피 코딩의 경우, 컨텍스트는 이웃 블록에 기초할 수 있다. 엔트로피 코딩 유닛(56)에 의한 엔트로피 코딩 다음에, 인코딩된 비트 스트림은 다른 디바이스(예를 들어, 비디오 디코더(30))로 전송되거나, 추후 전송 또는 검색을 위해 아카이브될 수 있다.
역 양자화 유닛(58) 및 역 변환 유닛(60)은, 예를 들어, 나중에 참조 블록으로서 사용하기 위해, 픽셀 도메인에서 잔차 블록을 재구성하기 위해, 역 양자화 및 역 변환을 각각 적용한다. 모션 보상 유닛(44)은, 잔차 블록을 참조 프레임 메모리(64)의 프레임들 중 하나의 프레임의 예측 블록에 더함으로써 참조 블록을 계산할 수 있다. 모션 보상 유닛(44)은 또한, 하나 이상의 보간 필터를 재구성된 잔차 블록에 적용하여 모션 추정에 사용하기 위한 서브 정수 픽셀 값을 계산할 수 있다. 합산기(62)는 재구성된 잔차 블록을, 움직임 보상 유닛(44)에 의해 생성된 움직임 보상 예측 블록에 더하여, 참조 프레임 메모리(64)에 저장하기 위한 재구성된 비디오 블록을 생성한다. 재구성된 비디오 블록은 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해, 후속 비디오 프레임에서 블록을 인터 코딩하기 위한 참조 블록으로서 사용될 수 있다.
도 3은 양방향 예측 기술을 구현할 수 있는 비디오 디코더(30)의 예를 도시하는 블록도이다. 도 3의 예에서, 비디오 디코더(30)는 엔트로피 디코딩 유닛(70), 모션 보상 유닛(72), 인트라 예측 유닛(74), 역 양자화 유닛(76), 역 변환 유닛(78), 참조 프레임 메모리(82) 및 합산기(80)를 포함한다. 비디오 디코더(30)는, 일부 실시 예에서, 비디오 인코더(20)(도 2)와 관련하여 설명된 인코딩 패스와 일반적으로 역인 디코딩 패스를 수행한다. 모션 보상 유닛(72)은 엔트로피 디코딩 유닛(70)으로부터 수신된 모션 벡터에 기초하여 예측 데이터를 생성할 수도 있고, 인트라 예측 유닛(74)은 엔트로피 디코딩 유닛(70)으로부터 수신된 인트라 예측 모드 지시자에 기초하여 예측 데이터를 생성할 수 있다.
디코딩 프로세스 동안, 비디오 디코더(30)는, 비디오 인코더(20)로부터 인코딩된 비디오 슬라이스 및 연관 구문 요소의 비디오 블록을 나타내는 인코딩된 비디오 비트 스트림을 수신한다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(70)은 비트 스트림을 엔트로피 디코딩하여, 양자화된 계수, 모션 벡터 또는 인트라 예측 모드 지시자, 및 기타 구문 요소를 생성한다. 엔트로피 디코딩 유닛(70)은 모션 벡터 및 다른 구문 요소를 모션 보상 유닛(72)으로 포워딩한다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 구문 요소를 수신할 수 있다.
비디오 슬라이스가 인트라 코딩된(I) 슬라이스로서 코딩될 때, 인트라 예측 유닛(74)은, 시그널링된 인트라 예측 모드 및 현재 프레임 또는 화상에 대해 이전에 디코딩된 블록으로부터의 데이터에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 비디오 프레임이 인터 코딩된(즉, B, P 또는 GPB) 슬라이스로서 코딩될 때, 모션 보상 유닛(72)은, 엔트로피 디코딩 유닛(70)으로부터 수신된 모션 벡터 및 다른 구문 요소에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 참조 화상 리스트 중 하나 내의 참조 화상 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는, 참조 프레임 메모리(82)에 저장된 참조 화상에 기초하여 디폴트 구성 기술을 이용하여 참조 프레임 리스트, 리스트 0 및 리스트 1을 구성할 수 있다.
모션 보상 유닛(72)은, 모션 벡터 및 다른 구문 요소를 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 예측 정보를 사용하여, 디코딩될 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모션 보상 유닛(72)은 수신된 구문 요소 중 일부를 사용하여 비디오 슬라이스의 비디오 블록들, 인터 예측 슬라이스 타입(예를 들어, B 슬라이스, P 슬라이스 또는 GPB 슬라이스)을 코딩하기 위해 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측), 슬라이스에 대한 하나 이상의 참조 화상 리스트에 대한 구성 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터, 슬라이스에 대해 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 슬라이스에서 비디오 블록을 디코딩하기 위한 다른 정보를 결정한다.
모션 보상 유닛(72)은 또한 보간 필터에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛(72)은, 비디오 블록의 인코딩 동안 비디오 인코더(20)에 의해 사용되는 보간 필터를 사용하여 참조 블록의 서브 정수 픽셀에 대한 보간된 값을 계산할 수 있다. 이 경우, 모션 보상 유닛(72)은, 수신된 구문 요소로부터 비디오 인코더(20)에 의해 사용된 보간 필터를 결정하고, 그 보간 필터를 사용하여 예측 블록을 생성할 수 있다.
깊이 맵에 대응하는 텍스쳐 이미지에 대한 데이터는 참조 프레임 메모리(82)에 저장될 수 있다. 모션 보상 유닛(72)은 깊이 맵의 깊이 블록을 인터 예측하도록 구성될 수도 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 이해될 수 있는 바와 같이, 도 1의 코딩 시스템(10)은 GBi에 적합하다. GBi는 블록 레벨 적응적 가중치(block-level adaptive weight)를 사용하여 2 개의 모션 보상된(motion-compensated) 예측 블록의 가중 평균을 계산함으로써 블록의 예측 신호를 생성하는 인터 예측 기술이다. 기존의 이중 예측과 달리, GBi의 가중치의 값(GBi 가중치라고도 함)은 0.5로 제한되지 않는다. GBi에 대한 인터 예측 기술은 다음과 같이 공식화될 수 있다.
P[x] = (1 - w) * P0[x + v0] + w * P1[x + v1] (1)
여기서 P[x]는 화상 위치 x에 위치한 현재 블록 샘플에 대한 예측을 나타내고, 각각의 Pi[x + vi], ∀i∈{0, 1}은, 참조 리스트 Li의 참조 화상으로부터의 모션 벡터(MV) vi와 연관된 현재 블록 샘플에 대한 모션 보상된 예측이고, w 및 1 - w는 각각 P0[x + v0] 및 P1[x + v1]에 적용된 가중치를 나타낸다.
GBi에는, 다음을 포함하는 3 가지 후보 가중치 세트가 있다.
W1 = {3/8, 1/2, 5/8},
W2 = W1∪{1/4, 3/4} = {1/4, 3/8, 1/2, 5/8, 3/4},
W3 = W2 ∪{-1/4, 5/4} = {-1/4, 1/4, 3/8, 1/2, 5/8, 3/4, 5/4}.
코딩 동안, 블록은 비디오 인코더(20)와 같은 인코더에 의해 파티션으로 분할된다. 예를 들어, 64x64 블록은 32x32 블록으로 분할될 수 있다. 이러한 더 작은 블록은 쿼드 트리 플러스 이진 트리(quadtree plus binary tree, QTBT) 구조에서 리프 노드로 지칭될 수 있다. 후보 가중치의 세트(예를 들어, W1, W2 또는 W3)에서 w의 위치를 나타내기 위해, 인덱스가 QTBT 구조의 리프 노드에 도입되어, 후보 가중치의 세트(즉, W1, W2 또는 W3)에 w가 위치한 엔트리 위치를 나타낸다. 그 후, 표 1에 명시된 2 개의 이진화 스킴 중 하나를 사용하여 인덱스 이진화가 수행된다. 도시된 바와 같이, 각각의 시퀀스 레벨 테스트(예를 들어, 테스트 1, 테스트 2 등)은, 가중치(예를 들어, 3/8) 및 각각의 스킴에 대해 빈(bin)(예를 들어, 0 또는 1)으로부터 형성된 이진화 코드워드(예를 들어, 00, 1, 02, 0001 등)에 대응하는 인덱스 번호(예를 들어, 0, 1, 2, 3 등)을 포함한다.
[표 1]
Figure 112019127297484-pct00001
이진화 스킴의 선택은, 제2 참조 화상 리스트에 대한 모션 벡터 차이(motion vector difference, MVD)가 0과 동일하므로 비트 스트림에서 시그널링되지 않음을 나타내는 슬라이스 레벨 플래그, mvd_l1_zero_flag의 값에 따라, 각각의 슬라이스에 맞게 조정된다. 슬라이스 레벨 플래그가 0과 동일하면, 스킴 #1이 사용된다. 슬라이스 레벨 플래그가 1과 동일하면, 스킴 #2가 사용된다. 이진화 코드워드의 각각의 빈(예를 들어, 0 또는 1)은, 이진화 후 컨텍스트 코딩된다.
양방향 예측 블록이 시그널링 MVD를 사용할 때, w의 인덱스(예를 들어, 3/8, 1/2 등)가 명시적으로 시그널링된다. 그렇지 않으면, 구문에서 추가적인 오버 헤드가 도입되지 않는다. 이후, 각각의 PU에 대한 가중치를 결정하기 위해 다음 규칙이 적용된다. 시그널링 MVD(즉, 일반 인터 예측 모드 및 아핀(affine) 예측 모드)를 사용하는 QTBT 리프 노드의 각각의 이중 예측 블록에 대해, 그 가중치는 명시적으로 시그널링된 w와 동일하도록 설정된다. 병합 모드, 진보된 시간적 모션 벡터 예측 또는 아핀 병합 모드로 코딩된 QTBT 리프 노드의 각각의 이중 예측 블록에 대해, 그 가중치 w는, 연관된 병합 후보에 대해 사용된 가중치로부터 직접 추론된다. 나머지 이중 예측 블록에 대해, 그 가중치 값은 0.5와 동일하도록 설정된다.
기존 해결 방안에는, 각각의 코딩된 블록에 대해, 선택할 수 있는 7 가지 가중치가 있다. 7 개의 모든 가중치는 최대 6 개의 빈을 사용하는 다양한 길이의 코딩 방법에 의해 명시적으로 시그널링된다. 예를 들어, 표 1의 테스트 3에서, 7 개의 가중치(예를 들어, -1/4, 1/4, 3/8, 1/2, 5/8, 3/4, 5/4)가 제공되며, 이는 6 개의 빈(예를 들어, 000000, 000001)을 포함하는 코드워드를 요구한다. 일부 경우에, 비디오 코딩 프로세스에 사용되는 가중치가 많을수록 더 나은 이미지 품질이 생성된다. 그러나, 더 많은 수의 가중치를 사용하면 더 큰 코드워드를 사용해야 하므로, 코딩 복잡성이 증가한다.
여기에서는, 7 개의 상이한 가중치 모두보다 적은 가중치를 사용하여 다양한 레벨에서의 적응적이고 가중화된 양방향 인터 예측을 가능하게 하고, 수행하고, 시그널링하는 방법들이 개시된다. 예를 들어, 본 발명자들은 국소화된 지역 또는 영역의 비디오(또는 이미지) 컨텐츠가 어느 정도 연속성을 가질 수 있음을 관찰 하였다. 따라서, 7 개의 가중치 모두가 코딩될 필요가 없을 수 있다. 대신, 국소화된 또는 영역 및 블록 기반 적응적 가중치가, 코딩 복잡성을 감소시키고 코딩 성능을 향상시키기 위해 사용될 수 있다. 본 개시는 그렇게 하기 위한 일련의 방법을 제시한다.
일 실시 예에서, 모든 가용 가중치의 서브셋은 비트 스트림의 여러 레벨, 예를 들어, 시퀀스 파라미터 세트(SPS), 화상 파라미터 세트(PPS), 슬라이스 헤더 또는 코딩 트리 유닛(CTU) 또는 CTU 그룹에 의해 표현되는 영역에서 선택되고 시그널링된다. 여기에서 사용되는 바와 같이, SPS는 시퀀스 레벨로 지칭될 수 있고, PPS는 파라미터 레벨로 지칭될 수 있고, 슬라이스 헤더는 슬라이스 레벨로 지칭될 수 있다. 또한, 가용 가중치의 서브셋은 가중치 서브셋 또는 GBi 가중치 서브셋으로 상호 교환 적으로 지칭될 수 있다.
일 실시 예에서, 슬라이스 헤더의 선택된 가중치는 SPS 또는 PPS의 가중치의 서브셋일 수 있다. 일 실시 예에서, 로컬 영역(예를 들어, CTU 또는 CTU 그룹)의 선택된 가중치는 슬라이스 헤더 또는 SPS 또는 PPS의 가중치의 서브셋일 수 있다. 그 다음에, 현재 코딩된 블록에 대한 가중치는, CTU, CTU 그룹, 슬라이스 헤더, PPS 또는 SPS일 수 있는, 그 부모 레벨의 서브셋으로부터 선택된다.
3 개의 가중치 서브셋 및 가변 길이 코딩을 사용하는 시그널링의 예가 예시의 목적으로 제공된다. 이러한 경우, 가중치 서브셋 플래그는 2 개의 빈을 사용하여 3 개의 가중치 서브셋 인덱스를 코딩한다. 여기서, M은 가중치 인덱스의 개수를 나타낸다. 따라서, M=3이다. M-1개의 빈은, 선택된 블록 가중치 인덱스를 시그널링하기 위해 사용된다. 따라서, 이진화 스킴에서 사용되는 코드워드는 0, 10, 11이다.
Figure 112019127297484-pct00002
4 개의 가중치 서브셋 및 고정 길이 코딩을 사용하는 시그널링의 다른 예가 예시의 목적으로 제공된다. 이러한 경우, 가중치 서브셋 플래그는 2 개의 빈을 사용하여 4 개의 가중치 서브셋 인덱스를 코딩한다. 다시, M은 가중치 인덱스의 개수를 나타낸다. 그러나, 가변 길이 코딩 예와는 달리, log2(M)개의 빈이, 선택된 블록 가중치 인덱스를 시그널링하기 위해 사용된다. 이에 따라, M=4이다. 따라서, 이진화 스킴에서 사용되는 코드워드는 00, 10, 01, 11이다.
Figure 112019127297484-pct00003
일 실시 예에서, 가중치 서브셋 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 시퀀스 레벨(예를 들어, SPS)로 표시될 수 있다.
일반 시퀀스 파라미터 세트 RBSP 구문
Figure 112019127297484-pct00004
여기서 sps_gbi_weight_subset_index는, 현재 시퀀스의 재구성된 화상에 적용되는 GBi 가중치 서브셋의 인덱스를 지정한다.
일 실시 예에서, 가중치 서브셋 인덱스는 예를 들어 다음 구문을 사용하여 플래그와 함께 화상 레벨(예를 들어, PPS)로 표시될 수 있다.
화상 파라미터 세트 범위 확장 구문
Figure 112019127297484-pct00005
여기서 pps_gbi_weight_subset_index는 현재 화상에서 재구성된 블록에 적용되는 GBi 가중치 하위 세트의 인덱스를 지정한다.
일 실시 예에서, 가중치 서브셋의 사용은 SPS 레벨 또는 PPS 레벨에서 독립적으로 시그널링되지만, SPS 및 PPS 레벨 모두에서는 그렇지 않다. 예를 들어, sps_gbi_weight_subset_index가 사용 가능한 경우 pps_gbi_weight_subset_index는 존재하지 않으며, 그 반대도 마찬가지이다.
일 실시 예에서, 가중치 서브셋의 사용은 SPS 및 PPS 레벨 모두에서 시그널링된다. 이러한 경우, PPS 신호 및 SPS 신호가 모두 존재할 때, PPS 신호가 우선하며, SPS 신호를 오버라이트(overwrite)한다.
일 실시 예에서, 가중치 서브셋 인덱스는 슬라이스 레벨로 표시될 수 있다. 가중치 서브셋 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 슬라이스 레벨로 표시될 수 있다.
Figure 112019127297484-pct00006
여기서 slice_gbi_weight_subset_index는, 현재 슬라이스의 재구성된 블록에 적용되는 GBi 가중치 서브셋의 인덱스를 지정한다.
일 실시 예에서, (예를 들어, 슬라이스 헤더에서 시그널링된) 현재 슬라이스에 대한 GBi 가중치는, 허용된 모든 GBi 가중치 또는 (PPS에 GBi 시그널링이 존재하지 않는 경우 PPS 또는 SPS로 시그널링된) 현재 화상에 대한 허용된(또는 시그널링된) GBi 가중치의 서브셋이다.
일 실시 예에서, 가중치 서브셋 인덱스는 CTU 레벨로 표시될 수 있다. 가중치 서브셋 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 CTU 레벨로 표시될 수 있다.
Figure 112019127297484-pct00007
여기서 CTU_gbi_weight_subset_index는, 현재 CTU의 재구성된 블록에 적용되는 GBi 가중치 서브셋의 인덱스를 지정한다.
일 실시 예에서, 현재 CTU에 대한 GBi 가중치는, 허용된 모든 GBi 가중치 또는 (예를 들어, 슬라이스 헤더에서 시그널링된) 현재 슬라이스에 대한 허용된(또는 시그널링된) GBi 가중치의 서브셋이거나, 또는 (예를 들어, PPS에 GBi 시그널링이 존재하지 않는 경우 PPS 또는 SPS로 시그널링된) 현재 화상에 대한 허용된 GBi 가중치의 전체 또는 서브셋이다.
일 실시 예에서, 서브셋의 가중치의 개수는 1이다. 이러한 실시 예에서, 각각의 코딩된 블록에 대한 가중치를 시그널링할 필요가 없다. 실제로, 각각의 코딩된 블록에 사용된 가중치는, 그 상위 레벨 구문에서 시그널링되는 가중치인 것으로 추론된다. 또한, 가중치 서브셋(예를 들어, 총 7 개의 가중치 중 3 또는 4 개의 가중치)의 선택은, 이전 화상 또는 슬라이스 또는 영역에서 사용된 가중치에 의존적일 수 있다. 즉, 시간 정보에 기초하여 선택이 이루어진다.
여기에서는, 이용 가능한 모든 GBi 가중치로부터 선택된 단일 가중치를 사용하는 방법이 또한 개시된다. 즉, 모든 사용 가능한 GBi 가중치 중 단 하나의 가중치만 플래그를 사용하여 각각의 다른 레벨에서 선택된다. 예를 들어, 7 개의 GBi 가중치가 이용 가능할 때, 각각의 가중치 인덱스 값 및 이에 대응하는 가중치 값은 표 2에 도시된 바와 같다. 일 실시 예에서, 가중치 인덱스는 가변 길이 코딩 또는 고정 길이 코딩을 사용하여 코딩된다.
[표 2]
Figure 112019127297484-pct00008
일 실시 예에서, 가중치 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 시퀀스 레벨에서 표시될 수 있다.
일반 시퀀스 파라미터 세트 RBSP 구문
Figure 112019127297484-pct00009
여기서 sps_gbi_weight_index는, 현재 시퀀스의 재구성된 화상에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, 가중치 인덱스는 예를 들어 다음 구문을 사용하여 플래그와 함께 화상 레벨로 표시될 수 있다.
화상 파라미터 세트 범위 확장 구문
Figure 112019127297484-pct00010
여기서 pps_gbi_weight_index는 현재 화상에서 재구성된 블록에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, 가중치 서브셋의 사용은 SPS 레벨 또는 PPS 레벨에서 독립적으로 시그널링되지만, SPS 및 PPS 레벨 모두에서는 그렇지 않다. 예를 들어, sps_gbi_weight_index가 사용 가능한 경우 pps_gbi_weight_index는 존재하지 않으며, 그 반대도 마찬가지이다.
일 실시 예에서, 가중치 서브셋의 사용은 SPS 및 PPS 레벨모두에서 시그널링된다. 이러한 경우, PPS 신호 및 SPS 신호가 모두 존재할 때, PPS 신호가 우선하며, SPS 신호를 오버라이트한다.
일 실시 예에서, 가중치 서브셋 인덱스는 슬라이스 레벨로 표시될 수 있다. 가중치 서브셋 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 슬라이스 레벨로 표시될 수 있다.
Figure 112019127297484-pct00011
여기서 slice_gbi_weight_index는, 현재 슬라이스의 재구성된 블록에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, (예를 들어, 슬라이스 헤더에서 시그널링된) 현재 슬라이스에 대한 GBi 가중치는, (PPS에 GBi 시그널링이 존재하지 않는 경우 PPS 또는 SPS로 시그널링된) 현재 화상에 대한 허용된(또는 시그널링된) GBi 가중치 중 단 하나의 가중치이다.
일 실시 예에서, 가중치 서브셋 인덱스는 CTU 레벨로 표시될 수 있다. 가중치 서브셋 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 CTU 레벨로 표시될 수 있다.
Figure 112019127297484-pct00012
여기서 CTU_gbi_weight_index는, 현재 CTU의 재구성된 블록에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, 현재 CTU에 대한 허용된 GBi 가중치는, (슬라이스 헤더에서 시그널링된) 현재 슬라이스에 대한 허용된(또는 시그널링된) GBi 가중치 중 단 하나의 가중치, 또는 (PPS에 GBi 시그널링이 존재하지 않는 경우 PPS 또는 SPS로 시그널링된) 현재 화상에 대한 허용된 GBi 가중치 중 하나의 가중치이다.
화상(SPS, PPS), 슬라이스(슬라이스 헤더) 또는 영역(CTU 헤더) 레벨에서 특정 GBi 가중치를 선택하면, 해당 화상, 슬라이스 또는 영역 내의 모든 인터 코딩된 블록은 해당 GBi 가중치를 사용한다. 각각의 블록에서 GBi 가중치를 시그널링할 필요는 없다.
여기에서, 모든 이용 가능한 GBi 가중치의 가중치 서브셋으로부터 선택된 단일 가중치를 사용하는 방법이 또한 개시된다. 즉, 모든 이용 가능한 GBi 가중치의 가중치 서브셋에서 단 하나의 가중치만이, 플래그를 사용하여 각각의 다른 레벨에서 선택된다.
예를 들어, 7 개의 GBi 가중치를 3 가지 가중치 서브셋으로 분할할 수 있다. 각각의 서브셋은 이용 가능한 GBi 가중치 중 적어도 하나를 포함한다.
Figure 112019127297484-pct00013
첫 번째 서브셋에 대해, 가중치 인덱스와 가중치 값 사이의 관계가 아래의 표에 표시될 수 있다.
Figure 112019127297484-pct00014
두 번째 서브셋에 대해, 가중치 인덱스와 가중치 값 사이의 관계가 아래 표에 표시될 수 있다.
Figure 112019127297484-pct00015
세 번째 서브셋에 대해, 가중치 인덱스와 가중치 값 사이의 관계가 아래 표에 표시될 수 있다.
Figure 112019127297484-pct00016
본 실시 예에서, GBi 가중치 서브셋 인덱스 및 GBi 가중치 인덱스는, 후술되는 바와 같이, 동일한 레벨로 도시되거나, 여러 레벨로 도시될 수 있다.
일 실시 예에서, 가중치 서브셋 인덱스 및 가중치 인덱스는, 예를 들어, 다음 구문을 사용하여 플래그와 함께 시퀀스 레벨로 표시될 수 있다.
일반 시퀀스 파라미터 세트 RBSP 구문
Figure 112019127297484-pct00017
여기서 sps_gbi_weight_subset_index는, 현재 시퀀스의 재구성된 화상에 적용되는 GBi 가중치 서브셋의 인덱스를 지정하고, sps_gbi_weight_index는, 현재 시퀀스의 재구성된 화상에 적용되는 GBi 가중치의 인덱스를 지정한다.
CTU 또는 CTU 그룹으로 표현되는 각각의 시퀀스, 화상, 슬라이스 또는 영역은 동일한 방법을 사용할 수 있다.
일 실시 예에서, 가중치 인덱스는 예를 들어 다음 구문을 사용하여 플래그와 함께 화상 레벨로 표시될 수 있다.
화상 파라미터 세트 범위 확장 구문
Figure 112019127297484-pct00018
여기서 pps_gbi_weight_subset_index는 현재 화상에서 재구성된 블록에 적용되는 GBi 가중치 서브셋의 인덱스를 지정하고 pps_gbi_weight_index는 현재 화상에서 재구성된 블록에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, 가중치 인덱스는 예를 들어 다음 구문을 사용하여 플래그와 함께 슬라이스 레벨로 표시될 수 있다.
Figure 112019127297484-pct00019
여기서 slice_gbi_weight_subset_index는 현재 슬라이스의 재구성된 블록에 적용되는 GBi 가중치 서브셋의 인덱스를 지정하고, slice_gbi_weight_index는 현재 슬라이스의 재구성된 블록에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, 가중치 서브셋 인덱스 및 가중치 인덱스는 여러 레벨로 시그널링될 수 있다. 예를 들어, 슬라이스에 사용된 특정 가중치 서브셋은 화상 헤더로 시그널링될 수 있다. 그 후, 슬라이스 헤더는, 화상 헤더의 가중치의 서브셋으로부터 선택된 가중치에 대응하는 가중치 인덱스를 시그널링한다. 하나의 예시적인 구문 표가 아래에 있다. 이것은 다른 변형으로 확장될 수 있다.
일반 시퀀스 파라미터 세트 RBSP 구문
Figure 112019127297484-pct00020
화상 파라미터 세트 범위 확장 구문
Figure 112019127297484-pct00021
Figure 112019127297484-pct00022
여기서 sps_gbi_weight_subset_index는, 현재 시퀀스의 재구성된 화상에 적용되는 GBi 가중치 서브셋의 인덱스를 지정하고, pps_gbi_weight_subset_index는 현재 화상의 재구성된 블록에 적용되는 GBi 가중치 서브셋의 인덱스를 지정하고, slice_gbi_weight_index는 현재 슬라이스의 재구성된 블록에 적용되는 GBi 가중치의 인덱스를 지정한다.
일 실시 예에서, 현재 영역의 가중치 서브셋은, 상이한 레벨에서 시그널링되는 플래그를 사용하여 이웃(들)에 따라 적응적으로 표시될 수 있다. 현재 및 이웃 영역은 CTU 그룹, CTU, CU, PU 등일 수 있다. 예를 들어, CTU 레벨에서, 선택된 가중치 서브셋은 다음 구문을 사용하여 이웃 CTU로부터 도출될 수 있다.
Figure 112019127297484-pct00023
여기서 ctu_gbi_merge_flag가 1과 동일함은 현재 코딩 트리 유닛의 GBi 가중치 서브셋이 이웃 코딩 트리 블록의 해당 구문 요소에서 도출됨을 지정하고, ctu_gbi_merge_flag가 0과 동일함은 이러한 구문 요소가 이웃 코딩 트리 블록의 해당 구문 요소에서 도출되지 않음을 지정한다.
여기에서, 현재 블록에 대한 가중치로서 이웃의 가중치를 사용하는 방법이 또한 개시된다. 도 4는 현재 블록(402) 및 공간적 GBi 이웃(spatial GBi neighbor)(404)의 다이어그램(400)이다. 일 실시 예에서, 공간적 GBi 이웃(404)은 좌측 하단 공간적 이웃(A0), 좌측 공간적 이웃(A1), 우측 상단 공간적 이웃(B0), 상단 공간적 이웃(B1) 및 좌측 상단 공간적 이웃(B2)을 포함한다. 현재 블록(402)에 대해 다른 위치에 있는 다른 공간적 GBi 이웃(404)은 다른 실시 예에서 사용되거나 고려될 수 있다.
일 실시 예에서, 현재 블록(402)에 대한 가중치는 그 이웃 중 임의의 하나에 사용된 가중치와 동일할 수 있다. 이웃은 공간적 GBi 이웃(404), 예를 들어, 상단, 좌측, 좌측 상단, 우측 상단 및 좌측 하단 등 또는 시간적 이웃일 수 있다. 일 실시 예에서, 시간적 이웃 블록은 TMVP(temporal motion vector predictor)를 사용하여 식별된, 이전에 코딩된 화상 중 하나에서 발견된다. 프루닝 프로세스(pruning process)는 상이한 이웃들로부터 동일한 가중치를 제거(prune out)하기 위해 수행될 수 있다. M으로 표시된 나머지 다른 가중치는 리스트를 형성한다. 이들의 인덱스는 인코더에서 디코더로 시그널링되고 송신된다.
일 실시 예에서, 현재 블록(402)에 대한 가중치는 그 상단 또는 좌측 이웃(예를 들어, 상단 공간 이웃(B1) 및 좌측 상단 공간 이웃(B2))과 동일할 수 있다. 이러한 경우, 플래그는 상단 또는 좌측 선택을 시그널링하기 위해 사용된다. 플래그는, 예를 들어, 하나의 빈 또는 하나의 비트일 수 있다. 2 이상의 이웃에 사용된 가중치가 동일하면, 플래그를 코딩하거나 송신할 필요가 없다. 일 실시 예에서, 플래그는, 예를 들어, CABAC를 사용하여 컨텍스트 코딩될 수 있다. CABAC는 H.264/MPEG-4 AVC 및 HEVC 표준에 사용되는 엔트로피 인코딩 형식이다. CABAC는 무손실 압축 기술이지만, 그것이 사용되는 비디오 코딩 표준은 일반적으로 손실 압축 어플리케이션에 대한 것이다.
일 실시 예에서, 공간적 GBi 이웃(404)의 가중치는, 예를 들어, 다음 구문을 사용하여 GBi 가중치 후보 리스트(예를 들어, GBiWeightCandList)를 형성한다.
i = 0
if( availableFlagA1 )
GBiWeightCandList [　i++　] = A1
if( availableFlagB1 )
GBiWeightCandList [　i++　] = B1
if( availableFlagB0 )
GBiWeightCandList [　i++　] = B0
if( availableFlagA0 )
GBiWeightCandList [　i++　] = A0
if( availableFlagB2 )
GBiWeightCandList [　i++　] = B2
현재 블록(예를 들어, 블록(402))의 GBi 가중치는 GBiWeightSubsetCandList의 GBi 가중치 중 하나와 동일할 수 있다. 구문 표의 일례가 아래에 있다. 먼저, 현재 블록의 GBi 가중치가 그 이웃 중 하나와 동일하도록 병합되는지 여부를 나타내기 위해 플래그(예를 들어, cu_gbi_merge_flag)가 시그널링된다. 예(yes)(플래그 cu_gbi_merge_flag로 표시됨)인 경우, 현재 블록에 대한 사용된 GBi 가중치의 인덱스(예를 들어, gbi_merge_idx)가 시그널링된다. 이 인덱스는 컨텍스트(들)를 이용한 가변 길이 코딩에 의해 코딩될 수 있다. 제1 플래그(예를 들어, cu_gbi_merge_flag)가, 현재 블록의 GBi 가중치가 GBi 가중치 후보 리스트(예를 들어, GBiWeightCandList)의 임의의 GBi 가중치와 동일하지 않음을 나타내는 경우, 일 실시 예에서 현재 블록의 GBi 가중치 인덱스는 본 명세서에 기술된 방법 또는 실시 예 중 하나를 사용하여 명시적으로 시그널링된다. 일 실시 예에서, 현재 블록의 GBi 가중치는 특정 값, 예를 들어 1/2과 동일한 것으로 추론된다. 다른 실시 예에서, 현재 블록은 예측을 위해 GBi를 사용하지 않는다.
Figure 112019127297484-pct00024
여기서 cu_gbi_merge_flag가 1과 동일함은 현재 코딩 단위의 GBi 가중치가 가중치 후보 목록의 가중치 중 하나와 동일함을 지정하고, ctu_gbi_merge_flag가 0과 동일함은 현재 코딩 단위의 GBi 가중치가 가중치 후보리스트 내의 가중치 중 하나와 동일하지 않음을 지정하고, gbi_merge_idx는 후보리스트 내에서 어떤 가중치가 현재 코딩 유닛에 사용되는지를 지정한다.
일 실시 예에서, 코딩 유닛은 일반적으로 예측 유닛 또는 블록으로 대체될 수 있다.
여기에서, 현재 블록에 대해 최고 확률의 잔여 가중치를 사용하는 방법이 개시된다. 이러한 방법에서, 현재 코딩된 블록에 대해 가능한 가중치는 두 가지 타입, 예를 들어 가장 최고 확률 가중치(most probable weights, MPW) 및 잔여 가중치(remaining weights, RMW)로 분류된다. 플래그는 현재 블록에 대한 가중치가 최고 확률 가중치 중 하나인지 여부를 시그널링하기 위해 사용된다. 플래그는 하나의 비트 또는 하나의 빈일 수 있고, 컨텍스트 코딩될 수 있다.
일 실시 예에서, 최고 확률 가중치는 이웃, 예를 들어, 좌측 상단 이웃에 의해 사용되는 가중치이다. 일 실시 예에서, 최고 확률 가중치는 높은 확률로 사용되는 가중치이다. 예를 들어, 가중치 1/2 또는 5/8은 다른 가용 가중치에 비해 사용될 확률이 높을 수 있다.
가중치가 최고 확률 가중치 중 하나인 경우, 최고 확률 가중치를 식별하기 위해 두 번째 플래그가 사용된다. 일 실시 예에서, 코드워드 0, 01, 11은 {상단, 좌측, 1/2, 5/8, 3/8} 또는 {좌측, 상단, 1/2, 5/8, 3/8} 중에서 처음 3 개의 이용 가능하고 유효한(다른) 가중치에 대해 시그널링된다. 그 순서와 값은 다를 수 있다. 일 실시 예에서, 빈 0, 1은 {상단, 좌측, 1/2, 5/8} 또는 {좌측, 상단, 1/2, 5/8} 또는 {좌측, 상단, 1/2, 3/8} 중에서 처음 2 개의 이용 가능하고 유효한(다른) 가중치에 대해 시그널링될 수 있다. 그 순서와 값은 다를 수 있다.
첫 번째 플래그가, 현재 블록에 대한 가중치가 MPW가 아님을 나타내는 경우(즉, 가중치는 잔여 가중치 중 하나임), 잔여 가중치를 나타내기 위해 두 번째 플래그가 사용된다. 잔여 가중치는 고정 길이 코딩 또는 가변 길이 코딩에 의해 코딩될 수 있다. 또한, MPW 또는 RMW를 나타내는 첫 번째 플래그는 컨텍스트 코딩될 수 있다. 가중치 인덱스를 나타내는 두 번째 플래그는 컨텍스트 코딩되거나 부분적으로 컨텍스트 코딩될 수 있다. 일 실시 예에서, 잔여 가중치 인덱스의 첫 번째 빈은 컨텍스트 코딩되고, 후속하는 다른 빈은 바이패스 코딩된다.
예를 들어, 최고 확률 가중치 컨텍스트에서 7 개의 GBi 가중치를 사용한, 가중치 인덱스와 대응하는 가중치 값 사이의 샘플 관계가 아래의 표에 나타나 있다.
Figure 112019127297484-pct00025
최고 확률 가중치에 대한 온(on)/오프(off) 제어는, 플래그를 사용하여 여러 레벨로 표시될 수 있다. 예를 들어, CU 레벨 플래그는 아래의 구문에 의해 도시된 바와 같이 사용될 수 있다.
Figure 112019127297484-pct00026
어레이 인덱스 x0 + i, y0 + j는, 화상의 좌측 상단 루마 샘플에 대해, 고려된 예측 블록의 좌측 상단 루마 샘플의 위치(x0 + i, y0 + j)를 지정한다. prev_gbi_weight_flag[x0 + i][y0 + j] 구문 요소가 1과 동일함은, mpm_weight_idx의 값이 현재 CU의 재구성된 화상에 적용됨을 지정한다. prev_gbi_weight_flag[x0 + i][y0 + j]가 0과 동일함은, rem_pred_weight의 값이 현재 CU의 재구성된 화상에 적용됨을 지정한다.
mpm_weight_idx[x0 + i][y0 + j]는 최고 확률 가중치의 인덱스를 지정한다. 또한, rem_pred_weight[x0 + i][y0 + j]는 최고 확률 가중치와 다른 잔여 GBi 가중치를 지정한다.
7 개의 GBi 가중치가있는 실시 예에서, 최고 확률 가중치 세트에 3 개의 가중치가 포함된 경우 잔여 GBi 가중치는 다른 4 개의 가중치이다. 본 실시 예에서, 잔여 가중치를 코딩하기 위해 2 개의 빈 고정 길이 코딩이 사용될 수 있다.
일 실시 예에서, GBi의 예측된 가중치는 다음 순서 단계를 사용하여 이웃들로부터 도출된다. 먼저, 이웃 위치( xNbA, yNbA ) 및( xNbB, yNbB )가 각각 ( xPb - 1, yPb ) 및( xPb, yPb - 1 )과 동일하도록 설정된다.
둘째로, X가 A 또는 B로 대체되는 경우, candIntraPredModeX 변수는 다음과 같이 도출된다.
z-스캔 순서의 블록에 대한 이용 가용성 도출 프로세스는 "High Efficiency Video Coding"의 6.4.1 절에 명시되어 있으며, 참조에 의해 본 명세서에 포함되는 ITU-T 권고 | ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission) 23008-2, 2016 년 12 월이, (　xPb,　yPb　)와 동일하도록 설정된 위치( xCurr, yCurr ) 및 (　xNbX,　yNbX　)와 동일하도록 설정된 이웃 위치 ( xNbY,　yNbY　)를 입력으로 하여 호출되고, 출력은 availableX에 할당된다.
후보 가중치 candweightX는 다음과 같이 도출된다.
availableX가 FALSE이면 candweightX는 0.5와 동일하도록 설정된다.
그렇지 않으면, candIntraPredModeX는 WeightPred[xNbX][yNbX]와 동일하도록 설정된다.
candWeightList[ x ]는 다음과 같이 도출되며, x는 0 내지 가중치의 개수가 될 수 있다. 본 실시 예에서, x는, 예를 들어, 0 내지 2와 동일하다.
candWeightB가 candWeightA와 동일하면 다음이 적용된다:
candWeightA가 1/2 또는 5/8과 동일한 경우, x = 0..2인 candModeList[ x ]는 다음과 같이 도출된다:
candWeightList[　0　] = 1/2
candWeightList[　1　] = 5/8
candWeightList[　2　] = 3/4
그렇지 않으면 x = 0..2인 candModeList[ x ]는 다음과 같이 도출된다:
candWeightList[　0　] = candWeightA
candWeightList[　1　] = 1/2
candWeightList[　2　] = 5/8
그렇지 않으면(candWeightB가 candWeightA와 동일하지 않으면) 다음이 적용된다:
candWeightList[ 0 ] 및 candWeightList[ 1 ]는 다음과 같이 도출된다:
candWeightList[　0　] = candWeightA
candWeightList[　1　] = candWeightB
candWeightList[ 0 ] 및 candWeightList[ 1 ] 중 어느 것도 1/2과 동일하지 않으면 candWeightList[ 2 ]는 1/2과 동일하도록 설정된다,
그렇지 않고, andWeightList[ 0 ] 및 candWeightList[ 1 ]가 5/8과 동일하지 않으면 candWeightList[ 2 ]는 5/8과 동일하도록 설정된다,
그렇지 않으면 candModeList[ 2 ]는 3/4와 동일하도록 설정된다.
셋째로, 현재 블록의 가중치는 다음 절차를 적용하여 도출된다.
prev_gbi_weight_flag[x0 + i][y0 + j]가 1과 동일한 경우, 현재 블록의 가중치는 candModeList[mpm_weight_idx]와 동일하도록 설정된다.
그렇지 않으면, 현재 블록 WeightPred[ xPb ][ yPb ]의 가중치는 다음 순서 단계를 적용하여 도출된다:
WeightPred[ xPb ][ yPb ]는 rem_pred_weight[ xPb ][ yPb ]와 동일하도록 설정된다.
i가 0 내지 2까지인 경우에, WeightPred[ xPb ][ yPb ]가 candModeList[ i ]보다 크거나 같으면, WeightPred[ xPb ][ yPb ]의 값을 1 씩 증가시킨다.
일 실시 예에서, i가 0 내지 2까지인 경우에, WeightPred[ xPb ][ yPb ]가 candModeList[ i ]보다 크거나 같을 때, WeightPred[ xPb ][ yPb ]의 값은 1만큼 감소된다.
일 실시 예에서, 상기 이웃 영역 및 좌측 이웃 영역 외에, 제3 이웃 영역(예를 들어, 좌측 상단 이웃)이 또한 사용될 수 있다. 일 실시 예에서, x는 0 내지 1일 수 있다. x가 0 내지 1로 설정되면, candWeightList[2]는 존재하지 않는다. 이 경우, candWeightList[0] 및 candWeightList[1]만 도출할 필요가 있고, 상기 방법의 나머지는 위에서 설명한 바와 같이 수행될 수 있다.
일 실시 예에서, x는 0 내지 3일 수 있다. x가 0 내지 3으로 설정될 때, 상기 이웃 영역 및 좌측 이웃 영역 외에, 제3 이웃 영역(예를 들어, 좌측 상단 이웃) 또는 최고 확률 가중치(예를 들어, 1/2)가 후보로 사용될 수 있다.
다른 실시 예에서, N으로 표시되는 잔여 가중치는 최고 확률 가중치가 아닌 가중치일 수 있다. 여기서, N은, GBi 가중치에서 최고 확률 가중치를 뺀 총 개수의 결과보다 작다. 설명을 위해 예들이 아래에 제공된다.
{1/2, 3/8, 5/8, 1/4, 3/4, -1/4, 5/4} 순서의 GBi 가중치의 경우, 최고 확률 가중치가 1/2, 5/8, 3/8이고 N=3인 경우, 잔여 가중치는 최고 확률 가중치가 아닌 가중치 중 처음 3 개의 가중치, 예를 들어, {1/4, 3/4, -1/4}이다. {1/2, 5/8, 3/8, 1/4, 3/4, 5/4, -1/4} 순서의 GBi 가중치의 경우, 최고 확률 가중치가 1/2, 5/8, 3/8이고 N=3인 경우, 잔여 가중치는 최고 확률 가중치가 아닌 가중치 중 처음 3 개의 가중치, 예를 들어 {1/4, 3/4, 5/4}이다.
여기에서, 인터 병합 모드(inter merge mode)를 사용하는 방법이 또한 개시된다. 예를 들어, 현재 블록이 인터 머지 모드를 사용하여 인터 코딩될 때, 현재 블록에 대한 가중치는, 인터 병합 인덱스에 의해 지시되거나, mv 병합 인덱스에 의해 지시된 모션 벡터에 의해 포인팅된 인터 코딩된 블록에 대해 사용된 가중치와 동일한 것으로 추론된다.
도 5는 본 개시의 일 실시 예에 따른 네트워크 디바이스(500)(예를 들어, 코딩 디바이스)의 개략도이다. 네트워크 디바이스(500)는 여기에 설명된 바와 같이 개시된 실시 예들을 구현하기에 적합하다. 일 실시 예에서, 네트워크 디바이스(500)는 도 1의 비디오 디코더(30)와 같은 디코더 또는 도 1의 비디오 인코더(20)와 같은 인코더일 수 있다. 일 실시 예에서, 네트워크 디바이스(500)는 상술한 도 1의 비디오 디코더(30) 또는 도 1의 비디오 인코더(20)의 하나 이상의 컴포넌트일 수 있다.
네트워크 디바이스(500)는 데이터를 수신하기 위한 입구 포트(510) 및 수신기 유닛(Rx)(520); 데이터를 처리하기 위한 프로세서, 논리 유닛 또는 중앙 처리 유닛(CPU)(530); 데이터를 전송하기 위한 전송기 유닛(Tx)(540) 및 출구 포트(550); 및 데이터를 저장하기 위한 메모리(560)를 포함한다. 네트워크 디바이스(500)는 또한, 광학 또는 전기 신호의 발신 또는 수신을 위해, 입구 포트(510), 수신기 유닛(520), 전송기 유닛(540) 및 출구 포트(550)에 결합된 광학 전기(optical-to-electrical, OE) 컴포넌트 및 전기 광학(electrical-to-optical, EO) 컴포넌트를 포함할 수 있다.
프로세서(530)는 하드웨어 및 소프트웨어로 구현된다. 프로세서(530)는 하나 이상의 CPU 칩, (예를 들어, 멀티 코어 프로세서로서) 코어, FPGA, ASIC 및 DSP로 구현될 수 있다. 프로세서(530)는 입구 포트(510), 수신기 유닛(520), 전송기 유닛(540), 출구 포트(550) 및 메모리(560)와 통신한다. 프로세서(530)는 코딩 모듈(570)을 포함한다. 코딩 모듈(570)은 앞서 설명한 개시된 실시 예들을 구현한다. 예를 들어, 코딩 모듈(570)은 다양한 코딩 동작을 구현, 처리, 준비 또는 제공한다. 따라서, 코딩 모듈(570)의 포함은 네트워크 디바이스(500)의 기능성에 실질적인 개선을 제공하고, 네트워크 디바이스(500)의 다른 상태로의 변환에 영향을 미친다. 대안적으로, 코딩 모듈(570)은 메모리(560)에 저장되고 프로세서(530)에 의해 실행되는 명령으로서 구현된다.
메모리(560)는, 실행을 위해 프로그램이 선택된 경우 그러한 프로그램을 저장하기 위해, 그리고 프로그램 실행 중 판독되는 명령 및 데이터를 저장하기 위해, 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고, 오버 플로우 데이터 저장 디바이스로서 사용될 수 있다. 메모리(560)는 휘발성 및/또는 비 휘발성일 수 있고, ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory) 및/또는 SRAM(static random-access memory)일 수 있다. .
도 6은 코딩 방법(600)의 일 실시 예를 도시한 흐름도이다. 일 실시 예에서, 코딩 방법(600)은 도 1의 비디오 디코더(30)와 같은 디코더에서 구현된다. 코딩 방법(600)은, 예를 들어, 전자 디바이스의 디스플레이 상에 이미지를 생성하기 위해, 도 1의 비디오 인코더(20)와 같은 인코더로부터 수신된 비트 스트림이 디코딩될 때 구현될 수 있다.
블록(602)에서, 특정 부분에서 가중치 서브셋 플래그를 포함하는 비트 스트림이 수신된다. 특정 부분은, 예를 들어, 비트 스트림의 SPS, 비트 스트림의 PPS, 비트 스트림의 슬라이스 헤더, 또는 CTU 또는 CTU 그룹에 의해 표현되는 비트 스트림의 영역일 수 있다.
블록(604)에서, 가중치 서브셋은 가중치 서브셋 플래그를 사용하여 식별된다. 일 실시 예에서, 가중치 서브셋은 현재 인터 블록에 대해 가용 가중치의 서브셋을 포함한다. 일 실시 예에서, 현재 블록에 대한 가용 가중치는 적어도 -1/4, 1/4, 3/8, 1/2, 5/8, 3/4 및 5/4를 포함한다. 일 실시 예에서, 가용 가중치는 -1/4, 1/4, 3/8, 1/2, 5/8, 3/4 및 5/4의 세트에 추가하여 적어도 하나의 가중치를 포함할 수 있다.
블록 606에서, 이미지가 전자 디바이스의 디스플레이 상에 디스플레이된다. 가중치 서브셋 플래그에 의해 식별된 가중치 서브셋을 사용하여 이미지가 생성된다. 이미지는 사진 또는 비디오의 프레임일 수 있다.
도 7은 코딩 방법(700)의 일 실시 예를 도시한 흐름도이다. 일 실시 예에서, 코딩 방법(700)은 도 1의 비디오 인코더(20)와 같은 인코더에서 구현된다. 코딩 방법(700)은, 예를 들어, 비트 스트림이 생성되어 도 1의 비디오 디코더(30)와 같은 디코딩 디바이스에 전송될 때 구현될 수 있다. 1.
블록(702)에서, 현재 인터 블록에 대한 가용 가중치는 가중치 서브셋으로 분할된다. 예를 들어, 가용 가중치는 -1/4, 1/4, 3/8, 1/2, 5/8, 3/4 및 5/4 세트이며, 서브셋은 {1/4, 3/4, -1/4}, {1/4, 3/4, 5/4} 및 {1/4, 3/8, 1/2, 5/8}이다. 실제 응용에서는 다양한 가중치의 조합을 포함하는 임의의 개수의 서브셋이 사용될 수 있음을 이해하여야 한다.
블록(704)에서, 가중치 서브셋 중 하나가 인코딩을 위해 선택된다. 예를 들어, {1/4, 3/4, -1/4}의 서브셋이 선택될 수 있다. 블록(706)에서, 가중치 서브셋 플래그는 비트 스트림의 특정 부분으로 인코딩된다. 가중치 서브셋 플래그는, 선택된 가중치 서브셋 중 하나를 식별하기 위해 사용되는 가중치 서브셋 인덱스를 포함한다. 특정 부분은, 예를 들어, 비트 스트림의 SPS, 비트 스트림의 PPS, 비트 스트림의 슬라이스 헤더, 또는 CTU 또는 CTU 그룹에 의해 표현되는 비트 스트림의 영역일 수 있다.
블록(708)에서, 가중치 서브셋 플래그를 포함하는 비트 스트림이 도 1의 비디오 디코더(30)와 같은 디코딩 디바이스에 전송된다. 디코딩 디바이스에 의해 비트 스트림이 수신되면, 디코딩 디바이스는 비트 스트림을 디코딩하기 위해 도 6의 프로세스를 구현할 수 있다.
전술한 바에 기초하여, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 기존의 해결 방안이 7 개의 상이한 가중치가 현재 인터 블록을 코딩할 수 있다는 것을 인식할 것이다. 7 개의 가중치 모두의 가중치 인덱스는 최대 6 개의 빈을 사용하는 가변 길이 코딩 방법에 의해 명시적으로 시그널링된다. 이와 대조적으로, 본 발명은 국소화된 지역 또는 영역의 비디오(또는 이미지) 콘텐츠가 전형적으로 일부 연속성을 갖는 관찰에 기초하여, 적응적 방식으로 가중치의 수 및 이에 따라 시그널링 비트를 감소시키는 일련의 방법을 제시한다. 이웃 블록 정보를 이용함으로써 현재 인터 블록에 대한 가중치를 추론하거나, 제안된 최고 확률 가중치 개념 및 스킴을 사용하여 가중치를 코딩하기 위한 방법이 또한 제시된다.
디코더에 의해 구현되는 코딩 방법이 제공된다. 상기 방법은, 수신 수단에 의해, 특정 부분에서 가중치 서브셋 플래그를 포함하는 비트 스트림을 수신하는 단계; 식별 수단에 의해, 가중치 서브셋 플래그를 사용하여 가중치 서브셋을 식별하는 단계 - 여기서, 가중치 서브셋은, 현재 인터 블록에 대해 가용 가중치의 서브셋을 포함함 -; 및 디스플레이 수단에 의해, 가중치 서브셋 플래그에 의해 식별된 가중치 서브셋을 이용하여 생성된 이미지를 전자 디바이스의 디스플레이 상에 디스플레이하는 단계를 포함한다.
인코더에 의해 구현되는 코딩 방법이 제공된다. 상기 방법은, 분할 수단에 의해, 현재 인터 블록에 대한 가용 가중치를 가중치 서브셋으로 분할하는 단계; 가중치 서브셋 중 하나를 선택하는 단계; 인코딩 수단에 의해, 가중치 서브셋 플래그를 비트 스트림의 특정 부분으로 인코딩하는 단계 - 여기서, 가중치 서브셋 플래그는, 선택된 가중치 서브셋 중 하나를 식별하기 위해 사용되는 가중치 서브셋 인덱스를 포함함 -; 및 전송 수단에 의해, 가중치 서브셋 플래그를 포함하는 비트 스트림을 디코딩 디바이스에 전송하는 단계를 포함한다.
코딩 장치가 제공된다. 상기 코딩 장치는, 특정 부분에서 가중치 서브셋 플래그를 포함하는 비트 스트림을 수신하도록 구성된 수신기 수단; 수신기 수단에 연결된 메모리 수단 - 여기서, 메모리 수단은 명령을 포함함 -; 메모리 수단에 연결된 프로세서 수단 - 여기서, 프로세서 수단은 메모리 수단에 저장된 명령을 실행하여 프로세서 수단으로 하여금: 특정 부분에서 가중치 서브셋 플래그를 획득하기 위해 비트 스트림을 파싱(parse)하고; 가중치 서브셋 플래그를 사용하여 가중치 서브셋을 식별하게끔 하도록 구성되고, 가중치 서브셋은 현재 인터 블록에 대한 가용 가중치의 서브셋을 포함함 -; 및 프로세서 수단에 연결된 디스플레이 수단 - 여기서, 디스플레이 수단은 가중치 서브셋에 기초하여, 생성된 이미지를 디스플레이하도록 구성됨 - 을 포함한다.
본 개시에서 여러 실시 예들이 제공되었지만, 개시된 시스템들 및 방법들은 본 개시의 사상 또는 범위를 벗어나지 않으면서 많은 다른 특정 형태로 구현될 수 있음을 이해하여야 한다. 본 실시 예는 예시적이고 비 제한적인 것으로 간주되어야하며, 의도는 본 명세서에 제공된 상세 내용으로 제한되지 않아야 한다. 예를 들어, 다양한 요소 또는 구성 요소가 다른 시스템에 결합되거나 통합될 수 있거나 특정 특징이 생략되거나 구현되지 않을 수 있다.
또한, 다양한 실시 예에서 개별 또는 분리된 것으로 기술되고 예시된 기술, 시스템, 서브 시스템 및 방법은, 본 개시의 범위를 벗어나지 않고 다른 시스템, 모듈, 기술 또는 방법과 결합되거나 통합될 수 있다. 서로 결합 또는 직접 결합 또는 통신하는 것으로 도시되거나 논의된 다른 항목들은, 전기적, 기계적 또는 다른 방식으로 일부 인터페이스, 디바이스 또는 중간 구성 요소를 통해 간접적으로 결합 또는 통신할 수 있다. 변경, 대체 및 변형의 다른 예는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 확인될 수 있으며, 본 명세서에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims (20)

  1. 디코더에 의해 구현되는 코딩 방법으로서,
    특정 부분에서 가중치 서브셋 플래그(weight subset flag)를 포함하는 비트 스트림을 수신하는 단계;
    상기 가중치 서브셋 플래그를 사용하여 가중치 서브셋(weight subset)을 식별하는 단계 - 여기서, 상기 가중치 서브셋은, 현재 인터 블록(inter block)에 대한 가용(available) 가중치의 서브셋을 포함하고, 상기 가용 가중치는 가장 높은 확률의 가중치를 포함하며, 상기 가장 높은 확률의 가중치는 이웃에 의해 사용되는 가중치이거나 또는 높은 확률로 사용되는 가중치임 - ;
    상기 가중치 서브셋 플래그에 의해 식별된 가중치 서브셋에 포함된 가중치 w에 기초하여 상기 현재 인터 블록의 현재 블록 샘플을 예측하는 단계; 및
    전자 디바이스의 디스플레이 상에, 예측된 상기 현재 블록 샘플을 사용하여 생성된 이미지를 디스플레이하는 단계
    를 포함하는 코딩 방법.
  2. 제1항에 있어서,
    상기 가용 가중치는, 일반화된 이중 예측(generalized bi-prediction, GBi)에 대응하는, 코딩 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 특정 부분은, 상기 비트 스트림의 시퀀스 파라미터 세트(sequence parameter set, SPS) 레벨인, 코딩 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 특정 부분은, 상기 비트 스트림의 화상 파라미터 세트(picture parameter set, PPS) 레벨인, 코딩 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 특정 부분은, 상기 비트 스트림의 슬라이스 헤더(slice header)인, 코딩 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 특정 부분은, 코딩 트리 유닛(coding tree unit, CTU) 또는 CTU 그룹에 의해 표현되는 상기 비트 스트림의 영역인, 코딩 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 현재 블록에 대한 상기 가용 가중치는 -1/4, 1/4, 3/8, 1/2, 5/8, 3/4 및 5/4에 추가하여 적어도 하나의 가중치를 포함하는, 코딩 방법.
  8. 인코더에 의해 구현되는 코딩 방법으로서,
    현재 인터 블록에 대한 가용 가중치를 가중치 서브셋으로 분할하는 단계;
    상기 가중치 서브셋 중 하나를 선택하는 단계;
    가중치 서브셋 플래그를 비트 스트림의 특정 부분으로 인코딩하는 단계 - 여기서, 상기 가중치 서브셋 플래그는, 선택된 상기 가중치 서브셋 중 상기 하나를 식별하기 위해 사용되는 가중치 서브셋 인덱스를 포함하고, 상기 가용 가중치는 가장 높은 확률의 가중치를 포함하며, 상기 가장 높은 확률의 가중치는 이웃에 의해 사용되는 가중치이거나 또는 높은 확률로 사용되는 가중치이며, 선택된 상기 가중치 서브셋 중 하나에 포함된 가중치 w가 상기 현재 인터 블록의 현재 블록 샘플을 예측하는 데 사용됨 -; 및
    상기 가중치 서브셋 플래그를 포함하는 상기 비트 스트림을 디코딩 디바이스에 전송하는 단계를 포함하는
    코딩 방법.
  9. 제8항에 있어서,
    선택된 상기 가중치 서브셋 중 상기 하나는, 단일 가중치만을 포함하는, 코딩 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 현재 인터 블록에 대한 상기 가용 가중치를 상기 가중치 서브셋으로 분할하는 단계는,
    초기에 상기 가용 가중치를 더 큰 가중치 서브셋으로 분할한 후, 상기 더 큰 가중치 서브셋을 분할하여 상기 가중치 서브셋을 형성하는 단계를 포함하는, 코딩 방법.
  11. 제10항에 있어서,
    선택된 상기 가중치 서브셋 중 상기 하나에서 단일 가중치를 선택하는 단계를 더 포함하는, 코딩 방법.
  12. 제8항 또는 제9항에 있어서,
    상기 특정 부분은, 상기 비트 스트림의 시퀀스 파라미터 세트(SPS) 레벨 및 상기 비트 스트림의 화상 파라미터 세트(PPS) 레벨, 상기 비트 스트림의 슬라이스 헤더, 및 코딩 트리 유닛(CTU) 또는 CTU 그룹에 의해 표현되는 상기 비트 스트림의 영역 중 하나 이상인, 코딩 방법.
  13. 제8항 또는 제9항에 있어서,
    상기 가중치 서브셋 플래그 내의 빈(bin)의 개수가 상기 가중치 서브셋 인덱스 내의 가중치의 개수보다 하나 적게 되도록, 가변 길이 코딩을 사용하여 상기 가중치 서브셋 플래그를 인코딩하는 단계를 더 포함하는 코딩 방법.
  14. 제8항 또는 제9항에 있어서,
    상기 가중치 서브셋 플래그 내의 빈의 개수가 상기 가중치 서브셋 인덱스 내의 가중치 개수보다 적어도 둘 적게 되도록, 고정 길이 코딩을 사용하여 상기 가중치 서브셋 플래그를 인코딩하는 단계를 더 포함하는 코딩 방법.
  15. 특정 부분에서 가중치 서브셋 플래그를 포함하는 비트 스트림을 수신하도록 구성되는 수신기;
    상기 수신기에 연결되는 메모리 - 여기서, 상기 메모리는 명령을 포함함 -;
    상기 메모리에 연결되는 프로세서 - 여기서, 상기 프로세서는, 상기 메모리에 저장된 상기 명령을 실행하여 상기 프로세서로 하여금,
    상기 특정 부분에서 상기 가중치 서브셋 플래그를 획득하기 위해 상기 비트 스트림을 파싱(parse)하고;
    상기 가중치 서브셋 플래그를 사용하여 가중치 서브셋을 식별하고, 여기서 상기 가중치 서브셋은 현재 인터 블록에 대한 가용 가중치의 서브셋을 포함하고, 상기 가용 가중치는 가장 높은 확률의 가중치를 포함하며, 상기 가장 높은 확률의 가중치는 이웃에 의해 사용되는 가중치이거나 또는 높은 확률로 사용되는 가중치이며;
    상기 가중치 서브셋 플래그에 의해 식별된 가중치 서브셋에 포함된 가중치 w에 기초하여 상기 현재 인터 블록의 현재 블록 샘플을 예측하게끔 하도록 구성됨 - ; 및
    상기 프로세서에 연결된 디스플레이 - 여기서, 상기 디스플레이는 상기 가중치 서브셋에 기초하여 생성된 이미지를 디스플레이하도록 구성됨 - 를 포함하는
    코딩 장치.
  16. 제15항에 있어서,
    상기 특정 부분은 상기 비트 스트림의 시퀀스 파라미터 세트(SPS) 레벨인, 코딩 장치.
  17. 제15항에 있어서,
    상기 특정 부분은 상기 비트 스트림의 화상 파라미터 세트(PPS) 레벨인, 코딩 장치.
  18. 제15항에 있어서,
    상기 특정 부분은 상기 비트 스트림의 슬라이스 헤더인, 코딩 장치.
  19. 제15항에 있어서,
    상기 특정 부분은, 코딩 트리 유닛(CTU) 또는 CTU 그룹에 의해 표현되는 상기 비트 스트림의 영역인, 코딩 장치.
  20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 가용 가중치는, 일반화된 이중 예측(GBi)에서 사용되는 모든 가중치를 포함하는, 코딩 장치.
KR1020197036442A 2017-05-10 2018-05-09 비디오 압축에서의 양방향 예측 KR102288109B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762504466P 2017-05-10 2017-05-10
US62/504,466 2017-05-10
US15/947,219 2018-04-06
US15/947,219 US20180332298A1 (en) 2017-05-10 2018-04-06 Bidirectional Prediction In Video Compression
PCT/CN2018/086174 WO2018205954A1 (en) 2017-05-10 2018-05-09 Bidirectional prediction in video compression

Publications (2)

Publication Number Publication Date
KR20200006099A KR20200006099A (ko) 2020-01-17
KR102288109B1 true KR102288109B1 (ko) 2021-08-09

Family

ID=64098128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197036442A KR102288109B1 (ko) 2017-05-10 2018-05-09 비디오 압축에서의 양방향 예측

Country Status (6)

Country Link
US (1) US20180332298A1 (ko)
EP (1) EP3616404A4 (ko)
JP (1) JP2020520174A (ko)
KR (1) KR102288109B1 (ko)
CN (1) CN110622508B (ko)
WO (1) WO2018205954A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
CN111771377A (zh) * 2018-01-30 2020-10-13 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
EP3794819A4 (en) * 2018-05-23 2022-12-07 HFI Innovation Inc. METHOD AND APPARATUS FOR VIDEO CODING WITH BI-DIRECTIONAL CU WEIGHTS
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
WO2019238008A1 (en) 2018-06-11 2019-12-19 Mediatek Inc. Method and apparatus of bi-directional optical flow for video coding
EP4307671A3 (en) 2018-06-21 2024-02-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
TWI730380B (zh) * 2018-08-17 2021-06-11 聯發科技股份有限公司 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質
WO2020065518A1 (en) * 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
KR20210068451A (ko) * 2018-10-02 2021-06-09 인터디지털 브이씨 홀딩스 인코포레이티드 일반화된 양방향 예측 및 가중 예측
CN112889284A (zh) * 2018-10-22 2021-06-01 北京字节跳动网络技术有限公司 基于子块的解码器侧运动矢量推导
CN113287317B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间编解码工具
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
CN112997495B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 当前图片参考中的取整
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
KR20230174762A (ko) * 2018-11-16 2023-12-28 삼성전자주식회사 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
WO2020147805A1 (en) 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering using motion prediction
US11025936B2 (en) * 2019-01-25 2021-06-01 Tencent America LLC Method and apparatus for video coding
WO2020151765A1 (en) * 2019-01-27 2020-07-30 Beijing Bytedance Network Technology Co., Ltd. Interpolation for bi-prediction with cu-level weight
JP7263529B2 (ja) * 2019-02-14 2023-04-24 北京字節跳動網絡技術有限公司 デコーダ側精緻化ツールのサイズ選択アプリケーション
CN113508600A (zh) * 2019-03-11 2021-10-15 交互数字Vc控股公司 减少常规编解码二进制数的数量
US11394999B2 (en) * 2019-03-11 2022-07-19 Alibaba Group Holding Limited Method, device, and system for determining prediction weight for merge mode
SG11202110650WA (en) 2019-04-01 2021-10-28 Beijing Bytedance Network Technology Co Ltd Using interpolation filters for history based motion vector prediction
US20220295059A1 (en) * 2019-08-13 2022-09-15 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using partitioning
EP3997881A4 (en) 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING
EP4020992A4 (en) 2019-08-22 2023-06-21 LG Electronics Inc. PICTURE CODING/DECODING METHOD AND DEVICE FOR PERFORMING WEIGHTED PREDICTION AND METHOD FOR TRANSMITTING A BIT STREAM
JP7410315B2 (ja) 2020-02-19 2024-01-09 バイトダンス インコーポレイテッド 参照ピクチャリストの重みのシグナリング
CN115002486A (zh) * 2022-05-26 2022-09-02 百果园技术(新加坡)有限公司 编码单元预测块的权重确定方法及装置
CN114885164B (zh) * 2022-07-12 2022-09-30 深圳比特微电子科技有限公司 确定帧内预测模式的方法、装置及电子设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
CN100562116C (zh) * 2007-12-12 2009-11-18 浙江万里学院 一种面向多视点视频的码率控制方法
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
CN102843555B (zh) * 2011-06-24 2017-07-14 中兴通讯股份有限公司 一种帧内预测方法和系统
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
MX2014012452A (es) * 2012-04-15 2015-01-12 Samsung Electronics Co Ltd Metodo y aparato para determinar imagenes de referencia para inter-prediccion.
KR20150079742A (ko) * 2012-12-28 2015-07-08 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chun-Chi Chen ET AL., "EE3: Generalized bi-prediction", Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 2016.10.15., JVET-D0102.*

Also Published As

Publication number Publication date
CN110622508A (zh) 2019-12-27
US20180332298A1 (en) 2018-11-15
CN110622508B (zh) 2021-09-07
EP3616404A1 (en) 2020-03-04
WO2018205954A1 (en) 2018-11-15
KR20200006099A (ko) 2020-01-17
JP2020520174A (ja) 2020-07-02
EP3616404A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
KR102288109B1 (ko) 비디오 압축에서의 양방향 예측
US10477237B2 (en) Decoder side motion vector refinement in video coding
KR102483942B1 (ko) 비디오 인코더, 비디오 디코더 및 대응하는 인코딩 및 디코딩 방법
US10728548B2 (en) Processing reference samples used for intra-prediction of a picture block
US20190089952A1 (en) Bidirectional Weighted Intra Prediction
US11695927B2 (en) Luma intra mode signaling
US11889079B2 (en) Constrained prediction mode for video coding
AU2023202658B2 (en) Boundary block partitioning in video coding
KR20210125085A (ko) 비디오 코딩을 위한 변환 유닛 파티션 방법
WO2019072210A1 (en) RESTRICTION ON SUB-BLOCK SIZE DEDUCTION FOR AFFINE INTERPREDITION

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant