KR20120031515A - 비디오 코딩에서 단방향성 예측 및 양방향성 예측을 위한 상이한 가중치들 - Google Patents

비디오 코딩에서 단방향성 예측 및 양방향성 예측을 위한 상이한 가중치들 Download PDF

Info

Publication number
KR20120031515A
KR20120031515A KR1020127003444A KR20127003444A KR20120031515A KR 20120031515 A KR20120031515 A KR 20120031515A KR 1020127003444 A KR1020127003444 A KR 1020127003444A KR 20127003444 A KR20127003444 A KR 20127003444A KR 20120031515 A KR20120031515 A KR 20120031515A
Authority
KR
South Korea
Prior art keywords
weights
explicit
video
coded unit
prediction
Prior art date
Application number
KR1020127003444A
Other languages
English (en)
Other versions
KR101355332B1 (ko
Inventor
마르타 카르체비츠
라훌 피 판찰
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20120031515A publication Critical patent/KR20120031515A/ko
Application granted granted Critical
Publication of KR101355332B1 publication Critical patent/KR101355332B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 개시의 일 양태에서, 단방향성 및 양방향성 예측 가중치들의 디커플링, 특히 B-유닛 내에서 비디오 블록들의 명시적 가중된 예측들을 위한 기법들이 기술된다. 본 개시에 따르면, 비트스트림에서 통신되는 명시적 가중치들이 명시적 양방향성 예측에 대해 디코더에 의해 적용될 수도 있지만, (디폴트 가중치들이거나 또는 따로 정의되는 명시적 단방향성 가중치들일 수도 있는) 다른 가중치들이 명시적 단방향성 예측에 대해 사용될 수도 있다. 기술된 기법들은 B-유닛 내에서 명시적 양방향성 예측 및 명시적 단방향성 예측에 대해 같은 명시적 가중치들을 사용하는 기법들에 비해 비디오 품질을 향상시킬 수 있다.

Description

비디오 코딩에서 단방향성 예측 및 양방향성 예측을 위한 상이한 가중치들{DIFFERENT WEIGHTS FOR UNI-DIRECTIONAL PREDICTION AND BI-DIRECTIONAL PREDICTION IN VIDEO CODING}
본 개시는 비디오 코딩에 관한 것이고, 보다 상세하게는, B-비디오 블록들에 대해 양방향성 가중된 예측 및 P-비디오 블록들에 대해 단방향성 가중된 예측을 사용하는 B-유닛들을 위한 비디오 코딩 기법들에 관한 것이다.
디지털 멀티미디어 기능들이, 디지털 텔레비전, 디지털 다이렉트 브로드캐스트 시스템, 무선 통신 디바이스, 무선 브로드캐스트 시스템, PDA (personal digital assistant), 랩톱 또는 데스크톱 컴퓨터, 디지털 카메라, 디지털 기록 디바이스, 비디오 게이밍 디바이스, 비디오 게임 콘솔, 셀룰러 전화 또는 위성 라디오 전화, 디지털 미디어 플레이어 등을 포함하는 광범위한 디바이스들에 포함될 수 있다. 디지털 멀티미디어 디바이스들은, MPEG-2, ITU-H.263, MPEG-4, 또는 ITU-H.264/MPEG-4 Part 10, AVC (Advanced Video Coding) 와 같은 비디오 코딩 기법들을 구현하여 디지털 비디오 데이터를 더 효율적으로 송신 및 수신하거나 또는 저장 및 취출 (retrieve) 할 수도 있다. 비디오 인코딩 기법들은 공간적 및 시간적 예측을 통해 비디오 압축을 수행하여 비디오 시퀀스에 내재하는 중복성 (redundancy) 을 감소 또는 제거할 수도 있다.
비디오 인코딩에서, 압축은 종종 공간적 예측, 모션 추정 및 모션 보상을 포함한다. 인트라 코딩 (Intra-coding) 은 공간적 예측 및 변환 코딩, 이를테면 DCT (discrete cosine transform) 코딩에 의존하여, 소정 비디오 프레임 내에서 비디오 블록들 간에 공간적 중복성을 감소 또는 제거한다. 인터 코딩 (Inter-coding) 은 시간적 예측 및 변환 코딩에 의존하여, 비디오 시퀀스의 연속적인 비디오 프레임들의 비디오 블록들 간에 시간적 중복성을 감소 또는 제거한다. 인트라 코딩된 프레임들 ("I-프레임들") 은 종종 다른 프레임들의 인터 코딩을 위한 레퍼런스들 뿐만아니라 랜덤 액세스 포인트들로서 사용된다. 하지만, 통상적으로 I-프레임들은 다른 프레임들보다 더 낮은 압축을 나타낸다. 용어 I-유닛들은 I-프레임들, I-슬라이스들 또는 I-프레임의 다른 독립적으로 디코딩 가능한 부분들을 지칭할 수도 있다.
인터 코딩을 위하여, 비디오 인코더는 모션 추정을 수행하여 2 이상의 인접 프레임들 또는 다른 코팅된 유닛들, 이를테면 프레임들의 슬라이스들 간의 매칭하는 비디오 블록들의 움직임을 트래킹 (tracking) 한다. 인터 코딩된 프레임들은, 이전 프레임으로부터 예측된 블록들을 포함할 수 있는 예측 프레임들 ("P-프레임들"), 및 비디오 시퀀스의 이전 프레임 및 후속 프레임으로부터 예측된 블록들을 포함할 수 있는 양방향성 예측 프레임들 ("B-프레임들") 을 포함할 수도 있다. 용어 P-프레임들 및 B-프레임들은 초기 코딩 기법들이 특정 방향들에서 예측을 제한했다는 의미에서 다소 역사적이다. 더 새로운 코딩 포맷들 및 표준들은 P-프레임들 또는 B-프레임들의 예측 방향을 제한하지 않을 수도 있다. 따라서, 용어 "양방향성" 은 이제, 코딩되는 데이터에 대한 레퍼런스 데이터의 시간적 관계에 상관없이 그러한 레퍼런스 데이터의 2 이상의 리스트들에 기초한 예측을 지칭한다.
예를 들면, ITU H.264와 같은 더 새로운 비디오 표준들과 일치되게, 양방향성 예측은 시간적으로 현재 비디오 블록의 전과 후에 존재하는 데이터를 반드시 가질 필요가 없는 2개 상이한 리스트들에 기초할 수도 있다. 즉, B-비디오 블록들은, 2개 이전 프레임들, 2개 후속 프레임들, 또는 하나의 이전 프레임과 하나의 후속 프레임으로부터의 데이터에 대응할 수도 있는, 데이터의 2개 리스트들로부터 예측될 수도 있다. 반대로, 단방향성 예측은, 하나의 예측 프레임, 예를 들면, 하나의 이전 프레임 또는 하나의 후속 프레임에 대응할 수도 있는, 하나의 데이터 구조인, 하나의 리스트에 기초한 P-비디오 블록들의 예측을 지칭한다. B-프레임들과 P-프레임들은 더 일반적으로 P-유닛들 및 B-유닛들로 지칭될 수도 있다. P-유닛들과 B-유닛들은 또한 프레임들의 슬라이스들 또는 프레임들의 부분들과 같은 더 작은 코딩된 유닛들에서 실현될 수도 있다. B-유닛들은 B-비디오 블록들, P-비디오 블록들 또는 I-비디오 블록들을 포함할 수도 있다. P-유닛들은 P-비디오 블록들 또는 I-비디오 블록들을 포함할 수도 있다. I-유닛들은 오직 I-비디오 블록들만을 포함할 수도 있다.
P-비디오 블록들 및 B-비디오 블록들을 위해, 모션 추정은 모션 벡터들을 생성하는데, 이들은 예측 레퍼런스 프레임(들) 또는 다른 코딩된 유닛들에서 대응하는 예측 비디오 블록들에 대한 비디오 블록들의 변위를 나타낸다. 모션 보상은 모션 벡터들을 이용하여 예측 레퍼런스 프레임(들) 또는 다른 코딩된 유닛들로부터 예측 비디오 블록들을 생성한다. 모션 보상 후에, 코딩될 원래의 비디오 블록으로부터 예측 비디오 블록을 감산함으로써 잔차 비디오 블록이 형성된다. 보통 비디오 인코더는 변환, 양자화 및 엔트로피 코딩 프로세스들을 적용하여 잔차 블록의 통신과 연관된 비트 레이트를 더 감소시킨다. I-유닛들 및 P-유닛들은 공통적으로 P-유닛들 및 B-유닛들의 인터 코딩을 위한 레퍼런스 블록들을 정의하기 위해 사용된다.
본 개시는 양방향성 및 단방향성 예측에 적용가능한 비디오 인코딩 및 디코딩 기법들을 기술한다. 양방향성 예측에서는, 비디오 블록이 예측 레퍼런스 데이터의 2개의 상이한 리스트들에 기초하여 예측적으로 인코딩 및 디코딩되지만, 단방향성 예측에서는 비디오 블록이 예측 기준 데이터의 하나의 리스트에 기초하여 예측적으로 인코딩 및 디코딩된다. 명시적 가중된 예측은 일반적으로 인코더에서 정의되고 비트스트림에서 통신되는 명시적 가중치 (explicit weight) 들에 의존하는 단방향성 예측 또는 양방향성 예측을 지칭한다. 가중치들은 비디오 데이터의 인코딩 및 디코딩에서 사용되는 가중된 레퍼런스 데이터를 정의하기 위하여 예측 레퍼런스 데이터의 픽셀 값들에 적용된다.
본 개시에서 설명된 기법들은, 단방향성 및 양방향성 예측 가중치들의 디커플링, 특히 B-유닛 내에서 비디오 블록들의 명시적 가중된 예측들을 제공한다. 본 개시에 따르면, 비트스트림에서 통신되는 명시적 가중치들이 명시적 양방향성 예측을 위해 디코더에 의해 적용될 수도 있지만, (디폴트 가중치들이거나 또는 따로 정의되는 명시적 단방향성 가중치들일 수도 있는) 상이한 가중치들이 명시적 단방향성 예측에 사용될 수도 있다. 기술된 기법들은 B-유닛 내에서 명시적 양방향성 예측 및 명시적 단방향성 예측에 대해 같은 명시적 가중치들을 사용하는 기법들에 비해 비디오 품질을 향상시킬 수 있다.
일 예에서, 본 개시는 비디오 디코더에서 비디오 데이터를 디코딩하는 방법을 기술한다. 본 방법은, 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 상기 코딩된 유닛을 비디오 디코더에서 수신하는 단계, 상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측을 위해 비디오 디코더를 통해 명시적 가중치들을 적용하는 단계, 및 상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측을 위해 비디오 디코더를 통해 하나 이상의 상이한 가중치들을 적용하는 단계를 포함한다.
다른 예에서, 본 개시는 비디오 인코더에서 비디오 데이터를 인코딩하는 방법을 기술한다. 본 방법은, 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 상기 코딩된 유닛을 비디오 인코더에서 인코딩하는 단계, 명시적 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 비디오 인코더를 통해 인코딩하는 단계, 및 하나 이상의 상이한 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 비디오 인코더를 통해 인코딩하는 단계를 포함한다.
다른 예에서, 본 개시는 비디오 디코딩 장치를 기술하는데, 상기 비디오 디코딩 장치는, 코딩된 유닛을 수신하고 코딩된 유닛의 하나 이상의 신택스 엘리먼트들을 디코딩하는 엔트로피 유닛으로서, 신택스 엘리먼트들은 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는, 상기 엔트로피 유닛, 및 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측을 위해 명시적 가중치들을 적용하고, 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용하는 예측 유닛을 포함한다.
다른 예에서, 본 개시는 비디오 데이터를 인코딩하는 비디오 인코딩 장치를 기술한다. 본 장치는, 비디오 데이터와 그 비디오 데이터를 예측적으로 인코딩하기 위해 사용되는 2 이상의 리스트들을 저장하는 메모리, 및 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 코딩된 유닛을 인코딩하고, 명시적 가중치들에 기초하여 코딩된 유닛에서의 하나 이상의 양방향성 비디오 블록들을 인코딩하고, 하나 이상의 상이한 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 인코딩하는 예측 유닛을 포함한다.
다른 예에서, 본 개시는 비디오 데이터를 디코딩하는 디바이스를 기술하는데, 그 디바이스는, 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 코딩된 유닛을 수신하기 위한 수단, 및 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 명시적 가중치들을 적용하기 위한 수단, 및 코딩된 유닛에서의 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용하기 위한 수단을 포함한다.
다른 예에서, 본 개시는 비디오 데이터를 인코딩하는 디바이스를 기술하는데, 그 디바이스는, 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 코딩된 유닛을 인코딩하기 위한 수단, 명시적 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 인코딩하기 위한 수단, 및 하나 이상의 상이한 가중치들에 기초하여 코딩된 유닛에서의 하나 이상의 단방향성 비디오 블록들을 인코딩하기 위한 수단을 포함한다.
본 개시에 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 소프트웨어는 하나 이상의 프로세서, 이를테면 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable gate array), 또는 DSP (digital signal processor) 에서 실행될 수도 있다. 기법들을 실행하는 소프트웨어는 초기에 컴퓨터 판독가능 저장 매체에 저장되고 프로세서에서 로딩 및 실행될 수도 있다.
따라서, 본 개시는 또한 실행될 때 프로세서로 하여금 비디오 데이터를 디코딩하게 하는 명령들을 포함하는 컴퓨터 판독가능 저장 매체를 기술한다. 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 코딩된 유닛의 수신시에, 명령들은 프로세서로 하여금, 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 명시적 가중치들을 적용하도록 하고, 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용하도록 한다.
또한, 본 개시는 실행될 때 프로세서로 하여금 비디오 데이터를 인코딩하게 하는 명령들을 포함하는 컴퓨터 판독가능 저장 매체를 기술하는데, 그 명령들은, 프로세서로 하여금 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는 코딩된 유닛을 인코딩하고, 명시적 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 인코딩하고, 하나 이상의 상이한 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 인코딩하도록 한다.
본 개시의 하나 이상의 양태들의 상세는 첨부 도면 및 아래의 설명에 제시되어 있다. 본 개시에 설명된 기법들의 다른 특징, 목적 및 이점들은 상세한 설명 및 도면, 그리고 특허청구범위로부터 분명해질 것이다.
도 1은 본 개시의 기법들을 구현할 수 있는 일 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2는 본 개시와 일치되는 가중된 예측 기법들을 수행할 수도 있는 비디오 인코더의 예를 예시하는 블록도이다.
도 3은 모션 보상 유닛의 예를 더 상세하게 예시하는 블록도이다.
도 4는 본 개시와 일치되는 가중된 예측 기법들을 수행할 수도 있는 비디오 디코더의 예를 예시하는 블록도이다.
도 5 및 도 6은 본 개시와 일치되는 비디오 디코더에 의해 수행될 수도 있는 예시적인 프로세스들을 예시하는 흐름도들이다.
도 7은 본 개시와 일치되는 비디오 인코더에 의해 수행될 수도 있는 예시적인 프로세스를 예시하는 흐름도이다.
본 개시는, B-프레임들, B-슬라이스들 또는 예측 레퍼런스 데이터의 2개의 상이한 리스트들에 기초하여 예측되는 적어도 일부 비디오 블록들을 포함하는 다른 독립적으로 코딩된 유닛들과 같은 양방향성 코딩된 유닛들 (예를 들면, B-유닛들) 에 적용가능한 비디오 인코딩 및 디코딩 기법들을 기술한다. B-유닛들은, 예측 기준 데이터의 2개의 상이한 리스트들에 기초하여 인코딩 및 디코딩되는 B-비디오 블록들, 예측 기준 데이터의 하나의 리스트에 기초하여 인코딩 및 디코딩되는 P-비디오 블록들, 및 그 같은 코딩된 유닛 내에서 인트라 데이터에 기초하여 인코딩되는 I-비디오 블록들을 포함하여, 많은 상이한 타입들의 비디오 블록들을 포함할 수도 있다.
ITU H.264와 같은 코딩 표준들에서 개발 및 적용된 하나의 인코딩 기법이 가중된 예측으로 지칭된다. 가중된 예측은 (가중치 팩터로도 칭해지는) 하나 이상의 가중치들이 예측 데이터에 할당되는 예측을 지칭한다. 이 경우에, 예측 기준 데이터는 가중된 예측 기준 데이터를 정의하기 위하여 가중치 팩터들에 따라 가중될 수도 있다. 가중된 예측은 종종 B-유닛들, 및 상세하게는 B-유닛들 내의 B-비디오 블록들에 적용되지만, 또한 P-유닛들 또는 다른 코딩된 유닛들에 적용될 수도 있다. B-유닛들 내의 B-비디오 블록들의 경우에, 가중치들이 예측 데이터의 2개의 상이한 리스트들에 할당되어 예측 기준 데이터를 가중할 수도 있고, 그 다음 이는 B-비디오 블록들을 인코딩하기 위하여 사용되어, 향상된 예측 레퍼런스 데이터가 형성될 수도 있다. 종래, 가중된 예측이 B-유닛에 사용될 때, 데이터의 상이한 리스트들에 할당되는 같은 가중치들은 B-유닛 내의 B-비디오 블록들의 양방향성 예측 및 B-유닛 내의 P-비디오 블록들의 단방향성 예측 양쪽 모두에 대해 적용된다.
이런 맥락에서, 또한 명시적 가중된 예측 (explicit weighted prediction), 묵시적 가중된 예측 (implicit weighted prediction) 및 디폴트 가중된 예측 (default weighted prediction) 으로 지칭될 수도 있는, 상이한 타입들의 가중된 예측이 존재한다. 명시적 가중된 예측 및 묵시적 가중된 예측이 ITU H.264에서 정의된 상이한 가중된 예측 모드들에 대응할 수도 있다. 디폴트 가중된 예측은 가중치 팩터들이 디폴트 세팅에 의해 정의되는 명시적 가중된 예측의 특정한 경우일 수도 있다.
명시적 가중된 예측은, 가중치 팩터들이 코딩 프로세스의 부분으로서 동적으로 정의되고 비트스트림으로 인코딩되는 가중된 예측을 지칭한다. 묵시적 가중된 예측은, 2 이상의 상이한 리스트들과 연관되는 가중치 팩터들이 데이터와 연관되는 몇몇 묵시적 팩터들에 기초하여 정의되는 가중된 예측을 지칭한다. 예를 들면, 묵시적 가중치 팩터 (implicit weight factor) 들은, 예측적으로 코딩되는 데이터에 대해 2개의 상이한 리스트들에서 데이터의 시간적 포지션들에 의해 정의될 수도 있다. 리스트 0에서의 데이터가 리스트 1에서의 데이터보다 예측적으로 코딩되는 데이터에 시간적으로 더 가까우면, 리스트 0에서의 데이터에는 묵시적 가중된 예측에서 더 큰 묵시적 가중치 팩터가 할당될 수도 있다. 가중치 팩터들은 레퍼런스 데이터 (예를 들면, 레퍼런스 픽셀 데이터) 의 상이한 리스트들에서의 원시 데이터 (raw data) 에 대해 적용되어, 가중된 방식으로 예측 레퍼런스 데이터를 조정하여, 레퍼런스 데이터를 증진 (promoting) 하도록 할 수 있는데 이는 달리 가중 없이 달성되는 것보다 코팅되는 데이터에 더 유사할 수도 있다.
언급된 바처럼, 디폴트 가중된 예측은, 2 이상의 상이한 리스트들과 연관되는 가중치 팩터들이 어떤 디폴트 세팅에 의해 미리 정의되는 가중된 예측을 지칭한다. 몇몇 경우들에서, 디폴트 가중된 예측은 각각의 리스트들에 동일한 가중을 할당할 수도 있다. 디폴트 가중치들은 (명시적인 가중치들과 같이) 비트스트림에서 통신될 수도 있거나 또는 몇몇 경우들에서, 비트스트림으로부터 제외되고 인코더 및 디코더에서 알려질 수도 있다. 상이한 시나리오들에 대해 일반적으로 정적인 디폴트 가중치들과 달리, 향상된 압축을 증진할 수 있는 더 높은 품질의 예측 데이터를 증진시키기 위하여 가중된 예측 데이터의 분석에 기초하여 명시적 가중치들이 정의될 수도 있다. 몇몇 경우들에서, 디폴트 가중된 예측 또는 명시적 가중된 예측은 코딩된 유닛을 위해 통신될 가중치들을 정의하기 위해 인코더에서 사용된다. 이 경우에, 디코더는, 같은 코딩 모드 (예를 들면, 명시적 가중된 예측 모드의 다른 버전들) 로서 이들 2개의 시나리오들을 다룰 수도 있다. 그 코팅된 유닛에 대해 비트스트림에서 송신되는 가중치들은 디폴트 가중된 예측을 위해 디폴트 세팅에 기초하여 정의되고, 명시적 가중된 예측을 위해 예측 데이터의 분석에 기초하여 정의된다.
본 개시에 따르면, 비트스트림에서 통신되는 명시적 가중치들이 명시적 양방향성 예측에 대해 디코더에 의해 적용될 수도 있지만, (디폴트 가중치들이거나 또는 따로 정의되는 명시적 단방향성 가중치들일 수도 있는) 상이한 가중치들이 명시적 단방향성 예측에 사용될 수도 있다. 이런 방식으로, B-유닛 내의 B-비디오 블록들의 양방향성 예측 및 B-유닛 내의 P-비디오 블록들의 단방향성 예측은 상이한 가중치 팩터들을 적용할 수도 있다. 종래, 가중된 예측이 B-유닛에 대해 정의 및 시그널링될 때, 데이터의 상이한 리스트들에 할당된 같은 가중치들은 B-유닛 내의 B-비디오 블록들의 양방향성 예측 및 B-유닛 내의 P-비디오 블록들의 단방향성 예측 양쪽 모두에 대해 적용된다. 본 개시의 기법들은 이들 종래 제한들을 제거함으로써 코딩 효율 및 코딩 품질이 향상될 수 있다는 것을 인식한다.
도 1은 본 개시의 기법들을 구현할 수 있는 일 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도이다. 도 1에 도시된 바처럼, 시스템 (10) 은 인코딩된 비디오를 목적지 디바이스 (16) 로 통신 채널 (15) 을 통해 송신하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 광범위한 디바이스들 중 어느 것을 포함할 수도 있다. 몇몇 경우들에서, 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 무선 통신 디바이스들, 이를테면 무선 핸드셋, 소위 셀룰러 전화 또는 위성 라디오 전화, 또는 무선일 수도 있거나 또는 무선이 아닐 수도 있는, 통신 채널 (15) 을 통해 비디오 정보를 통신할 수 있는 임의의 디바이스들을 포함한다. 하지만, B-유닛 내에서의 비디오 블록들의 명시적 가중된 예측들을 위한 단방향성 및 양방향성 예측 가중치들의 디커플링에 관한, 본 개시의 기법들은 무선 어플리케이션들 또는 세팅들에 반드시 한정될 필요는 없다.
도 1의 예에서, 소스 디바이스 (12) 는 비디오 소스 (20), 비디오 인코더 (22), 변조기/복조기 (모뎀) (23) 및 송신기 (24) 를 포함할 수도 있다. 목적지 디바이스 (16) 는 수신기 (26), 모뎀 (27), 비디오 디코더 (28) 및 디스플레이 디바이스 (30) 를 포함할 수도 있다. 본 개시에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (22) 는 명시적 가중치에 기초하여 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 인코딩하고, 하나 이상의 상이한 가중치들에 기초하여 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 인코딩하도록 구성될 수도 있다. 마찬가지로, 비디오 디코더 (28) 는, 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측을 위해 명시적 가중치들을 적용할 수도 있고, 코딩된 유닛에서의 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측을 위해 비디오 디코더를 통하여 하나 이상의 상이한 가중치들을 적용할 수도 있다.
도 1의 예시된 시스템 (10) 은 단순히 예시적이다. 본 개시의 기법들은 단방향성 및 양방향성 모션 보상된 예측을 지원하는 임의의 코딩 디바이스에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 단지, 소스 디바이스 (12) 가 목적지 디바이스 (16) 로의 송신을 위해 코딩된 비디오 데이터를 생성하는 그러한 코딩 디바이스들의 예들이다. 몇몇 경우들에서, 디바이스들 (12, 16) 은, 디바이스들 (12, 16) 의 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 그러므로, 시스템 (10) 은 예를 들면, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅 또는 비디오 통화를 위해 비디오 디바이스들 (12, 16) 간의 1방향 또는 2방향 비디오 송신을 지원할 수도 있다.
소스 디바이스 (12) 의 비디오 소스 (20) 는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 (video archive), 또는 비디오 콘텐트 제공자로부터의 비디오 피드 (video feed) 를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스 (20) 는 소스 비디오로서 컴퓨터 그래픽 기반 데이터, 또는 라이브 비디오, 보관된 비디오 및 컴퓨터 생성된 비디오의 조합을 생성할 수도 있다. 몇몇 경우들에서, 비디오 소스 (20) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 각 경우에서, 캡처되거나, 미리 캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더 (22) 에 의해 인코딩될 수도 있다. 그 다음 인코딩된 비디오 정보는 예를 들면 CDMA (code division multiple access) 와 같은 통신 표준 또는 다른 통신 표준에 따라 모뎀 (23) 에 의해 변조되고, 송신기 (24) 를 통해 목적지 디바이스 (16) 로 송신될 수도 있다. 모뎀 (23) 은 다양한 믹서들, 필터들, 증폭기들 또는 신호 변조를 위해 설계된 다른 컴포넌트들을 포함할 수도 있다. 송신기 (24) 는 증폭기들, 필터들 및 하나 이상의 안테나들을 포함하는, 데이터를 송신하기 위해 설계된 회로들을 포함할 수도 있다.
목적지 디바이스 (16) 의 수신기 (26) 는 채널 (15) 을 통해 정보를 수신하고 모뎀 (27) 은 정보를 복조한다. 또, 비디오 인코딩 프로세스는 여기에 기술된 하나 이상의 기법들을 구현하여 단방향성 예측 가중치들로부터 양방향성 예측 가중치들을 디커플링 (decoupling) 할 수도 있다. 채널 (15) 을 통해 통신되는 정보는 가중치 팩터들을 정의하기 위해 비디오 인코더 (22) 에 의해 정의되는 정보를 포함하고, 이 정보는 본 개시와 일치되는 비디오 디코더 (28) 에 의해 사용될 수도 있다. 디스플레이 디바이스 (30) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 어느 것을 포함할 수도 있다.
도 1의 예에서, 통신 채널 (15) 은 임의의 무선 또는 유선 통신 매체, 이를테면 RF (radio frequency) 스펙트럼 또는 하나 이상의 물리적 송신 라인들, 또는 무선 및 유선 매체의 임의의 조합을 포함할 수도 있다. 따라서, 모뎀 (23) 및 송신기 (24) 는 많은 가능한 무선 프로토콜들, 유선 프로토콜들 또는 유선 및 무선 프로토콜들을 지원할 수도 있다. 통신 채널 (15) 은, 로컬 영역 네트워크 (LAN), 와이드 영역 네트워크 (WAN), 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 일 부분을 형성할 수도 있는데, 하나 이상의 네트워크들의 상호 접속을 포함한다. 일반적으로 통신 채널 (15) 은, 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로 비디오 데이터를 송신하기 위한, 임의의 적합한 통신 매체, 또는 상이한 통신 매체들의 집합 (collection) 을 나타낸다. 통신 채널 (15) 은 라우터, 스위치, 기지국, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로 통신을 용이하게 하기 위해 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
비디오 인코더 (22) 및 비디오 디코더 (28) 는 ITU-T H.264 표준과 같은 비디오 압축 표준, 다르게는 MPEG-4, Part 10, AVC (Advanced Video Coding) 로서 기술되는 것과 같은 비디오 압축 표준에 따라 동작할 수도 있다. 하지만, 본 개시의 기법들은 임의의 특정 코딩 표준에 한정되지 않는다. 또한, 몇몇 관점들에서, 본 개시의 기법들은, ITU-T H.264 표준이 단방향성 예측 및 양방향성 예측 양쪽 모두에 사용될 같은 가중치 팩터들을 정의할 수 있는 한에 있어서는, ITU-T H.264 표준을 따르지 않을 수도 있다. ITU-T H.264에서, 예를 들면, 2개의 명시적 가중치들이 예측 데이터의 2개의 상이한 리스트들에 대해 정의될 수도 있다. 이 경우에, 양방향성 예측이 사용되면, 양쪽 모두의 가중치들이 적용된다. 단방향성 예측이 사용되면, 가중치들 중 오직 하나 (즉, 그 단방향성 예측에 사용되는 리스트에 대응하는 가중치) 만이 적용된다. 본 개시의 기법들은 4개의 상이한 가중치들 (양방향성 예측을 위한 2개의 가중치들 및 단방향성 예측을 위한 2개의 가중치들) 을 통신하는 것을 포함할 수도 있다. 하지만, 몇몇 경우들에서, 단방향성 가중치들은, 통신되는 것이 아니라 디코더에서 단순히 알려지고 적용되는 디폴트 가중치들일 수도 있다. 몇몇 경우들에서 단방향성 가중치들은, 특히 그러한 가중치들이 디폴트 가중치들이면, 비트스트림에서 통신될 수도 있다. 다른 경우들에서, 단방향성 가중치들은, 비트스트림에서 통신되지 않고서 디코더에서 알려지고 적용될 수도 있다.
비록 도 1에 도시되지는 않았지만, 몇몇 양태들에서, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 오디오 인코더 및 디코더와 통합될 수 있고, 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함하여 공통 데이터 스트림 또는 분리된 데이터 스트림들에서 오디오 및 비디오 양쪽 모두의 인코딩을 핸들링 (handling) 할 수도 있다. 적용가능하면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜 또는 다른 프로토콜들 이를테면 사용자 데이터그램 프로토콜 (UDP) 을 따를 수도 있다.
ITU-T H.264/MPEG-4 (AVC) 표준은, JVT (Joint Video Team) 로서 알려진 집합적인 파트너쉽의 결과물로서 ISO/IEC MPEG (Moving Picture Experts Group) 과 함께 ITU-T VCEG (Video Coding Experts Group) 에 의해 공식화되었다. 몇몇 양태들에서, 본 개시에 설명된 기법들은 일반적으로 H.264 표준을 따르는 디바이스들에 적용될 수도 있다. H.264 표준은 ITU-T 연구 그룹에 의한 2005년 3월자의, ITU-T Recommendation H.264, Advanced Video Coding for generic audiovisual services에 기술되어 있는데, 이는 여기서 H.264 표준 또는 H.264 사양 (specification), 또는 H.264/AVC 표준 또는 사양으로 지칭될 수도 있다. JVT (Joint Video Team) 는 H.264/MPEG-4 AVC 으로의 확장에 대해 계속 작업하고 있다.
H.264/MPEG-4 AVC 표준을 진보시키기 위한 작업은 KTA (Key Technologies Area) 포럼과 같은 ITU-T의 다양한 포럼들에서 열린다. KTA 포럼은 H.264/ AVC 표준에 의해 나타내어지는 것보다 더 높은 코딩 효율을 나타내는 코딩 기술들을, 부분적으로, 추구한다. 본 개시에 설명된 기법들은 H.264/AVC 표준에 대한 코딩 향상들을 제공할 수 있지만, 그 기법들은 본 출원의 출원 당시 정의된 H.264/ AVC 표준을 따르지 않을 수도 있다.
비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 주문형 반도체 (ASIC), 필드 프로그램 가능 게이트 배열 (FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수도 있다. 비디오 인코더 (22) 및 비디오 디코더 (28) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있는데, 이들 중 어느 한쪽은 각각의 이동 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 서버 등에서 결합된 인코더/디코더 (CODEC) 의 일 부분으로서 통합될 수도 있다.
비디오 시퀀스는 통상적으로 일련의 비디오 프레임들을 포함한다. 비디오 인코더 (22) 및 비디오 디코더 (28) 는 비디오 데이터를 인코딩 및 디코딩하기 위하여 개개의 비디오 프레임들 내에서 비디오 블록들에 대해 동작할 수도 있다. 비디오 블록들은 고정 또는 변화하는 크기를 가질 수도 있고 특정 코딩 표준에 따라 크기가 다를 수도 있다. 각각의 비디오 프레임은 일련의 슬라이스들 또는 다른 독립적으로 디코딩 가능한 유닛들을 포함할 수도 있다. 각각의 슬라이스는 서브 블록 (sub-block) 들로 배열될 수도 있는, 일련의 매크로블록 (macroblock) 들을 포함할 수도 있다. 일 예로서, ITU-T H.264 표준은 루마 컴포넌트 (luma component) 들을 위해 16 x 16, 8 x 8, 또는 4 x 4 그리고 크로마 컴포넌트 (chroma component) 들을 위해 8x8 와 같은 다양한 블록 크기들에서 인트라 예측을 지원하고, 루마 컴포넌트들을 위해 16 x 16, 16 x 8, 8 x 16, 8 x 8, 8 x 4, 4 x 8 및 4 x 4 그리고 크로마 컴포넌트들을 위해 대응하는 스케일의 크기들과 같은 다양한 블록 크기들에서 인터 예측을 지원한다. 비디오 블록들은, 예를 들면, 이산 코사인 변환 (DCT) 코딩 또는 개념적으로 유사한 변환 프로세스와 같은 변환 프로세스 다음에, 픽셀 데이터의 블록들, 또는 변환 계수들의 블록들을 포함할 수도 있다.
더 작은 비디오 블록들은 더 양호한 해상도를 제공할 수 있고 높은 레벨의 디테일을 포함하는 비디오 프레임의 로케이션 (location) 들에 사용될 수도 있다. 일반적으로, 매크로블록들 및 다양한 서브블록들이 비디오 블록들로 여기질 수도 있다. 또한, 슬라이스는 매크로블록들 및/또는 서브블록들과 같은 일련의 비디오 블록들로 여겨질 수도 있다. 각 슬라이스는 비디오 프레임의 독립적으로 디코딩 가능한 유닛일 수도 있다. 다르게는, 프레임들 자체는 디코딩 가능한 유닛들일 수도 있거나, 또는 프레임의 다른 부분들이 디코딩 가능한 유닛들로서 정의될 수도 있다. 용어 "코딩된 유닛" (coded unit) 은 비디오 프레임의 임의의 독립적으로 디코딩 가능한 유닛 이를테면 전체 프레임, 프레임의 슬라이스, 사진들의 그룹 (GOP), 또는 사용된 코딩 기법들에 따라 정의된 다른 독립적으로 디코딩 가능한 유닛을 지칭한다.
(상이한 가중치 팩터들을 사용하여 양방향성 가중된 예측 및 단방향성 가중된 예측을 포함하는) 인터 기반 예측 인코딩 다음에, 그리고 (H.264/AVC 또는 이산 코사인 변환 또는 DCT에서 사용되는 4x4 또는 8x8 정수 변환과 같은) 임의의 변환 다음에, 양자화 (quantization) 가 수행될 수도 있다. 일반적으로 양자화는, 잔차 변환 계수들이 그 계수들을 나타내기 위해 사용된 비트들의 수를 감소시키기 위하여 양자화되는 프로세스를 지칭한다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 예를 들면, 16 비트 값은 양자화 동안 15 비트 값으로 라운딩 다운 (rounding down) 될 수도 있다. 양자화 다음에, 엔트로피 코딩 (entropy coding) 이 예를 들면 CAVLC (content adaptive variable length coding), CABAC (context adaptive binary arithmetic coding), 또는 다른 엔트로피 코딩 방법론에 따라 수행될 수도 있다.
본 개시의 기법들은 특히 B-유닛들의 비디오 블록들의 가중된 예측에 특히 적용가능하다. 본 경우에, 비디오 블록들을 인코딩하기 위하여 사용되는 예측 데이터는 예측 데이터의 픽셀 값들을 조정하여 가중된 예측 데이터를 정의하도록 가중된다. 본 개시에 따르면, 예측 데이터의 상이한 리스트들 (예를 들면, 리스트 0 및 리스트 1) 에 대해 가중치들의 한 세트를 할당하기 보다는, 비디오 인코더 (22) 는 상이한 리스트들에 대해 가중치들의 2개의 상이한 세트들, 즉, 양방향성 예측에서의 이용을 위해 한 세트 그리고 단방향성 예측에서 이용되는 상이한 리스트들에 대해 가중치들을 정의하기 위해 다른 세트를 할당할 수도 있다.
위에서 언급된 바처럼, 양방향성 예측은 데이터의 2개의 상이한 리스트들에 기초한 소위 "B-비디오 블록들" 의 예측이다. 즉, B-비디오 블록들은, 2개 이전 프레임들로부터의 데이터의 2개의 리스트들, 후속 프레임들로부터의 데이터의 2개의 리스트들, 또는 이전 프레임으로부터의 데이터의 하나의 리스트와 후속 프레임으로부터의 하나로부터 예측될 수도 있다. 반대로, 단방향성 예측은, 하나의 예측 프레임, 예를 들면, 하나의 이전 프레임 또는 하나의 후속 프레임에 대응할 수도 있는, 하나의 리스트에 기초한 P-비디오 블록들의 예측을 지칭한다. B-프레임들과 P-프레임들은 더 일반적으로 P-유닛들 및 B-유닛들로 지칭될 수도 있다. P-유닛들과 B-유닛들은 또한 프레임들의 슬라이스들 또는 프레임들의 부분들과 같은 더 작은 코딩된 유닛들로 실현될 수도 있다. B-유닛들은 B-비디오 블록들, P-비디오 블록들 또는 I-비디오 블록들을 포함할 수도 있다. P-유닛들은 P-비디오 블록들 또는 I-비디오 블록들을 포함할 수도 있다. I-유닛들은 오직 I-비디오 블록들만을 포함할 수도 있다.
가중된 양방향성 예측은 가중치 팩터들이 2개의 상이한 리스트들에 할당되는 것을 허용하는 양방향성 예측을 지칭한다. 각 리스트는 예측 프레임 또는 다른 코딩된 유닛과 연관된 데이터 (예를 들면, 픽셀 값들) 의 세트를 포함할 수도 있다. 가중된, 양방향성 예측에서 하나의 리스트는 가중된 예측 데이터를 생성함에 있어서 더 중하게 가중될 수도 있다. 리스트들 중 하나가 예를 들어 코딩되는 비디오 블록에 더 유사한 데이터를 가지면, 그 리스트는 양쪽 모두의 리스트들에 기초하는 가중된 예측 데이터를 정의함에 있어서 다른 리스트보다 더 중하게 가중될 수도 있다.
가중된 단방향성 예측에서, 소정 리스트를 위해 소정 가중치 팩터가 예측 데이터에 적용될 수도 있다. 상이한 가중치들이 상이한 리스트들에 적용될 수도 있지만, 이 경우에, 소정 단방향성 예측은 그 단방향성 예측에 사용된 데이터의 리스트에 대응하는 하나의 가중치만을 사용할 것이다. 본 개시에 따르면, 데이터의 2개의 리스트들에 대해 정의된 가중치들은 양방향성 예측에 대해 정의된 것들에 상대적으로 단방향성 예측에 대해 상이할 것이다. 기법들은 본 개시의 시점에 제시된 ITU H.264를 따르지 않을 수도 있다.
ITU-T H.264에 따른 상이한 타입들의 가중된 양방향성 예측에 대하여, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 일반적으로 3개의 상이한 타입들의 예측 모드들을 지원할 수도 있다. 명시적 가중된 예측은, 가중치 팩터들이 코딩 프로세스의 부분으로서 동적으로 정의되고 비트스트림으로 인코딩되는 가중된 예측을 지칭한다. 명시적 가중된 예측은 이러한 점에서 묵시적 가중된 예측과는 다른데, 예를 들면 명시적 가중된 예측은 비트스트림의 부분으로서 인코딩되는 가중치 팩터들을 낳는다.
묵시적 가중된 예측은, 2 이상의 상이한 리스트들과 연관된 가중치 팩터들이 데이터와 연관된 몇몇 묵시적 팩터들에 기초하여 정의되는 가중된 예측을 지칭한다. 예를 들면, 묵시적 가중치 팩터들은, 예측적으로 코딩되는 데이터에 관하여 2개의 상이한 리스트들에서 데이터의 상대적인 시간 포지션들에 의해 정의될 수도 있다. 묵시적 가중된 예측에서, 가중치 팩터들은 비트스트림에 포함되지 않는다. 그 대신, 비디오 디코더 (28) 는 묵시적 가중치 팩터들을 도출하도록 프로그램될 수도 있다.
디폴트 가중된 예측은, 2 이상의 상이한 리스트들과 연관되는 가중치 팩터들이 어떤 디폴트 세팅에 의해 미리 정의되는 가중된 예측을 지칭한다. 몇몇 경우들에서, 디폴트 가중된 예측은 각각의 리스트들에 동일한 가중를 할당할 수도 있다. 디폴트 가중된 예측에서, 가중치 팩터들은 비트스트림으로 전송될 수도 있거나 또는 인코더 및 디코더에서 미리 정의되고 비트스트림에서 전송되지 않을 수도 있다. 디폴트 가중치 팩터들이 비트스트림에서 전송될 때, 디폴트 예측 모드는 (위에서 설명된) 명시적 예측 모드의 특수한 경우로 여겨질 수도 있다. 그러므로, 디폴트 예측은 또한 명시적 예측 모드의 디폴트 가중치들의 적용으로서 기술될 수도 있다. 이 경우에, 오직 2개의 상이한 가중된 예측 모드들, 예를 들면 명시적 및 묵시적 예측 모드가 존재하지만, 명시적 모드는 디폴트 가중치들이나 또는 명시적으로 정의된 가중치들을 지원할 수도 있다고 말할 수 있다.
도 2는 본 개시와 일치되는 기법들을 수행할 수도 있는 비디오 인코더 (50) 의 예를 예시하는 블록도이다. 비디오 인코더 (50) 는 소스 디바이스 (12) 의 비디오 인코더 (22) 또는 상이한 디바이스의 비디오 인코더에 대응할 수도 있다. 비록 인트라 코딩 컴포넌트들이 예시의 용이를 위해 도 2에 도시되지는 않았지만, 비디오 인코더 (50) 는 비디오 프레임들 내의 블록들의 인트라 코딩 및 인터 코딩을 수행할 수도 있다. 인트라 코딩은 소정의 비디오 프레임 내의 비디오에서 공간적 중복성을 감소 또는 제거하기 위하여 공간적 예측에 의존한다. 인터 코딩은 시간적 예측에 의존하여 비디오 시퀀스의 인접하는 프레임들 내의 비디오에서 시간적 중복성을 감소 또는 제거한다. 인트라 모드 (I-모드) 는 공간 기반 압축 모드를 지칭할 수도 있고 예측 (P-모드) 또는 양방항성 (B-모드) 와 같은 인터 모드들은 시간 기반 압축 모드들을 지칭할 수도 있다.
도 2에 도시된 바처럼, 비디오 인코더 (50) 는 인코딩될 비디오 프레임 또는 슬라이스 내의 현재 비디오 블록을 수신한다. 도 2의 예에서, 비디오 인코더 (50) 는 모션 추정 유닛 (32) 및 모션 보상 유닛 (35) 을 포함하는 예측 유닛 (31) 을 포함한다. 비디오 인코더 (50) 는 또한 메모리 (34), 가산기 (48), 변환 유닛 (38), 양자화 유닛 (40) 및 엔트로피 코딩 유닛 (46) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (50) 는 또한 역 양자화 유닛 (42), 역 변환 유닛 (44) 및 가산기 (51) 를 포함한다. 비디오 인코더 (50) 는 또한 재구성된 비디오로부터 블록화 아티팩트 (blockiness artifact) 를 제거하기 위하여 블록 바운더리들을 필터링하는 디블록킹 필터 (deblocking filter; 미도시) 를 포함할 수도 있다. 원하는 경우, 디블록킹 필터는 통상적으로 가산기 (51) 의 출력을 필터링한다.
인코딩 프로세스 동안, 비디오 인코더 (50) 는 코딩될 비디오 블록을 수신하고, 모션 추정 유닛 (32) 및 모션 보상 유닛 (35) 은 인터 예측 코딩을 수행한다. 모션 추정 유닛 (32) 및 모션 보상 유닛 (35) 은 고도로 통합될 수도 있지만, 개념적인 목적을 위해 따로따로 예시되어 있다. 모션 추정은 통상적으로 비디오 블록들을 위한 모션을 추정하는 모션 벡터들을 생성하는 프로세스로 고려된다. 모션 벡터는, 예를 들어, 현재 프레임 내의 코딩되는 현재 블록 (또는 다른 코딩되는 유닛) 에 상대적인 예측 프레임 내의 예측 블록 (또는 다른 코딩되는 유닛) 의 변위를 나타낼 수 있다. 모션 보상은 통상적으로 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 인출 (fetching) 하거나 생성하는 프로세스로 고려된다. 또, 모션 추정 유닛 (32) 및 모션 보상 유닛 (35) 은 기능적으로 통합될 수도 있다. 설명을 위해서, 본 개시에 기술된 기법들은 예측 유닛 (31) 에 의해 수행되는 것으로 기술된다.
모션 추정 유닛 (32) 은 비디오 블록을 하나 이상의 예측 코딩된 유닛들의 (예를 들면, 시간에 관하여 또는 시간적으로 이전 프레임 및/또는 미래 프레임) 블록들과 비교하는 것에 의해서 코딩될 비디오 블록을 위해 적절한 모션 벡터를 선택한다. 모션 추정 유닛 (32) 은, 예로서, 다수의 방식으로 B-프레임을 위해 모션 벡터를 선택할 수도 있다. 하나의 방식에서, 모션 추정 유닛 (32) 은 (리스트 0 으로 지칭된) 프레임들의 제 1 세트로부터 이전 또는 미래 프레임을 선택하고 리스트 0으로부터 이러한 이전 또는 미래 프레임 만을 사용하여 모션 벡터를 결정할 수도 있는데, 이는 단방향성 모션 추정의 한 타입이다. 다르게는, 모션 추정 유닛 (32) 은 (리스트 1로 지칭된) 프레임들의 제 2 세트로부터 이전 또는 미래 프레임을 선택하고 리스트 1로부터 이러한 이전 또는 미래 프레임 만을 사용하여 모션 벡터를 결정할 수도 있는데, 이는 단방향성 모션 추정의 다른 타입이다. 또 다른 방식에서, 모션 추정 유닛 (32) 은 리스트 0으로부터 제 1 프레임 그리고 리스트 1로부터 제 2 프레임을 선택하고 리스트 0의 제 1 프레임 및 리스트 1의 제 2 프레임으로부터 하나 이상의 모션 벡터들을 선택할 수도 있다. 이러한 제 3 형태의 예측은 양예측 (bi-predictive) 모션 추정으로 지칭될 수도 있다.
본 개시의 기법들은 양방향성 모션 보상을 위해 리스트 0 및 리스트 1에 할당된 가중치 팩터들로부터 단방향성 모션 보상을 위해 리스트 0 및 리스트 1에 할당된 가중치 팩터들을 디커플링하도록 구현될 수도 있다. 어느 소정 리스트에 대해 선택된 모션 벡터는, 예를 들면, 코딩되는 블록의 픽셀 값들에 대한 예측 블록의 픽셀 값들의 제곱 차의 합 (SSD) 또는 절대차의 합 (SAD) 과 같은 메트릭에 의해 정의되는 바처럼, 코딩되는 비디오 블록에 가장 유사한 예측 비디오 블록을 가리킬 수도 있다. 모션 벡터들에 기초하여 예측 데이터를 생성할 때 적절한 가중치 팩터 또는 가중치 팩터들이 모션 보상 유닛 (35) 에 의해 적용될 수도 있다. 즉, (단방향성 및 양방향성 예측에 대해 상이한) 가중치 팩터들은 예측 데이터를 가중하여 가중된 예측 데이터를 정의하도록 적용되는데, 이는 현재 비디오 블록의 인코딩 또는 디코딩에 사용된다.
ITUT H.264/AVC 표준에 따라, 상이한 모션 보상된 양예측 알고리즘 또는 모드들이 B-프레임 또는 그의 부분들, 이를테면 비디오 블록들, 매크로블록들 또는 B-프레임의 임의의 다른 이산 및/또는 인접 부분을 예측하기 위하여 사용될 수도 있다. 공통적으로 디폴트 가중된 예측으로 지칭되는, 제 1 모션 보상된 양예측 알고리즘 또는 모드는 리스트 0의 제 1 프레임 및 리스트 1의 제 2 프레임의 각각의 식별된 비디오 블록에 디폴트 가중치들을 적용하는 것을 수반할 수도 있다. 디폴트 가중치들은 그 표준에 따라 프로그램될 수도 있고, 종종 디폴트 가중된 예측을 위해 동등하도록 선택된다. 그 다음 제 1 및 제 2 프레임들의 가중된 블록들이 함께 가산되고 B-프레임을 예측하기 위해 사용된 프레임들의 전체 수, 예를 들면 이 경우에는 2로 제산된다. 종종, 이 제산은 제 1 및 제 2 프레임들의 가중된 블록들을 가산한 것에 1을 가산하고 그 결과치를 1 비트 만큼 우측 시프트 (shift) 하여 달성된다. 1을 가산하는 것은, 몇몇 실시형태들에 대하여는 제거될 수도 있는, 라운딩 조정이다.
몇몇 경우들에서, 1 만큼 우측 시프트하기 전에 1을 가산하는 것 (라운딩 조정) 이 회피될 수도 있으며, 따라서 상향 편의 라운딩 (upward biased rounding) 을 제거한다. 모션 보상 유닛 (35) 는 라운딩에 의한 가중된 블록 및 라운딩에 의하지 않은 가중된 블록 양쪽 모두를 생성할 수 있고, 최선의 코딩 효율을 달성하는 블록을 선택할 수 있다.
더 일반적으로는, 양방향성 가중된 예측은 다음에 의해 주어질 수도 있다:
Figure pct00001
여기서, pred(i,j) 는 가중된 예측 블록과 연관된 데이터이고, pred0(i,j) 는 리스트 0으로부터의 데이터이고, pred1(i,j) 는 리스트 1로부터의 데이터이고, w0 및 w1은 가중치 팩터들이고, 2r은 라운딩 항이고, >> 는 (r+1) 비트들 만큼의 우측 시프트 연산 (right shift operation) 이다. 몇몇 경우들에서, 2개의 상이한 버전들의 pred(i,j) 가 생성되고 모션 보상 유닛 (35) 에 의해 고려될 수도 있다. 첫번째 것은 위의 등식과 일치되고, 두번째 것은 라운딩에 의하지 않은, 즉 항 "2r" 이 등식으로부터 제거된 위의 등식과 일치된다. 이 라운딩을 제거하는 것은 몇몇 경우들에서 더 양호한 가중된 예측 데이터를 달성할 수도 있고, 이는 코딩 효율을 향상시킬 수 있다. 모션 보상 유닛 (53) 은 하나 이상의 신택스 엘리먼트들을 생성하여 라운딩이 소정 비디오 블록 또는 비디오 블록들의 세트에 사용되었는지 여부를 규정할 수도 있다. 양방향성 예측 모드 및 라운딩이 사용되었는지를 나타내는 하나 이상의 신택스 엘리먼트들 양쪽 모두는 모션 보상 유닛 (35) 으로부터 엔트로피 코딩 유닛 (46) 으로 출력되어 인코딩된 비트스트림에 포함될 수도 있다.
B-픽처들은 이전에 코딩된 레퍼런스 픽처들의 2개 리스트들, 즉 리스트 0 및 리스트 1을 사용한다. 이들 2개 리스트들은 각각 시간적인 순서에서 과거 및/또는 미래 코딩되는 픽처들을 포함할 수 있다. B-픽처에서의 블록들은 여러 방식들 : 리스트 0 레퍼런스 픽처로부터의 모션 보상된 예측, 리스트 1 레퍼런스 픽처로부터의 모션 보상된 예측, 또는 리스트 0 및 리스트 1 레퍼런스 픽처들 양쪽 모두의 조합으로부터의 모션 보상된 예측 중 하나에서 예측될 수도 있다. 리스트 0 및 리스트 1 레퍼런스 픽처들 양쪽 모두의 조합을 얻기 위하여, 2개 모션 보상된 레퍼런스 영역들이 리스트 0 및 리스트 1 레퍼런스 픽처들로부터 각각 획득되고, 2개 레퍼런스 영역들이 가중된 방식으로 조합될 수도 있다. 그 다음 그들의 조합이 현재 블록을 예측하기 위해 사용될 수 있다.
본 개시에서, 용어 "B-픽처들" 은, B-프레임들, B-슬라이스들 또는 가능하게는 적어도 일부의 B-비디오 블록들을 포함하는 다른 비디오 유닛들일 수도 있는, 임의의 타입들의 B-유닛들을 지칭하기 위해 사용될 것이다. 언급된 바처럼, B-픽처들은, 3개 타입들의 가중된 예측, 즉 디폴트, 묵시적 및 명시적 가중된 예측을 허용할 수도 있다. 또, 때때로 디폴트 예측은 명시적 가중치 팩터들이 디폴트 세팅에 의해 정의되는 명시적 예측의 특정한 타입으로 고려된다. 간략화를 위해, 단방향성 예측에서 오직 전방 예측 (forward prediction) 이 아래의 논의에 도시되어 있지만, 후방 예측 (backwards prediction) 이 또한 다른 타입의 단방향성 예측으로서 사용될 수 있다.
디폴트 가중 예측이 단방향성 예측 및 양방향성 예측을 위한 다음의 등식들에 의해 각각 정의될 수도 있다.
Figure pct00002
여기서, pred0(i,j) 및 pred1(i,j) 는 리스트 0 및 리스트 1로부터의 예측 데이터이다.
묵시적 가중된 예측이 단방향성 예측 및 양방향성 예측을 위한 다음의 등식들에 의해 각각 정의될 수도 있다.
Figure pct00003
이 경우에, 각 예측은 가중 팩터 W0 또는 W1에 의해 스케일 (scale) 되고, 여기서 w0 및 w1은 리스트 0 및 리스트 1 레퍼런스 픽처들의 상대적인 시간 포지션에 기초하여 계산된다.
명시적 가중 예측이 단방향성 예측 및 양방향성 예측을 위한 다음의 등식에 의해 각각 정의될 수도 있다.
Figure pct00004
이 경우에, 가중 팩터들은 인코더에 의해 결정되고 슬라이스 헤더에서 송신되고, o1 및 o2는 각각 리스트 0 및 리스트 1 레퍼런스 픽처들에 대한 픽처 오프셋들이다.
종래, 라운딩 조정은 항상 양방향성 예측에서 사용된다. 위 등식들에 따르면, 1의 라운딩 조정은 1 만큼 우측 시프트하기 전에 디폴트 가중된 예측에서 사용되고, 32의 라운딩 조정은 6 만큼 우측 시프트하기 전에 묵시적 가중된 예측에서 사용된다. 일반적으로 2r-1의 라운딩 조정은 보통 r 만큼 우측 시프트하기 전에 보통 사용되는데, 여기서 r은 양의 정수를 나타낸다.
그러한 빈번하고 편의된 (biased) 라운딩 연산들은 예측의 정확도를 감소시킬 수 있다. 또한, 명시적 가중된 예측의 양방향성 예측에서, 실제로 2개의 라운딩들이 존재하는데, 하나는 레퍼런스 픽처들에 대한 것이고 다른 하나는 오프셋들에 대한 것이다. 그러므로, 이 경우에, 라운딩 에러가 누산될 수 있다. 본 개시의 일 양태에 따르면, 2개의 분리된 라운딩들을 행하는 대신에, 비디오 인코더는 다음처럼 우측 시프트하기 전의 가중된 예측에 오프셋들을 가산할 수 있다:
Figure pct00005
여기서, pred(i,j) 는 라운딩과 연관된 가중된 예측 데이터이고, pred0(i,j) 는 리스트 0으로부터의 데이터이고, pred1(i,j) 는 리스트 1로부터의 데이터이고, w0 및 w1은 가중치 팩터들이고, o1 및 o2는 오프셋들이고, r 및 2r은 (r+1) 비트들 만큼의 우측 시프트 연산 ">>" 과 함께 라운딩을 제공하는 라운딩 항들이다. 이것은 더 양호한 예측 정확도를 제공할 수 있다. 이 경우에, 새로운 신택스 엘리먼트는 또한 2개의 상이한 오프셋들 (o1 및 o2) 의 하나의 오프셋으로의 조합을 허용하도록 정의될 수도 있다. 또한, 이 경우에, 라운딩 값은 오프셋과 연관된 다른 라운딩 값 ("r") 뿐만 아니라 위에서 설명된 라운딩 조정 (예를 들면, (r+1) 비트들 만큼 우측 시프트 연산 전의 2r) 을 포함할 수도 있다. 위의 등식은 또한 오프셋들에 대한 더 높은 정확도를 제공하기 위하여 약간 수정될 수도 있다. 오프셋들에 대한 더 높은 정확도가 요망되면, 오프셋들은 (2에 의해서와 같은) 팩터들에 의해 승산될 수도 있고 그 다음 정수들로 라운딩될 수도 있다. 좌측 시프트가 또한 변경되어 이러한 오프셋에 가산된 정확도의 이유가될 수도 있다.
명시적 가중된 예측에서의 다른 문제는 단방향성 예측 및 양방향성 예측이 같은 가중치들 및 오프셋들을 공유할 수도 있다는 것이다. 더 양호한 예측을 위한 더 많은 유연성을 갖기 위하여, 단방향성 예측 및 양방향성 예측이 본 개시에 따라 디커플링될 수도 있다. 이 경우에, 단방향성 예측 및 양방향성 예측은 상이한 가중치들 및 오프셋들을 소정 타입의 예측 (디폴트, 묵시적 또는 명시적 예측) 에 대해 정의할 수도 있다. 새로운 신택스 엘리먼트들이 더 양호한 예측을 허용하기 위해 명시적 예측에 대해 정의될 수도 있다. 인코더는 사용된 가중치 팩터들 및 가능하게는 인코더에 의해 사용된 상이한 라운딩 모드들을 시그널링 하기 위하여 코딩된 비트스트림에서 신택스 엘리먼트들을 포함하여, 같은 가중치 팩터들 및 라운딩 모드들이 디코더에 의해 사용될 수 있다.
라운딩 조정들을 적응적으로 선택하는 것이 유익하다. 이를 행하는 한 방법은 예측 데이터의 2개 이상의 상이한 세트들에 기초하여 예측 데이터의 2 이상의 상이한 세트들을 생성 (및 가능하게는 몇번 비디오 블록을 인코딩) 하는 것이다. 예측 데이터의 한 세트는 논제로 (nonzero) 라운딩을 포함할 수도 있고 다른 하나는 그 라운딩을 제거할 수도 있다. 또 다른 예에서, 라운딩 업, 라운딩 다운이 고려될 수도 있고 라운딩이 고려되지 않을 수도 있다. 모션 보상 유닛 (35) 은 이들 상이한 타입들의 예측 데이터를 생성할 수도 있고, 레이트 왜곡 (rate-distortion; RD) 분석을 수행하여 소정 비디오 블록에 대해 최선의 예측 데이터를 선택할 수도 있다.
레이트 왜곡 (RD) 분석은 비디오 코딩에 있어서 꽤 흔하고, 일반적으로 코딩 비용을 나타내는 비용 메트릭의 계산을 수반한다. 비용 메트릭은 코딩과 연관된 품질의 수준 (왜곡) 과 코딩에 요구되는 비트들의 수 (레이트) 를 밸런싱 (balancing) 할 수도 있다. 통상적인 레이트 왜곡 비용 계산은 일반적으로 다음의 포맷에 대응할 수도 있다:
Figure pct00006
여기서 J(λ) 는 비용이고, R은 비트 레이트이고, D는 왜곡이고, λ는 라그랑지 승수 (Lagrange multiplier) 이다.
비디오 인코더 (50) 가 가장 원하는 예측 데이터를 식별하는 한 방법은 모션 추정 유닛 (32) 을 사용하여 먼저 모션 벡터들을 구하고, 그 다음 모션 보상 유닛 (35) 및 가산기 (48) 를 구현하여 라운딩 조정에 의한 그리고 라운딩 조정에 의하지 않은 예측 에러들을 계산하는 것이다. 그 다음, 모션 보상 유닛 (35) 은 최소 예측 에러를 산출하는 예측 데이터를 선택할 수도 있다. 예측 데이터와 코딩되는 현재 데이터 사이의 절대차의 합을 사용하는 것에 의해 예측 에러가 계산될 수 있다.
본 개시에 따르면, 명시적 가중된 예측에 대해 정의된 가중치들 (및 선택적으로 오프셋들) 은 단방향성 및 양방향성 예측에 대해 상이할 수도 있다. 명시적 가중치들은 다음과 같이 계산될 수도 있다:
Figure pct00007
이 경우에, 용어 "DC_현재_프레임 (DC_Current_frame)" 은 현재 프레임 (또는 다른 코딩된 유닛) 의 모든 픽셀들의 합이고, 용어 "DC_레퍼런스_프레임 (DC_Reference_frame)" 은 리스트 0 또는 리스트 1로부터 존재할 수 있는 레퍼런스 프레임 (또는 다른 코딩된 유닛) 의 모든 픽셀들의 합이다.
리스트 0 및 리스트 1에서의 각 레퍼런스 프레임은 그들에 할당된 명시적 가중치들을 가질 수도 있다. 또한, 각 레퍼런스 프레임은 단방향성 예측에 대하여 하나의 가중치를 갖고 양방향성 예측에 수반된 레퍼런스 픽처들의 각 쌍은 양쪽 모두의 레퍼런스 프레임들에 대한 가중치들의 쌍을 갖는다. 종래의 명시적 가중된 예측에서의 문제는 단방향성 예측 및 양방향성 예측이 같은 가중치들을 공유한다는 것이다.
예로서, 만약,
Figure pct00008
이면,
Figure pct00009
리스트 0으로부터의 단방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00010
리스트 1로부터의 단방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00011
양방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00012
더 양호한 예측을 위한 더 많은 유연성을 갖기 위하여, 단방향성 예측 및 양방향성 예측을 위한 가중치들이 디커플링될 수 있다.
그러므로, 본 개시에 따르면, 리스트 0으로부터의 단방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00013
리스트 1로부터의 단방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00014
양방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00015
이 경우에, w2는 w0과 다르고, w3은 w1과 다르다.
단방향성 예측을 위해, 예측 유닛 (31) 은 원래의 디폴트 가중치들을 사용 및 인코딩할 수도 있다. 양방향성 예측을 위해, 예측 유닛 (31) 은 리스트 0 및 리스트 1로부터의 레퍼런스 프레임을 사용하여 형성된 가상 프레임 (또는 다른 레퍼런스 유닛) 과 현재 프레임 (또는 다른 코딩된 유닛 ) 사이의 에러를 최소화하는 것에 의해 계산된 명시적 가중치들을 사용 및 인코딩할 수도 있다.
예로서, 만약,
Figure pct00016
이면,
Figure pct00017
에러는 다음과 같이 최소화될 수도 있다:
Figure pct00018
따라서, 이 경우에, 양방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00019
또한, 이 경우에, 리스트 0으로부터의 단방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00020
또한, 이 경우에, 리스트 1로부터의 단방향성 예측은 다음에 의해 주어질 수도 있다:
Figure pct00021
이들 상이한 가중치들은 코딩된 유닛의 신택스 엘리먼트들로 인코딩될 수도 있고, 가중된 예측을 적용하기 위하여 B-유닛이 정의되면 코딩된 유닛으로 (예를 들면, 슬라이스 헤더에서) 나중에 송신될 수도 있다. 그러므로, 소정 블록이 양방향성 예측을 요구하는 경우에만 디코더 (도 2에 미도시) 는 이들 가중치들을 수신하고 가중치들을 사용할 수도 있다. 그렇지 않으면, 디코더는 단방향성 예측을 위해 디폴트 가중치들을 사용할 수도 있다. 디폴트 가중치들은 신택스 엘리먼트들에 포함될 수도 있거나, 또는 신택스 엘리먼트들로부터 제외되고 신택스에서 명시적 가중치들의 부재시에 적용할 디폴트 가중치들로서 디코더에서 미리 정의될 수도 있다.
몇몇 경우들에서, 최선의 가중된 예측을 구하기 위하여, 비디오 인코더 (50) 는 가중치들의 모든 가능한 값들을 사용하여 인코딩을 수행하고 레이트 왜곡 비용에 기초하여 최선의 가중치를 선택할 수도 있다. 하지만, 복잡성을 감소시키기 위하여, 비디오 인코더 (50) 는 위에서 설명된 기법들을 사용하는 것에 의해 가중치들의 제 1 추정을 수행하고, 그 다음 추정된 가중치들에 가까운 다른 가중치들을 고려할 수도 있다. 즉, 가중치들의 모든 가능한 세트를 고려하는 것에 의해 최선의 예측의 포괄적인 탐색 (exhaustive search) 을 수행하기 보다는, 비디오 인코더 (50) 는 위에서 기술된 기법들을 사용하여 가중치들을 추정하고 그 다음 범위 내에서 추정된 가중치보다 큰 가중치 및/또는 작은 가중치인 다른 가중치들을 고려할 수도 있다.
예로서, 가중치들은 0 과 127 사이의 임의의 값을 가질 수도 있다. 최선의 가중치들을 식별하기 위한 한 방법은, 가중치들의 모든 값들을 고려하고 가장 낮은 레이트 왜곡 비용에 기초하여 최선의 가중치를 선택하는 포괄적인 탐색을 수행하는 것이다. 하지만, 최선의 가중치들을 식별하기 위한 더 빠른 방법은 위에서 약술된 방법들을 사용하여 가중치들의 제 1 추측을 수행하고, 그 다음 예를 들면 팩터 내에서 추정된 가중치들에 가까운 다른 가중치들을 고려하는 것이다. 예를 들면, 위의 방법들이 67의 가중치를 산출하면, 67의 추정된 값 주위 플러스 또는 마이너스 10의 값들 (즉, 57과 77 사이의 값들) 이 또한 고려될 수도 있다. 이 경우에, 57 내지 77의 더 작은 범위 내에서 포괄적인 탐색이 수행되어 최선의 가중치들을 선택할 수도 있다. 그 포괄적인 탐색이 0 내지 127의 전체 범위에 대해 수행되지 않으므로, 그 기법들은 완전한 포괄적인 탐색에 비해 단순화된다.
인코더 복잡성을 더 감소시키기 위하여, 명시적 가중된 예측 동안, 계산된 가중치들이 디폴트 가중치들과 동일하면, 예측 유닛 (31) 은 명시적 가중된 예측 단계들을 뺄 수도 있다. 어느 경우에든, 양방향성 예측 및 단방향성 예측을 위한 상이한 가중치들이 B-픽처들의 품질을 향상시키고 코딩 효율에 있어서 이득을 달성할 수 있다.
몇몇 경우들에서, 최선의 가중된 예측을 구하기 위하여, 비디오 인코더 (50) 는 멀티 패스 인코딩 (multi-pass encoding) 을 수행하고 레이트 왜곡 비용에 기초하여 최선의 모드를 선택할 수도 있다. 이를 행하기 위한 한 방법은 모션 보상 유닛 (35) 이 모든 가능한 가중된 예측 데이터를 생성하고 최선의 것을 선택하는 포괄적인 탐색이다. 하지만, 복잡성을 감소시키기 위하여, 모션 보상 유닛 (35) 은 본 개시의 추가 기술들을 구현하여, 예를 들면, 먼저 디폴트 가중된 예측과 묵시적 가중된 예측 사이에서 선택하고, 그 다음 그 선택을 명시적 가중된 예측과 비교할 수도 있다. 모션 보상 유닛 (35) 은 명시적 가중된 예측과 연관된 가중치들 및 오프셋들을 계산하고, 또한 다르게는, 어느 것이 선택되든, 디폴트 가중된 예측 또는 묵시적 가중된 예측과 연관된 데이터에 오프셋들을 가산하기 위하여 명시적 가중된 예측 프레임워크를 사용할 수도 있다. 따라서, 모션 보상 유닛 (35) 에 의해 계산된 오프셋들의 2개 이상의 세트들이 존재할 수도 있다. 오프셋들의 제 1 세트는 디폴트 가중된 예측 또는 묵시적 가중된 예측에서 사용된 알려진 가중치들을 사용하는 것에 의해 계산될 수 있고, 오프셋들의 제 2 세트는 예를 들면, 모션 보상된 예측 에러를 최소화하는 것에 의해 명시적 가중된 예측의 정상 계산의 일부로서 가중치들과 공동으로 계산될 수도 있다.
복잡성을 더 감소시키기 위하여, 명시적 가중된 예측 동안, 오프셋들이 제로이면, 모션 보상 유닛 (35) 은 디폴트 가중치들 또는 묵시적 가중치들을 사용하는 명시적 가중된 예측을 뺄 수도 있다. 또한, 오프셋들이 제로이고 계산된 가중치들이 변화가 없으면, 모션 보상 유닛 (35) 은 계산된 가중치들 및 오프셋들을 사용하는 통상적인 명시적 가중된 예측을 뺄 수도 있다.
여기에 기술된 바처럼, 원하는 예측 데이터가 모션 보상 유닛 (35) 에 의해 식별되고 나면, 비디오 인코더 (50) 는 코딩되는 원래 비디오 블록으로부터 예측 데이터를 감산하는 것에 의해 잔차 비디오 블록을 형성한다. 가산기 (48) 는 이 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 변환 유닛 (38) 은 변환, 이를테면 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환을 잔차 블록에 적용하며, 잔차 변환 블록 계수들을 포함하는 비디오 블록을 생성한다. 변환 유닛 (38) 은, 예를 들면, 다른 변환들, 이를테면 DCT와 개념적으로 유사한 H.264 표준에 의해 정의된 것들을 수행할 수도 있다. 웨이브릿 변환 (wavelet transform), 정수 변환, 서브 밴드 변환 또는 다른 타입들의 변환들이 또한 사용될 수 있다. 어느 경우든, 변환 유닛 (38) 은 변환을 잔차 블록에 적용하며, 잔차 변환 계수의 블록을 생성한다. 변환은 잔차 정보를 픽셀 도메인으로부터 주파수 도메인으로 변환할 수도 있다.
양자화 유닛 (40) 은 잔차 변환 계수들을 양자화하여 비트 레이트를 더 감소시킨다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 예를 들면, 9 비트 값은 양자화 동안 8 비트 값으로 라운딩 다운될 수도 있다. 추가로, 양자화 유닛 (40) 은 또한 오프셋이 사용되는 경우들에 대하여 상이한 오프셋들을 양자화할 수도 있다.
양자화 다음에, 엔트로피 코딩 유닛 (46) 은 양자화 변환 계수를 엔트로피 코딩한다. 예를 들면, 엔트로피 코딩 유닛 (46) 은 CAVLC (content adaptive variable length coding), CABAC (context adaptive binary arithmetic coding), 또는 다른 엔트로피 코딩 방법론을 수행할 수도 있다. 엔트로피 코딩 유닛 (46) 에 의한 엔트로피 코딩 다음에, 인코딩된 비디오는 다른 디바이스로 송신되거나 또는 나중의 송신 또는 취출을 위해 보관될 수도 있다. 코딩된 비트스트림은 엔트로피 코딩된 잔차 블록들, 그러한 블록들을 위한 모션 벡터들 및 다른 신택스 이를테면 단방향성 예측 및 양방향성 예측을 위해 상이한 가중치들을 통신하는 여기에 기술된 신택스 엘리먼트들을 포함할 수도 있다.
역 양자화 유닛 (42) 및 역 변환 유닛 (44) 은 역 양자화 및 역 변환을 각각 적용하여 예를 들면 위에서 기술된 방식으로 레퍼런스 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔차 블록을 재구성한다. 가산기 (51) 는 재구성된 잔차 블록을 모션 보상 유닛 (35) 에 의해 생성되는 모션 보상된 예측 블록에 가산하여 재구성된 비디오 블록을 생성해 메모리 (34) 에 저장한다. 재구성된 비디오 블록은 모션 추정 유닛 (32) 및 모션 보상 유닛 (35) 에 의해 레퍼런스 블록으로서 사용되어 후속 비디오 프레임에서 블록을 인터 인코딩할 수도 있다.
도 3은 도 2의 모션 보상 유닛 (35) 의 예를 더 상세하게 예시하는 블록도이다. 도 3의 예에 도시된 바처럼, 모션 보상 유닛 (35) 은 메모리 (34) 에 커플링되는데, 이는 코딩된 유닛들 또는 레퍼런스 프레임들의 제 1 및 제 2 세트들을 리스트 0 (52A) 및 리스트 1 (52B) 로서 저장한다. 추가로, 메모리 (34) 는 코딩된 현재 비디오 데이터 (53) 를 저장할 수도 있다. 메모리 (34) 는 공유 메모리 구조, 또는 가능하게는 몇몇 상이한 메모리들, 저장 유닛들, 버퍼들, 또는 여기에서 논의된 어느 데이터의 저장을 용이하게 하는 다른 타입들의 저장 장치들을 포함할 수도 있다.
리스트 0 (52A) 및 리스트 1 (52B) 는 2개의 상이한 예측 유닛들과 연관된 데이터, 예를 들면 양방향성 예측에 따라, 2개의 상이한 프레임들 또는 슬라이스들 또는 매크로블록들로부터의 데이터이다. 또, 양방향성 예측은 반드시 어느 예측 방향에 제한될 필요는 없고, 따라서 리스트 0 (52A) 및 리스트 1 (52B) 는 2개의 이전 프레임들 또는 슬라이스들로부터, 2개의 후속 프레임들 또는 슬라이스들로부터, 또는 하나의 이전 프레임 또는 슬라이스와 하나의 후속 프레임 또는 슬라이스로부터의 데이터를 저장할 수도 있다. 또한, 몇몇 경우들에서, 리스트 0 (52A) 및/또는 리스트 1 (52B) 는 각각 다중 프레임들, 슬라이스들 또는 매크로블록들과 연관된 데이터를 포함할 수 있다. 리스트 0 (52A) 및/또는 리스트 1 (52B) 는 가능한 예측 데이터의 단순히 2개의 상이한 세트들이고, 각 리스트는 하나의 프레임 또는 슬라이스, 또는 여러 프레임들, 슬라이스들 또는 매크로블록들을 인코딩되는 현재 비디오 블록에 대해 임의의 방향으로 포함할 수도 있다.
도 3에 도시된 바처럼, 모션 보상 유닛 (35) 은 디폴트 가중된 예측 유닛 (54), 묵시적 가중된 예측 유닛 (56) 및 명시적 가중된 예측 유닛 (58) 을 포함한다. 유닛들 (54, 56 및 58) 은 여기에 기술된 바처럼 디폴트 가중된 예측, 묵시적 가중된 예측 및 명시적 가중된 예측을 각각 수행한다. 레이트 왜곡 (R-D) 분석 유닛 (64) 은 이들 가능성들 중에서 가중된 예측 데이터를 선택할 수도 있고, 본 개시의 기법들을 구현하여 선택 프로세스를 용이하게 할 수도 있다.
모션 보상 유닛 (35) 은 또한, 하나 이상의 유닛들 (54, 56 및 58) 으로 하여금 각각의 가중된 예측 데이터의 라운딩된 버전 및 라운딩 되지 않은 버전 양쪽 모두를 생성하도록 하는 라운딩 유닛 (55) 을 포함한다. 또, 라운딩을 제거하는 것에 의해, 가중된 예측 데이터는 몇몇 맥락들에서 향상될 수도 있다.
추가로, 모션 보상 유닛 (35) 은, 오프셋을 계산하는 오프셋 계산 유닛 (62) 을 포함한다. ITU-T H.264/MPEG-4 AVC 코딩 포맷에 따라, 오프셋은 오직 명시적 가중된 예측에서 허용된다. 그러므로, 디폴트 가중된 예측 또는 묵시적 가중된 예측의 맥락에서 오프셋을 고려하기 위하여, 디폴트 가중된 예측 유닛 (54) 또는 묵시적 가중된 예측 유닛 (56) 에 의해 결정된 가중치들이 오프셋 계산 유닛 (62) 에 의해 결정된 오프셋과 함께 명시적 가중된 예측 유닛 (58) 으로 포워딩 (forwarding) 될 수도 있다. 이런 방식으로, 명시적 가중된 예측 유닛 (58) 은 R-D 분석 유닛 (64) 에 의한 고려를 위해 디폴트 가중된 예측 데이터 또는 묵시적 가중된 예측 데이터에 오프셋을 가산하는 것에 의해 TU-T H.264/ MPEG-4 AVC 코딩 포맷을 이용할 수 있다. 이 경우에서, 명시적 가중된 예측 유닛 (58) 은 정상 명시적 가중된 예측 데이터 뿐만 아니라, 오프셋 계산 유닛 (62) 에 의해 결정된 오프셋과 함께 디폴트 가중된 예측 유닛 (54) 또는 묵시적 가중된 예측 유닛 (56) 에 의해 결정된 가중치들을 이용하는 예측 데이터를 생성한다.
오프셋 계산 유닛은 코딩되는 블록의 비디오 블록 값들의 평균치와 예측 블록의 비디오 블록 값들의 평균치 사이의 차로서 오프셋을 계산할 수도 있다. 오프셋은 루마 비디오 블록들에 대해 계산될 수도 있고, 몇몇 경우들에서는, 오프셋이 루마 비디오 블록들에 대해 그리고 크로마 비디오 블록들에 대해 계산될 수도 있다.
R-D 분석 유닛 (64) 는 상이한 가중된 예측 데이터를 분석할 수도 있고, 품질에 관하여 또는 레이트 및 왜곡에 관하여 최선의 결과를 생성하는 가중된 예측 데이터를 선택할 수도 있다. R-D 분석 유닛 (64) 은, 가산기 (48) (도 2) 를 통해 코딩되는 비디오 블록으로부터 감산될 수도 있는 선택된 가중된 예측 데이터를 출력한다. 신택스 엘리먼트들은 가중된 예측 데이터를 생성하기 위하여 사용되야 하는 방법 또는 방식을 디코더에 알리기 위해 사용될 수도 있다. 신택스 엘리먼트들은, 예를 들면, 라운딩이 사용되는지 여부를 나타낼 수도 있고, 디폴트, 묵시적 또는 명시적 가중된 예측이 사용되야 하는지를 나타낼 수도 있다. 명시적 가중된 예측이 사용되야 하면, 신택스 엘리먼트들은, 또 명시적 가중된 예측과 연관된 가중치 팩터들 및 오프셋일 수도 있거나 또는 오프셋 계산 유닛 (62) 으로부터의 오프셋의 가산으로 디폴트 가중된 예측 유닛 (54) 또는 묵시적 가중된 예측 유닛 (56) 에 의해 실제로 정의되는 가중치 팩터들일 수도 있는, 가중치 팩터들 및 오프셋을 더 식별할 수도 있다.
R-D 분석 유닛 (64) 과 함께 명시적 가중된 예측 유닛 (58) 은 본 개시의 기법들을 수행하여 명시적 단방향성 예측 및 명시적 양방향성 예측을 위해 상이한 가중치들을 정의할 수도 있다. 디폴트 가중된 예측 유닛 (54) 에 의해 정의된 디폴트 가중치들은 명시적 단방향성 예측에 사용될 수도 있지만, 명시적 가중된 예측 유닛 (58) 에 의해 정의된 명시적 가중치들은 명시적 양방향성 예측을 위해 사용될 수도 있다.
도 4는 위에서 기술된 인코딩 기법들에 대해 역 디코딩 (reciprocal decoding) 기법들을 수행할 수도 있는 예시적인 비디오 디코더 (70) 를 예시하는 블록도이다. 비디오 디코더 (70) 는 엔트로피 디코딩 유닛 (72), 예측 유닛 (75), 역 양자화 유닛 (76), 역 변환 유닛 (78), 메모리 (74) 및 가산기 (79) 를 포함한다. 예측 유닛 (75) 은, 예시의 간결성 및 용이성을 위해 도시되지 않은, 공간적 예측 컴포넌트들 뿐만아니라, 모션 보상 (MC) 유닛 (88) 을 포함할 수도 있다.
비디오 디코더 (70) 는 코딩된 유닛을 수신하고, 여기서 코딩된 유닛은 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함한다. 엔트로피 디코딩 유닛 (72) 은 수신된 비트스트림을 디코딩할 수도 있고 비트스트림으로부터 명시적 가중치들을 파싱 (parsing) 할 수도 있다. 예측 유닛 (75) 의 모션 보상 유닛 (86) 은 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 명시적 가중치들을 적용한다. 추가로, 예측 유닛 (75) 의 모션 보상 유닛 (86) 은 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용한다.
명시적 가중치들은 양방향성 명시적 가중치들을 포함할 수도 있고 하나 이상의 상이한 가중치들은, 코딩된 유닛에서 수신되거나 또는 수신되지 않을 수도 있는 단방향성 명시적 가중치들을 포함할 수도 있다. 위에 언급된 바처럼, 하나 이상의 상이한 가중치들은 하나 이상의 디폴트 가중치들을 포함한다. 디폴트 가중치들은 MC 유닛 (86) 에서 미리 정의될 수도 있고 코딩된 유닛의 신택스 엘리먼트들에 포함되지 않을 수도 있거나 또는 다르게는, 디폴트 가중치들은 코딩된 유닛의 신택스 엘리먼트들에 포함될 수도 있다. 예측 유닛 (75) 은 또한 묵시적 가중된 예측에 따른 디코딩을 지원할 수도 있다. 예를 들면, 디코딩 유닛 (70) 은 명시적 가중치들을 포함하지 않는 다른 코딩된 유닛을 수신할 수도 있다. 유닛 (72) 에 의한 엔트로피 디코딩 다음에, 예측 유닛 (75) 의 MC 유닛 (86) 은 다른 코딩된 유닛에서 하나 이상의 비디오 블록들의 묵시적 가중된 예측에 대해 하나 이상의 묵시적 가중치들을 생성 및 적용할 수도 있다.
일반적으로, 엔트로피 디코딩 유닛 (72) 은 인코딩된 비트스트림을 수신하고 비트스트림을 엔트로피 디코딩하여 양자화된 계수, 모션 정보 및 본 개시에 따라 사용되는 다른 신택스 엘리먼트들을 생성한다. 모션 정보 (예를 들면, 모션 벡터) 및 다른 신택스 엘리먼트들은 예측 데이터를 생성하는데 사용하기 위해 예측 유닛 (75) 으로 포워딩된다. 예측 유닛 (75) 은 본 개시와 일치되는 단방향성 예측 및 양방향성 예측을 수행하며, 수신된 신택스 엘리먼트들에 따라 단방향성 예측 및 양방향성 예측에 대해 상이한 가중치들을 적용한다. 신택스 엘리먼트들은 사용될 가중된 예측의 타입, 다른 시나리오들에서 적용할 가중치들, 명시적 가중된 예측이 사용되면 적용될 오프셋, 및 라운딩 조정이 디코딩에서 사용되야하는지의 표시들을 식별할 수도 있다.
양자화된 계수들이 엔트로피 디코딩 유닛 (72) 으로부터, 역 양자화를 수행하는 역 양자화 유닛 (76) 으로 전송된다. 그 다음 역 변환 유닛 (78) 은 탈양자화된 계수 (de-quantized coefficient) 들을 픽셀 도메인으로 다시 역변환하여 잔차 블록을 생성한다. 가산기 (79) 는 예측 유닛 (75) 에 의해 생성된 예측 데이터 (예를 들면, 예측 블록) 과 역 변환 유닛 (78) 으로부터의 잔차 블록을 결합하여 재구성된 비디오 블록을 생성하는데, 이는 메모리 (74) 에 저장되고/되거나, 디코딩된 비디오 출력으로서 비디오 디코더 (70) 로부터 출력될 수도 있다.
도 5는 본 개시와 일치되는 비디오 디코더에 의해 수행되는 예시적인 프로세스를 예시하는 흐름도이다. 도 5는 도 4의 비디오 디코더 (70) 의 관점에서 기술될 것이다. 도 5에 도시된 바처럼, 엔트로피 디코딩 유닛 (72) 은 명시적 가중치들을 포함하는 코딩된 유닛을 수신한다 (101). 엔트로피 디코딩 유닛 (72) 은 코딩된 유닛, 예를 들면, 프레임 또는 슬라이스를 엔트로피 디코딩하고 비트스트림으로부터 명시적 가중치들을 파싱할 수도 있다. 예측 유닛 (75) 의 모션 보상 유닛 (86) 은 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 명시적 가중치들을 적용한다 (102). 추가로, 예측 유닛 (75) 의 모션 보상 유닛 (86) 은 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 비디오 디코더를 통해 하나 이상의 상이한 가중치들을 적용한다 (103). 비디오 디코더 (70) 는 디코딩된 비디오 블록들을 디스플레이 (도 5에서 미도시) 에 출력할 수도 있는데, 이는 디코딩된 비디오 블록들을 디스플레이한다 (104).
도 6은 본 개시와 일치되는 비디오 디코더에 의해 수행되는 예시적인 프로세스를 예시하는 다른 흐름도이다. 도 6은 또한 도 4의 비디오 디코더 (70) 의 관점에서 기술될 것이다. 도 6에 도시된 바처럼, 엔트로피 디코딩 유닛 (72) 은 명시적 가중치들을 포함하는 코딩된 유닛 (72) 을 수신한다 (111). 엔트로피 디코딩 유닛 (72) 은 코딩된 유닛을 엔트로피 디코딩할 수도 있고 비트스트림으로부터 명시적 가중치들을 파싱할 수도 있다. 예측 유닛 (75) 의 모션 보상 유닛 (86) 은 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 명시적 가중치들을 적용한다 (112). 추가로, 예측 유닛 (75) 의 모션 보상 유닛 (86) 은 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 디폴트 가중치들을 적용한다 (113). 디폴트 가중치들은 또한 코딩된 유닛에서 신택스 엘리먼트들에 포함될 수도 있고, 이 경우에 엔트로피 디코딩 유닛 (72) 은 신택스 엘리먼트들을 파싱하고 디폴트 가중치들을 예측 유닛 (75) 에 포워딩할 수도 있다. 다르게는, 디폴트 가중치들은 신택스로부터 제외되고 MC 유닛 (86) 으로 미리 프로그램되어 명시적 단방향성 예측에 대해 적용될 수도 있다. 비디오 디코더 (70) 는 디코딩된 비디오 블록들을 디스플레이 (도 5에서 미도시) 에 출력할 수도 있는데, 이는 디코딩된 비디오 블록들을 디스플레이한다 (114).
도 7은 본 개시와 일치되는 코딩된 유닛 (이를테면 B-프레임 또는 B-슬라이스) 을 인코딩하기 위하여 비디오 인코더에 의해 수행되는 예시적인 프로세스를 예시하는 흐름도이다. 도 7은 도 2의 비디오 인코더 (50) 의 관점에서 기술될 것이다. 도 7에 도시된 바처럼, 예측 유닛 (31) 의 모션 보상 유닛 (35) 은 명시적 가중치들에 기초하여 코딩된 유닛의 양방향성 비디오 블록들을 인코딩한다 (121). 예를 들면, 모션 보상 유닛 (35) 은 코딩된 유닛의 B-비디오 블록들에 대해 레이트 왜곡 분석을 수행하여 B-비디오 블록들을 코딩하는 것과 연관된 레이트 왜곡 비용 메트릭을 최소화하는 양방향성 가중치들을 선택할 수 있다.
예측 유닛 (31) 의 모션 보상 유닛 (35) 은 상이한 가중치들에 기초하여 코딩된 유닛의 단방향성 비디오 블록들을 인코딩한다 (122). 예를 들면, 모션 보상 유닛 (35) 은 디폴트 가중치들에 기초하여 코딩된 유닛의 P-비디오 블록들을 인코딩할 수 있다. 이 경우에, B-비디오 블록들에 대해 적용된 명시적 가중치들은 P-비디오 블록들에 대해서는 사용되지 않는다. 그 대신에, P-비디오 블록들은 예측 데이터에 상이한 가중치들 (이를테면 디폴트 가중치들) 을 적용하는 것에 의해 인코딩된다. B-비디오 블록들을 인코딩하는데 사용되는 명시적 가중치들 (및 가능하게는 P-비디오 블록들을 인코딩하는데 사용되는 다른 가중치들) 은 예측 유닛 (31) 으로부터 엔트로피 코딩 유닛 (46) 으로 포워딩될 수도 있다. 가산기 (48) 로부터 출력되는 인코딩된 비디오 블록들 (예를 들면, P-및 B-비디오 블록들에 대한 잔차 블록들) 은 엔트로피 코딩 유닛 (46) 으로 전송되기 전에 유닛 (38) 에 의해 변환되고 유닛 (40) 에 의해 양자화될 수 있다.
엔트로피 코딩 유닛 (46) 은 그 가중치들을 코딩된 유닛의 신택스 엘리먼트들로 인코딩한다 (123). 특히, 엔트로피 코딩 유닛 (46) 은 비디오 블록들의 양자화되고 변환된 계수들을 엔트로피 인코딩할 수도 있고, 코딩된 유닛의 신택스 엘리먼트들 내에서의 그러한 인코딩에 사용되는 가중치들을 인코딩할 수도 있다. 이 경우에, B-비디오 블록들에 대해 적용된 명시적 가중치들은 비디오 디코더에 의한 적용을 위해 코딩된 유닛으로 인코딩된다. P-비디오 블록들에 대해 적용된 다른 가중치들이 포함 (예를 들면, 인코딩) 되거나 또는 가능하게는 비트스트림으로부터 제외될 수도 있다. 예를 들면, P-비디오 블록들에 대해 적용된 디폴트 가중치들은 P-비디오 블록들로의 적용을 위한 명시적 가중치들과 포함될 수도 있거나 (예를 들면, 디폴트 가중치들이 명시적 단방향성 가중치들로서 인코딩될 수도 있거나), 또는 다르게는, P-비디오 블록들에 대해 적용된 디폴트 가중치들이 코딩된 유닛으로부터 제외되고 디코더에서 알려져서, 그러한 가중치들은 비트스트림에서 전송될 필요가 없게 된다.
이러한 인코딩 후에, 코딩된 유닛은 엔트로피 코딩 유닛 (46) 으로부터 송신기 (예를 들면, 도 1의 송신기 (24)) 로 전송될 수도 있다. 그 다음 전송기 (24) 는, 무선 통신 기법들 또는 다른 데이터 통신 방법을 사용하여 인코딩된 비디오 데이터를 다른 디바이스로 송신할 수 있다 (124).
본 개시의 기법들은 무선 핸드셋, 및 집적 회로 (IC) 또는 IC 들의 세트 (즉, 칩셋) 를 포함하여, 폭넓게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 임의의 컴포넌트들, 모듈들 또는 유닛들이 기능적인 양태들을 강조하기 위하여 설명되었고 다른 하드웨어 유닛들에 의한 실현을 반드시 요구하는 것은 아니다. 본 개시에 기술된 기법들은 또한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수도 있다. 모듈들, 유닛들, 또는 컴포넌트들로서 설명된 임의의 피처들은 집적 로직 디바이스 (integrated logic device) 에서 함께 구현되거나 또는 이산이지만 상호운용가능한 (interoperable) 로직 디바이스들로서 따로 구현될 수도 있다. 몇몇 경우들에서, 다양한 피처들은 집적 회로 디바이스, 이를테면 집적 회로 칩 또는 칩셋으로서 구현될 수도 있다.
소프트웨어로 구현되면, 기법들은, 프로세서들에 의해 실행될 때, 위에서 설명된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체를 포함할 수도 있고 패키징 재료를 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터 판독가능 저장 매체는 RAM (random access memory) 이를테면, SDRAM (synchronous dynamic random access memory), ROM (read-only memory), NVRAM (non-volatile random access memory), EEPROM (electrically erasable programmable read-only memory), FLASH 메모리, 자기 또는 광학 데이터 저장 매체 등을 포함할 수도 있다. 추가로 또는 대안으로 기법들은 명령들 또는 데이터 구조들의 형태의 코드를 나르거나 통신하고, 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
코드 또는 명령들은 하나 이상의 프로세서, 이를테면 하나 이상의 DSP (digital signal processor), 범용 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable logic array), 또는 다른 등가 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에 사용된 용어 "프로세서" 는 이전 구조 중 어느 것 또는 본원에 설명된 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 추가로, 몇몇 양태들에서, 여기서 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈 내에 제공되거나 또는 결합된 비디오 코덱에서 포함될 수도 있다. 또한, 그 기법들은 하나 이상의 회로 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
또한 본 개시는 본 개시에 설명된 하나 이상의 기법들을 구현하기 위한 회로를 포함하는 다양한 집적 회로 디바이스들 중 어느 것을 의도한다. 그러한 회로는 단일 집적 회로 칩에서 또는 다중, 상호운용가능한 집적 회로 칩들에서 소위 칩셋에서 제공될 수도 있다. 그러한 집적 회로 디바이스들은 다양한 어플리케이션들에서 사용될 수도 있는데, 이들 중 일부는 무선 통신 디바이스, 이를테면 이동 전화 핸드셋에서의 사용을 포함할 수도 있다.
본 개시의 다양한 실시형태들이 설명되었다. 이들 및 다른 실시형태들은 다음의 청구항들의 범위 내에 있다.

Claims (46)

  1. 비디오 디코더에서 비디오 데이터를 디코딩하는 방법으로서,
    상기 비디오 디코더에서 코딩된 유닛을 수신하는 단계로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛을 수신하는 단계;
    상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 상기 비디오 디코더를 통해 상기 명시적 가중치들을 적용하는 단계; 및
    상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 상기 비디오 디코더를 통해 하나 이상의 상이한 가중치들을 적용하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고 상기 하나 이상의 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고,
    상기 방법은,
    상기 코딩된 유닛에서 상기 단방향성 명시적 가중치들을 수신하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  3. 제 1 항에 있어서,
    상기 하나 이상의 상이한 가중치들은 하나 이상의 디폴트 가중치들을 포함하는, 비디오 데이터를 디코딩하는 방법.
  4. 제 3 항에 있어서,
    상기 디폴트 가중치들은 상기 비디오 디코더에서 정의되고 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되지 않는, 비디오 데이터를 디코딩하는 방법.
  5. 제 3 항에 있어서,
    상기 디폴트 가중치들은 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되는, 비디오 데이터를 디코딩하는 방법.
  6. 제 1 항에 있어서,
    명시적 가중치들을 포함하지 않는 다른 코딩된 유닛을 수신하는 단계; 및
    상기 다른 코딩된 유닛에서 하나 이상의 비디오 블록들의 묵시적 가중된 예측에 대해 하나 이상의 묵시적 가중치들을 생성 및 적용하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  7. 비디오 인코더에서 비디오 데이터를 인코딩하는 방법으로서,
    상기 비디오 인코더에서 코딩된 유닛을 인코딩하는 단계로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛을 인코딩하는 단계;
    상기 명시적 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 상기 비디오 인코더를 통해 인코딩하는 단계; 및
    하나 이상의 상이한 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 상기 비디오 인코더를 통해 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  8. 제 7 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 단방향성 명시적 가중치들을 포함하는, 비디오 데이터를 인코딩하는 방법.
  9. 제 7 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하는, 비디오 데이터를 인코딩하는 방법.
  10. 제 7 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하지 않는, 비디오 데이터를 인코딩하는 방법.
  11. 비디오 디코딩 장치로서,
    코딩된 유닛을 수신하고 상기 코딩된 유닛의 하나 이상의 신택스 엘리먼트들을 엔트로피 디코딩하는 엔트로피 유닛으로서, 상기 신택스 엘리먼트들은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는, 상기 엔트로피 유닛; 및
    상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 상기 명시적 가중치들을 적용하고, 상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용하는 예측 유닛을 포함하는, 비디오 디코딩 장치.
  12. 제 11 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고 상기 하나 이상의 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 단방향성 명시적 가중치들을 포함하는, 비디오 디코딩 장치.
  13. 제 11 항에 있어서,
    상기 하나 이상의 상이한 가중치들은 하나 이상의 디폴트 가중치들을 포함하는, 비디오 디코딩 장치.
  14. 제 13 항에 있어서,
    상기 디폴트 가중치들은 상기 비디오 디코딩 장치에서 정의되고 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되지 않는, 비디오 디코딩 장치.
  15. 제 13 항에 있어서,
    상기 디폴트 가중치들은 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되는, 비디오 디코딩 장치.
  16. 제 11 항에 있어서,
    상기 엔트로피 유닛은 명시적 가중치들을 포함하지 않는 다른 코딩된 유닛을 수신 및 디코딩하고;
    상기 예측 유닛은 상기 다른 코딩된 유닛에서 하나 이상의 비디오 블록들의 묵시적 가중된 예측에 대해 하나 이상의 묵시적 가중치들을 생성 및 적용하는, 비디오 디코딩 장치.
  17. 제 11 항에 있어서,
    상기 비디오 디코딩 장치는 집적 회로를 포함하는, 비디오 디코딩 장치.
  18. 제 11 항에 있어서,
    상기 비디오 디코딩 장치는 마이크로프로세서를 포함하는, 비디오 디코딩 장치.
  19. 제 11 항에 있어서,
    상기 비디오 디코딩 장치는 비디오 디코더를 포함하는 무선 통신 디바이스를 포함하는, 비디오 디코딩 장치.
  20. 비디오 데이터를 인코딩하는 비디오 인코딩 장치로서,
    상기 비디오 데이터, 및 상기 비디오 데이터를 예측적으로 인코딩하기 위해 사용되는 데이터의 2개 이상의 리스트들을 저장하는 메모리; 및
    예측 유닛을 포함하고,
    상기 예측 유닛은,
    코딩된 유닛으로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛을 인코딩하고;
    상기 명시적 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 인코딩하고;
    하나 이상의 상이한 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 인코딩하는, 비디오 인코딩 장치.
  21. 제 20 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 단방향성 명시적 가중치들을 포함하는, 비디오 인코딩 장치.
  22. 제 20 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하는, 비디오 인코딩 장치.
  23. 제 20 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하지 않는, 비디오 인코딩 장치.
  24. 제 20 항에 있어서,
    상기 비디오 인코딩 장치는 집적 회로를 포함하는, 비디오 인코딩 장치.
  25. 제 20 항에 있어서,
    상기 비디오 인코딩 장치는 마이크로프로세서를 포함하는, 비디오 인코딩 장치.
  26. 제 20 항에 있어서,
    상기 비디오 인코딩 장치는 비디오 인코더를 포함하는 무선 통신 디바이스를 포함하는, 비디오 인코딩 장치.
  27. 비디오 데이터를 디코딩하는 디바이스로서,
    코딩된 유닛을 수신하기 위한 수단으로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛을 수신하기 위한 수단;
    상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 상기 명시적 가중치들을 적용하기 위한 수단; 및
    상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용하기 위한 수단을 포함하는, 비디오 데이터를 디코딩하는 디바이스.
  28. 제 27 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고 상기 하나 이상의 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고,
    상기 디바이스는,
    상기 코딩된 유닛에서 상기 단방향성 명시적 가중치들을 수신하기 위한 수단을 더 포함하는, 비디오 데이터를 디코딩하는 디바이스.
  29. 제 27 항에 있어서,
    상기 하나 이상의 상이한 가중치들은 하나 이상의 디폴트 가중치들을 포함하는, 비디오 데이터를 디코딩하는 디바이스.
  30. 제 29 항에 있어서,
    상기 디폴트 가중치들은 상기 디바이스에서 정의되고 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되지 않는, 비디오 데이터를 디코딩하는 디바이스.
  31. 제 29 항에 있어서,
    상기 디폴트 가중치들은 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되는, 비디오 데이터를 디코딩하는 디바이스.
  32. 제 27 항에 있어서,
    명시적 가중치들을 포함하지 않는 다른 코딩된 유닛을 수신하기 위한 수단;
    하나 이상의 묵시적 가중치들을 생성하기 위한 수단; 및
    상기 다른 코딩된 유닛에서 하나 이상의 비디오 블록들의 묵시적 가중된 예측에 대해 상기 하나 이상의 묵시적 가중치들을 적용하기 위한 수단을 더 포함하는, 비디오 데이터를 디코딩하는 디바이스.
  33. 비디오 데이터를 인코딩하는 디바이스로서,
    코딩된 유닛을 인코딩하기 위한 수단으로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛을 인코딩하기 위한 수단;
    상기 명시적 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 인코딩하기 위한 수단; 및
    하나 이상의 상이한 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 인코딩하기 위한 수단을 포함하는, 비디오 데이터를 인코딩하는 디바이스.
  34. 제 33 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 단방향성 명시적 가중치들을 포함하는, 비디오 데이터를 인코딩하는 디바이스.
  35. 제 33 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하는, 비디오 데이터를 인코딩하는 디바이스.
  36. 제 33 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하지 않는, 비디오 데이터를 인코딩하는 디바이스.
  37. 실행될 때 프로세서로 하여금 비디오 데이터를 디코딩하게 하는 명령들을 포함하는 컴퓨터 판독가능 저장 매체로서,
    코딩된 유닛으로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛의 수신시에,
    상기 명령들은 상기 프로세서로 하여금,
    상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들의 양방향성 명시적 가중된 예측에 대해 상기 명시적 가중치들을 적용하고;
    상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들의 단방향성 명시적 가중된 예측에 대해 하나 이상의 상이한 가중치들을 적용하도록 하는, 컴퓨터 판독가능 저장 매체.
  38. 제 37 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고 상기 하나 이상의 상이한 가중치들은 상기 코딩된 유닛에서 수신된 단방향성 명시적 가중치들을 포함하는, 컴퓨터 판독가능 저장 매체.
  39. 제 37 항에 있어서,
    상기 하나 이상의 상이한 가중치들은 하나 이상의 디폴트 가중치들을 포함하는, 컴퓨터 판독가능 저장 매체.
  40. 제 39 항에 있어서,
    상기 디폴트 가중치들은 미리 정의되고 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되지 않는, 컴퓨터 판독가능 저장 매체.
  41. 제 39 항에 있어서,
    상기 디폴트 가중치들은 상기 코딩된 유닛의 상기 신택스 엘리먼트들에 포함되는, 컴퓨터 판독가능 저장 매체.
  42. 제 37 항에 있어서,
    상기 프로세서로 하여금,
    명시적 가중치들을 포함하지 않는 다른 코딩된 유닛의 수신시에,
    상기 다른 코딩된 유닛에서 하나 이상의 비디오 블록들의 묵시적 가중된 예측에 대해 하나 이상의 묵시적 가중치들을 생성 및 적용하도록 하기 위한 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  43. 실행될 때 프로세서로 하여금 비디오 데이터를 인코딩하게 하는 명령들을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 상기 프로세서로 하여금,
    코딩된 유닛으로서, 상기 코딩된 유닛은 상기 코딩된 유닛에서 하나 이상의 비디오 블록들의 명시적 가중된 예측 동안 적용될 명시적 가중치들을 나타내는 신택스 엘리먼트들을 포함하는, 상기 코딩된 유닛을 인코딩하고;
    상기 명시적 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 양방향성 비디오 블록들을 인코딩하고;
    하나 이상의 상이한 가중치들에 기초하여 상기 코딩된 유닛에서 하나 이상의 단방향성 비디오 블록들을 인코딩하도록 하는, 컴퓨터 판독가능 저장 매체.
  44. 제 43 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 단방향성 명시적 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 단방향성 명시적 가중치들을 포함하는, 컴퓨터 판독가능 저장 매체.
  45. 제 43 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하는, 컴퓨터 판독가능 저장 매체.
  46. 제 43 항에 있어서,
    상기 명시적 가중치들은 양방향성 명시적 가중치들을 포함하고, 상기 상이한 가중치들은 디폴트 가중치들을 포함하고, 상기 신택스 엘리먼트들은 상기 디폴트 가중치들을 포함하지 않는, 컴퓨터 판독가능 저장 매체.
KR1020127003444A 2009-07-09 2009-07-10 비디오 코딩에서 단방향성 예측 및 양방향성 예측을 위한 상이한 가중치들 KR101355332B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/500,017 2009-07-09
US12/500,017 US8995526B2 (en) 2009-07-09 2009-07-09 Different weights for uni-directional prediction and bi-directional prediction in video coding
PCT/US2009/050332 WO2011005267A1 (en) 2009-07-09 2009-07-10 Different weights for uni-directional prediction and bi-directional prediction in video coding

Publications (2)

Publication Number Publication Date
KR20120031515A true KR20120031515A (ko) 2012-04-03
KR101355332B1 KR101355332B1 (ko) 2014-01-27

Family

ID=41572418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127003444A KR101355332B1 (ko) 2009-07-09 2009-07-10 비디오 코딩에서 단방향성 예측 및 양방향성 예측을 위한 상이한 가중치들

Country Status (8)

Country Link
US (1) US8995526B2 (ko)
EP (1) EP2452495B1 (ko)
JP (1) JP5497169B2 (ko)
KR (1) KR101355332B1 (ko)
CN (1) CN102474600B (ko)
BR (1) BR112012000252A2 (ko)
TW (1) TWI408966B (ko)
WO (1) WO2011005267A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200100A1 (ko) * 2015-06-10 2016-12-15 삼성전자 주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
KR20180005121A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180005119A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180005120A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018212569A1 (ko) * 2017-05-16 2018-11-22 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20210064371A (ko) * 2018-12-10 2021-06-02 텐센트 아메리카 엘엘씨 비디오 코딩을 위한 방법 및 장치

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US10575051B2 (en) * 2009-11-13 2020-02-25 Triveni Digital Inc. System and method for enhanced television and delivery of enhanced television content
JP2011147049A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012034213A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 画像処理装置、画像処理システムおよび画像処理方法
KR20130099242A (ko) 2011-01-07 2013-09-05 노키아 코포레이션 비디오 코딩의 움직임 예측
JP2014506063A (ja) * 2011-01-07 2014-03-06 サムスン エレクトロニクス カンパニー リミテッド 双方向予測及び単一方向予測が可能なビデオ予測方法及びその装置、ビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
US10362327B2 (en) 2011-01-14 2019-07-23 Sony Corporation B-picture syntax change for generalized bi-prediction in high efficiency video coding (HEVC)
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
CN102695061B (zh) * 2011-03-20 2015-01-21 华为技术有限公司 一种权重因子的确定方法和装置,以及一种帧内加权预测方法和装置
US8934552B2 (en) 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
JP5768491B2 (ja) * 2011-05-17 2015-08-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
HUE049155T2 (hu) * 2011-09-14 2020-09-28 Samsung Electronics Co Ltd Eljárás és berendezés predikció egység (PU) kódolásához a méretén és megfelelõ dekódoló berendezésen alapulva
WO2013039692A1 (en) * 2011-09-16 2013-03-21 Mediatek Singapore Pte. Ltd. Method and apparatus for prediction mode and partition mode syntax coding for coding units in hevc
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US10999574B2 (en) * 2013-11-05 2021-05-04 Arris Enterprises Llc Simplified processing of weighted prediction syntax and semantics using a bit depth variable for high precision data
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11363253B2 (en) * 2016-05-13 2022-06-14 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
WO2018056763A1 (ko) * 2016-09-23 2018-03-29 엘지전자(주) 템플릿 기반 가중치를 이용하여 예측을 수행하는 방법 및 장치
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
CN108268987B (zh) * 2016-12-30 2021-08-06 郑芳田 多样式产品的品质推估方法
WO2018164504A1 (ko) * 2017-03-09 2018-09-13 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR101963557B1 (ko) * 2017-08-31 2019-03-28 주식회사 알고리고 이종 데이터 임베딩을 이용한 전기차 전력 수요 예측 장치
KR101963558B1 (ko) * 2017-08-31 2019-03-28 주식회사 알고리고 어텐션 매트릭스를 이용한 전기차 전력 수요 예측 장치
CN111801946A (zh) 2018-01-24 2020-10-20 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
EP3834416A4 (en) * 2018-08-17 2022-08-17 HFI Innovation Inc. METHODS AND APPARATUS FOR VIDEO PROCESSING WITH BIDIRECTIONAL PREDICTION IN VIDEO CODING SYSTEMS
CN111050177B (zh) * 2018-10-15 2021-07-20 腾讯科技（深圳）有限公司 视频编码、视频解码方法、装置、计算机设备和存储介质
US11134246B2 (en) * 2019-01-02 2021-09-28 Shumaker & Sieffert, P.A. Weighted prediction for video coding
KR102080094B1 (ko) * 2019-03-22 2020-02-21 주식회사 알고리고 인코딩 어텐션 가중치 및 디코딩 어텐션 가중치를 이용한 전기차 전력 수요 예측 장치

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816552B2 (en) 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
EP1467853B1 (en) 2002-01-11 2007-03-28 Fiberline A/S A method of producing a fibre reinforced structural element
EP1475970B1 (en) 2002-02-01 2007-04-04 Matsushita Electric Industrial Co., Ltd. Moving picture coding method and moving picture decoding method
CN100452668C (zh) * 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
MXPA05005988A (es) * 2002-12-04 2005-08-18 Thomson Licensing Sa Codificacion de desvanecimientos de video con el uso de una prediccion ponderada.
CN1810041A (zh) 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
WO2005094086A1 (en) * 2004-02-27 2005-10-06 Thomson Licensing Error concealment technique using weighted prediction
US8284835B2 (en) 2004-04-21 2012-10-09 Panasonic Corporation Motion compensating apparatus
US7515637B2 (en) 2004-05-21 2009-04-07 Broadcom Advanced Compression Group, Llc Video decoding for motion compensation with weighted prediction
US8284837B2 (en) * 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US20060146932A1 (en) 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
KR100714696B1 (ko) 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP4561508B2 (ja) 2005-07-08 2010-10-13 ソニー株式会社 画像処理装置、画像処理方法およびそのプログラム
WO2007018688A1 (en) 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
JP5275806B2 (ja) 2005-10-12 2013-08-28 トムソン ライセンシング スケーラブルビデオ符号化及び復号における重み付け予測方法及び装置
US8498336B2 (en) * 2006-02-02 2013-07-30 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
KR101293086B1 (ko) * 2006-02-17 2013-08-06 톰슨 라이센싱 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측
KR100949982B1 (ko) 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
WO2007116551A1 (ja) 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US8270492B2 (en) 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4867497B2 (ja) * 2006-06-21 2012-02-01 ソニー株式会社 情報処理装置および方法、復号装置および方法、プログラム、並びに情報処理システム
WO2008004940A1 (en) 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
KR101408698B1 (ko) 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
CA2702525C (en) 2007-10-25 2014-07-15 Nippon Telegraph And Telephone Corporation Video scalable encoding method and decoding method and apparatuses therefor
US8831087B2 (en) 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
US8711930B2 (en) 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200100A1 (ko) * 2015-06-10 2016-12-15 삼성전자 주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US10602188B2 (en) 2015-06-10 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
KR20180005121A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180005119A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180005120A (ko) * 2016-07-05 2018-01-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11394988B2 (en) 2016-07-05 2022-07-19 Kt Corporation Method and apparatus for processing video signal
US11743481B2 (en) 2016-07-05 2023-08-29 Kt Corporation Method and apparatus for processing video signal
US11805255B2 (en) 2016-07-05 2023-10-31 Kt Corporation Method and apparatus for processing video signal
US11876999B2 (en) 2016-07-05 2024-01-16 Kt Corporation Method and apparatus for processing video signal
WO2018212569A1 (ko) * 2017-05-16 2018-11-22 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20210064371A (ko) * 2018-12-10 2021-06-02 텐센트 아메리카 엘엘씨 비디오 코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
EP2452495A1 (en) 2012-05-16
CN102474600B (zh) 2015-11-25
TW201103337A (en) 2011-01-16
TWI408966B (zh) 2013-09-11
JP5497169B2 (ja) 2014-05-21
JP2012533212A (ja) 2012-12-20
KR101355332B1 (ko) 2014-01-27
US20110007803A1 (en) 2011-01-13
US8995526B2 (en) 2015-03-31
WO2011005267A1 (en) 2011-01-13
CN102474600A (zh) 2012-05-23
EP2452495B1 (en) 2017-10-11
BR112012000252A2 (pt) 2016-02-16

Similar Documents

Publication Publication Date Title
KR101355332B1 (ko) 비디오 코딩에서 단방향성 예측 및 양방향성 예측을 위한 상이한 가중치들
US9609357B2 (en) Non-zero rounding and prediction mode selection techniques in video encoding
US8995527B2 (en) Block type signalling in video coding
KR101377883B1 (ko) 비디오 인코딩에서 넌-제로 라운딩 및 예측 모드 선택 기법들
EP2449786B1 (en) Template matching for video coding
US8831087B2 (en) Efficient prediction mode selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee