KR20140057667A - 영상 복호화 장치 - Google Patents
영상 복호화 장치 Download PDFInfo
- Publication number
- KR20140057667A KR20140057667A KR1020147010015A KR20147010015A KR20140057667A KR 20140057667 A KR20140057667 A KR 20140057667A KR 1020147010015 A KR1020147010015 A KR 1020147010015A KR 20147010015 A KR20147010015 A KR 20147010015A KR 20140057667 A KR20140057667 A KR 20140057667A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- merge candidate
- unit
- merge
- quantization parameter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Abstract
본 발명에 따른 장치에서는 비트스트림으로부터 머지 인덱스를 추출하고, 이용 가능한 공간 및 시간 머지 후보자들을 이용하여 머지 리스트를 구축하고, 상기 머지 인덱스를 이용하여 머지 리스트 상의 머지 후보자들 중에서 머지 예측자를 선택하고, 상기 머지 예측자의 움직임 정보를 상기 현재 예측 유닛의 움직임 정보로 설정한다. 상기 시간 머지 후보자는 참조 픽쳐 인덱스 및 움직임 정보를 포함하고, 상기 시간 머지 후보자의 참조 픽쳐 인덱스는 0으로 설정되고, 시간 머지 후보자 픽쳐의 시간 머지 후보자 블록의 움직임 벡터가 상기 시간 머지 후보자의 움직임 벡터로 설정된다. 따라서, 다양한 머지 후보자들을 이용하여 움직임 정보의 부호화 효율이 향상된다. 또한, 참조 픽쳐의 움직임 정보를 적응적으로 저장하고, 시간 머지 후보자를 적응적으로 생성함으로써, 부호화 효율을 향상시키면서 부호기 및 복호기의 연산 복잡도를 줄일 수 있다.
Description
본 발명은 영상 복호화 장치에 관한 것으로, 보다 상세하게는 공간 및 시간 머지 후보자들을 이용하여 머지 리스트를 구축함으로써 머지 모드에서의 움직임 정보를 유도하는 장치에 관한 것이다.
영상 데이터를 압축하는 방법들로는 MPEG-2, MPEG-4 및 H.264/MPEG-4 AVC가 있다. 상기 방법들에 따르면, 하나의 픽쳐가 복수개의 매크로블록으로 분할되고, 인트라 예측 또는 인터 예측을 이용하여 예측 블록을 생성함으로써 각각의 매크로블록을 부호화하여 영상을 부호화한다. 원본 블록과 예측 블록의 잔차 블록이 변환되어 변환 블록을 생성하고, 변환 블록은 양자화 파라미터와 미리 정해진 양자화 매트릭스를 이용하여 양자화된다. 양자화 블록의 양자화 계수들은 미리 정해진 스캔 패턴을 이용하여 스캔되고 엔트로피 부호화된다. 상기 양자화 파라미터들은 매크로 블록마다 조절되고, 이전 양자화 파라미터를 이용하여 부호화된다.
H.264/MPEG-4 AVC에서는, 시간적 중복성을 제거하기 위해 연속되는 픽쳐들 간의 움직임 예측이 이용된다. 시간적 중복성을 검출하기 위해서, 현재 블록의 움직임을 예측하기 위하여 복수개의 참조 픽쳐들이 검사되고, 예측 블록을 생성하기 위하여 움직임 정보를 이용하여 움직임 보상이 수행된다. 움직임 정보는 하나 이상의 참조 픽쳐 인덱스들과 하나 이상의 움직임 벡터들을 포함한다.
H.264/MPEG-4 AVC에 다르면, 움직임 벡터만이 인접 움직임 벡터들을 이용하여 예측 부호화되고, 참조 픽쳐 인덱스들은 인접 참조 픽쳐 인덱스들을 이용하지 않고 부호화된다.
그러나, 다양한 사이즈를 이용해 인터 예측이 수행되면, 현재 블록의 움직임 정보와 하나 이상의 인접 블록들의 움직임 정보 사이의 연관성이 증가하게 된다. 또한, 영상의 움직임이 정지 또는 느리게 움직이는 경우에는, 픽쳐 사이즈가 증가함에 따라 현재 블록의 움직임 벡터와 참조 픽쳐 내의 인접블록의 움직임 벡터 사이의 연관성이 커지게 된다. 따라서, 상술한 종래의 압축 방법들에서는, 픽쳐의 사이즈가 고화질 사이즈(HD size)보다 커지고 다양한 사이즈가 움직임 예측 및 움직임 보상에 사용될 경우, 움직임 정보의 압축 효율이 떨어지는 문제가 있다.
본 발명이 이루고자 하는 목적은 공간 및 시간 머지 후보자들을 이용하여 머지 리스트를 구축하여 영상 복호화 장치를 제공하는데 있다.
본 발명에 따른 영상 복호화 장치는 이용 가능한 공간 및 시간 머지 후보자들을 이용하여 머지 리스트를 구축하고, 머지 인덱스에 대응하는 머지 리스트 내의 머지 후보자를 현재 예측 유닛의 움직임 정보로 설정하여 예측 블록을 생성하고, 양자화 계수 성분들을 역스캔하여 양자화 블록을 생성하고, 양자화 블록을 역양자화하고 역변환하여 잔차 블록을 생성한다. 현재 예측 유닛이 수평 비대칭 분할에 의해 분할된 두번째 예측 유닛이면, 상기 예측 유닛의 상측 예측 유닛에 대응하는 공간 머지 후보자는 상기 머지 리스트에서 배제된다.
본 발명에 따른 장치에서는 이용 가능한 공간 및 시간 머지 후보자들을 이용하여 머지 리스트를 구축하고, 머지 인덱스에 대응하는 머지 리스트 내의 머지 후보자를 현재 예측 유닛의 움직임 정보로 설정하여 예측 블록을 생성하고, 양자화 계수 성분들을 역스캔하여 양자화 블록을 생성하고, 양자화 블록을 역양자화하고 역변환하여 잔차 블록을 생성한다. 현재 예측 유닛이 수평 비대칭 분할에 의해 분할된 두번째 예측 유닛이면, 상기 예측 유닛의 상측 예측 유닛에 대응하는 공간 머지 후보자는 상기 머지 리스트에서 배제된다. 따라서, 다양한 머지 후보자들을 이용하여 움직임 정보의 부호화 효율이 향상된다. 또한, 참조 픽쳐의 움직임 정보를 적응적으로 저장하고, 시간 머지 후보자를 적응적으로 생성함으로써, 부호화 효율을 향상시키면서 부호기 및 복호기의 연산 복잡도를 줄일 수 있다.
도 1은 본 발명에 따른 영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명에 따른 인터 예측 모드에서의 영상 데이터를 부호화하는 과정을 설명하는 순서도이다.
도 3은 본 발명에 따른 머지 모드에서의 움직임 정보를 부호화하는 방법을 설명하는 순서도이다.
도 4는 본 발명에 따른 공간 머지 후보자 블록들의 위치를 설명하는 개념도이다.
도 5는 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 개념도이다.
도 6은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 7은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 8은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 9는 본 발명에 따른 시간 머지 후보자 블록의 위치를 설명하는 개념도이다.
도 10은 본 발명에 따른 움직임 정보를 저장하는 방법을 설명하는 개념도이다.
도 11은 본 발명에 따른 영상 복호화 장치를 나타내는 블록도이다.
도 12는 본 발명에 따른 인터 예측 모드에서의 영상을 복호화하는 방법을 설명하는 순서도이다.
도 13은 본 발명에 따른 머지 모드에서의 움직임 정보를 유도하는 방법을 설명하는 순서도이다.
도 14는 본 발명에 따른 인터 예측 모드에서의 잔차 블록을 생성하는 과정을 설명하는 순서도이다.
도 15는 본 발명에 따른 양자화 파라미터를 유도하는 방법을 설명하는 순서도이다.
도 2는 본 발명에 따른 인터 예측 모드에서의 영상 데이터를 부호화하는 과정을 설명하는 순서도이다.
도 3은 본 발명에 따른 머지 모드에서의 움직임 정보를 부호화하는 방법을 설명하는 순서도이다.
도 4는 본 발명에 따른 공간 머지 후보자 블록들의 위치를 설명하는 개념도이다.
도 5는 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 개념도이다.
도 6은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 7은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 8은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 9는 본 발명에 따른 시간 머지 후보자 블록의 위치를 설명하는 개념도이다.
도 10은 본 발명에 따른 움직임 정보를 저장하는 방법을 설명하는 개념도이다.
도 11은 본 발명에 따른 영상 복호화 장치를 나타내는 블록도이다.
도 12는 본 발명에 따른 인터 예측 모드에서의 영상을 복호화하는 방법을 설명하는 순서도이다.
도 13은 본 발명에 따른 머지 모드에서의 움직임 정보를 유도하는 방법을 설명하는 순서도이다.
도 14는 본 발명에 따른 인터 예측 모드에서의 잔차 블록을 생성하는 과정을 설명하는 순서도이다.
도 15는 본 발명에 따른 양자화 파라미터를 유도하는 방법을 설명하는 순서도이다.
이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 참조하여 상세히 설명한다. 본 발명은 다양한 변경을 가할수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명에 따른 영상 부호화 장치 및 영상 복호화 장치는 개인 컴퓨터, 개인 이동 단말기, 이동 멀티미디어 재생기, 스마트폰 또는 무선 통신 터미널 등과 같이 사용자 터미널일 수 있다. 상기 영상 부호화 장치 및 영상 복호화 장치는 다양한 기기와 통신하는 통신 유닛과 영상을 부호화 또는 복호화하기 위하여 다양한 프로그램과 데이터를 저장하기 위한 메모리를 구비한다.
도 1은 본 발명에 따른 영상 부호화 장치(100)를 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 영상 부호화 장치(100)는 픽쳐 분할부(110), 인트라 예측부(120), 인터 예측부(130), 변환부(140), 양자화부(150), 스캐닝부(160), 엔트로피 부호화부(170), 역양자화/역변환부(180), 후처리부(190) 및 픽쳐 저장부(195)를 포함한다.
픽쳐 분할부(110)는 픽쳐 또는 슬라이스를 복수개의 LCU(Largest Coding Unit)들로 분할하고, 상기 각각의 LCU를 하나 이상의 코딩 유닛으로 분할한다. LCU의 사이즈는 32x32, 64x64 또는 128x128일 수 있다. 픽쳐 분할부(110)는 각 코딩 유닛의 예측 모드 및 분할 모드(partitioning mode)를 결정한다.
하나의 LCU는 하나 또는 복수개의 코딩 유닛(coidng unit)을 포함한다. 상기 LCU는 분할 구조를 나타내기 위해 재귀적 쿼드 트리 구조(recursive quadtree structure)를 갖는다. 코딩 유닛의 최대 사이즈 및 최소 사이즈를 나타내는 정보가 시퀀스 파라미터 셋(sequence parameter set)에 포함된다. 상기 분할 구조는 하나 또는 복수개의 분할 코딩 유닛 플래그(split_cu_flag)들을 이용하여 특정된다. 코딩 유닛은 2Nx2N의 사이즈를 갖는다. LCU의 사이즈가 64x64이고, 최소 코딩 유닛(SCU:smallest coding unit)이 8x8이면, 코딩 유닛은 64x64, 32x32, 16x16 또는 8x8일 수 있다.
코딩 유닛은 하나 또는 복수개의 예측 유닛(prediction unit)을 포함한다. 인트라 예측에서는 상기 예측 유닛의 사이즈는 2Nx2N 또는 NxN이다. 인터 예측에서는 상기 예측 유닛의 사이즈가 상기 분할 모드에 의해 특정된다. 코딩 유닛이 대칭으로 분할되면, 분할 모드는 2Nx2N, 2NxN, Nx2N 및 NxN 중의 하나이다. 코딩 유닛이 비대칭으로 분할되면, 분할 모드는 2NxnU, 2NxnD, nLx2N 및 nRx2N 중의 하나이다. 하드웨어의 복잡도를 줄이기 위해 코딩 유닛의 사이즈에 치고하여 분할 모드들이 허용된다. 코딩 유닛이 최소 사이즈를 가지면, 비대칭 분할이 허용되지 않을 수 있다. 또한, 코딩 유닛이 최소 사이즈를 가지면, NxN 분할모드가 허용되지 않을 수 있다.
코딩 유닛은 하나 또는 복수개의 변환 유닛(transform unit)을 포함한다. 변환 유닛은 분할 구조를 나타내기 위해 재귀적 쿼드 트리 구조(recursive quadtree structure)를 갖는다. 분할 구조는 하나 또는 복수개의 분할 변환 유닛 플래그(split_tu_flag)들에 의해 표현된다. 변환 유닛의 최대 사이즈 및 최소 사이즈를 나타내는 파라미터가 시퀀스 파라미터 셋에 포함된다.
인트라 예측부(120)는 현재 예측 유닛의 인트라 예측모드를 결정하고, 상기 인트라 예측 모드를 이용하여 예측 블록을 생성한다.
인터 예측부(130)는 픽쳐 저장부(195)에 저장되어 있는 하나 이상의 참조 픽쳐들을 이용하여 현재 예측 유닛의 움직임 정보들을 결정하고, 상기 예측 유닛의 예측 블록을 생성한다. 상기 움직임 정보들은 참조 픽쳐들을 나타내는 하나 이상의 참조 픽쳐 인덱스들과 하나 이상의 움직임 벡터들을 포함한다.
변환부(140)는 잔차 블록을 변환하여 변환 블록을 생성한다. 상기 잔차 블록은 변환 유닛의 사이즈를 갖는다. 예측 유닛이 변환 유닛보다 크면, 현재 블록과 예측 블록 사이의 잔차 신호들은 복수개의 잔차 블록으로 분할된다.
양자화부(150)는 상기 변환 블록을 양자화하기 위한 양자화 파라미터를 결정한다. 양자화 파라미터는 양자화 스텝 사이즈를 의미한다. 양자화 파라미터는 양자화 유닛마다 결정된다. 양자화 유닛의 사이즈는 변경될 수 있고 코딩 유닛의 허용 가능한 사이즈들 중 하나이다. 코딩 유닛의 사이즈가 최소 사이즈보다 크거나 같으면, 상기 코딩 유닛은 양자화 유닛이 된다. 복수개의 코딩 유닛이 최소 사이즈의 양자화 유닛에 포함될 수도 있다. 양자화 유닛의 최소 사이즈는 픽쳐마다 결정되고, 양자화 유닛의 최소 사이즈를 특정하는 파라미터는 픽쳐 파라미터 셋(picture parameter set)에 포함된다.
*양자화부(150)는 양자화 파라미터 예측자를 생성하고, 양자화 파라미터로부터 양자화 파라미터 예측자를 빼서 차분 양자화 파라미터를 생성한다. 상기 차분 양자화 파라미터는 부호화된다.
상기 양자화 파라미터 예측자는 인접 코딩 유닛들의 양자화 파라미터들 및 이전 코딩 유닛의 양자화 파라미터를 이용하여 다음과 같이 생성된다.
좌측 양자화 파라미터, 상측 양자화 파라미터 및 이전 양자화 파라미터가 상기 순서대로 검색된다. 적어도 2개의 양자화 파라미터들이 이용가능한 경우, 상기 순서로 검색되는 처음 2개의 이용 가능한 양자화 파라미터의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다. 즉, 상기 상측 및 좌측 양자화 파라미터들이 이용 가능하면, 상기 상측 및 좌측 양자화 파라미터들의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 상측 및 좌측 양자화 파라미터들 중 하나만이 이용 가능하면, 상기 이용 가능한 양자화 파라미터와 상기 이전 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 상측 및 좌측 양자화 파라미터들이 모두 이용 가능하지 않으면, 상기 이전 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다. 상기 평균값은 반올림한 값이다.
상기 차분 양자화 파라미터는 이진화 과정을 통해서 상기 차분 양자화 파라미터의 절대값을 나타내는 빈들과 상기 차분 양자화 파라미터의 부호를 나타내는 빈으로 변환되고, 상기 빈들은 산술 부호화된다. dQP의 절대값이 0이면 부호를 나타내는 빈은 생략될 수 있다. 트렁케이티드 유너리(truncated unary) 방식이 상기 절대값의 이진화 표현에 사용된다.
양자화부(150)는 양자화 매트릭스 및 양자화 파라미터를 이용하여 변환 블록을 양자화하여 양자화 블록을 생성한다. 양자화 블록은 역양자화/역변환부(180)로 제공된다.
스캐닝부(160)는 양자화 블록에 스캔 패턴을 적용한다.
인터 예측에서는 엔트로피 부호화를 위해 CABAC이 사용되면 대각선 스캔이 스캔 패턴으로 사용된다. 양자화 블록의 양자화 계수들은 양자화 계수 성분들로 분리된다. 상기 양자화 계수 성분들은 중요 플래그들(significant flags), 계수 부호들(coefficient signs) 및 계수 레벨들(coefficient levels)이다. 대각선 스캔이 상기 계수 성분들 각각에 적용된다. 중요 플래그는 대응하는 양자화 계수가 0인지 아닌지를 나타낸다. 계수 부호는 0이 아닌 양자화 계수의 부호를 나타낸다. 계수 레벨은 0이 아닌 양자화 계수의 절대값을 나타낸다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 상기 양자화 블록은 복수개의 서브셋들로 분할되고, 대각선 스캔이 각 서브셋에 적용된다. 각 서브셋의 중요 플래그들, 계수 부호들 및 계수 레벨들이 상기 대각선 스캔에 따라 각각 스캔된다. 상기 미리 정해진 사이즈는 4x4이다. 상기 서브셋은 16개의 변환 계수를 포함하는 4x4 블록이다.
서브셋들을 스캔하기 위한 스캔 패턴은 상기 각 서브셋의 양자화된 변환 계수들을 스캔하기 위한 스캔 패턴과 동일하다. 각 서브셋의 중요 플래그들, 계수 부호들 및 계수 레벨들은 역방향으로 스캔된다. 상기 서브셋들도 역방향으로 스캔된다.
0이 아닌 마지막 계수 위치를 나타내는 파라미터가 부호화되어 복호기로 전송된다. 상기 파라미터는 양자화 블록 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낸다. 넌제로 서브셋 플래그들(non-zero subset flags)이 첫번째 서브셋 및 마지막 서브셋 이외의 서브셋들에 대해 정의되고 복호기 측으로 전송된다. 상기 첫번째 서브셋은 DC 계수를 포함한다. 상기 마지막 서브셋은 0이 아닌 마지막 양자화 계수를 포함한다. 상기 넌제로 서브셋은 서브셋이 0이 아닌 계수를 포함하는지를 나타낸다.
엔트로피 부호화부(170)는 스캐닝부(160)로부터 수신되는 스캔된 계수 성분, 인트라 예측부(120)로부터 수신되는 인트라 예측 정보, 인터 예측부(130)로부터 수신되는 움직임 정보 등을 엔트로피 부호화한다.
역양자화/역변환부(180)는 양자화 블록의 양자화된 변환 계수들을 역양자화하고, 역양자화 블록을 역변환하여 잔차 신호를 생성한다.
후처리부(190)는 복원된 픽쳐에서 발생하는 블록킹 아티펙트를 제거하기 위한 디블록킹 필터링 과정을 수행한다.
픽쳐 저장부(195)는 후처리부(190)로부터 후처리된 영상을 수신하고, 픽쳐 단위로 상기 영상을 저장한다. 픽쳐는 프레임 또는 필드일 수 있다.
도 2는 본 발명에 따른 영상 데이터를 부호화하는 방법을 설명하는 순서도이다.
현재 블록의 움직임 정보가 결정된다(S110). 현재 블록은 예측 유닛이다. 현재 블록의 사이즈는 코딩 유닛의 사이즈 및 분할 모드에 의해 결정된다.
움직임 정보는 예측 타입에 따라 달라진다. 예측 타입이 단방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐를 특정하는 참조 인덱스와 하나의 움직임 벡터를 포함한다. 예측 타입이 양방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐 및 참조 리스트 1의 픽쳐를 특정하는 2개의 참조 인덱스와 리스트 0 움직임 벡터 및 리스트 1 움직임 벡터를 포함한다.
상기 움직임 정보를 이용하여 현재 블록의 예측 블록이 생성된다(S120). 움직임 벡터가 화소 위치를 가리키면, 상기 움직임 벡터에 의해 특정되는 참조 픽쳐의 블록을 복사하여 예측 블록을 생성한다. 상기 움직임 벡터가 서브 화소 위치를 가리키면, 예측 블록은 참조 픽쳐의 화소들을 보간하여 생성된다.
상기 현재 블록과 예측 블록을 이용하여 잔차 블록이 생성된다(S130).
잔차 블록은 변환 유닛과 동일한 사이즈를 갖는다. 예측 유닛이 변환 유닛보다 크면, 현재 블록과 예측 블록 사이의 잔차 신호들은 복수개의 잔차 블록들로 나뉜다.
상기 잔차 블록이 부호화된다(S140). 잔차 블록은 도 1의 변환부(140), 양자화부(150), 스캐닝부(160) 및 엔트로피 부호화부(170)에 의해 부호화된다.
상기 움직임 정보가 부호화된다(S150). 움직임 정보는 현재 블록의 공간 후보자들과 시간 후보자를 이용하여 예측 부호화될 수 있다. 움직임 정보는 스킵 모드, 머지 모드 또는 AMVP 모드로 부호화된다. 스킵 모드에서는 예측 유닛이 코딩 유닛의 사이즈를 갖고, 움직임 정보들은 머지 모드에서와 동일한 방법으로 부호화된다. 머지 모드에서는, 현재 예측 유닛의 움직임 정보가 후보자들 중 하나의 움직임 정보와 동일하다. AMVP 모드에서는 움직임 정보들 중 움직임 벡터가 하나 이상의 움직임 벡터 후보자들을 이용하여 예측 부호화된다.
도 3은 본 발명에 따른 머지 모드에서의 움직임 정보를 부호화하는 방법을 설명하느 순서도이다.
공간 머지 후보자들이 유도된다(S210). 도 4는 본 발명에 따른 공간 머지 후보자 블록들의 위치들을 설명하는 개념도이다.
도 4에 도시된 바와 같이, 머지 후보자 블록은 현재 블록의 이용 가능한 좌측 블록(블록 A), 이용 가능한 상측 블록(블록 B), 이용 가능한 우상측 블록(블록 C) 또는 이용 가능한 좌하측 블록(블록 D)이다. 상기 블록들은 예측 블록들이다. 블록 A, B, C 및 D 중에서 적어도 하나가 이용 가능하지 않으면, 이용 가능한 좌상측 블록(블록 E)이 머지 후보자로 설정된다. 이용 가능한 머지 후보자 블록 N의 움직임 정보가 공간 머지 후보자 N으로 설정된다. N은 A, B, C, D 또는 E이다.
공간 머지 후보자는 현재 블록의 형태 및 위치에 따라서 이용가능하지 않은 것으로 설정될 수 있다. 예를 들어, 코딩 유닛이 비대칭 분할에 의해 2개의 예측 유닛들(블록 P0 및 블록 P1)로 분할되면, 블록 P0이 움직임 정보와 블록 P1의 움직임 정보가 동일하지 않을 가능성이 높다. 따라서, 현재 블록이 비대칭 블록 P1이면, 도 5 내지 8에 도시된 바와 같이, 블록 P0를 이용가능하지 않은 것으로 설정된다.
도 5는 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 개념도이다.
도 5에 도시된 바와 같이, 코딩 유닛은 2개의 비대칭 예측 블록 P0 및 예측 블록 P1으로 분할되고, 상기 분할 모드는 nLx2N 모드이다. 블록 P0의 사이즈는 hNx2N이고, 블록 P1의 사이즈는 (2-h)Nx2N이다. h의 값은 1/2이다. 현재 블록은 블록 P1이다. 블록들 A, B, C, D 및 E가 공간 머지 후보자 블록들이다. 블록 P0는 공간 머지 후보자 블록 A이다.
본 발명에서는, 상기 공간 머지 후보자 블록 A를 이용가능하지 않은 것으로 설정하여 머지 후보자 리스트에 기재되지 않도록 한다. 또한, 상기 공간 머지 후보자 블록 A와 동일한 움직임 정보를 가지는 상기 공간 머지 후보자 블록 B, C, D 또는 E는 이용가능하지 않은 것으로 설정된다.
도 6은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 6에 도시된 바와 같이, 코딩 유닛은 2개의 비대칭 예측 블록 P0 및 예측 블록 P1으로 분할되고, 상기 분할 모드는 nRx2N 모드이다. 블록 P0의 사이즈는 (2-h)Nx2N이고, 블록 P1의 사이즈는 hNx2N이다. h의 값은 1/2이다. 현재 블록은 블록 P1이다. 블록들 A, B, C, D 및 E가 공간 머지 후보자 블록들이다. 블록 P0는 공간 머지 후보자 블록 A이다.
본 발명에서는, 상기 공간 머지 후보자 블록 A를 이용가능하지 않은 것으로 설정하여 머지 후보자 리스트에 기재되지 않도록 한다. 또한, 상기 공간 머지 후보자 블록 A와 동일한 움직임 정보를 가지는 상기 공간 머지 후보자 블록 B, C, D 또는 E는 이용가능하지 않은 것으로 설정된다.
도 7은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 7에 도시된 바와 같이, 코딩 유닛은 2개의 비대칭 예측 블록 P0 및 예측 블록 P1으로 분할되고, 상기 분할 모드는 2NxnU 모드이다. 블록 P0의 사이즈는 2NxhN이고, 블록 P1의 사이즈는 2Nx(2-h)N이다. h의 값은 1/2이다. 현재 블록은 블록 P1이다. 블록들 A, B, C, D 및 E가 공간 머지 후보자 블록들이다. 블록 P0는 공간 머지 후보자 블록 B이다.
본 발명에서는, 상기 공간 머지 후보자 블록 B를 이용가능하지 않은 것으로 설정하여 머지 후보자 리스트에 기재되지 않도록 한다. 또한, 상기 공간 머지 후보자 블록 B와 동일한 움직임 정보를 가지는 상기 공간 머지 후보자 블록 C, D 또는 E는 이용가능하지 않은 것으로 설정된다.
도 8은 본 발명에 따른 비대칭 분할 모드에서의 공간 머지 후보자 블록들의 위치를 설명하는 또 다른 개념도이다.
도 8에 도시된 바와 같이, 코딩 유닛은 2개의 비대칭 예측 블록 P0 및 예측 블록 P1으로 분할되고, 상기 분할 모드는 2NxnD 모드이다. 블록 P0의 사이즈는 2Nx(2-h)N이고, 블록 P1의 사이즈는 2NxhN이다. h의 값은 1/2이다. 현재 블록은 블록 P1이다. 블록들 A, B, C, D 및 E가 공간 머지 후보자 블록들이다. 블록 P0는 공간 머지 후보자 블록 B이다.
본 발명에서는, 상기 공간 머지 후보자 블록 B를 이용가능하지 않은 것으로 설정하여 머지 후보자 리스트에 기재되지 않도록 한다. 또한, 상기 공간 머지 후보자 블록 B와 동일한 움직임 정보를 가지는 상기 공간 머지 후보자 블록 C, D 또는 E는 이용가능하지 않은 것으로 설정된다.
또한, 공간 머지 후보자 블록이 머지 영역에 기초하여 이용가능하지 않은 것으로 설정될 수도 있다. 현재 블록과 공간 머지 후보자 블록이 동일 머지 영역에 포함되면, 상기 공간 머지 후보자 블록이 이용 가능하지 않은 것으로 설정된다. 머지 영역은 움직임 예측이 행해지는 영역 단위이고, 상기 머지 영역을 특정하는 정보는 비트스트림에 포함된다.
시간 머지 후보자가 유도된다(S220). 시간 머지 후보자는 참조 픽쳐 인덱스와 움직임 벡터를 포함한다.
시간 머지 후보자의 참조 픽쳐 인덱스는 인접 블록들의 하나 이상의 참조 픽쳐 인덱스들을 이용하여 유도될 수 있다. 예를 들어, 좌측 인접 블록, 상측 인접 블록 및 코너 인접 블록의 참조 픽쳐 인덱스들 중 하나가 시간 머지 후보자의 참조 픽쳐 인덱스로 설정된다. 코너 인접 블록은 우상측 인접 블록, 좌하측 인접 블록 및 좌상측 인접 블록 중 하나이다. 또는 복잡도 감소를 위해 시간 머지 후보자의 참조 픽쳐 인덱스를 0으로 설정할 수 있다.
시간 머지 후보자의 움직임 벡터는 다음과 같이 유도된다.
먼저, 시간 머지 후보자 픽쳐가 결정된다. 시간 머지 후보자 픽쳐는 시간 머지 후보자 블록을 포함한다. 슬라이스 내에서 하나의 머지 후보자 픽쳐가 사용된다. 시간 머지 후보자 픽쳐의 참조 픽쳐 인덱스는 0으로 설정될 수도 있다.
현재 슬라이스가 P 슬라이스이면, 참조 픽쳐 리스트 0의 참조 픽쳐들 중 하나가 시간 머지 후보자 픽쳐로 설정된다. 현재 슬라이스가 B 슬라이스이면, 참조 픽쳐 리스트 0과 1의 참조픽쳐들 중 하나가 시간 머지 후보자 픽쳐로 설정된다. 현재 슬라이스가 B 슬라이스이면, 시간 머지 후보자 픽쳐가 참조 픽쳐 리스트 0에 속하는지 1에 속하는지를 나타내는 리스트 지시자가 슬라이스 헤더에 포함된다. 시간 머지 후보자 픽쳐를 특정하는 참조 픽쳐 인덱스가 슬라이스 헤더에 포함될 수 있다.
다음으로, 시간 머지 후보자 블록이 결정된다.
도 9는 본 발명에 따른 시간 머지 후보자 블록의 위치를 설명하는 개념도이다. 도 9에 도시된 바와 같이, 제1 후보자 블록은 블록 C의 우하측 코너 블록(블록 H)이다. 블록 C는 현재 블록과 동일 사이즈를 갖고 동일 위치에 존재하고, 상기 시간 머지 후보자 픽쳐에 위치한다. 제2 후보자 블록은 블록 C의 센터의 우하측 화소를 포함하는 블록이다.
시간 머지 후보자 블록은 상기 제1 후보자 블록 및 제2 후보자 블록 중 하나일 수 있다. 제1 후보자 블록이 이용 가능하면, 제1 후보자 블록이 시간 머지 후보자 블록으로 설정된다. 제1 후보자 블록이 이용 가능하지 않으면, 제2 후보자 블록이 시간 머지 후보자 블록으로 설정된다. 제2 후보자 블록이 이용 가능하지 않으면, 시간 후보자 블록은 이용 가능하지 않은 것으로 설정된다.
시간 머지 후보자 블록은 현재 블록의 위치에 기초하여 결정된다. 예를 들어, 현재 블록이 아래쪽 LCU와 접하면(즉, 상기 제1 후보자 블록이 아래쪽 LCU에 속하면), 상기 제1 후보자 블록이 LCU 내의 한 블록으로 변경되거나 이용 가능하지 않는 것으로 설정된다.
또한, 상기 제1 및 제2 후보자 블록은 후보자 블록의 각 위치에 기초하여 움직임 벡터 저장 유닛 내의 다른 블록으로 대체될 수 있다. 상기 움직임 벡터 저장 유닛은 참조 픽쳐의 움직임 벡터를 저장하는 기본 유닛이다.
도 10은 본 발명에 따른 움직임 정보를 저장하는 방법을 설명하는 개념도이다. 도 10에 도시된 바와 같이, 움직임 저장 유닛은 16x16일 수 있다. 상기 움직임 벡터 저장 유닛은 16개의 4x4 블록으로 나뉠 수 있다. 움직임 벡터 저장 유닛이 16x16 블록이면, 움직임 정보는 상기 움직임 벡터 저장 유닛마다 저장된다. 움직임 벡터 저장 유닛이 복수개의 예측 유닛들을 포함하면, 메모리에 저장되는 움직임 정보의 양을 줄이기 위해되고, 상기 복수개의 예측 유닛들 중 미리 정해진 예측 유닛의 움직임 벡터가 메모리에 저장된다. 상기 미리 정해진 예측 유닛은 상기 16개의 4x4 블록들 중 하나를 커버하는 블록일 수 있다. 상기 미리 정해진 예측 유닛은 블록 C3 또는 블록 BR을 커버하는 예측 유닛일 수 있다. 또는 상기 미리 정해진 예측 유닛은 블록 UL을 커버하는 예측 유닛일 수 있다.
따라서, 후보자 블록이 상기 미리 정해진 블록을 포함하지 않으면, 후보자 블록은 상기 미리 정해진 블록을 포함하는 블록으로 변경된다.
시간 머지 후보자 블록이 결정되면, 시간 머지 후보자 블록의 움직임 벡터가 상기 시간 머지 후보자의 움직임 벡터로 설정된다.
머지 후보자 리스트가 구성된다(S230). 이용 가능한 공간 후보자 및 시간 후보자들이 미리 정해진 순서로 리스트된다. 공간 머지 후보자들은 A, B, C, D 및 E의 순서로 4개까지 포함될 수 있다. 시간 머지 후보자는 B와 C 사이 또는 공간 후보자들 뒤에 위치할 수 있다.
하나 이상의 머지 후보자들이 생성되어야 하는지를 판단한다(S240). 상기 결정은 상기 머지 후보자 리스트 상의 머지 후보자들이 수와 미리 정해진 수를 비교하여 수행된다. 상기 미리 정해진 수는 픽쳐 또는 슬라이스마다 결정될 수 있다.
머지 후보자 리스트 상의 머지 후보자들의 수가 상기 미리 정해진 수보다 작으면, 하나 이상의 머지 후보자들이 생성된다(S250). 생성된 머지 후보자들은 마지막 위치의 머지 후보자 다음에 위치한다.
이용 가능한 머지 후보자들의 수가 2보다 크거나 같고, 이들 중 하나가 리스트 0 움직임 정보를 갖고, 다른 하나가 리스트 1 움직임 정보를 가지면, 리스트 0 움직임 정보와 리스트 1 움직임 정보를 결합하여 머지 후보자들을 생성할 수 잇다. 복수개의 조합이 존재하면, 복수개의 후보자들이 생성될 수 있다.
하나 이상의 제로 머지 후보자들이 리스트에 추가될 수도 있다. 슬라이스 타입이 P이면 상기 제로 머지 후보자들은 리스트 0 움직임 정보만을 갖는다. 슬라이스 타입이 B이면, 상기 제로 머지 후보자들은 리스트 0 움직임 정보와 리스트 1 움직임 정보를 갖는다.
상기 머지 후보자 리스트의 머지 후보자들 중에서 머지 예측자가 선택되고, 상기 머지 예측자를 특정하는 머지 인덱스가 부호화된다(S260).
도 11은 본 발명에 따른 영상 복호화 장치(200)를 나타내는 블록도이다.
본 발명에 따른 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역스캐닝부(220), 역양자화부(230), 역변환부(240), 인트라 예측부(250) 및 인터 예측부(260), 후처리부(270), 픽쳐 저장부(280) 및 가산부(290)를 포함한다.
엔트로피 복호화부(210)는 CABAD(context-adaptive binary arithmetic decoding) 방법을 이용하여 수신된 비트 스트림에서 인트라 예측 정보, 인터 예측 정보 및 양자화 계수 성분들을 추출한다.
역스캐닝부(220)는 역스캔 패턴을 양자화 계수 성분들에 적용하여 양자화 블록을 생성한다. 인터 예측에서는 역스캔 패턴이 대각선 스캔이다. 양자화 계수 성분들은 중요 플래그들, 계수 부호들 및 계수 레벨들을 포함한다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 서브셋 단위로 중요 플래그들, 계수 부호들 및 계수 레벨들이 상기 대각선 스캔에 따라 각각 역스캔되어 서브셋들을 생성하고, 상기 서브셋들이 상기 대각선 스캔에 따라 역스캔되어 양자화 블록을 생성한다. 상기 미리 정해진 사이즈는 4x4이다. 상기 서브셋은 16개의 변환 계수를 포함하는 4x4 블록이다. 중요 플래그들, 계수 부호들 및 계수 레벨들은 역방향으로 스캔된다. 상기 서브셋들도 역방향으로 스캔된다.
0이 아닌 마지막 계수 위치를 나타내는 파라미터 및 넌제로 서브셋 플래그들이 비트스트림으로부터 추출된다. 부호화된 서브셋의 수가 상기 0이 아닌 마지막 계수 위치를 나타내는 파라미터에 기초하여 결정된다. 넌제로 서브셋 플래그는 대응 서브셋이 적어도 하나의 0이 아닌 계수를 갖는지 여부를 결정하는데 이용된다. 넌제로 서브셋 플래그가 1이면, 서브셋이 대각선 스캔을 이용하여 생성된다 . 첫번째 및 마지막 서브셋도 상기 역스캔 패턴을 사용하여 생성된다.
역양자화부(230)는 엔트로피 복호화부(201)로부터 차분 양자화 파라미터를 수신하고, 코딩 유닛의 양자화 파라미터 예측자를 생성한다. 양자화 파라미터 예측자는 도 1의 양자화부(150)에 의한 동작과 동일한 과정을 통해 생성된다. 그리고, 상기 차분 양자화 파라미터와 상기 양자화 파라미터 예측자를 더하여 현재 코딩 유닛의 양자화 파라미터를 생성한다. 현재 코딩 유닛의 차분 양자화 파라미터가 부호기로부터 수신되지 않으면, 상기 차분 양자화 파라미터는 0으로 설정된다.
역양자화부(230)는 양자화 블록을 역양자화한다.
역변환부(240)는 상기 역양자된 블록을 역변환하여 잔차 블록을 복원한다. 역변환 타입은 예측 모드 및 변환 유닛의 사이즈에 따라 결정된다. 역 변환 타입은 DCT 기반 정수 변환 또는 DST 기반 정수 변환이다. 인터 예측에서는 DCT 기반 정수 변환이 사용된다.
인트라 예측부(250)는 수신된 인트라 예측 정보를 이용하여 현재 예측 유닛의 인트라 예측 모드를 복원하고, 상기 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
인터 예측부(260)는 수신된 인터 예측 정보를 이용하여 현재 예측 유닛의 움직임 정보를 복원하고, 상기 움직임 정보를 이용하여 예측 블록을 생성한다.
후처리부(270)는 도 1의 후처리부(180)과 동일하게 동작한다.
픽쳐 저장부(280)는 후처리부(270)로부터 후처리된 영상을 수신하고, 픽쳐 단위로 상기 영상을 저장한다. 픽쳐는 프레임 또는 필드일 수 있다.
가산부(290)는 복원된 잔차 블록과 예측 블록을 더하여 복원 블록을 생성한다.
도 12는 본 발명에 따른 인터 예측 모드에서의 영상 복호화 방법을 설명하는 순서도이다.
현재 블록의 움직임 정보가 유도된다(S310). 현재 블록은 예측 유닛이다. 현재 블록의 사이즈는 코딩 유닛의 사이즈 및 분할 모드에 따라 결정된다.
움직임 정보는 예측 타입에 따라 달라진다. 예측 타입이 단방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐를 특정하는 참조 인덱스와 하나의 움직임 벡터를 포함한다. 예측 타입이 양방향 예측이면, 상기 움직임 정보는 참조 리스트 0의 픽쳐 및 참조 리스트 1의 픽쳐를 특정하는 2개의 참조 인덱스와 리스트 0 움직임 벡터 및 리스트 1 움직임 벡터를 포함한다.
*움직임 정보는 부호화 모드에 따라 적응적으로 복호화된다. 움직임 정보의 부호화 모드는 스킵 플래그와 머지 플래그에 의해 결정된다. 스킵 플래그가 1이면, 머지 플래그가 존재하지 않고 부호화 모드는 스킵 모드이다. 스킵 플래그가 0이고 머지 플래그가 1이면, 부호화 모드는 머지 모드이다. 스킵 플래그 및 머지 플래그가 0이면, 부호화 모드는 AMVP 모드이다.
상기 움직임 정보를 이용하여 현재 블록의 예측 블록이 생성된다(S320).
움직임 벡터가 화소 위치를 가리키면, 예측 블록은 상기 움직임 벡터에 의해 특정되는 참조 픽쳐의 블록을 복사하여 생성된다. 움직임 벡터가 서브 화소 위치를 가리키면, 예측 블록은 참조 픽쳐의 화소들을 보간하여 생성된다.
잔차 블록이 생성된다(S330). 잔차 블록은 도 11의 엔트로피 복호화부(210), 역스캐닝부(220), 역양자화부(230) 및 역변환부(240)에 의해 생성된다.
상기 예측 블록과 잔차 블록을 이용하여 복원 블록이 생성된다(S340).
예측 블록은 예측 유닛과 동일한 사이즈를 갖고, 잔차 블록은 변환 유닛과 동일한 사이즈를 갖는다. 따라서, 동일 사이즈의 잔차 신호와 예측 신호가 더해져서 복원 신호들이 생성된다.
도 13은 본 발명에 따른 머지 모드에서의 움직임 정보를 유도하는 방법을 설명하는 순서도이다.
머지 인덱스가 비트스트림으로부터 추출된다(S410). 머지 인덱스가 존재하지 않으면, 머지 후보자들의 수는 1로 설정된다.
공간 머지 후보자들이 유도된다(S420). 이용 가능한 공간 머지 후보자들은 도 3의 S210에 기술된 내용과 동일하다.
시간 머지 후보자가 유도된다(S430). 시간 머지 후보자는 참조픽쳐 인덱스와 움직임 벡터를 포함한다. 시간 머지 후보자의 참조픽쳐 인덱스 및 움직임 벡터는 도 3의 S220에 도시된 바와 동일하다.
머지 후보자 리스트가 구축된다(S440). 머지 후보자 리스트는 도 3의 S230에서와 동일하게 구축된다.
하나 이상의 머지 후보자가 생성되는지를 결정한다(S450). 상기 결정은 머지 후보자 리스트 상의 머지 후보자들의 수와 미리 정해진 수를 비교하여 행해진다. 미리 정해진 수는 픽쳐 또는 슬라이스마다 결정된다.
머지 후보자 리스트 상의 머지 후보자들의 수가 상기 미리 정해진 수보다 작으면, 하나 이상의 머지 후보자들이 생성된다(S460). 생성된 머지 후보자는 이용 가능한 마지막 머지 후보자의 뒤에 위치하게 된다. 머지 후보자는 도 3의 S250에 기술된 것과 동일한 방법으로 생성된다.
머지 인덱스에 의해 특정되는 머지 후보자를 현재 블록의 움직임 정보로 설정한다(S470).
도 14는 본 발명에 따른 인터 예측 모드에서의 잔차 블록을 생성하는 과정을 설명하는 순서도이다.
양자화 계수 성분들이 엔트로피 복호화되어 생성된다(S510).
양자화 블록은 대각선 스캔에 따라서 상기 양자화 계수 성분들을 역스캔하여 생성한다(S520). 양자화 계수 성분들은 중요 플래그들, 계수 부호들 및 계수 레벨들을 포함한다.
변환 유닛의 사이즈가 미리 정해진 사이즈보다 크면, 대각선 스캔에 따라서 중요 플래그들, 계수 부호들 및 계수 레벨들이 서브셋 단위로 역스캔되어 서브셋들을 생성하고, 상기 서브셀들은 대각선 스캔에 따라서 역스캔되어 양자화 블록을 생성한다. 상기 미리 정해진 사이즈는 서브셋의 사이즈와 동일한다. 서브셋은 16개의 계수를 포함하는 4x4 블록이다. 중요 플래그들, 계수 부호들 및 계수 레벨들은 역방향으로 역스캔된다. 서브셋들도 역방향으로 역스캔된다.
0이 아닌 양자화 계수의 위치를 나타내는 파라미터 및 넌제로 서브셋 플래그들이 비트스트림으로부터 추출된다. 부호화된 서브셋의 수는 상기 0이 아닌 계수 의 위치를 나타내는 파라미터에 기초하여 결정된다. 넌제로 서브셋 플래그는 대응 서브셋이 0이 아닌 계수를 적어도 하나 포함하는지를 결정하기 위해 사용된다. 넌제로 서브셋 플래그가 1이면, 서브셋은 대각선 스캔을 사용하여 생성된다. 처음 및 마지막 서브셋은 역스캔 패턴을 이용하여 생성된다.
역양자화 매트릭스 및 양자화 파라미터를 이용하여 양자화 블록이 역양자화된다(S530).
도 15는 본 발명에 따른 양자화 파라미터를 유도하는 방법을 설명하는 순서도이다.
양자화 유닛의 최소 사이즈가 결정된다(S531). 상기 최소 사이즈를 특정하는 파라미터(cu_qp_delta_enabled_info)가 PPS로부터 추출되고, 양자화 유닛의 최소 사이즈는 다음과 같이 유도된다.
Log2(MinQUSize) = Log2(MaxCUSize)-cu_qp_deltal_enabled_info
MinQUSize는 양자화 유닛의 최소 사이즈이다. MaxCUSize는 LCU의 사이즈이다. cu_qp_delta_enabled_info는 픽쳐 파라미터 셋으로부터 추출된다.
현재 코딩 유닛의 차분 양자화 파라미터(dQP)가 복원된다(S532). 차분 양자화 파라미터는 양자화 유닛마다 포함된다. 따라서, 현재 코딩 유닛의 사이즈가 상기 최소 사이즈보다 크거나 같으면, 현재 코딩 유닛에 대해 차분 양자화 파라미터가 복원된다. 차분 양자화 파라미터가 존재하지 않으면, 차분 양자화 파라미터는 0으로 설정된다. 복수개의 코딩 유닛이 하나의 양자화 유닛에 포함하면, 복호화 순서에서 0이 아닌 계수를 적어도 하나 갖는 최초의 코딩 유닛이 차분 양자화 파라미터를 포함한다.
상기 부호화된 차분 양자화 파라미터는 산술복호화되어 차분 양자화 파라미터의 절대값을 나타내는 빈 스트링과 차분 양자화 파라미터의 부호를 나타내는 빈이 생성된다. 상기 빈 스트링은 트렁케이티디 유너리(truncated unary) 방식으로 이진화된 빈 스트링이다. 상기 차분 양자화 파라미터의 절대값이 0이면, 상기 부호를 나타내는 빈은 존재하지 않는다. 상기 절대값을 나타내는 빈 스트링과 상기 부호를 나타내는 빈을 이용하여 상기 차분 양자화 파라미터가 유도된다.
현재 코딩 유닛의 상기 양자화 파라미터 예측자가 생성된다(S533). 상기 양자화 파라미터 예측자는 인접 코딩 유닛들의 양자화 파라미터들과 이전 코딩 유닛의 양자화 파라미터를 이용하여 생성된다.
좌측 양자화 파라미터, 상측 양자화 파라미터 및 이전 양자화 파라미터가 상기 순서대로 검색된다. 적어도 2개의 양자화 파라미터들이 이용가능한 경우, 상기 순서로 검색되는 처음 2개의 이용 가능한 양자화 파라미터의 평균값을 양자화 파라미터 예측자로 설정하고, 하나의 양자화 파라미터만이 이용 가능한 경우에는 상기 이용 가능한 양자화 파라미터가 양자화 파라미터 예측자로 설정된다. 즉, 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터가 모두 이용 가능하면, 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터 중에서 하나만이 이용 가능하면, 상기 이용 가능한 양자화 파라미터와 상기 이전 양자화 파라미터의 평균값이 상기 양자화 파라미터 예측자로 설정된다. 상기 좌측 양자화 파라미터 및 상기 상측 양자화 파라미터가 모두 이용 가능하지 않으면, 상기 이전 양자화 파라미터가 상기 양자화 파라미터 예측자로 설정된다.
양자화 유닛이 복수개의 코딩 유닛을 포함하면, 복호화 순서상 첫번째 코딩 유닛의 양자화 파라미터 예측자가 생성되고, 상기 생성된 양자화 파라미터 예측자가 상기 양자화 유닛내의 모든 코딩 유닛들에 사용된다.
상기 차분 양자화 파라미터와 상기 양자화 파라미터 예측자를 이용하여 양자화 파라미터가 생성된다(S534).
상기 역양자화 블록을 역변환한여 잔차 블록을 생성한다(S540). 1차원의 수평 및 수직 역 DCT 기반 변환이 사용된다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
130 : 인터 예측부
Claims (10)
- 영상 복호화 장치에 있어서,
이용 가능한 공간 및 시간 머지 후보자들을 이용하여 머지 리스트를 구축하고, 머지 인덱스에 대응하는 상기 머지 리스트 내의 머지 후보자를 현재 예측 유닛의 움직임 정보로 설정하고, 상기 움직임 정보를 이용하여 현재 예측 유닛의 예측 블록을 생성하는 인터 예측부; 및
양자화 계수 성분들을 역스캔하여 양자화 블록을 생성하고, 양자화 파라미터를 이용하여 상기 양자화 블록을 역양자화하고, 상기 역양자화된 블록을 역변환하여 잔차 블록을 생성하는 잔차 블록 생성부;를 포함하고,
현재 예측 유닛이 수평 비대칭 분할에 의해 분할된 두번째 예측 유닛이면, 상기 예측 유닛의 상측 예측 유닛에 대응하는 공간 머지 후보자는 상기 머지 리스트에서 배제되고,
상기 양자화 파라미터는 양자화 유닛마다 유도되고, 상기 양자화 유닛의 최소 사이즈는 픽쳐 파라미터 셋에 의해서 결정되는 것을 특징으로 하는 장치. - 제1항에 있어서, 상기 양자화 파라미터는 차분 양자화 파라미터 및 양자화 파라미터 예측자를 이용하여 유도되는 것을 특징으로 하는 장치.
- 제2항에 있어서, 상기 양자화 파라미터 예측자는 좌측 양자화 파라미터, 상측 양자화 파라미터 및 이전 양자화 파라미터 중 적어도 2개가 유효하면, 미리 정해진 순서로 결정되는 유효한 2개의 양자화 파라미터의 평균값인 것을 특징으로 하는 장치.
- 제1항에 있어서, 현재 예측 유닛의 참조 픽쳐 인덱스와 상기 움직임 벡터는 머지 인덱스에 의해 특정되는 머지 후보자의 참조 픽쳐 인덱스와 움직임 벡터인 것을 특징으로 하는 장치.
- 제1항에 있어서, 상기 현재 예측 유닛의 사이즈가 (3/2)Nx2N이면, 좌측 공간 머지 후보자가 이용 가능하지 않은 것으로 설정되는 것을 특징으로 하는 장치.
- 제5항에 있어서, 상기 좌측 공간 머지 후보자는 현재 블록의 좌측 블록의 움직임 정보인 것을 특징으로 하는 장치.
- 제1항에 있어서, 현재 코딩 유닛이 허용 가능한 최소 사이즈를 가지면, 상기 비대칭 분할이 허용되지 않는 것을 특징으로 하는 장치.
- 제1항에 있어서, 상기 시간 머지 후보자의 참조 픽쳐 인덱스는 0으로 설정되는 것을 특징으로 하는 장치.
- 제1항에 있어서, 상기 시간 머지 후보자의 움직임 벡터는 시간 머지 후보자 픽쳐 내의 시간 머지 후보자 블록의 움직임 벡터이고, 상기 시간 머지 후보자 블록의 위치는 LCU 내에서의 현재 블록의 위치에 따라 결정되는 것을 특징으로 하는 장치.
- 제9항에 있어서, 상기 시간 머지 후보자 블록의 움직임 벡터는 상기 시간 머지 후보자 블록의 위치에 대응하는 움직임 벡터 저장 유닛의 움직임 벡터이고, 상기 움직임 벡터 저장 유닛은 16x16인 것을 특징으로 하는 장치.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110115220 | 2011-11-07 | ||
KR1020110115220A KR20130050407A (ko) | 2011-11-07 | 2011-11-07 | 인터 모드에서의 움직임 정보 생성 방법 |
PCT/CN2012/084242 WO2013067939A1 (en) | 2011-11-07 | 2012-11-07 | Method of deriving motion information |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147010003A Division KR101472973B1 (ko) | 2011-11-07 | 2012-11-07 | 머지 모드에서의 영상 복호화 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20140057667A true KR20140057667A (ko) | 2014-05-13 |
Family
ID=48208139
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110115220A KR20130050407A (ko) | 2011-11-07 | 2011-11-07 | 인터 모드에서의 움직임 정보 생성 방법 |
KR1020147010016A KR20140076584A (ko) | 2011-11-07 | 2012-11-07 | 영상 복호화 장치 |
KR1020147010003A KR101472973B1 (ko) | 2011-11-07 | 2012-11-07 | 머지 모드에서의 영상 복호화 방법 |
KR1020147010015A KR20140057667A (ko) | 2011-11-07 | 2012-11-07 | 영상 복호화 장치 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110115220A KR20130050407A (ko) | 2011-11-07 | 2011-11-07 | 인터 모드에서의 움직임 정보 생성 방법 |
KR1020147010016A KR20140076584A (ko) | 2011-11-07 | 2012-11-07 | 영상 복호화 장치 |
KR1020147010003A KR101472973B1 (ko) | 2011-11-07 | 2012-11-07 | 머지 모드에서의 영상 복호화 방법 |
Country Status (18)
Country | Link |
---|---|
US (8) | US9288493B2 (ko) |
EP (5) | EP3432580A1 (ko) |
JP (5) | JP5837992B2 (ko) |
KR (4) | KR20130050407A (ko) |
CN (6) | CN103096071B (ko) |
CY (1) | CY1121058T1 (ko) |
DK (2) | DK2752005T3 (ko) |
ES (3) | ES2947709T3 (ko) |
HR (1) | HRP20182189T1 (ko) |
HU (3) | HUE062569T2 (ko) |
IN (1) | IN2014CN03910A (ko) |
LT (1) | LT2752005T (ko) |
PL (3) | PL3448034T3 (ko) |
PT (2) | PT3448034T (ko) |
RS (1) | RS58195B1 (ko) |
SI (1) | SI2752005T1 (ko) |
TW (6) | TWI542197B (ko) |
WO (1) | WO2013067939A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020067679A1 (ko) * | 2018-09-29 | 2020-04-02 | 엘지전자 주식회사 | 머지 후보 리스트를 구성하는 방법 및 장치 |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130049523A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 인트라 예측 블록 생성 장치 |
KR20130049524A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 인트라 예측 블록 생성 방법 |
MX355319B (es) * | 2011-11-08 | 2018-04-16 | Kt Corp | Método y aparato para exploración de coeficientes con base en el modo de división de la unidad de predicción. |
EP4009640A1 (en) | 2011-11-08 | 2022-06-08 | Electronics and Telecommunications Research Institute | Method and device for sharing a candidate list |
JP5900308B2 (ja) * | 2011-12-16 | 2016-04-06 | 株式会社Jvcケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
EP3703371B1 (en) | 2011-12-16 | 2021-08-04 | JVCKENWOOD Corporation | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
JP5561348B2 (ja) * | 2011-12-16 | 2014-07-30 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
KR20150109282A (ko) | 2014-03-19 | 2015-10-01 | 주식회사 케이티 | 다시점 비디오 신호 처리 방법 및 장치 |
WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
US10469864B2 (en) * | 2014-11-27 | 2019-11-05 | Kt Corporation | Method and apparatus for video signal coding using current picture reference flag |
US9306597B1 (en) | 2015-03-30 | 2016-04-05 | Microsoft Technology Licensing, Llc | Data compression |
WO2017220163A1 (en) * | 2016-06-24 | 2017-12-28 | Huawei Technologies Co., Ltd. | Devices and methods for video coding using segmentation based partitioning of video coding blocks |
US11509930B2 (en) | 2016-07-12 | 2022-11-22 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and recording medium therefor |
US11343530B2 (en) * | 2016-11-28 | 2022-05-24 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium having bitstream stored thereon |
US10484703B2 (en) | 2017-02-07 | 2019-11-19 | Mediatek Inc. | Adapting merge candidate positions and numbers according to size and/or shape of prediction block |
US11172203B2 (en) * | 2017-08-08 | 2021-11-09 | Mediatek Inc. | Intra merge prediction |
WO2019050115A1 (ko) * | 2017-09-05 | 2019-03-14 | 엘지전자(주) | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN111279695B (zh) * | 2017-10-26 | 2024-03-29 | 韩国电子通信研究院 | 用于基于非对称子块的图像编码/解码的方法及装置 |
US10469869B1 (en) * | 2018-06-01 | 2019-11-05 | Tencent America LLC | Method and apparatus for video coding |
WO2019234578A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Asymmetric weighted bi-predictive merges |
CN110662056B (zh) | 2018-06-29 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 哪个查找表需要更新或不更新 |
KR20240005239A (ko) | 2018-06-29 | 2024-01-11 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut와 amvp 사이의 상호작용 |
TWI744661B (zh) | 2018-06-29 | 2021-11-01 | 大陸商北京字節跳動網絡技術有限公司 | 要根據模式檢查的查找表中的運動候選的數量 |
CN110662052B (zh) | 2018-06-29 | 2022-07-08 | 北京字节跳动网络技术有限公司 | 更新查找表(lut)的条件 |
CN114885173A (zh) | 2018-06-29 | 2022-08-09 | 抖音视界(北京)有限公司 | Lut中的运动候选的检查顺序 |
CN114845108A (zh) | 2018-06-29 | 2022-08-02 | 抖音视界(北京)有限公司 | 查找表的更新:fifo、约束的fifo |
BR112020024142A2 (pt) | 2018-06-29 | 2021-03-02 | Beijing Bytedance Network Technology Co., Ltd. | método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório |
TWI731358B (zh) | 2018-06-29 | 2021-06-21 | 大陸商北京字節跳動網絡技術有限公司 | 改進的時域運動向量預測推導 |
KR20210025537A (ko) | 2018-06-29 | 2021-03-09 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념 |
CN113163211B (zh) * | 2018-06-30 | 2023-01-03 | Oppo广东移动通信有限公司 | 基于合并模式的帧间预测方法及装置 |
TWI731364B (zh) | 2018-07-02 | 2021-06-21 | 大陸商北京字節跳動網絡技術有限公司 | Hmvp+非相鄰運動 |
US20200014931A1 (en) * | 2018-07-06 | 2020-01-09 | Mediatek Inc. | Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems |
KR20210115053A (ko) * | 2018-07-27 | 2021-09-24 | 삼성전자주식회사 | 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치 |
GB2590310B (en) | 2018-09-12 | 2023-03-22 | Beijing Bytedance Network Tech Co Ltd | Conditions for starting checking HMVP candidates depend on total number minus K |
TWI729497B (zh) * | 2018-09-17 | 2021-06-01 | 聯發科技股份有限公司 | 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置 |
CN117156129A (zh) * | 2018-10-23 | 2023-12-01 | 韦勒斯标准与技术协会公司 | 通过使用基于子块的运动补偿处理视频信号的方法和设备 |
CN111107356B (zh) | 2018-10-27 | 2023-11-10 | 华为技术有限公司 | 图像预测方法及装置 |
KR20240010576A (ko) | 2019-01-10 | 2024-01-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut 업데이트의 호출 |
WO2020143824A1 (en) | 2019-01-13 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and shared merge list |
WO2020147773A1 (en) | 2019-01-16 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Inserting order of motion candidates in lut |
CN111698506B (zh) * | 2019-03-11 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 运动信息候选者列表构建方法、三角预测解码方法及装置 |
EP4246977A3 (en) * | 2019-03-12 | 2023-12-27 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding for geometric inter partition prediction |
CN113615193A (zh) | 2019-03-22 | 2021-11-05 | 北京字节跳动网络技术有限公司 | Merge列表构建和其他工具之间的交互 |
US20220385940A1 (en) * | 2019-10-06 | 2022-12-01 | Hyundai Motor Company | Method and apparatus for encoding and decoding video using inter-prediction |
JP7276099B2 (ja) | 2019-11-26 | 2023-05-18 | 株式会社鶴見製作所 | 無閉塞ポンプ |
CN113840148A (zh) * | 2020-06-24 | 2021-12-24 | Oppo广东移动通信有限公司 | 帧间预测方法、编码器、解码器以及计算机存储介质 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69709835T2 (de) * | 1996-05-28 | 2002-08-22 | Matsushita Electric Ind Co Ltd | Vorrichtung zur bildvorhersage und decodierung |
SG89282A1 (en) * | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
JP3662171B2 (ja) * | 2000-06-05 | 2005-06-22 | 三菱電機株式会社 | 符号化装置及び符号化方法 |
JP4810052B2 (ja) * | 2000-06-15 | 2011-11-09 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 乗員センサ |
DE60206738D1 (de) * | 2002-06-11 | 2005-11-24 | St Microelectronics Srl | Videokodierungsverfahren und -Vorrichtung mit variabler Bitrate |
JP4216796B2 (ja) | 2004-12-15 | 2009-01-28 | 日本電信電話株式会社 | 動きベクトル探索方法,動きベクトル探索装置,動きベクトル探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20070025441A1 (en) * | 2005-07-28 | 2007-02-01 | Nokia Corporation | Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding |
JP5017825B2 (ja) * | 2005-09-15 | 2012-09-05 | ソニー株式会社 | 復号装置および復号方法 |
JP2009510558A (ja) * | 2005-09-26 | 2009-03-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 物体又は人物の動きを追跡する方法及び装置 |
US7843995B2 (en) * | 2005-12-19 | 2010-11-30 | Seiko Epson Corporation | Temporal and spatial analysis of a video macroblock |
JPWO2007136088A1 (ja) * | 2006-05-24 | 2009-10-01 | パナソニック株式会社 | 画像符号化装置、画像符号化方法、及び画像符号化用集積回路 |
US20070274385A1 (en) * | 2006-05-26 | 2007-11-29 | Zhongli He | Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame |
TWI330341B (en) * | 2007-03-05 | 2010-09-11 | Univ Nat Chiao Tung | Video surveillance system hiding and video encoding method based on data |
CN100493198C (zh) * | 2007-05-31 | 2009-05-27 | 北京中星微电子有限公司 | 算术编码中的概率模型存储方法 |
US8331438B2 (en) * | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
US20090016631A1 (en) * | 2007-07-10 | 2009-01-15 | Texas Instruments Incorporated | Video Coding Rate Control |
TWI392372B (zh) * | 2007-09-12 | 2013-04-01 | Sony Corp | Image processing apparatus and image processing method |
CN101389031A (zh) * | 2007-09-14 | 2009-03-18 | 浙江大学 | 一种对变换系数的处理方法及装置 |
US8542730B2 (en) * | 2008-02-22 | 2013-09-24 | Qualcomm, Incorporated | Fast macroblock delta QP decision |
US8897359B2 (en) * | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
CN101779467B (zh) * | 2008-06-27 | 2012-06-27 | 索尼公司 | 图像处理装置和图像处理方法 |
KR20110008653A (ko) * | 2009-07-20 | 2011-01-27 | 삼성전자주식회사 | 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법 |
US8588297B2 (en) * | 2009-12-23 | 2013-11-19 | Oracle America, Inc. | Quantization parameter prediction |
KR101768207B1 (ko) * | 2010-01-19 | 2017-08-16 | 삼성전자주식회사 | 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
WO2011096770A2 (ko) * | 2010-02-02 | 2011-08-11 | (주)휴맥스 | 영상 부호화/복호화 장치 및 방법 |
JP2011160359A (ja) * | 2010-02-03 | 2011-08-18 | Sharp Corp | ブロックノイズ量予測装置、ブロックノイズ量予測方法、画像処理装置、プログラム、及び、記録媒体 |
US8929440B2 (en) * | 2010-04-09 | 2015-01-06 | Sony Corporation | QP adaptive coefficients scanning and application |
WO2011127963A1 (en) * | 2010-04-13 | 2011-10-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sample region merging |
HUE034476T2 (en) * | 2010-04-23 | 2018-02-28 | M&K Holdings Inc | Equipment for image coding |
CN101917615A (zh) * | 2010-06-03 | 2010-12-15 | 北京邮电大学 | 一种混合视频编码框架中的增强型双向运动矢量预测方法 |
CN101888550A (zh) * | 2010-06-28 | 2010-11-17 | 中兴通讯股份有限公司 | 一种slice头信息中量化参数编码方法和装置 |
US9137544B2 (en) * | 2010-11-29 | 2015-09-15 | Mediatek Inc. | Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes |
CN102137258B (zh) * | 2011-03-22 | 2013-04-24 | 宁波大学 | 一种立体视频码率控制方法 |
US9247266B2 (en) * | 2011-04-18 | 2016-01-26 | Texas Instruments Incorporated | Temporal motion data candidate derivation in video coding |
CN102186079A (zh) | 2011-05-11 | 2011-09-14 | 北京航空航天大学 | 一种基于运动向量的h.264基本档次帧内模式选择方法 |
US9313494B2 (en) * | 2011-06-20 | 2016-04-12 | Qualcomm Incorporated | Parallelization friendly merge candidates for video coding |
KR20130049525A (ko) | 2011-11-04 | 2013-05-14 | 오수미 | 잔차 블록 복원을 위한 역변환 방법 |
KR20130049523A (ko) | 2011-11-04 | 2013-05-14 | 오수미 | 인트라 예측 블록 생성 장치 |
KR20130049524A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 인트라 예측 블록 생성 방법 |
KR20130049526A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 복원 블록 생성 방법 |
KR20130050404A (ko) * | 2011-11-07 | 2013-05-16 | 오수미 | 인터 모드에서의 복원 블록 생성 방법 |
US8964845B2 (en) * | 2011-12-28 | 2015-02-24 | Microsoft Corporation | Merge mode for motion information prediction |
-
2011
- 2011-11-07 KR KR1020110115220A patent/KR20130050407A/ko not_active Application Discontinuation
-
2012
- 2012-11-07 PT PT181937061T patent/PT3448034T/pt unknown
- 2012-11-07 JP JP2014539243A patent/JP5837992B2/ja active Active
- 2012-11-07 PL PL18193706.1T patent/PL3448034T3/pl unknown
- 2012-11-07 TW TW101141400A patent/TWI542197B/zh active
- 2012-11-07 TW TW105116716A patent/TWI587688B/zh active
- 2012-11-07 US US14/350,015 patent/US9288493B2/en active Active
- 2012-11-07 KR KR1020147010016A patent/KR20140076584A/ko not_active Application Discontinuation
- 2012-11-07 ES ES18193706T patent/ES2947709T3/es active Active
- 2012-11-07 EP EP18193714.5A patent/EP3432580A1/en active Pending
- 2012-11-07 IN IN3910CHN2014 patent/IN2014CN03910A/en unknown
- 2012-11-07 ES ES12847552T patent/ES2705998T3/es active Active
- 2012-11-07 DK DK12847552.2T patent/DK2752005T3/en active
- 2012-11-07 CN CN201210441592.1A patent/CN103096071B/zh active Active
- 2012-11-07 CN CN201810166637.6A patent/CN108235009B/zh active Active
- 2012-11-07 TW TW105116715A patent/TWI581612B/zh active
- 2012-11-07 KR KR1020147010003A patent/KR101472973B1/ko active IP Right Review Request
- 2012-11-07 WO PCT/CN2012/084242 patent/WO2013067939A1/en active Application Filing
- 2012-11-07 SI SI201231472T patent/SI2752005T1/sl unknown
- 2012-11-07 CN CN201810168179.XA patent/CN108777789B/zh active Active
- 2012-11-07 EP EP12847552.2A patent/EP2752005B1/en active Active
- 2012-11-07 RS RS20181502A patent/RS58195B1/sr unknown
- 2012-11-07 ES ES18193701T patent/ES2807778T3/es active Active
- 2012-11-07 HU HUE18193706A patent/HUE062569T2/hu unknown
- 2012-11-07 CN CN201810166397.XA patent/CN108282652B/zh active Active
- 2012-11-07 PL PL12847552T patent/PL2752005T3/pl unknown
- 2012-11-07 TW TW105116740A patent/TWI568244B/zh active
- 2012-11-07 PT PT12847552T patent/PT2752005T/pt unknown
- 2012-11-07 LT LTEP12847552.2T patent/LT2752005T/lt unknown
- 2012-11-07 HU HUE12847552A patent/HUE042219T2/hu unknown
- 2012-11-07 EP EP18193640.2A patent/EP3432579A1/en active Pending
- 2012-11-07 TW TW106113996A patent/TWI625053B/zh active
- 2012-11-07 EP EP18193701.2A patent/EP3448033B1/en active Active
- 2012-11-07 CN CN201810168133.8A patent/CN108282658B/zh active Active
- 2012-11-07 EP EP18193706.1A patent/EP3448034B1/en active Active
- 2012-11-07 KR KR1020147010015A patent/KR20140057667A/ko not_active Application Discontinuation
- 2012-11-07 PL PL18193701T patent/PL3448033T3/pl unknown
- 2012-11-07 CN CN201810168204.4A patent/CN108282660B/zh active Active
- 2012-11-07 DK DK18193706.1T patent/DK3448034T3/da active
- 2012-11-07 HU HUE18193701A patent/HUE049603T2/hu unknown
- 2012-11-07 TW TW105116718A patent/TWI571110B/zh active
-
2015
- 2015-11-06 JP JP2015218216A patent/JP6114362B2/ja active Active
-
2016
- 2016-02-22 US US15/050,266 patent/US9912949B2/en active Active
- 2016-02-22 US US15/050,259 patent/US9615097B2/en not_active Expired - Fee Related
- 2016-02-22 US US15/049,965 patent/US9521414B2/en active Active
- 2016-02-22 US US15/050,257 patent/US9516319B2/en active Active
-
2017
- 2017-03-16 JP JP2017051736A patent/JP6505763B2/ja active Active
-
2018
- 2018-03-05 US US15/912,050 patent/US10116939B2/en active Active
- 2018-10-15 US US16/160,672 patent/US10356409B2/en active Active
- 2018-12-11 CY CY181101325T patent/CY1121058T1/el unknown
- 2018-12-28 HR HRP20182189TT patent/HRP20182189T1/hr unknown
-
2019
- 2019-03-27 JP JP2019060553A patent/JP6680925B2/ja active Active
- 2019-07-10 US US16/507,996 patent/US10931949B2/en active Active
-
2020
- 2020-03-19 JP JP2020048612A patent/JP6995910B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020067679A1 (ko) * | 2018-09-29 | 2020-04-02 | 엘지전자 주식회사 | 머지 후보 리스트를 구성하는 방법 및 장치 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6680925B2 (ja) | マージモードにおける映像復号化方法 | |
KR101496961B1 (ko) | 머지 리스트 구축 방법 | |
JP6711944B2 (ja) | Amvpモードにおいて画像を符号化する装置 | |
KR101484057B1 (ko) | 영상 복호화 장치 | |
KR20140076581A (ko) | 영상 복호화 장치 | |
KR20140077919A (ko) | 머지 모드에서의 영상 복호화 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |