KR20240027646A - 움직임 예측 정보를 유도하는 방법 및 장치 - Google Patents

움직임 예측 정보를 유도하는 방법 및 장치 Download PDF

Info

Publication number
KR20240027646A
KR20240027646A KR1020240022832A KR20240022832A KR20240027646A KR 20240027646 A KR20240027646 A KR 20240027646A KR 1020240022832 A KR1020240022832 A KR 1020240022832A KR 20240022832 A KR20240022832 A KR 20240022832A KR 20240027646 A KR20240027646 A KR 20240027646A
Authority
KR
South Korea
Prior art keywords
block
candidate
merge
motion information
list
Prior art date
Application number
KR1020240022832A
Other languages
English (en)
Inventor
김연희
석진욱
기명석
임성창
김휘용
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220068060A external-priority patent/KR20220082791A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20240027646A publication Critical patent/KR20240027646A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 예측 정보를 유도하고, 유도된 움직임 예측 정보를 사용하여 동영상에 대한 부호화 및/또는 복호화를 수행하는 방법 및 장치가 개시된다. 부호화 장치 및 복호화 장치는 대상 블록의 인터 예측을 위한 리스트를 생성한다. 리스트의 생성에 있어서, 후보 블록의 움직임 정보가 리스트로 추가될지 여부는 대상 블록에 대한 정보 및 움직임 정보에 기반하여 결정된다. 움직임 정보가 움직임 예측 경계 검사를 통과하는 경우, 움직임 정보는 리스트에 추가된다. 움직임 예측 경계 검사를 통해, 대상 블록의 예측에 대해 유용한 움직임 정보가 선택적으로 리스트에 추가된다.

Description

움직임 예측 정보를 유도하는 방법 및 장치{METHOD AND APPARATUS FOR DERIVATION OF MOTION PREDICTION INFORMATION}
아래의 실시예들은 비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치에 관한 것으로서, 보다 상세하게는 움직임 예측 정보를 유도하고, 유도된 움직임 예측 정보를 사용하여 동영상에 대한 부호화 및/또는 복호화를 수행하는 방법 및 장치에 관한 것이다.
정보 통신 산업의 지속적인 발달을 통해 HD(High Definition) 해상도를 가지는 방송 서비스가 세계적으로 확산되었다. 이러한 확산을 통해, 많은 사용자들이 고해상도이며 고화질인 영상(image) 및/또는 비디오(video)에 익숙해지게 되었다.
높은 화질에 대한 사용자들의 수요를 만족시키기 위하여, 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다. 에이치디티브이(High Definition TV; HDTV) 및 풀에이치디(Full HD; FHD) TV뿐만 아니라, FHD TV에 비해 4배 이상의 해상도를 갖는 울트라에이치디(Ultra High Definition; UHD) TV에 대한 사용자들의 관심이 증대하였고, 이러한 관심의 증대에 따라, 더 높은 해상도 및 화질을 갖는 영상에 대한 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.
영상 부호화(encoding)/복호화(decoding) 장치 및 방법은 고해상도 및 고화질의 영상에 대한 부호화/복호화를 수행하기 위해, 인터(inter) 예측(prediction) 기술, 인트라(intra) 예측 기술 및 엔트로피 부호화 기술 등을 사용할 수 있다. 인터 예측 기술은 시간적으로(temporally) 이전의 픽쳐 및/또는 시간적으로 이후의 픽쳐를 이용하여 현재 픽쳐에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 인트라 예측 기술은 현재 픽쳐 내의 픽셀의 정보를 이용하여 현재 픽쳐에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 엔트로피 부호화 기술은 출현 빈도가 높은 심볼에는 짧은 코드(code)를 할당하고, 출현 빈도가 낮은 심볼에는 긴 코드를 할당하는 기술일 수 있다.
영상의 부호화 및 복호화에 있어서, 예측은 원본 신호와 유사한 예측 신호를 생성하는 것을 의미할 수 있다. 예측은 크게 공간적(spatial) 복원(reconstructed) 영상을 참조하는 예측, 시간적(temporal) 복원 영상을 참조하는 예측 및 그 밖의 심볼에 대한 예측으로 분류될 수 있다. 말하자면, 시간적 참조는 시간적 복원 영상을 참조하는 것을 의미할 수 있고, 공간적 참조는 공간적 복원 영상을 참조하는 것을 의미할 수 있다.
인터(inter) 예측은 시간적 참조 및 공간적 참조를 사용하여 대상 블록을 예측하는 기술일 수 있다. 인트라(intra) 예측은 공간적 참조만을 사용하여 대상 블록을 예측하는 기술일 수 있다.
비디오를 구성하는 픽쳐들을 부호화함에 있어서, 픽쳐는 복수의 부분(part)들로 분할될 수 있고, 복수의 부분들이 부호화될 수 있다. 이 때, 복호화 장치가 분할된 픽쳐의 복호화를 수행하기 위해서는 픽쳐의 분할(partition)에 관련된 정보가 요구될 수 있다.
부호화 처리 속도의 향상을 위해 픽쳐는 병렬 부호화 방법을 통해 병렬로 부호화될 수 있다. 또한, 복호화 처리 속도의 향상을 위해 픽쳐는 병렬 복호화 방법을 통해 병렬로 복호화될 수 있다.
병렬 부호화 방법은 픽쳐 분할 부호화 방법을 포함한다. 픽쳐 분할 부호화 방법으로서, 슬라이스(slice) 기반 픽쳐 분할 부호화 방법 및 타일(tile) 기반 픽쳐 부호화 방법이 제공된다.
종래의 픽쳐 분할 부호화 방법은 인트라 예측을 사용하는 부호화에 있어서는 분할된 픽쳐의 조각들 간의 참조를 허용하지 않는다. 반면, 종래의 픽쳐 분할 부호화 방법은 인터 예측을 사용하는 부호화에 있어서는 분할된 픽쳐의 조각들 간의 참조를 허용한다.
그러므로, 종래의 픽쳐 분할 부호화 방법을 이용하여 픽쳐 분할 단위로 병렬 부호화를 수행하고자 할 경우, 매 픽쳐에 대하여 동기화가 이루어져야 한다. 매 픽쳐에 대하여 동기화가 요구될 경우의 부호화 장치의 병렬 처리 효율은 상기의 동기화가 요구되지 않을 경우의 부호화 장치의 병렬 처리 효율보다 낮을 수 밖에 없다.
일 실시예는 세그먼트들로 분할된 픽쳐를 부호화 또는 복호화할 때, 세그먼트 간(inter-segment) 참조를 방지하는 방법 및 장치를 제공할 수 있다.
일 실시예는 세그먼트 간 참조를 방지함에 따라 세그먼트들에 대한 병렬 부호화 또는 병렬 복호화를 수행하는 방법 및 장치를 제공할 수 있다.
일 실시예는 한 세그먼트 내의 대상 블록에 대한 인터 예측을 수행함에 있어서, 다른 세그먼트를 참조하지 않는 부호화 또는 복호화를 수행하는 방법 및 장치를 제공할 수 있다.
일 실시예는 한 세그먼트 내의 대상 블록에 대한 인터 예측을 수행함에 있어서, 다른 세그먼트를 참조하지 않도록 움직임 정보의 리스트를 생성하는 방법 및 장치를 제공할 수 있다.
일 실시예는 인터 예측을 사용하는 부호화를 수행할 때, 인터 예측에 상응하는 영역으로의 참조만을 허용하는 방법 및 장치를 제공할 수 있다.
일 실시예는 대상 블록이 영역의 경계를 벗어나는 참조를 하게 하는 움직임 정보를 리스트에 포함시키지 않는 방법 및 장치를 제공할 수 있다.
일 측에 있어서, 대상 블록의 인터 예측을 위한 리스트를 생성하는 방법에 있어서, 후보 블록의 움직임 정보가 리스트로 추가될지 여부를 결정하는 단계; 및 상기 움직임 정보가 상기 리스트로 추가되도록 결정된 경우, 상기 움직임 정보를 상기 리스트에 추가하는 단계를 포함하고, 상기 움직임 정보가 상기 리스트에 추가될지 여부는 상기 대상 블록에 대한 정보 및 상기 움직임 정보에 기반하여 결정되는 리스트 생성 방법이 제공된다.
상기 대상 블록에 대한 정보는 상기 대상 블록의 위치일 수 있다.
상기 움직임 정보가 상기 리스트에 추가될지 여부는 상기 움직임 정보의 움직임 벡터에 기반하여 결정될 수 있다.
상기 움직임 정보가 상기 리스트에 추가될지 여부는 상기 대상 블록에 적용된 상기 움직임 정보의 움직임 벡터가 가리키는 위치에 기반하여 결정될 수 있다.
상기 움직임 벡터가 가리키는 위치는 상기 대상 블록이 참조하는 참조 픽쳐 내의 위치일 수 있다.
상기 위치가 영역 내에 있으면 상기 움직임 정보가 상기 리스트에 추가되고, 상기 위치가 상기 영역을 벗어나면 상기 움직임 정보는 상기 리스트에 추가되지 않을 수 있다.
상기 영역은 상기 대상 블록을 포함하는 슬라이스의 영역, 상기 대상 블록을 포함하는 타일의 영역 또는 상기 대상 블록을 포함하는 움직임 제한 타일 집합(motion-constrained tile set)의 영역일 수 있다.
상기 위치가 경계를 벗어나지 않으면 상기 움직임 정보가 상기 리스트에 추가될 수 있고, 상기 위치가 상기 경계를 벗어나면 상기 움직임 정보는 상기 리스트에 추가되지 않을 수 있다.
상기 경계는 픽쳐의 경계를 포함할 수 있다.
상기 경계는 슬라이스들 간의 경계, 타일들 간의 경계 또는 움직임 제한 타일 집합들 간의 경계를 포함할 수 있다.
상기 대상 블록의 인트라 예측 모드는 머지 모드 또는 스킵 모드일 수 있다.
상기 리스트는 머지 리스트일 수 있다.
상기 대상 블록의 인트라 예측 모드는 향상된 움직임 벡터 예측자(Advanced Motion Vector Predictor; AMVP) 모드일 수 있다.
상기 리스트는 예측 움직임 벡터 후보 리스트일 수 있다.
상기 후보 블록은 복수의 공간적 후보들 및 시간적 후보를 포함할 수 있다.
상기 후보 블록이 가용하고, 상기 후보 블록의 움직임 정보가 상기 리스트 내에 존재하는 다른 움직임 정보와 중복되지 않으면, 상기 후보 블록의 움직임 정보는 상기 리스트에 추가될 수 있다.
상기 후보 블록이 첫 번째의 가용한 후보 블록이라도 상기 대상 블록에 대한 정보 및 상기 움직임 정보가 특정된 조건을 충족할 경우 상기 후보 블록의 움직임 정보는 상기 리스트에 추가되지 않을 수 있다.
다른 일 측에 있어서, 대상 블록의 인터 예측을 위한 리스트를 생성하는 장치에 있어서, 상기 대상 블록에 대한 정보 및 후보 블록의 움직임 정보에 기반하여 상기 움직임 정보를 상기 리스트에 추가할지 여부를 결정하는 처리부; 및 상기 리스트를 저장하는 저장부를 포함하는 리스트 생성 장치가 제공된다.
다른 일 측에 있어서, 대상 블록의 인터 예측에 대한 후보 블록의 가용성을 설정하는 방법에 있어서, 상기 후보 블록이 가용한지 여부에 대한 판단을 수행하는 단계; 및 상기 판단의 결과에 따라 상기 후보 블록의 상기 가용성을 설정하는 단계를 포함하고, 상기 가용성은 대상 블록의 정보 및 상기 후보 블록을 포함하는 객체의 움직임 정보에 기반하여 결정되는 후보 블록의 가용성을 설정하는 방법이 제공된다.
상기 객체는 예측 유닛(Prediction Unit; PU)일 수 있다.
상기 후보 블록이 가용한지 여부는 상기 움직임 정보의 움직임 벡터에 기반하여 결정될 수 있다.
상기 후보 블록이 가용한지 여부는 상기 대상 블록에 적용된 상기 움직임 정보의 움직임 벡터가 가리키는 위치에 기반하여 결정될 수 있다.
상기 위치가 영역 내에 있으면 상기 후보 블록이 가용한 것으로 설정될 수 있고, 상기 위치가 상기 영역을 벗어나면 상기 후보 블록이 가용하지 않은 것으로 설정될 수 있다.
세그먼트들로 분할된 픽쳐를 부호화 또는 복호화할 때, 세그먼트 간 참조를 방지하는 방법 및 장치가 제공된다.
세그먼트 간 참조를 방지함에 따라 세그먼트들에 대한 병렬 부호화 또는 병렬 복호화를 수행하는 방법 및 장치 가 제공된다.
한 세그먼트 내의 대상 블록에 대한 인터 예측을 수행함에 있어서, 다른 세그먼트를 참조하지 않는 부호화 또는 복호화를 수행하는 방법 및 장치 가 제공된다.
한 세그먼트 내의 대상 블록에 대한 인터 예측을 수행함에 있어서, 다른 세그먼트를 참조하지 않도록 움직임 정보의 리스트를 생성하는 방법 및 장치 가 제공된다.
인터 예측을 사용하는 부호화를 수행할 때, 인터 예측에 상응하는 영역으로의 참조만을 허용하는 방법 및 장치가 제공된다.
대상 블록이 영역의 경계를 벗어나는 참조를 하게 하는 움직임 정보를 리스트에 포함시키지 않는 방법 및 장치가 제공된다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 7은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 9은 일 예에 따른 공간적 후보들을 나타낸다.
도 10은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 11은 일 예에 따른 타일을 사용하는 픽쳐의 분할을 나타낸다.
도 12는 일 예에 따른 슬라이스를 사용하는 픽쳐의 분할을 나타낸다.
도 13은 일 예에 따른 시공간적으로(temporal-spatial) 분할된 픽쳐에 대한 분산 부호화를 나타낸다.
도 14는 일 예에 따른 움직임 제한 타일 집합((Motion-Constrained Tile Set; MCTS)에 대한 처리를 나타낸다.
도 15는 일 예에 따른 슬라이스의 경계에 인접한 PU를 나타낸다.
도 16은 일 예에 따른 머지 리스트를 나타낸다.
도 17은 일 실시예에 따른 인터 예측 방법의 흐름도이다.
도 18은 일 실시예에 따른 대상 블록의 인터 예측을 위한 머지 리스트를 생성하는 방법의 흐름도이다.
도 19는 일 실시예에 따른 대상 블록의 인터 예측을 위한 예측 움직임 벡터 후보 리스트를 생성하는 방법의 흐름도이다.
도 20은 일 실시예에 따른 대상 블록의 인터 예측에 대한 후보 블록의 가용성을 판단하는 방법의 흐름도이다.
도 21은 일 예에 따른 움직임 예측 경계 검사가 적용된 머지 리스트를 나타낸다.
도 22는 일 실시예에 따른 부호화 장치를 구현하는 전자 장치의 구조도이다.
도 23은 일 실시예에 따른 복호화 장치를 구현하는 전자 장치의 구조도이다.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 또한, 예시적 실시예들에서 특정 구성을 "포함"한다고 기술하는 내용은 상기의 특정 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
각 구성요소는 설명의 편의상 각각의 구성요소로 나열된 것이다. 예를 들면, 구성요소들 중 적어도 두 개의 구성요소들이 하나의 구성요소로 합쳐질 수 있다. 또한, 하나의 구성요소가 복수의 구성요소들로 나뉠 수 있다. 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예 또한 본질에서 벗어나지 않는 한 권리범위에 포함된다.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시예들을 상세히 설명하기로 한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서, 영상은 비디오(video)을 구성하는 하나의 픽쳐(picture)를 의미할 수 있으며, 비디오 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "비디오의 부호화 및/또는 복호화"를 의미할 수 있으며, "비디오를 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, "비디오(video)" 및 "동영상(motion picture)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다.
이하에서, "영상", "픽쳐", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 블록은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 말하자면, "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또는 "블록"은 특정한 유닛을 나타낼 수 있다.
이하에서, "영역(region)" 및 "세그먼트(segment)"는 서로 대체되어 사용될 수 있다.
이하에서, 특정한 신호는 특정한 블록을 나타내는 신호일 수 있다. 예를 들면, 원(original) 신호는 대상 블록을 나타내는 신호일 수 있다. 예측(prediction) 신호는 예측 블록을 나타내는 신호일 수 있다. 잔차(residual) 신호는 잔차 블록을 나타내는 신호일 수 있다.
실시예들에서, 특정된 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 각각은 값을 가질 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "0"은 논리 거짓(logical false) 또는 제1 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "0", 거짓, 논리 거짓 및 제1 기정의된 값은 서로 대체되어 사용될 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "1"은 논리 참(logical true) 또는 제2 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "1", 참, 논리 참 및 제2 기정의된 값은 서로 대체되어 사용될 수 있다.
행, 열 또는 인덱스(index)를 나타내기 위해 i 또는 j 등의 변수가 사용될 때, i의 값은 0 이상의 정수일 수 있으며, 1 이상의 정수일 수도 있다. 말하자면, 실시예들에서 행, 열 및 인덱스 등은 0에서부터 카운트될 수 있으며, 1에서부터 카운트될 수 있다.
아래에서는, 실시예들에서 사용되는 용어가 설명된다.
유닛(unit): "유닛"은 영상의 부호화 및 복호화의 단위를 나타낼 수 있다. 유닛 및 블록(block)의 의미들은 동일할 수 있다. 또한, 용어 "유닛" 및 "블록"은 서로 교체되어 사용될 수 있다.
- 유닛은 샘플의 MxN 배열일 수 있다. M 및 N은 각각 양의 정수일 수 있다. 유닛은 흔히 2차원의 샘플의 배열을 의미할 수 있다. 샘플은 픽셀 또는 픽셀 값일 수 있다.
- 용어 "픽셀" 및 "샘플"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
- 영상의 부호화 및 복호화에 있어서, 유닛은 하나의 영상의 분할에 의해 생성된 영역일 수 있다. 하나의 영상은 복수의 유닛들로 분할될 수 있다. 영상의 부호화 및 복호화에 있어서, 유닛의 종류에 따라서 유닛에 대한 기정의된 처리가 수행될 수 있다. 기능에 따라서, 유닛의 타입은 매크로 유닛(Macro Unit), 코딩 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU) 및 변환 유닛(transform Unit; TU) 등으로 분류될 수 있다. 하나의 유닛은 유닛에 비해 더 작은 크기를 갖는 하위 유닛으로 더 분할될 수 있다.
- 유닛 분할 정보는 유닛의 깊이(depth)에 관한 정보를 포함할 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.
- 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보(depth)를 가지면서 계층적으로 복수의 하위 유닛들로 분할될 수 있다. 말하자면, 유닛 및 상기의 유닛의 분할에 의해 생성된 하위 유닛은 노드 및 상기의 노드의 자식 노드에 각각 대응할 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 유닛의 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 하위 유닛의 분할 정보는 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
- 트리 구조에서, 가장 상위 노드는 분할되지 않은 최초의 유닛에 대응할 수 있다. 가장 상위 노드는 루트 노드(root node)로 칭해질 수 있다. 또한, 가장 상위 노드는 최소의 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있다.
- 레벨 1의 깊이를 갖는 노드는 최초의 유닛이 한 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다. 레벨 2의 깊이를 갖는 노드는 최초의 유닛이 두 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.
- 레벨 n의 깊이를 갖는 노드는 최초의 유닛이 n번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.
- 리프 노드는 가장 하위의 노드일 수 있으며, 더 분할될 수 없는 노드일 수 있다. 리프 노드의 깊이는 최대 레벨일 수 있다. 예를 들면, 최대 레벨의 기정의된 값은 3일 수 있다.
변환 유닛(Transform Unit): 변환 유닛은 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화, 및 변환 계수 복호화 등과 같은 잔차 신호(residual signal) 부호화 및/또는 잔여 신호 복호화에 있어서의 기본 유닛일 수 있다. 하나의 변환 유닛은 더 작은 크기를 갖는 다수의 변환 유닛들 분할될 수 있다.
예측 유닛(Prediction Unit) : 예측 유닛은 예측 또는 보상(compensation)의 수행에 있어서의 기본 단위일 수 있다. 예측 유닛은 분할에 의해 다수의 파티션(partition)들이 될 수 있다. 다수의 파티션들 또한 예측 또는 보상의 수행에 있어서의 기본 단위일 수 있다. 예측 유닛의 분할에 의해 생성된 파티션 또한 예측 유닛일 수 있다.
복원된 이웃 유닛(Reconstructed Neighbor Unit) : 복원된 이웃 유닛은 대상 유닛의 주변에 이미 복호화되어 복원된 유닛일 수 있다. 복원된 이웃 유닛은 대상 유닛에 대한 공간적(spatial) 인접 유닛 또는 시간적(temporal) 인접 유닛일 수 있다.
예측 유닛 파티션 : 예측 유닛 파티션은 예측 유닛이 분할된 형태를 의미할 수 있다.
파라미터 세트(Parameter Set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다. 예를 들면, 파라미터 세트는 시퀀스 파라미터 세트(sequence parameter set), 픽쳐 파라미터 세트(picture parameter set) 및 적응 파라미터 세트(adaptation parameter set) 등을 포함할 수 있다.
율-왜곡 최적화(rate-distortion optimization): 부호화 장치는 코딩 유닛의 크기, 예측 모드, 예측 유닛의 크기, 움직임 정보 및, 변환 유닛의 크기 등의 조합을 이용해서 높은 부호화 효율을 제공하기 위해 율-왜곡 최적화를 사용할 수 있다.
- 율-왜곡 최적화 방식은 상기의 조합들 중에서 최적의 조합을 선택하기 위해 각 조합의 율-왜곡 비용(rate-distortion cost)을 계산할 수 있다. 율-왜곡 비용은 아래의 수식 1을 이용하여 계산될 수 있다. 일반적으로 상기 율-왜곡 비용이 최소가 되는 조합이 율-왜곡 최적화 방식에 있어서의 최적의 조합으로 선택될 수 있다.
[수식 1]
D는 왜곡을 나타낼 수 있다. D는 변환 유닛 내에서 원래의 변환 계수들 및 복원된 변환 계수들 간의 차이 값들의 제곱들의 평균(mean square error)일 수 있다.
R은 율을 나타낼 수 있다. R은 관련된 문맥 정보를 이용한 비트 율을 나타낼 수 있다.
λ는 라그랑지안 승수(Lagrangian multiplier)를 나타낼 수 있다. R은 예측 모드, 움직임 정보 및 부호화 블록 플래그(coded block flag) 등과 같은 부호화 파라미터 정보뿐만 아니라, 변환 계수의 부호화에 의해 발생하는 비트도 포함할 수 있다.
부호화 장치는 정확한 D 및 R을 계산하기 위해 인터 예측 및/또는 인트라 예측, 변환, 양자화, 엔트로피 부호화, 역양자화, 역변환 등의 과정들을 수행할 수 있다. 이러한 과정들은 부호화 장치에서의 복잡도를 크게 증가시킬 수 있다.
참조 픽쳐(reference picture) : 참조 픽쳐는 인터 예측 또는 움직임 보상에 사용되는 영상일 수 있다. 참조 픽쳐는 인터 예측 또는 움직임 보상을 위해 대상 유닛이 참조하는 참조 유닛을 포함하는 픽쳐일 수 있다.
참조 픽쳐 리스트(reference picture list) : 참조 픽쳐 리스트는 인터 예측 또는 움직임 보상에 사용되는 참조 픽쳐들을 포함하는 리스트일 수 있다. 참조 픽쳐 리스트의 종류는 리스트 조합(List Combined; LC), 리스트 0(List 0; L0) 및 리스트 1(List 1; L1) 등이 있을 수 있다.
움직임 벡터(Motion Vector; MV) : 움직임 벡터는 인터 예측에서 사용되는 2차원의 벡터일 수 있다. 예를 들면, MV는 (mvx, mvy)와 같은 형태로 표현될 수 있다. mvx는 수평(horizontal) 성분을 나타낼 수 있고, mvy 는 수직(vertical) 성분을 나타낼 수 있다.
- MV는 대상 픽쳐 및 참조 픽쳐 간의 오프셋(offset)을 나타낼 수 있다.
탐색 영역(search range) : 탐색 영역은 인터 예측 중 MV에 대한 탐색이 이루어지는 2차원의 영역일 수 있다. 예를 들면, 탐색 영역의 크기는 MxN일 수 있다. M 및 N은 각각 양의 정수일 수 있다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
부호화 장치(100)는 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 비디오의 하나 이상의 영상들을 시간에 따라 순차적으로 부호화할 수 있다.
도 1을 참조하면, 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 복호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함할 수 있다.
부호화 장치(100)는 인트라 모드 및 인터 모드를 사용하여 대상 영상에 대한 부호화를 수행할 수 있다.
또한, 부호화 장치(100)는 대상 영상에 대한 부호화를 통해 부호화의 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다.
인트라 모드가 사용되는 경우, 스위치(115)는 인트라로 전환될 수 있다. 인터 모드가 사용되는 경우, 스위치(115)는 인터로 전환될 수 있다.
부호화 장치(100)는 대상 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 대상 블록 및 예측 블록의 차분(residual)을 부호화할 수 있다.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 대상 블록의 주변에 있는, 이미 부호화된 블록의 픽셀을 참조 픽셀로서 이용할 수 있다. 인트라 예측부(120)는 참조 픽셀을 이용하여 대상 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 대상 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 예측부(110)는 움직임 예측부 및 움직임 보상부를 포함할 수 있다.
예측 모드가 인터 모드인 경우, 움직임 예측부는, 움직임 예측 과정에서 참조 영상으로부터 대상 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 대상 블록 및 검색된 영역에 대한 움직임 벡터를 도출할 수 있다. 참조 영상은 참조 픽쳐 버퍼(190)에 저장될 수 있으며, 참조 영상에 대한 부호화 및/또는 복호화가 처리되었을 때 참조 픽쳐 버퍼(190)에 저장될 수 있다.
움직임 보상부는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 여기에서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터일 수 있다. 또한 움직임 벡터는 대상 영상 및 참조 영상 간의 오프셋(offset)을 나타낼 수 있다.
감산기(125)는 대상 블록 및 예측 블록의 차분인 잔차 블록(residual block)을 생성할 수 있다.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수를 생성할 수 있고, 생성된 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.
변환 계수에 양자화를 적용함으로써 양자화된 변환 계수 레벨(transform coefficient level)이 생성될 수 있다. 이하, 실시예들에서는 양자화된 변환 계수 레벨도 변환 계수로 칭해질 수 있다.
양자화부(140)는 변환 계수를 양자화 파라미터에 맞춰 양자화함으로써 양자화된 변환 계수 레벨(quantized transform coefficient level)을 생성할 수 있다. 양자화부(140)는 생성된 양자화된 변환 계수 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.
엔트로피 복호화부(150)는, 양자화부(140)에서 산출된 값들 및/또는 부호화 과정에서 산출된 부호화 파라미터 값들 등에 기초하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있다. 엔트로피 복호화부(150)는 생성된 비트스트림을 출력할 수 있다.
엔트로피 복호화부(150)는 영상의 픽셀의 정보 외에 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 신택스 엘리먼트(syntax element) 등을 포함할 수 있다.
부호화 파라미터는 부호화 및/또는 복호화를 위해 요구되는 정보일 수 있다. 부호화 파라미터는 부호화 장치(100)에서 부호화되어 부호화 장치(100)로부터 복호화 장치로 전달되는 정보를 포함할 수 있고, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. 예를 들면, 복호화 장치로 전달되는 정보로서, 신택스 엘리먼트가 있다.
예를 들면, 부호화 파라미터는 예측 모드, 움직임 벡터, 참조 픽쳐 인덱스(index), 부호화 블록 패턴(pattern), 잔차 신호의 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할(partition) 정보 등의 값 또는 통계를 포함할 수 있다. 예측 모드는 인트라 예측 모드 또는 인터 예측 모드를 가리킬 수 있다.
잔차 신호는 원 신호 및 예측 신호 간의 차분(difference)을 나타낼 수 있다. 또는, 잔차 신호는 원신호 및 예측 신호 간의 차분을 변환(transform)함으로써 생성된 신호일 수 있다. 또는, 잔차 신호는 원 신호 및 예측 신호 간의 차분을 변환 및 양자화함으로써 생성된 신호일 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당될 수 있고, 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당될 수 있다. 이러한 할당을 통해 심볼이 표현됨에 따라, 부호화의 대상인 심볼들에 대한 비트열(bitstring)의 크기가 감소될 수 있다. 따라서, 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 향상될 수 있다.
또한, 엔트로피 부호화를 위해 지수 골롬(exponential golomb), 문맥-적응형 가변 길이 코딩(Context-Adaptive Variable Length Coding; CAVLC) 및 문맥-적응형 이진 산술 코딩(Context-Adaptive Binary Arithmetic Coding; CABAC) 등과 같은 부호화 방법이 사용될 수 있다. 예를 들면, 엔트로피 복호화부(150)는 가변 길이 부호화(Variable Lenghth Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 예를 들면, 엔트로피 복호화부(150)는 대상 심볼에 대한 이진화(binarization) 방법을 도출할 수 있다. 또한, 엔트로피 복호화부(150)는 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출할 수 있다. 엔트로피 복호화부(150)는 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
부호화 장치(100)에 의해 인터 예측을 통한 부호화가 수행되기 때문에, 대상 영상은 이후에 처리되는 다른 영상(들)에 대하여 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 대상 영상을 다시 복호화할 수 있고, 복호화된 영상을 참조 영상으로서 참조 픽쳐 버퍼(190)에 저장할 수 있다. 복호화를 위해 부호화된 대상 영상에 대한 역양자화 및 역변환이 처리될 수 있다.
양자화된 계수는 역양자화부(160)에서 역양자화될(inversely quantized) 수 있고, 역변환부(170)에서 역변환될(inversely transformed) 수 있다. 역양자화 및 역변환된 계수는 가산기(175)를 통해 예측 블록과 합해질 수 있다, 역양자화 및 역변환된 계수 및 예측 블록을 합함으로써 복원된(reconstructed) 블록이 생성될 수 있다.
복원된 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 에스에이오(Sample Adaptive Offset; SAO), 에이엘에프(Adaptive Loop Filter; ALF) 중 적어도 하나 이상을 복원된 블록 또는 복원된 픽쳐에 적용할 수 있다. 필터부(180)는 적응적(adaptive) 인루프(in-loop) 필터로 칭해질 수도 있다.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러에 대한 보상을 위해 픽셀 값에 적정 오프셋(offset) 값을 더할 수 있다. ALF는 복원된 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 필터부(180)를 거친 복원된 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 복원된 블록은 참조 픽쳐의 일부일 수 있다. 말하자면, 참조 픽쳐는 필터부(180)를 거친 복원된 블록들로 구성된 픽쳐일 수 있다. 저장된 참조 픽쳐는 이후 인터 예측에 사용될 수 있다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
복호화 장치(200)는 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함할 수 있다.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 비트스트림에 대하여 인트라 모드 및/또는 인터 모드의 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 복원된 영상을 생성할 수 있고, 생성된 복원된 영상을 출력할 수 있다.
예를 들면, 복호화에 사용되는 예측 모드에 따른 인트라 모드 또는 인터 모드로의 전환은 스위치에 의해 이루어질 수 있다. 복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
복호화 장치(200)는 입력된 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 복원된 잔차 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 복원된 잔차 블록 및 예측 블록을 더함으로써 복원된 블록을 생성할 수 있다.
엔트로피 복호화부(210)는 확률 분포에 기초하여 비트스트림에 대한 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 계수(quantized coefficient) 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법과 유사할 수 있다. 예를 들면, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화될 수 있다. 또한, 역양자화된 계수는 역변환부(230)에서 역변환될 수 있다. 양자화된 계수가 역양자화 및 역변환 된 결과로서, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)는 양자화된 계수에 양자화 행렬을 적용할 수 있다.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용하는 공간적 예측을 수행함으로써 예측 블록을 생성할 수 있다.
인터 예측부(250)는 움직임 보상부를 포함할 수 있다. 인터 모드가 사용되는 경우, 움직임 보상부는 움직임 벡터 및 참조 영상을 이용하는 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 참조 영상은 참조 픽쳐 버퍼(270)에 저장될 수 있다.
복원된 잔차 블록 및 예측 블록은 가산기(255)를 통해 더해질 수 있다. 가산기(255)는 복원된 잔차 블록 및 예측 블록을 더함으로써 복원된 블록을 생성할 수 있다.
복원된 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO 및 ALF 중 적어도 하나 이상을 복원된 블록 또는 복원된 픽쳐에 적용할 수 있다. 필터부(260)를 거친 복원된 블록은 참조 픽쳐 버퍼(270)에 저장될 수 있다. 필터부(280)를 거친 복원된 블록은 참조 픽쳐의 일부일 수 있다. 필터부(280)를 거친 복원된 블록은 참조 픽쳐의 일부일 수 있다. 말하자면, 참조 픽쳐는 필터부(280)를 거친 복원된 블록들로 구성된 픽쳐일 수 있다. 저장된 참조 픽쳐는 이후 인터 예측에 사용될 수 있다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
영상을 효율적으로 분할하기 위해, 부호화 및 복호화에 있어서, 코딩 유닛(Coding Unit; CU)이 사용될 수 있다. 유닛은 1) 영상 샘플들을 포함하는 블록 및 2) 구문 요소(syntax element)을 합쳐서 지칭하는 용어일 수 있다. 예를 들면, "유닛의 분할"은 "유닛에 해당하는 블록의 분할"을 의미할 수 있다.
도 3을 참조하면, 영상(300)은 최대 코딩 유닛(Largest Coding Unit; LCU)의 단위로 순차적으로 분할될 수 있고, 영상(300)의 분할 구조는 LCU에 따라서 결정될 수 있다. 여기서, LCU는 코딩 트리 유닛(Coding Tree Unit; CTU)과 동일한 의미로 사용될 수 있다.
분할 구조는 LCU(310) 내에서의, 영상을 효율적으로 부호화하기 위한, 코딩 유닛(Coding Unit; CU)의 분포를 의미할 수 있다. 이러한 분포는 하나의 CU를 4개의 CU들로 분할할지 여부에 따라 결정될 수 있다. 분할에 의해 생성된 CU의 가로 크기 및 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 및 세로 크기의 절반일 수 있다. 분할된 CU는 동일한 방식으로 가로 크기 및 세로 크기가 절반으로 감소된 4개의 CU로 재귀적으로 분할될 수 있다.
이때, CU의 분할은 기정의된 깊이까지 재귀적으로 이루어질 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보일 수 있다. 각 CU 별로 깊이 정보가 저장될 수 있다. 예컨대, LCU의 깊이는 0일 수 있고, 최소 코딩 유닛(Smallest Coding Unit; SCU)의 깊이는 기정의된 최대 깊이일 수 있다. 여기서, LCU는 상술된 것과 같이 최대의 코딩 유닛 크기를 가지는 CU일 수 있고, SCU는 최소의 코딩 유닛 크기를 가지는 CU일 수 있다.
LCU(310)로부터 분할이 시작될 수 있고, 분할에 의해 CU의 가로 크기 및 세로 크기가 절반으로 줄어들 때마다 CU의 깊이는 1씩 증가할 수 있다. 각각의 깊이 별로, 분할되지 않는 CU는 2Nx2N 크기를 가질 수 있다. 또한, 분할되는 CU의 경우, 2Nx2N 크기의 CU가 NxN 크기를 가지는 4개의 CU들로 분할될 수 있다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소할 수 있다.
도 3을 참조하면, 깊이가 0인 LCU는 64x64 픽셀들일 수 있다. 0은 최소 깊이일 수 있다. 깊이가 3인 SCU는 8x8 픽셀들일 수 있다. 3은 최대 깊이일 수 있다. 이때, LCU인 64x64 픽셀들의 CU는 깊이 0으로 표현될 수 있다. 32x32 픽셀들의 CU는 깊이 1로 표현될 수 있다. 16x16 픽셀들의 CU는 깊이 2로 표현될 수 있다. SCU인 8x8 픽셀들의 CU는 깊이 3으로 표현될 수 있다.
또한, CU가 분할되는지 여부에 대한 정보는 CU의 분할 정보를 통해 표현될 수 있다. 분할 정보는 1비트의 정보일 수 있다. SCU를 제외한 모든 CU는 분할 정보를 포함할 수 있다. 예를 들면, CU가 분할되지 않는 경우 CU의 분할 정보의 값은 0일 수 있고, CU가 분할되는 경우 CU의 분할 정보의 값은 1일 수 있다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛(Prediction Unit; PU)들로 분할될 수 있다.
PU는 예측에 대한 기본 단위일 수 있다. PU는 스킵(skip) 모드, 인터 모드 및 인트라 모드 중 어느 하나로 부호화 및 복호화될 수 있다. PU는 각 모드에 따라서 다양한 형태로 분할될 수 있다. 예를 들면, 도 1을 참조하여 전술된 대상 블록 및 도 2를 참조하여 전술된 대상 블록은 PU일 수 있다.
스킵 모드에서는, CU 내에 분할이 존재하지 않을 수 있다. 스킵 모드에서는 분할 없이 PU 및 CU의 크기들이 동일한 2Nx2N 모드(410)가 지원될 수 있다.
인터 모드에서는, CU 내에서 8가지로 분할된 형태들이 지원될 수 있다. 예를 들면, 인터 모드에서는 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440) 및 nRx2N 모드(445)가 지원될 수 있다.
인트라 모드에서는, 2Nx2N 모드(410) 및 NxN 모드(425)가 지원될 수 있다.
2Nx2N 모드(410)에서는 2Nx2N의 크기의 PU가 부호화될 수 있다. 2Nx2N의 크기의 PU는 CU의 크기와 동일한 크기의 PU를 의미할 수 있다. 예를 들면, 2Nx2N의 크기의 PU는 64x64, 32x32, 16x16 또는 8x8의 크기를 가질 수 있다.
NxN 모드(425)에서는 NxN의 크기의 PU가 부호화될 수 있다.
예를 들면, 인트라 예측에서, PU의 크기가 8x8일 때, 4개의 분할된 PU들이 부호화될 수 있다. 분할된 PU의 크기는 4x4일 수 있다.
PU가 인트라 모드에 의해 부호화될 경우, PU는 복수의 인트라 예측 모드들 중 하나의 인트라 예측 모드를 사용하여 부호화될 수 있다. 예를 들면, 고 효율 비디오 코딩(High Efficiency Video Coding; HEVC) 기술에서는 35 개의 인트라 예측 모드들을 제공할 수 있고, PU는 35 개의 인트라 예측 모드들 중 하나의 인트라 예측 모드로 부호화될 수 있다.
PU가 2Nx2N 모드(410) 및 NxN 모드(425) 중 어느 모드에 의해 부호화될 것인가는 율-왜곡 비용(rate-distortion cost)에 의해 결정될 수 있다.
부호화 장치(100)는 2Nx2N 크기의 PU에 대해 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 2Nx2N 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 2Nx2N 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.
또한, 부호화 장치(100)는 NxN으로 분할된 PU들의 각 PU에 대해서 순차적으로 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 NxN 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 NxN 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.
부호화 장치(100)는 2Nx2N 크기의 PU의 율-왜곡 비용 및 NxN 크기의 PU들의 율-왜곡 비용들의 비교에 기반하여 2Nx2N 크기의 PU 및 NxN 크기의 PU들 중 어느 것을 부호화할 지를 결정할 수 있다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
변환 유닛(Transform Unit; TU)은 CU 내에서 변환, 양자화, 역변환, 역양자화, 엔트로피 부호화 및 엔트로피 복호화의 과정을 위해 사용되는 기본 단위일 수 있다. TU는 정사각형 형태 또는 직사각형 형태를 가질 수 있다.
LCU로부터 분할된 CU 중, 더 이상 CU들로 분할되지 않는 CU는 하나 이상의 TU들로 분할될 수 있다. 이때, TU의 분할 구조는 쿼드-트리(quad-tree) 구조일 수 있다. 예컨대, 도 5에서 도시된 것과 같이, 하나의 CU(510)가 쿼드-트리 구조에 따라서 한 번 혹은 그 이상 분할될 수 있다. 분할을 통해, 하나의 CU(510)는 다양한 크기의 TU들로 구성될 수 있다.
부호화 장치(100)에서, 64x64 크기의 부호화 트리 유닛(Coding Tree Unit; CTU)은 재귀적인 쿼드-크리 구조에 의해 더 작은 복수의 CU들로 분할될 수 있다. 하나의 CU는 동일한 크기들을 갖는 4개의 CU들로 분할될 수 있다. CU는 재귀적으로 분할될 수 있으며, 각 CU는 쿼드 트리의 구조를 가질 수 있다.
CU는 깊이를 가질 수 있다. CU가 분할되면, 분할에 의해 생성된 CU들은 분할된 CU의 깊이에서 1 증가한 깊이를 가질 수 있다.
예를 들면, CU의 깊이는 0 내지 3의 값을 가질 수 있다. CU의 크기는 CU의 깊이에 따라 64x64로부터 8x8까지의 크기일 수 있다.
CU에 대한 재귀적인 분할을 통해, 최소의 율-왜곡 비율을 발생시키는 최적의 분할 방법이 선택될 수 있다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 6의 그래프의 중심으로부터 외곽으로의 화살표들은 인트라 예측 모드들의 예측 방향들을 나타낼 수 있다. 또한, 화살표에 근접하게 표시된 숫자는 인트라 예측 모드 또는 인트라 예측 모드의 예측 방향에 할당된 모드 값의 일 예를 나타낼 수 있다.
인트라 부호화 및/또는 복호화는 대상 블록의 주변의 유닛의 참조 샘플을 이용하여 수행될 수 있다. 주변의 블록은 주변의 복원된 블록일 수 있다. 예를 들면, 인트라 부호화 및/또는 복호화는 주변의 복원된 블록이 포함하는 참조 샘플의 값 또는 부호화 파라미터를 이용하여 수행될 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기초하여 대상 블록에 대한 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기반하여 인트라 예측을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 적어도 하나의 복원된 참조 샘플에 기반하여 방향성 예측 및/또는 비방향성 예측을 수행할 수 있다.
예측 블록은 인트라 예측의 수행의 결과로 생성된 블록을 의미할 수 있다. 예측 블록은 CU, PU 및 TU 중 적어도 하나에 해당할 수 있다.
예측 블록의 단위는 CU, PU 및 TU 중 적어도 하나의 크기일 수 있다. 예측 블록은 2Nx2N의 크기 또는 NxN의 크기를 갖는, 정사각형의 형태를 가질 수 있다. NxN의 크기는 4x4, 8x8, 16x16, 32x32 및 64x64 등을 포함할 수 있다.
또는, 예측 블록은 2x2, 4x4, 16x16, 32x32 또는 64x64 등의 크기를 갖는 정사각형의 형태의 블록일 수 있고, 2x8, 4x8, 2x16, 4x16 및 8x16 등의 크기를 갖는 직사각형 모양의 블록일 수도 있다.
인트라 예측은 대상 블록에 대한 인트라 예측 모드에 따라 수행될 수 있다. 대상 블록이 가질 수 있는 인트라 예측 모드의 개수는 기정의된 고정된 값일 수 있으며, 예측 블록의 속성에 따라 다르게 결정된 값일 수 있다. 예를 들면, 예측 블록의 속성은 예측 블록의 크기 및 예측 블록의 타입 등을 포함할 수 있다.
예를 들면, 인트라 예측 모드의 개수는 예측 블록의 크기에 관계없이 35개로 고정될 수 있다. 또는, 예를 들면, 인트라 예측 모드의 개수는 3, 5, 9, 17, 34, 35 또는 36 등일 수 있다.
인트라 예측 모드는 도 6에서 도시된 것과 같이 2개의 비방향성 모드들 및 33개의 방향성 모드들을 포함할 수 있다. 2개의 비방향성 모드들은 디씨(DC) 모드 및 플래너(Planar) 모드를 포함할 수 있다.
예를 들면, 모드 값이 26인 수직 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수직 방향으로 예측이 수행될 수 있다. 예를 들면, 모드 값이 10인 수평 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수평 방향으로 예측이 수행될 수 있다.
전술된 모드 이외의 방향성 모드인 경우에도 부호화 장치(100) 및 복호화 장치(200)는 방향성 모드에 대응하는 각도에 따라 참조 샘플을 이용하여 대상 유닛에 대한 인트라 예측을 수행할 수 있다.
수직 모드의 우측에 위치한 인트라 예측 모드는 수직 우측 모드(vertical-right mode)로 명명될 수 있다. 수평 모드의 하단에 위치한 인트라 예측 모드는 수형 하단 모드(horizontal-below mode)로 명명될 수 있다. 예를 들면, 도 6에서, 모드 값이 27, 28, 29, 30, 31, 32, 33 및 34 중 하나인 인트라 예측 모드들은 수직 우측 모드들(613)일 수 있다. 모드 값이 2, 3, 4, 5, 6, 7, 8 및 9 중 하나인 인트라 예측 모드들은 수평 하단 모드들(616)일 수 있다.
비방향성 모드는 디씨(DC) 모드 및 플래너(planar) 모드를 포함할 수 있다. 예를 들면, 디씨 모드의 모드 값은 1일 수 있다. 플래너 모드의 모드 값은 0일 수 있다.
방향성 모드는 각진(angular) 모드를 포함할 수 있다. 복수의 인트라 예측 모드들 중 DC 모드 및 플래너 모드를 제외한 나머지의 모드는 방향성 모드일 수 있다.
DC 모드인 경우, 복수의 참조 샘플들의 픽셀 값들의 평균에 기반하여 예측 블록이 생성될 수 있다. 예를 들면, 예측 블록의 픽셀의 값은 복수의 참조 샘플들의 픽셀 값들의 평균에 기반하여 결정될 수 있다.
전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 단지 예시적인 것일 수 있다. 전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 실시예, 구현 및/또는 필요에 따라 다르게 정의될 수도 있다.
인트라 예측 모드의 개수는 색 성분(color component)의 타입에 따라 상이할 수 있다. 예를 들면, 색 성분이 휘도(luma) 신호인지 아니면 색차(chroma) 신호인지에 따라 예측 모드의 개수가 다를 수 있다.
도 7은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 7은 대상 블록의 인트라 예측을 위해 사용되는 참조 샘플의 위치를 도시한다. 도 7을 참조하면, 대상 블록의 인트라 예측에 사용되는 복원된 참조 픽셀에는 예를 들어, 참조 샘플은 하단 좌측(below-left) 참조 샘플들(731), 좌측(left) 참조 샘플들(733), 상단 좌측(above-left) 코너 참조 샘플(735), 상단(above) 참조 샘플들(737) 및 상단 우측(above-right) 참조 샘플들(739) 등을 포함할 수 있다.
예를 들면, 좌측 참조 샘플들(733)은 대상 블록의 좌측에 인접한 복원된 참조 픽셀을 의미할 수 있다. 상단 참조 샘플들(737)은 대상 블록의 상단에 인접한 복원된 참조 픽셀을 의미할 수 있다. 상단 좌측 코너 참조 픽셀(735)은 대상 블록의 상단 좌측 코너에 위치한 복원된 참조 픽셀을 의미할 수 있다. 또한, 하단 좌측 참조 샘플들(731)은 좌측 참조 샘플들(733)로 구성된 좌측 샘플 라인과 동일 선상에 위치한 샘플들 중에서 좌측 샘플 라인의 하단에 위치한 참조 샘플을 의미할 수 있다. 상단 우측 참조 샘플들(739)은 상단 참조 샘플들(737)로 구성된 상단 샘플 라인과 동일 선상에 위치한 샘플들 중에서 상단 픽셀 라인의 우측에 위치한 참조 샘플들을 의미할 수 있다.
대상 블록의 크기가 NxN일 때, 하단 좌측 참조 샘플들(731), 좌측 참조 샘플들(733), 상단 참조 샘플들(737) 및 상단 우측 참조 샘플들(739)은 각각 N개일 수 있다.
대상 블록에 대한 인트라 예측을 통해 예측 블록이 생성될 수 있다. 예측 블록의 생성은 예측 블록의 픽셀들의 값이 결정되는 것을 포함할 수 있다. 대상 블록 및 예측 블록의 크기는 동일할 수 있다.
대상 블록의 인트라 예측에 사용되는 참조 샘플은 대상 블록의 인트라 예측 모드에 따라 달라질 수 있다. 인트라 예측 모드의 방향은 참조 샘플들 및 예측 블록의 픽셀들 간의 의존 관계를 나타낼 수 있다. 예를 들면, 특정된 참조 샘플의 값이 예측 블록의 특정된 하나 이상의 픽셀들의 값으로서 사용될 수 있다. 이 경우, 특정된 참조 샘플 및 예측 블록의 특정된 하나 이상의 픽셀들은 인트라 예측 모드의 방향의 직선으로 지정되는 샘플 및 픽셀들일 수 있다. 말하자면, 특정된 참조 샘플의 값은 인트라 예측 모드의 방향의 역방향에 위치한 픽셀의 값으로 복사될 수 있다. 또는, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 인트라 예측 모드의 방향에 위치한 참조 샘플의 값일 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 26인 수직 모드인 경우, 상단 참조 샘플들(737)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수직 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 수직으로 위에 위치한 참조 픽셀의 값일 수 있다. 따라서, 대상 블록에 상단으로 인접한 상단 참조 샘플들(737)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 행의 픽셀들의 값들은 상단 참조 샘플들(737)의 값들과 동일할 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 10인 수평 모드인 경우, 좌측 참조 샘플들(733)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수평 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 수평으로 좌측에 위치한 참조 픽셀의 값일 수 있다. 따라서, 대상 블록에 좌측으로 인접한 좌측 참조 샘플들(733)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 열의 픽셀들의 값들은 좌측 참조 샘플들(733)의 값들과 동일할 수 있다.
예를 들면, 대상 블록의 인트라 예측 모드의 모드 값이 18인 경우 좌측 참조 샘플들(733)의 적어도 일부, 상단 좌측 코너 참조 샘플(735) 및 상단 참조 샘플들(737)의 적어도 일부 인트라 예측에 사용될 수 있다. 인트라 예측 모드의 모드 값이 18인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 대각선으로 상단 좌측에 위치한 참조 픽셀의 값일 수 있다.
또한, 모드 값이 27, 28, 29, 30, 31, 32, 33 또는 34인 인트라 예측 모드가 사용되는 경우에는 상단 우측 참조 픽셀들(739) 중 적어도 일부가 인트라 예측에 사용될 수 있다.
또한, 모드 값이 2, 3, 4, 5, 6, 7, 8 또는 9인 인트라 예측 모드가 사용되는 경우에는 하단 좌측 참조 픽셀들(739) 중 적어도 일부가 인트라 예측에 사용될 수 있다.
또한, 모드 값이 11 내지 25 중 하나인 인트라 예측 모드가 사용되는 경우에는 상단 좌측 코너 참조 샘플들(735)이 인트라 예측에 사용될 수 있다.
예측 블록의 하나의 픽셀의 픽셀 값을 결정하기 위해 사용되는 참조 샘플은 1개일 수 있고, 2개 이상일 수도 있다.
전술된 것과 같이 예측 블록의 픽셀의 픽셀 값은 상기의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치에 따라 결정될 수 있다. 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치인 경우, 정수 위치가 가리키는 하나의 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다.
픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치가 아닌 경우, 참조 샘플의 위치에 가장 가까운 2개의 참조 샘플들에 기반하여 보간된(interpolated) 참조 샘플이 생성될 수 있다. 보간된 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다. 말하자면, 예측 블록의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 2개의 참조 샘플들 간의 사이를 나타낼 때, 상기의 2개의 샘플들의 값들에 기반하여 보간된 값이 생성될 수 있다.
예측에 의해 생성된 예측 블록은 원래의 대상 블록과는 동일하지 않을 수 있다. 말하자면, 대상 블록 및 예측 블록 간의 차이인 예측 오차가 존재할 수 있으며, 대상 블록의 픽셀 및 예측 블록의 픽셀 간에도 예측 오차가 존재할 수 있다. 예를 들면, 방향성 인트라 예측의 경우, 예측 블록의 픽셀 및 참조 샘플 간의 거리가 더 멀수록 더 큰 예측 오차가 발생할 수 있다. 이러한 예측 오차에 등 의해 생성된 예측 블록 및 주변 블록 간에는 불연속성이 발생할 수 있다.
예측 오차의 감소를 위해 예측 블록에 대한 필터링이 사용될 수 있다. 필터링은 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역에 대해 적응적으로 필터를 적용하는 것일 수 있다. 예를 들면, 큰 예측 오차를 갖는 것으로 간주되는 영역은 예측 블록의 경계일 수 있다. 또한, 인트라 예측 모드에 따라서 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역이 다를 수 있으며, 필터의 특징이 다를 수 있다.
도 8은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8에 도시된 사각형은 영상(또는, 픽쳐)를 나타낼 수 있다. 또한, 도 8에서 화살표는 예측 방향을 나타낼 수 있다. 즉, 영상은 예측 방향에 따라 부호화 및/또는 복호화될 수 있다.
각 영상은 부호화 타입에 따라 I 픽쳐(Intra Picture), P 픽쳐(Uni-prediction Picture), B 픽쳐(Bi-prediction Picture)로 분류될 수 있다. 각 픽쳐는 각 픽쳐의 부호화 타입에 따라 부호화될 수 있다.
부호화의 대상인 대상 영상이 I 픽쳐인 경우, 대상 영상은 다른 영상을 참조하는 인터 예측 없이 영상 자체 내의 데이터를 사용하여 부호화될 수 있다. 예를 들면, I 픽쳐는 인트라 예측으로만 부호화될 수 있다.
대상 영상이 P 픽쳐인 경우, 대상 영상은 순방향으로만 참조 픽쳐를 이용하는 인터 예측을 통해 부호화될 수 있다.
대상 영상이 B 픽쳐인 경우, 대상 영상은 순방향 및 역방향의 양측으로 참조 픽쳐들을 이용하는 인터 예측 또는 순방향 및 역방향 중 일 방향으로 참조 픽쳐를 이용하는 인터 예측을 통해 부호화될 수 있다.
참조 픽쳐를 이용하여 부호화 및/또는 복호화되는 P 픽쳐 및 B 픽쳐는 인터 예측이 사용되는 영상으로 간주될 수 있다.
아래에서, 실시예에 따른 인터 모드에서의 인터 예측에 대해 구체적으로 설명된다.
인터 모드에서, 부호화 장치(100) 및 복호화 장치(200)는 대상 블록에 대한 예측 및/또는 움직임 보상을 수행할 수 있다.
예를 들면, 부호화 장치(100) 또는 복호화 장치(200)는 공간적 후보(spatial candidate) 및/또는 시간적 후보(temporal candidate)의 움직임 정보를 대상 블록의 움직임 정보로 사용함으로써 예측 및/또는 움직임 보상을 수행할 수 있다. 대상 블록은 PU 및/또는 PU 파티션을 의미할 수 있다.
공간적 후보는 대상 블록에 공간적으로 인접한 복원된 블록일 수 있다.
시간적 후보는 이미 복원된 콜 픽쳐(collocated picture; col picture) 내의 대상 블록에 대응하는 복원된 블록일 수 있다.
인터 예측에 있어서, 부호화 장치(100) 및 복호화 장치(200)는 공간적 후보 및/또는 시간적 후보의 움직임 정보를 이용함으로써 부호화 효율 및 복호화 효율을 향상시킬 수 있다. 공간적 후보의 움직임 정보는 공간적 움직임 정보로 칭해질 수 있다. 시간적 후보의 움직임 정보는 시간적 움직임 정보로 칭해질 수 있다.
이하에서, 공간적 후보의 움직임 정보는, 공간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 시간적 후보의 움직임 정보는, 시간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 후보 블록의 움직임 정보는, 후보 블록을 포함하는 PU의 움직임 정보일 수 있다.
인터 예측은 참조 픽쳐를 이용하여 수행될 수 있다.
참조 픽쳐(reference picture)는 대상 픽쳐의 이전 픽쳐 또는 대상 픽쳐의 이후 픽쳐 중 적어도 하나일 수 있다. 참조 픽쳐는 대상 블록의 예측에 이용되는 영상을 의미할 수 있다.
인터 예측에 있어서, 참조 픽쳐를 지시하는 참조 픽쳐 인덱스(또는, refIdx) 및 후술될 움직임 벡터(motion vector) 등을 이용함으로써 참조 픽쳐 내의 영역이 특정될 수 있다. 여기에서, 참조 픽쳐 내의 특정된 영역은 참조 블록을 나타낼 수 있다.
인터 예측은 참조 픽쳐를 선택할 수 있고, 참조 픽쳐 내에서 대상 블록에 대응하는 참조 블록을 선택할 수 있다. 또한, 인터 예측은 선택된 참조 블록을 사용하여 대상 블록에 대한 예측 블록을 생성할 수 있다.
움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다.
공간적 후보는, 1) 대상 픽쳐 내의 존재하며, 2) 이미 부호화 및/또는 복호화를 통해 복원되었고, 3) 대상 블록에 인접하거나, 대상 블록의 코너에 위치한 블록일 수 있다. 여기에서, 대상 블록의 코너에 위치한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록의 코너에 인접한 블록"과 동일한 의미일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록에 인접한 블록"에 포함될 수 있다.
예를 들면, 공간적 후보는 대상 블록의 좌측에 위치한 복원된 블록, 대상 블록의 상단에 위치한 복원된 블록, 대상 블록의 좌측 하단 코너에 위치한 복원된 블록, 대상 블록의 우측 상단 코너에 위치한 복원된 블록 또는 대상 블록의 좌측 상단 코너에 위치한 복원된 블록일 수 있다.
부호화 장치(100) 및 복호화 장치(200)의 각각은 콜(col) 픽쳐 내에서 대상 블록에 공간적으로 대응하는 위치에 존재하는 블록을 식별할 수 있다. 대상 픽쳐 내의 대상 블록의 위치 및 콜 픽쳐 내의 식별된 블록의 위치는 서로 대응할 수 있다.
부호화 장치(100) 및 복호화 장치(200)의 각각은 식별된 블록에 대하여 기정의된 상대적인 위치에 존재하는 콜(col) 블록을 시간적 후보로서 결정할 수 있다. 기정의된 상대적인 위치는 식별된 블록의 내부의 위치 및/또는 외부의 위치일 수 있다.
예를 들면, 콜 블록은 제1 콜 블록 및 제2 콜 블록을 포함할 수 있다. 식별된 블록의 좌표들이 (xP, yP)이고, 식별된 블록의 크기가 (nPSW, nPSH)일 때, 제1 콜 블록은 좌표들 (xP + nPSW, yP + nPSH)에 위치한 블록일 수 있다. 제2 콜 블록은 좌표들 (xP + (nPSW >> 1), yP + (nPSH >> 1))에 위치한 블록일 수 있다. 제2 콜 블록은 제1 콜 블록이 가용하지 않을(unavailable) 경우 선택적으로 사용될 수 있다.
대상 블록의 움직임 벡터는 콜 블록의 움직임 벡터에 기반하여 결정될 수 있다. 부호화 장치(100) 및 복호화 장치(200)의 각각은 콜 블록의 움직임 벡터를 스케일(scale)할 수 있다. 콜 블록의 스케일된(scale) 움직임 벡터가 대상 블록의 움직임 벡터로서 이용될 수 있다. 또한, 리스트에 저장되는 시간적 후보의 움직임 정보의 움직임 벡터는 스케일된 움직임 벡터일 수 있다.
대상 블록의 움직임 벡터 및 콜 블록의 움직임 벡터의 비율(ratio)은 제1 거리 및 제2 거리의 비율과 같을 수 있다. 제1 거리는 대상 블록의 참조 픽쳐 및 대상 픽쳐 간의 거리일 수 있다. 제2 거리는 콜 블록의 참조 픽쳐 및 콜 픽쳐 간의 거리일 수 있다.
움직임 정보의 도출 방식은 대상 블록의 인터 예측 모드에 따라 변할 수 있다. 예를 들면, 인터 예측을 위해 적용되는 인터 예측 모드로서, 향상된 움직임 벡터 예측자(Advanced Motion Vector Predictor; AMVP) 모드, 머지(merge) 모드 및 스킵(skip) 모드 등이 있을 수 있다. 아래에서는, 모드들의 각각에 대해서 상세하게 설명된다.
1) AMVP 모드
AMVP 모드가 사용되는 경우, 부호화 장치(100)는 대상 블록의 주변에서 유사한 블록을 검색할 수 있다. 부호화 장치(100)는 검색된 유사한 블록의 움직임 정보를 이용하여 대상 블록에 대한 예측을 수행함으로써 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록 간의 차이인 잔차 블록을 부호화할 수 있다.
1-1) 예측 움직임 벡터 후보 리스트의 작성
예측 모드로서 AMVP 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 벡터 및/또는 시간적 후보의 움직임 벡터를 이용하여 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 공간적 후보의 움직임 벡터 및/또는 시간적 후보의 움직임 벡터는 예측 움직임 벡터 후보로 사용될 수 있다.
예측 움직임 벡터 후보는 움직임 벡터의 예측을 위한 움직임 벡터 예측자(motion vector predictor)일 수 있다. 또한, 부호화 장치(100)에 있어서 예측 움직임 벡터 후보는 움직임 벡터 초기 검색 위치일 수 있다.
1-2) 예측 움직임 벡터 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 예측 움직임 벡터 후보 리스트를 사용하여 검색 범위 내에서 대상 블록의 부호화를 위해 사용될 움직임 벡터를 결정할 수 있다. 또한, 부호화 장치(100)는 예측 움직임 벡터 후보 리스트의 예측 움직임 벡터 후보들 중 대상 블록의 예측 움직임 벡터로 사용할 예측 움직임 벡터 후보를 결정할 수 있다.
대상 블록의 부호화를 위해 사용될 움직임 벡터는 최소의 비용으로 부호화될 수 있는 움직임 벡터일 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 AMVP 모드를 사용할지 여부를 결정할 수 있다.
1-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(100)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) AMVP 모드를 사용하는지 여부를 나타내는 모드 정보, 2) 예측 움직임 벡터 인덱스, 3) 움직임 벡터 차분(MVD: Motion Vector Difference), 4) 참조 방향 및 5) 참조 픽쳐 인덱스를 포함할 수 있다.
또한, 인터 예측 정보는 잔차 신호를 포함할 수 있다.
복호화 장치(200)는 모드 정보가 AMVP 모드를 사용하는 것을 나타낼 경우에만 예측 움직임 벡터 인덱스, 움직임 벡터 차분, 참조 방향 및 참조 픽쳐 인덱스를 비트스트림으로부터 획득할 수 있다.
예측 움직임 벡터 인덱스는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 대상 블록의 예측을 위해 사용되는 예측 움직임 벡터 후보를 가리킬 수 있다.
1-4) 인터 예측 정보를 사용하는 AMVP 모드의 인터 예측
복호화 장치(200)는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 예측 움직임 벡터 인덱스가 가리키는 예측 움직임 벡터 후보를 대상 블록의 예측 움직임 벡터로서 선택할 수 있다.
대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 예측 움직임 벡터와 일치하지 않을 수 있다. 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 및 예측 움직임 벡터 간의 차분을 나타내기 위해 MVD가 사용될 수 있다. 부호화 장치(100)는 가능한 작은 크기의 MVD를 사용하기 위해 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터와 유사한 예측 움직임 벡터를 도출할 수 있다.
MVD는 대상 블록의 움직임 벡터 및 예측 움직임 벡터 간의 차분일 수 있다. 부호화 장치(100)는 MVD를 계산할 수 있고, MVD를 부호화할 수 있다.
MVD는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 복호화 장치(200)는 수신된 MVD를 복호화할 수 있다. 복호화 장치(200)는 복호화된 MVD 및 예측 움직임 벡터의 합을 통해 대상 블록의 움직임 벡터를 유도(derive)할 수 있다.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽쳐 리스트를 가리킬 수 있다. 예를 들면, 참조 방향은 참조 픽쳐 리스트 L0 및 참조 픽쳐 리스트 L1 중 하나를 가리킬 수 있다.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽쳐 리스트를 가리킬 뿐, 참조 픽쳐들의 방향들이 순방향(forward direction) 또는 역방향(backward direction)으로 제한된다는 것을 나타내는 것을 아닐 수 있다. 말하자면, 참조 픽쳐 리스트 L0 및 참조 픽쳐 리스트 L1의 각각은 순방향 및/또는 역방향의 픽쳐들을 포함할 수 있다.
참조 방향이 단방향(uni-direction)이란 것은 하나의 참조 픽쳐 리스트가 사용된다는 것을 의미할 수 있다. 참조 방향이 양방향(bi-direction)이란 것은 2 개의 참조 픽쳐 리스트들이 사용된다는 것을 의미할 수 있다. 말하자면, 참조 방향은, 참조 픽쳐 리스트 L0만이 사용된다는 것, 참조 픽쳐 리스트 L1만이 사용된다는 것 및 2 개의 참조 픽쳐 리스트들 것 중 하나를 가리킬 수 있다.
참조 픽쳐 인덱스는 참조 픽쳐 리스트의 참조 픽쳐들 중 대상 블록의 예측을 위해 사용되는 참조 픽쳐를 가리킬 수 있다.
대상 블록의 예측을 위해 2 개의 참조 픽쳐 리스트가 사용될 경우. 각 참조 픽쳐 리스트에 대해 하나의 참조 픽쳐 인덱스 및 하나의 움직임 벡터가 사용될 수 있다. 또한, 대상 블록의 예측을 위해 2 개의 참조 픽쳐 리스트가 사용될 경우, 대상 블록에 대해 2 개의 예측 블록들이 특정될 수 있다. 예를 들면, 대상 블록에 대한 2 개의 예측 블록들의 평균 또는 가중치가 부여된 합(weighed-sum)을 통해 대상 블록의 (최종적인) 예측 블록이 생성될 수 있다.
예측 움직임 벡터 인덱스, MVD, 예측 방향 및 참조 픽쳐 인덱스에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
복호화 장치(200)는 유도된 움직임 벡터 및 참조 픽쳐 인덱스 정보에 기반하여 대상 블록에 대한 예측 블록을 생성할 수 있다. 예를 들면, 예측 블록은 참조 픽쳐 인덱스 정보가 가리키는 참조 픽쳐 내의 유도된 움직임 벡터가 가리키는 참조 블록일 수 있다.
대상 블록의 움직임 벡터 자체를 부호화하지 않고, 예측 움직임 벡터 인덱스 및 MVD를 부호화함에 따라 부호화 장치(100)로부터 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.
대상 블록에 대해서 복원된 주변 블록의 움직임 정보가 사용될 수 있다. 특정한 인터 예측 모드에서는, 부호화 장치(100)가 대상 블록에 대한 움직임 정보 자체는 별도로 부호화하지 않을 수도 있다. 대상 블록의 움직임 정보가 부호화되지 않고, 복원된 주변 블록의 움직임 정보를 통해 대상 블록의 움직임 정보를 유도할 수 있는 다른 정보가 대신 부호화될 수 있다. 다른 정보가 대신 부호화됨에 따라, 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.
예를 들면, 이러한 대상 블록의 움직임 정보가 직접적으로 부호화되지 않는 인터 예측 모드로서, 스킵 모드(skip mode) 및/또는 머지 모드(merge mode) 등이 있을 수 있다. 이때, 부호화 장치(100) 및 복호화 장치(200)는 복원된 주변 유닛들 중 어떤 유닛의 움직임 정보가 대상 유닛의 움직임 정보로서 사용되는지를 지시하는 식별자 및/또는 인덱스를 사용할 수 있다.
2) 머지 모드
대상 블록의 움직임 정보를 도출하는 방식으로서, 머지(merge)가 있다. 머지는 복수의 블록들에 대한 움직임들의 병합을 의미할 수 있다. 머지는 하나의 블록의 움직임 정보를 다른 블록에도 함께 적용시키는 것을 의미할 수 있다.
머지 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 대상 블록의 움직임 정보에 대한 예측을 수행할 수 있다. 부호화 장치(100)는 예측을 통해 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록의 차이인 잔차 블록을 부호화할 수 있다.
2-1) 머지 후보 리스트(merge candidate list)의 작성
머지 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 머지 후보 리스트를 생성할 수 있다. 움직임 정보는 1) 움직임 벡터, 2) 참조 픽쳐 인덱스, 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 단방향 또는 양방향일 수 있다.
머지 후보 리스트는 머지 후보들을 포함할 수 있다. 머지 후보는 움직임 정보일 수 있다. 말하자면, 머지 후보들은 시간적 후보 및/또는 공간적 후보 등의 움직임 정보들일 수 있다. 또한, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 머지 후보들의 조합에 의해 생성된 새로운 머지 후보를 포함할 수 있다. 또한, 머지 후보 리스트는 제로 벡터의 움직임 정보를 포함할 수 있다.
머지 후보는 1) 움직임 벡터, 2) 참조 픽쳐 인덱스 및 3) 참조 방향을 포함할 수 있다.
머지 후보 리스트는 머지 모드에 의한 예측이 수행되기 전에 생성될 수 있다.
머지 후보 리스트의 머지 후보들의 개수는 기정의될 수 있다. 머지 후보 리스트가 기정의된 개수의 머지 후보들을 갖도록 부호화 장치(100) 및 복호화 장치(200)는 기정의된 방식 및 기정의된 순위에 따라서 머지 후보 리스트에 머지 후보를 추가할 수 있다. 기정의된 방식 및 기정의된 순위을 통해 부호화 장치(100)의 머지 후보 리스트 및 복호화 장치(200)의 머지 후보 리스트는 동일하게 될 수 있다.
머지는 CU 단위 또는 PU 단위로 적용될 수 있다. CU 단위 또는 PU 단위로 머지가 수행되는 경우, 부호화 장치(100)는 기정의된 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 예를 들면, 기정의된 정보는, 1) 블록 파티션(partition) 별로 머지를 수행할지 여부를 나타내는 정보, 2) 대상 블록에 대하여 공간적 후보 및/또는 시간적 후보인 블록들 중 어떤 블록과 머지를 할 것인가에 대한 정보를 포함할 수 있다.
2-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행하고, 머지 후보들에 대한 잔차 블록들을 생성할 수 있다. 부호화 장치(100)는 예측과 잔차 블록의 부호화에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 머지 모드를 사용할지 여부를 결정할 수 있다.
2-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) 머지 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 머지 인덱스를 포함할 수 있다.
또한, 인터 예측 정보는 잔차 신호를 포함할 수 있다.
복호화 장치(200)는 모드 정보가 머지 모드를 사용하는 것을 나타낼 경우에만 머지 인덱스를 비트스트림으로부터 획득할 수 있다.
머지 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다.
2-4) 인터 예측 정보를 사용하는 머지 모드의 인터 예측
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 머지 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.
머지 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽쳐 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
3) 스킵 모드
스킵 모드는 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 그대로 대상 블록에 적용하는 모드일 수 있다. 또한, 스킵 모드는 잔차 신호를 사용하지 않는 모드일 수 있다. 말하자면, 스킵 모드가 사용될 때, 복원된 블록은 예측 블록일 수 있다.
머지 모드 및 스킵 모드의 차이는 잔차 신호의 전송 또는 사용의 여부일 수 있다. 말하자면, 스킵 모드는 잔차 신호가 전송 또는 사용되지 않는다는 점을 제외하고는 머지 모드와 유사할 수 있다.
스킵 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보 또는 시간적 후보인 블록들 중 어떤 블록의 움직임 정보를 대상 블록의 움직임 정보로서 이용할 것인지에 대한 정보만을 비트스트림을 통해 복호화 장치(200)에 전송할 수 있다. 또한, 스킵 모드가 사용되는 경우 부호화 장치(100)는 MVD와 같은 다른 신택스 정보는 복호화 장치(200)에 전송하지 않을 수 있다.
3-1) 머지 후보 리스트의 작성
스킵 모드 또한 머지 후보 리스트를 사용할 수 있다. 말하자면, 머지 후보 리스트는 머지 모드 및 스킵 모드의 양자에서 사용될 수 있다. 이러한 측면에서, 머지 후보 리스트는 "스킵 후보 리스트" 또는 "머지/스킵 후보 리스트"로 명명될 수도 있다.
또는, 스킵 모드는 머지 모드와는 다른 별개의 후보 리스트를 사용할 수도 있다. 이러한 경우, 아래의 설명에서 머지 후보 리스트 및 머지 후보는 스킵 후보 리스트 및 스킵 후보로 각각 대체될 수 있다.
머지 후보 리스트는 스킵 모드에 의한 예측이 수행되기 전에 생성될 수 있다.
3-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행할 수 있다. 부호화 장치(100)는 예측에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 스킵 모드를 사용할지 여부를 결정할 수 있다.
3-3) 인터 예측 정보의 전송
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
인터 예측 정보는, 1) 스킵 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 스킵 인덱스를 포함할 수 있다.
스킵 인덱스는 전술된 머지 인덱스와 동일할 수 있다.
스킵 모드가 사용될 경우, 대상 블록은 잔차 신호 없이 부호화될 수 있다. 인터 예측 정보는 잔차 신호를 포함하지 않을 수 있다. 또는, 비트스트림은 잔차 신호를 포함하지 않을 수 있다.
복호화 장치(200)는 모드 정보가 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다. 전술된 것과 같이, 머지 인덱스 및 스킵 인덱스는 동일한 것일 수 있다. 복호화 장치(200)는 모드 정보가 머지 모드 또는 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다.
스킵 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다.
3-4) 인터 예측 정보를 사용하는 스킵 모드의 인터 예측
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 스킵 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.
스킵 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽쳐 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.
전술된 AMVP 모드, 머지 모드 및 스킵 모드에서는 리스트에 대한 인덱스를 통해 리스트 내의 움직임 정보들 중 대상 블록의 예측을 위해 사용될 움직임 정보가 특정될 수 있다.
부호화 효율의 향상을 위해서, 부호화 장치(100)는 리스트의 요소들 중 대상 블록의 인터 예측에 있어서 최소의 비용을 유발하는 요소의 인덱스만을 시그널링할 수 있다. 부호화 장치(100)는 인덱스를 부호화할 수 있으며, 부호화된 인덱스를 시그널링할 수 있다.
따라서, 전술된 리스트들(즉, 예측 움직임 벡터 후보 리스트 및 머지 후보 리스트)은 부호화 장치(100) 및 복호화 장치(200)에서 동일한 데이터에 기반하여 동일한 방식으로 유도되어야 할 수 있다. 여기에서, 동일한 데이터는 복원된 픽쳐 및 복원된 블록을 포함할 수 있다. 또한, 인덱스로 요소를 특정하기 위해, 리스트 내에서 요소들의 순서는 일정해야 할 수 있다.
도 9은 일 예에 따른 공간적 후보들을 나타낸다.
도 9에서는, 공간적 후보들의 위치가 도시되었다.
가운데의 큰 블록은 대상 블록을 나타낼 수 있다. 5 개의 작은 블록들은 공간적 후보들을 나타낼 수 있다.
대상 블록의 좌표들은 (xP, yP)일 수 있고, 대상 블록의 크기는 (nPSW, nPSH)일 수 있다.
공간적 후보 A0은 대상 블록의 좌측 하단의 코너에 인접한 블록일 수 있다. A0은 좌표들 (xP - 1, yP + nPSH + 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 A1은 대상 블록의 좌측에 인접한 블록일 수 있다. A1은 대상 블록의 좌측에 인접한 블록들 중 최 하단의 블록일 수 있다. 또는, A1은 A0의 상단에 인접한 블록일 수 있다. A1은 좌표들 (xP - 1, yP + nPSH)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B0은 대상 블록의 우측 상단의 코너에 인접한 블록일 수 있다. B0은 좌표들 (xP + nPSW + 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B1은 대상 블록의 상단에 인접한 블록일 수 있다. B1은 대상 블록의 상단에 인접한 블록들 중 최 우측의 블록일 수 있다. 또는, B1은 B0의 좌측에 인접한 블록일 수 있다. B1은 좌표들 (xP + nPSW, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 B2는 대상 블록의 좌측 상단의 코너에 인접한 블록일 수 있다. B2는 좌표들 (xP - 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.
공간적 후보 및 시간적 후보의 가용성(availability)의 판단
공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 리스트에 포함시키기 위해서는, 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보가 가용한지 여부가 판단되어야 한다.
이하에서, 후보 블록은 공간적 후보 및 시간적 후보를 포함할 수 있다.
예를 들면, 상기의 판단은 아래의 단계 1) 내지 단계 4)를 순차적으로 적용함으로써 이루어질 수 있다.
단계 1) 후보 블록을 포함하는 PU가 픽쳐의 경계의 밖에 있으면 후보 블록의 가용성은 거짓(false)으로 설정될 수 있다. "가용성이 거짓으로 설정된다"는 것은 "비가용한 것으로 설정된다"는 것과 동일한 의미일 수 있다.
단계 2) 후보 블록을 포함하는 PU가 슬라이스의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 슬라이스들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다.
단계 3) 후보 블록을 포함하는 PU가 타일의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 타일들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다.
단계 4) 후보 블록을 포함하는 PU의 예측 모드가 인트라 예측 모드이면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 후보 블록을 포함하는 PU가 인터 예측을 사용하지 않으면 후보 블록의 가용성은 거짓으로 설정될 수 있다.
도 10은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 10에서 도시된 것처럼, 공간적 후보들의 움직임 정보들을 머지 리스트에 추가함에 있어서, A1, B1, B0, A0 및 B2의 순서가 사용될 수 있다. 즉, A1, B1, B0, A0 및 B2의 순서로, 가용한 공간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다.
머지 모드 및 스킵 모드에서의 머지 리스트의 유도 방법
전술된 것과 같이, 머지 리스트 내의 머지 후보들의 최대 개수는 설정될 수 있다. 설정된 최대 개수를 N으로 표시한다. 설정된 개수는 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 슬라이스의 슬라이스 헤더는 N을 포함할 수 있다. 말하자면, 슬라이스 헤더에 의해 슬라이스의 대상 블록에 대한 머지 리스트의 머지 후보들의 최대 개수가 설정될 수 있다. 예를 들면, 기본적으로 N의 값은 5일 수 있다.
움직임 정보(즉, 머지 후보)는 아래의 단계 1) 내지 단계 4)의 순서로 머지 리스트에 추가될 수 있다.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 머지 리스트에 추가될 수 있다. 가용한 공간적 후보들의 움직임 정보들은 도 10에서 도시된 순서대로 머지 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다. 리스트 내에 존재하는 다른 움직임 정보와 중복되는지 여부를 검사하는 것은 "중복성 검사"로 약술될 수 있다.
추가되는 움직임 정보들은 최대 N 개일 수 있다.
단계 2) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
단계 3) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 대상 슬라이스의 타입이 "B"이면, 조합된 양방향 예측(combined bi-prediction)에 의해 생성된 조합된 움직임 정보가 머지 리스트에 추가될 수 있다.
대상 슬라이스는 대상 블록을 포함하는 슬라이스일 수 있다.
조합된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보의 조합일 수 있다. L0 움직임 정보는 참조 픽쳐 리스트 L0만을 참조하는 움직임 정보일 수 있다. L1 움직임 정보는 참조 픽쳐 리스트 L1만을 참조하는 움직임 정보일 수 있다.
머지 리스트 내에서, L0 움직임 정보는 하나 이상일 수 있다. 또한, 머지 리스트 내에서, L1 움직임 정보는 하나 이상일 수 있다.
조합된 움직임 정보는 하나 이상일 수 있다. 조합된 움직임 정보를 생성함에 있어서 하나 이상의 L0 움직임 정보들 및 하나 이상의 L1 움직임 정보들 중 어떤 L0 움직임 정보 및 어떤 L1 움직임 정보를 사용할 것인가는 기정의될 수 있다. 하나 이상의 조합된 움직임 정보는 머지 리스트 내의 서로 다른 움직임 정보들의 쌍(pair)을 사용하는 조합된 양방향 예측에 의해 기정의된 순서로 생성될 수 있다. 서로 다른 움직임 정보들의 쌍 중 하나는 L0 움직임 정보고 다른 하나는 L1 움직임 정보일 수 있다.
예를 들면, 최우선적으로 추가되는 조합된 움직임 정보는 머지 인덱스가 0인 L0 움직임 정보 및 머지 인덱스가 1인 L1 움직임 정보의 조합일 수 있다. 머지 인덱스가 0인 움직임 정보가 L0 움직임 정보가 아니거나, 머지 인덱스가 1인 움직임 정보가 L1 움직임 정보가 아니면 상기의 조합된 움직임 정보는 생성 및 추가되지 않을 수 있다. 다음으로 추가되는 움직임 정보는 머지 인덱스가 1인 L0 움직임 정보 및 머지 인덱스가 0인 L1 움직임 정보의 조합일 수 있다. 이하의 구체적인 조합은 동영상의 부호화/복호화 분야의 다른 조합을 따를 수 있다.
이 때, 조합된 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 조합된 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
단계 4) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 머지 리스트에 추가될 수 있다.
제로 벡터 움직임 정보는 움직임 벡터가 제로 벡터인 움직임 정보일 수 있다.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽쳐 인덱스들은 서로 상이할 수 있다. 예를 들면, 첫 번째의 제로 벡터 움직임 정보의 참조 픽쳐 인덱스의 값은 0일 수 있다. 두 번째의 제로 벡터 움직임 정보의 참조 픽쳐 인덱스의 값은 1일 수 있다.
제로 벡터 움직임 정보들의 개수는 참조 픽쳐 리스트 내의 참조 픽쳐들의 개수와 동일할 수 있다.
제로 벡터 움직임 정보의 참조 방향은 양방향일 수 있다. 2 개의 움직임 벡터들은 모두 제로 벡터들일 수 있다. 제로 벡터 움직임 정보들의 개수는 참조 픽쳐 리스트 L0 내의 참조 픽쳐들의 개수 및 참조 픽쳐 리스트 L1 내의 참조 픽쳐들의 개수 중 더 작은 것일 수 있다. 또는, 참조 픽쳐 리스트 L0 내의 참조 픽쳐들의 개수 및 참조 픽쳐 리스트 L1 내의 참조 픽쳐들의 개수가 서로 다를 경우, 하나의 참조 픽쳐 리스트에만 적용될 수 있는 참조 픽처 인덱스에 대해서는 단방향의 참조 방향이 사용될 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽쳐 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 머지 리스트에 추가할 수 있다.
제로 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.
전술된 단계 1) 내지 단계 4)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.
AMVP 모드에서의 예측 움직임 벡터 후보 리스트의 유도 방법
예측 움직임 벡터 후보 리스트 내의 예측 움직임 벡터 후보들의 최대 개수는 기정의될 수 있다. 기정의된 최대 개수를 N으로 표시한다. 예를 들면, 기정의된 최대 개수는 2일 수 있다.
움직임 정보(즉, 예측 움직임 벡터 후보)는 아래의 단계 1) 내지 단계 3)의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 공간적 후보들은 제1 공간적 후보 및 제2 공간적 후보를 포함할 수 있다.
제1 공간적 후보는 A0, A1, 스케일된(scaled) A0 및 스케일된 A1 중 하나일 수 있다. 제2 공간적 후보는 B0, B1, B2, 스케일된 B0, 스케일된 B1 및 스케일된 B2 중 하나일 수 있다.
가용한 공간적 후보들의 움직임 정보들은 제1 공간적 후보 및 제2 공간적 후보의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다. 말하자면, N의 값이 2인 경우, 제2 공간적 후보의 움직임 정보가 제1 공간적 후보의 움직임 정보와 동일하면 제2 공간적 후보의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
추가되는 움직임 정보들은 최대 N 개일 수 있다.
단계 2) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
단계 3) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다.
제로 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 움직임 정보들의 참조 픽쳐 인덱스들은 서로 상이할 수 있다.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽쳐 인덱스를 변경하면서 순차적으로 제로 움직임 정보를 예측 움직임 벡터 후보 리스트에 추가할 수 있다.
제로 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.
머지 리스트에 대해 전술된 제로 벡터 움직임 정보에 대한 설명은 제로 움직임 정보에도 적용될 수 있다. 중복되는 설명은 생략된다.
전술된 단계 1) 내지 단계 3)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.
도 11은 일 예에 따른 타일을 사용하는 픽쳐의 분할을 나타낸다.
도 11에서는, 픽쳐가 실선으로 도시되었고, 타일이 점선으로 도시되었다. 도시된 것과 같이, 픽쳐는 복수의 타일들로 분할될 수 있다.
타일은 픽쳐의 분할의 단위로서 사용되는 개체(entity) 중 하나일 수 있다. 타일은 픽쳐의 분할의 단위일 수 있다. 또는, 타일은 픽쳐 분할 부호화의 단위일 수 있다.
타일에 관련된 정보는 PPS를 통해 시그널링될 수 있다. PPS는 픽쳐의 타일들의 정보를 포함하거나, 픽쳐를 복수의 타일들로 분할하기 위한 정보를 포함할 수 있다.
아래의 표 1은 pic_parameter_set_rbsp의 구조의 일 예를 나타낸다. 픽쳐 분할 정보는 pic_parameter_set_rbsp이거나, pic_parameter_set_rbsp을 포함할 수 있다.
pic_parameter_set_rbsp는 아래와 같은 요소를 포함할 수 있다.
- tiles_enabled_flag: tiles_enabled_flag는 PPS를 참조하는 픽쳐 안에 1개 이상의 타일이 존재하는지 여부를 지시하는 타일 존재 지시 플래그일 수 있다.
예를 들면, tiles_enabled_flag의 값이 "0"인 것은 PPS를 참조하는 픽쳐 안에 타일이 존재하지 않는 것을 나타낼 수 있다. tiles_enabled_flag의 값이 "1"인 것은 PPS를 참조하는 픽쳐 안에 1개 이상의 타일이 존재한다는 것을 나타낼 수 있다.
하나의 코드된 비디오 시퀀스(Coded Video Sequence; CVS) 내의 모든 활성화된(activated) PPS들의 tile_enabled_flag들의 값들은 동일할 수 있다.
- num_tile_columns_minus1: num_tile_columns_minus1은 분할된 픽쳐의 가로 방향의 타일 개수에 대응하는 열 타일 개수 정보일 수 있다. 예를 들면, "num_tile_columns_minus1 + 1"의 값은 분할된 픽쳐에서 가로 방향의 타일들의 개수를 나타낼 수 있다. 또는, "num_tile_columns_minus1 + 1"의 값은 한 행 내의 타일들의 개수를 나타낼 수 있다.
- num_tile_rows_minus1: num_tile_rows_minus1은 분할된 픽쳐의 세로 방향의 타일 개수에 대응하는 행 타일 개수 정보일 수 있다. 예를 들면, "num_tile_rows_minus1 + 1"의 값은 분할된 픽쳐에서 세로 방향의 타일들의 개수를 나타낼 수 있다. 또는, "num_tile_row_minus1 + 1"의 값은 한 열 내의 타일들의 개수를 나타낼 수 있다.
- uniform_spacing_flag: uniform_spacing_flag는 픽쳐가 가로 방향 및 세로 방향으로 균등하게 타일들로 분할되는지 여부를 지시하는 균등 분할 지시 플래그일 수 있다. 예를 들면, uniform_spacing_flag는 픽쳐의 타일들의 크기들이 모두 동일한 지 여부를 나타내는 플래그일 수 있다. 예를 들면, uniform_spacing_flag의 값이 "0"인 것은 픽쳐가 가로 방향 및/또는 세로 방향으로 균등하게 분할되지 않는다는 것을 나타낼 수 있다. uniform_spacing_flag의 값이 "1"인 것은 픽쳐가 가로 방향 및 세로 방향으로 균등하게 분할된다는 것을 나타낼 수 있다. uniform_spacing_flag의 값이 "0"인 경우, 픽쳐의 분할을 위해 후술될 column_width_minus1[ i ] 및 row_height_minus1[ i ] 등과 같은 분할을 더 구체적으로 정의하는 요소가 추가적으로 요구될 수 있다.
- column_width_minus1[ i ]: column_width_minus1[ i ]는 i 번째 열의 타일의 넓이에 대응하는 타일 넓이 정보일 수 있다. i 는 0 이상이고, 타일들의 열의 개수 n 보다 작은 정수일 수 있다. 예를 들면, "column_width_minus1[ i ] + 1"는 i+1 번째 열의 타일의 넓이를 나타낼 수 있다. 넓이는 기정의된 단위로 표현될 수 있다. 예를 들면, 넓이의 단위는 코딩 트리 블록(Coding Tree Block; CTB)일 수 있다.
- row_height_minus1[ i ]: row_height_minus1[ i ]는 i 번째 행의 타일의 높이에 대응하는 타일 높이 정보일 수 있다. i 는 0 이상이고, 타일들의 행의 개수 n 보다 작은 정수일 수 있다. 예를 들면, "row_height_minus1[ i ] + 1"는 i+1 번째 행의 타일의 높이를 나타낼 수 있다. 높이는 기정의된 단위로 표현될 수 있다. 예를 들면, 높이의 단위는 CTB일 수 있다.
일 예에 있어서, 픽쳐 분할 정보는 PPS에 포함될 수 있고, PPS가 전송될 때 PPS의 일부로서 전송될 수 있다. 복호화 장치는 픽쳐에 대한 PPS를 참조함으로써 픽쳐의 분할에 대해 요구되는 픽쳐 분할 정보를 획득할 수 있다.
부호화 장치가 이전에 전송된 것과는 상이한 픽쳐 분할 정보를 시그널링하기 위해서, 우선 부호화 장치는 새로운 픽쳐 분할 정보를 포함하고, 새로운 PPS ID를 포함하는, 새로운 PPS를 복호화 장치로 전송할 수 있다. 다음으로, 부호화 장치는 상기의 PPS ID를 포함하는 슬라이스 헤더를 복호화 장치로 전송할 수 있다.
도 11은 일 예에 따른 슬라이스를 사용하는 픽쳐의 분할을 나타낸다.
도 11에서는, 픽쳐가 실선으로 도시되었고, 슬라이스가 굵은 점선으로 도시되었고, 코딩 트리 유닛(Coding Tree Unit; CTU))이 가는 점선으로 도시되었다. 도시된 것과 같이, 픽쳐는 복수의 슬라이스들로 분할될 수 있다. 하나의 슬라이스는 잇따른(subsequent) 하나 이상의 CTU들일 수 있다.
슬라이스는 픽쳐의 분할의 단위로서 사용되는 개체 중 하나일 수 있다. 슬라이스는 픽쳐의 분할의 단위일 수 있다. 또는, 슬라이스는 픽쳐 분할 부호화의 단위일 수 있다.
슬라이스에 관련된 정보는 슬라이스 세그먼트 헤더(slice segment header)를 통해 시그널링될 수 있다. 슬라이스 세그먼트 헤더는 슬라이스들의 정보를 포함할 수 있다.
슬라이스가 픽쳐 분할 부호화의 단위일 때, 픽쳐 분할 정보는 하나 이상의 슬라이스들의 각 슬라이스의 시작 주소를 정의할 수 있다.
슬라이스의 시작 주소의 단위는 CTU일 수 있다. 픽쳐 분할 정보는 하나 이상의 슬라이스들의 각 슬라이스의 시작 CTU 주소를 정의할 수 있다. 슬라이스들의 시작 주소들에 의해 픽쳐 분할 형태가 정의될 수 있다.
아래의 표 2는 slice_segment_header의 구조의 일 예를 나타낸다. 픽쳐 분할 정보는 slice_segment_header이거나, slice_segment_header를 포함할 수 있다.
slice_segment_header는 아래와 같은 요소를 포함할 수 있다.
- first_slice_segment_in_pic_flag: first_slice_segment_in_pic_flag는 slice_segment_header가 나타내는 슬라이스가 픽쳐의 첫 번째 슬라이스인지 여부를 나타내는 제1 슬라이스 지시 플래그일 수 있다.
예를 들면, first_slice_segment_in_pic_flag의 값이 "0"인 것은 슬라이스가 픽쳐의 첫 번째 슬라이스가 아님을 나타낼 수 있다. first_slice_segment_in_pic_flag의 값이 "1"인 것은 슬라이스가 픽쳐의 첫 번째 슬라이스임을 나타낼 수 있다.
- dependent_slice_segment_flag: dependent_slice_segment_flag는 slice_segment_header가 나타내는 슬라이스가 종속(dependent) 슬라이스인지 여부를 나타내는 종속 슬라이스 세그먼트 지시 플래그일 수 있다.
예를 들면, dependent_slice_segment_flag의 값이 "0"인 것은 슬라이스가 종속 슬라이스가 아니라는 것을 나타낼 수 있다. dependent_slice_segment_flag의 값이 "1"인 것은 슬라이스가 종속 슬라이스인 것을 나타낼 수 있다.
예를 들면, 웨이브프론트 병렬 프로세싱(Wavefront Parallel Processing; WPP)의 서브스트림(substream)의 슬라이스는 종속 슬라이스일 수 있다. 종속 슬라이스에 대응하는 독립(independent)가 존재할 수 있다. slice_segment_header가 나타내는 슬라이스가 종속 슬라이스인 경우, slice_segment_header의 적어도 하나의 요소는 존재하지 않을 수 있다. 말하자면, slice_segment_header에서 요소의 값이 정의되지 않을 수 있다. 종속 슬라이스의 값이 정의되지 않은 요소에 대해서는 종속 슬라이스에 대응하는 독립 슬라이스의 요소의 값이 사용될 수 있다. 말하자면, 종속 슬라이스의 slice_segment_header에서 존재하지 않는 특정된 요소의 값은 종속 슬라이스에 대응하는 독립 슬라이스의 slice_segment_header의 특정된 요소의 값과 동일할 수 있다. 예를 들면, 종속 슬라이스는 대응하는 독립 슬라이스의 요소의 값을 상속할 수 있고, 독립 슬라이스의 적어도 일부의 요소의 값을 재정의할 수 있다.
- slice_segment_address: slice_segment_address는 slice_segment_header가 나타내는 슬라이스의 시작 주소를 지시하는 시작 주소 정보일 수 있다. 시작 주소 정보의 단위는 CTB일 수 있다.
픽쳐를 하나 이상의 슬라이스들로 분할하는 방식은 아래의 방식들 1) 내지 3)을 포함할 수 있다.
방식 1) 제1 방식은, 하나의 슬라이스가 포함할 수 있는 비트스트림의 최대 크기로 픽쳐를 분할하는 것일 수 있다.
방식 2) 제2 방식은, 하나의 슬라이스가 포함할 수 있는 최대 CTU 개수로 픽쳐를 분할하는 것일 수 있다.
방식 3) 제3 방식은, 하나의 슬라이스가 포함할 수 있는 최대 타일 개수로 픽쳐를 분할하는 것일 수 있다.
부호화 장치가 슬라이스의 단위로 병렬 부호화를 하려고 할 때 통상적으로 상기의 3가지의 방식들 중 제2 방식 및 제3 방식이 사용될 수 있다.
제1 방식의 경우, 비트스트림의 크기는 부호화가 완료된 후에 알려질 수 있기 때문에, 부호화의 시작의 이전에 병렬로 처리될 슬라이스가 정의되는 것이 어려울 수 있다. 따라서, 슬라이스의 단위의 병렬 부호화가 가능하게 하는 픽쳐 분할 방식은 최대 CTU 개수의 단위를 사용하는 제2 방식 및 최대 타일 개수의 단위를 사용하는 제3 방식일 수 있다.
제2 방식 및 제3 방식이 사용될 경우, 픽쳐가 병렬로 부호화되기 전에 픽쳐를 분할할 크기가 미리 정해질 수 있다. 또한, 정해진 크기에 따라서 slice_segment_address가 계산될 수 있다. 부호화 장치가 슬라이스를 병렬 부호화의 단위로서 사용할 경우, 통상적으로 slice_segment_address가 매 픽쳐마다 변하지는 않고 일정한 주기 및/또한 특정된 규칙에 따라서 반복되는 경향을 보일 수 있다.
도 13은 일 예에 따른 시공간적으로(temporal-spatial) 분할된 픽쳐에 대한 분산 부호화를 나타낸다.
도 13에서는, 하나의 픽쳐가 4 개의 슬라이스들로 분할된 구성을 도시한다. 또한, 4 개의 픽쳐들이 각각 4 개의 슬라이스들로 분할되었다. 각 픽쳐는 슬라이스 0, 슬라이스 1, 슬라이스 2 및 슬라이스 3을 포함할 수 있다.
말하자면, 비디오는 시공간적으로 분할될 수 있다. 비디오의 각 픽쳐는 특정된 개수의 슬라이스들로 분할될 수 있다.
픽쳐들의 슬라이스는 부호화 노드(encoding node)에 의해 처리될 수 있다.
픽쳐들의 동일한 슬라이스는 인트라 주기(intra period)의 단위로 묶일 수 있다. 픽쳐의 슬라이스들은 네트워크로 분산된 다수의 부호화 노드들에 의해 병렬로 부호화될 수 있다.
예를 들면, 도 13에서 도시된 것과 같이, 픽쳐들의 슬라이스 0들은 부호화 노드 0에 의해 처리될 수 있고, 슬라이스 1들은 부호화 노드 1에 의해 처리될 수 있고, 슬라이스 2들은 부호화 노드 2에 의해 처리될 수 있고, 슬라이스 3들은 부호화 노드 3에 의해 처리될 수 있다.
병렬 부호화에 있어서, 서로 다른 슬라이스들 내의 블록들 간에서는 인터 참조를 허용하지 않음으로써 노드들 간의 통신의 효율 및 병렬 부호화의 효율이 향상될 수 있다.
도 14는 일 예에 따른 움직임 제한 타일 집합((Motion-Constrained Tile Set; MCTS)에 대한 처리를 나타낸다.
MCTS는 인터 예측의 범위를 픽쳐 내의 특정된 영역으로 제한하는 하나 이상의 타일들의 집합일 수 있다.
예를 들면, 픽쳐의 흥미 영역(Region of Interest; ROI)이 MCTS로 설정되면, 픽쳐 중 MCTS의 경계의 밖의 영역은 인터 예측에서 사용되지 않을 수 있다.
도 14에서, 픽쳐 2의 인터 예측은 픽쳐 1의 MCTS의 영역 만을 사용하는 것으로 도시되었다. 또한, 픽쳐 3의 인터 예측은 픽쳐 1의 MCTS의 영역 및 픽쳐 2의 MCTS의 영역 만을 사용하는 것으로 도시되었다.
도 15는 일 예에 따른 슬라이스의 경계에 인접한 PU를 나타낸다.
도 15에서는, 대상 픽쳐가 도시되었다. 대상 픽쳐는 2 개의 슬라이스들로 분할되었다. 대상 픽쳐 내에는 2 개의 슬라이스들 간의 슬라이스 경계가 존재한다.
또한, 대상 블록인 대상 PU는 슬라이스의 경계 및 픽쳐의 경계에 인접한다.
만약, 전술된 공간적 후보의 움직임 정보를 리스트에 추가하는 방식이 리스트의 생성을 위해 사용될 경우, 리스트의 움직임 정보가 중 대상 PU의 움직임 정보로서 사용될 수 없는 경우가 빈번하게 발생할 수 있다. 이러한 경우에 대해, 아래에서 도 16을 참조하여 상세하게 설명된다.
도 16은 일 예에 따른 머지 리스트를 나타낸다.
도 16은 도 15의 대상 PU에 대해 생성된 머지 리스트일 수 있다.
도 16의 머지 리스트는 전술된 머지 리스트 생성 방법에 의해 생성될 수 있다.
머지 리스트의 움직임 정보의 최대 개수는 5일 수 있다.
머지 리스트의 각 행은 움직임 정보를 나타낼 수 있다. 예를 들면 제1 행(1610)은 머지 인덱스의 값이 0인 움직임 정보를 나타낼 수 있다.
머지 리스트에서 첫 번째 열은 머지 인덱스일 수 있다. 두 번째 열 및 세 번째 열은 움직임 정보의 참조 픽쳐 리스트를 나타낼 수 있다. 참조 픽쳐 리스트 L0을 사용하는 움직임 정보에 대해서는 두 번째 열에 움직임 벡터 및 참조 픽쳐 인덱스가 기재될 수 있다. 참조 픽쳐 리스트 L1을 사용하는 움직임 정보에 대해서는 세 번째 열에 움직임 벡터 및 참조 픽쳐 인덱스가 기재될 수 있다. 참조 픽쳐 리스트 L0 및 참조 픽쳐 리스트 L1을 각각 사용하는 움직임 정보에 대해서는 두 번째 열 및 세 번째 열의 각각에 움직임 벡터 및 참조 픽쳐 인덱스가 기재될 수 있다.
"(X, Y), Z"의 표시는 움직임 벡터 (X, Y) 및 참조 픽쳐 인덱스 Z를 나타낼 수 있다.
예를 들면, 제1 행(1610)의 "(-1, -2), 0" 및 "-" 는 첫 번째의 움직임 정보가, 움직임 벡터 (-1, -2), 참조 픽쳐 리스트 L0, 참조 픽쳐 인덱스 0의 정보이며, 참조 픽쳐 리스트 L1은 사용되지 않는다는 것을 나타낼 수 있다. 제1 행(1610)의 움직임 정보는, 참조 픽쳐 리스트 L0 내의 참조 픽쳐들 중 인덱스 0인 픽쳐를 가리킬 수 있고, 좌측으로 1칸, 위로 2 칸 이동하는 움직임 벡터를 가리킬 수 있다.
또한, 제4 행(1640)은 참조 픽쳐 리스트 L0 및 참조 픽쳐 리스트 L1을 가리키는 양방향 예측의 움직임 정보를 나타낼 수 있다.
도 15의 대상 PU는 슬라이스의 우측 하단에 위치하기 때문에, 움직임 정보의 움직임 벡터의 x 값 또는 y 값 중 둘 중의 하나가 1 이상인 경우 대상 PU에 적용된 움직임 벡터가 가리키는 위치는 픽쳐의 경계 또는 슬라이스의 경계를 넘을 수 있다. 따라서, 이러한 움직임 정보는, MVD를 사용하는 조절 등 추가적인 조절 방법을 사용하지 않고서는, 대상 PU를 위해 사용될 수 없다.
예를 들면, 제2 행(1620)의 움직임 정보는 공간적 후보 B1에서 유래한 것일 수 있다. B1에 대해서 (-1, 1)의 움직임 벡터는 슬라이스 경계 및 픽쳐 경계를 벗어나지 않는 유효한 움직임 벡터일 수 있다. 그러나, 움직임 벡터 (-1, 1)은 대상 PU에 대해서는 슬라이스 경계를 넘어가는 움직임 벡터일 수 있다. 즉, 움직임 벡터 (-1, 1)는 대상 PU에 대해서는 사용될 수 없는 움직임 벡터일 수 있으며, 제2 열의 움직임 정보는 사용될 수 없는 움직임 정보일 수 있다.
예를 들면, 제3 행(1630)의 움직임 벡터 (1, 0)는 공간적 후보 B2에서 유래한 것일 수 있다. 그러나, 움직임 벡터 (1, 0)은 대상 PU에 대해서는 픽쳐 경계를 넘어가는 움직임 벡터일 수 있다.
예를 들면, 제4 행(1640)의 움직임 벡터 (1, 1)은 시간적 후보에서 유래한 것일 수 있다. 그러나, 움직임 벡터 (1, 1)은 대상 PU에 대해서는 픽쳐 경계를 넘어가는 움직임 벡터일 수 있다.
예를 들면, 제5 행(1650)의 움직임 정보는 제1 행(1610)의 움직임 정보 및 제2 행(1620)의 움직임 정보의 조합된 양방향 예측에 의해 생성된 조합된 움직임 정보일 수 있다. 그러나, 제2 행(1602)의 움직임 정보가 대상 PU에 대해서는 사용될 수 없기 때문에 제5 행(1650)의 움직임 정보 또한 생성될 수 없다.
전술된 것과 같이, 경우에 따라서는, 머지 리스트의 움직임 정보들 중 다수가 대상 블록에 대해 사용될 수 없을 수 있다. 또한, 이러한 사용될 수 없는 움직임 정보는 다른 후순위의 움직임 정보가 머지 리스트에 추가될 수 없게 할 수 있다.
이러한 경우, 부호화 장치(100)는 머지 리스트의 움직임 정보들 중 슬라이스 경계의 또는 픽쳐의 경계를 넘어가게 하는 움직임 정보를 사용할 수 없다. 특정한 경우, 머지 리스트의 움직임 정보들 중 어떤 것도 실제로는 사용되지 못할 수도 있다.
부호화 장치(100)가 대상 블록에 대한 최적의 인터 예측 모드를 선택함에 있어서, 머지 리스트의 움직임 정보들 중 적어도 일부의 사용이 제한됨에 따라 부호화 효율이 저하될 수 있다. 또한, 어떤 움직임 정보는 MVD 등의 오버헤드(overhead)를 야기할 수 있다.
아래의 실시예들에서는, 인터 예측의 범위를 제한하면서 부호화 효율을 향상시키기 위한 움직임 예측 경계 검사의 방법이 제시된다.
움직임 예측 경계 검사의 과정은 후보 블록의 움직임 정보를 리스트에 추가하려고 할 때 또는 후보 블록의 가용성을 판단할 때 수행될 수 있다.
움직임 예측 경계 검사는 후보 블록의 움직임 정보를 사용하여 결정된 위치가 영역 또는 경계를 벗어나는지 여부를 검사하는 것일 수 있다. 말하자면, 움직임 예측 경계 검사는 움직임 정보의 움직임 벡터에 따른 대상 블록이 참조하는 위치가 영역 내에 존재하는지 여부를 검사하는 것일 수 있다. 말하자면, 인터 예측에 있어서, 대상 블록이 참조하는 위치는 영역 내로 제한될 수 있다. 움직임 예측 경계 검사를 통과한 움직임 정보가 대상 블록의 움직임 예측을 위해 사용될 수 있다.
"결정된 위치"는 대상 블록에 적용된 움직임 정보의 움직임 벡터가 가리키는 위치일 수 있다. 여기에서, 움직임 벡터가 가리키는 위치는 대상 블록의 위치에 움직임 벡터가 더해진 위치일 수 있다.
움직임 예측 경계 검사에 따라서, 결정된 위치가 영역 내에 있는 경우(또는, 결정된 위치가 경계를 벗어나지 않는 경우)에만 후보 블록의 움직임 정보가 대상 블록에 대한 움직임 정보 후보로서 리스트에 추가될 수 있다.
영역은 대상 블록을 포함하는 슬라이스의 영역, 대상 블록을 포함하는 타일의 영역 또는 대상 블록을 포함하는 MCTS의 영역일 수 있다. 말하자면, 영역은 픽쳐를 분할하는 단위들 중 대상 블록을 포함하는 단위일 수 있다.
경계는 픽쳐의 경계를 포함할 수 있다. 또한, 경계는 슬라이스들 간의 경계, 타일들 간의 경계 또는 MCTS들 간의 경계를 포함할 수 있다. 말하자면, 경계는 1) 픽쳐의 경계 및 2) 픽쳐를 분할하는 단위들 중 대상 블록을 포함하는 단위 및 다른 단위 간의 경계를 나타낼 수 있다.
도 17은 일 실시예에 따른 인터 예측 방법의 흐름도이다.
단계(1710)에서, 인터 예측부(250)는 대상 블록의 예측에 대하여 인터 예측이 사용되는 것을 확인할 수 있다.
예를 들면, 비트스트림의 예측 정보가 인터 예측을 나타내면, 인터 예측부(250)는 대상 블록에 대해서 인터 예측이 사용되는 것을 확인할 수 있다.
단계(1720)에서, 인터 예측부(250)는 비트스트림으로부터 인터 예측 정보를 획득할 수 있다.
인터 예측 정보는 모드 정보를 포함할 수 있다. 모드 정보는 1) AMVP 모드, 2) 머지 모드 및 3) 스킵 모드 중 어떤 모드가 대상 블록의 인터 예측을 위해 사용되는 가를 나타낼 수 있다.
모드 정보는 복수일 수 있다. 예를 들면, 인터 예측 정보는 스킵 모드 정보를 포함할 수 있다. 스킵 모드 정보는 대상 블록의 인터 예측을 위해 스킵 모드를 사용한다는 것을 나타낼 수 있다.
인터 예측 정보는 모드 정보에 따라 서로 다를 수 있다.
단계(1730)에서, 인터 예측부(250)는 리스트를 생성할 수 있다.
리스트는 예측 움직임 벡터 후보 리스트 또는 머지 리스트일 수 있다.
리스트는 인터 예측 정보가 가리키는 모드에 대응하는 리스트일 수 있다. 예를 들면, 인터 예측 정보가 AMVP 모드를 사용하는 것을 나타내면, 생성되는 리스트는 예측 움직임 벡터 후보 리스트일 수 있다. 인터 예측 정보가 머지 모드 또는 스킵 모드를 사용하는 것을 나타내면, 생성되는 리스트는 머지 리스트일 수 있다.
리스트 생성에 대하여, 아래에서 도 18 및 도 19를 각각 참조하여 상세하게 설명된다.
단계(1740)에서, 인터 예측부(250)는 리스트 및 인터 예측 정보에 기반하여 대상 블록의 움직임 정보를 생성할 수 있다.
단계(1750)에서, 인터 예측부(250)는 대상 블록의 움직임 정보에 기반하여 대상 블록에 대한 인터 예측을 수행할 수 있다.
단계들(1710, 1720, 1730, 1740 및 1750)의 적어도 일부는 부호화 장치(100)의 인터 예측부(110)에 의해서도 수행될 수 있다. 예를 들면, 리스트를 생성하는 단계(1730)는 부호화 장치(100)에서도 동일하게 수행될 수 있다. 단계들에 대한 아래의 설명들에서, 인터 예측부(250)는 인터 예측부(110)로 대체될 수 있다.
단계들(1710, 1720, 1730, 1740 및 1750)은 도 1을 참조하여 설명된 부호화 장치(100)의 다른 구성 요소들의 동작들과 결합될 수 있다. 또한, 단계들(1710, 1720, 1730, 1740 및 1750)은 도 2를 참조하여 설명된 복호화 장치(200)의 다른 구성 요소들의 동작들과 결합될 수 있다.
도 18은 일 실시예에 따른 대상 블록의 인터 예측을 위한 머지 리스트를 생성하는 방법의 흐름도이다.
도 17을 참조하여 전술된 단계(1730)는 아래에서 설명될 단계들(1810, 1820, 1830, 1840, 1850, 1860, 1870 및 1880)을 포함할 수 있다.
본 실시예에서, 대상 블록의 인트라 예측 모드는 머지 모드 또는 스킵 모드일 수 있다. 리스트는 머지 리스트일 수 있다. 후보 블록의 움직임 정보는 머지 후보에 대응할 수 있다.
단계(1810)에서, 인터 예측부(230)는 공간적 후보의 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
공간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1820)가 수행될 수 있다.
공간적 후보의 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 단계(1830)가 수행될 수 있다.
단계(1820)에서, 공간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 인터 예측부(230)는 공간적 후보의 움직임 정보를 리스트에 추가할 수 있다.
단계들(1810 및 1820)을 통해, 공간적 후보의 움직임 정보가 리스트에 추가될 수 있다.
일 실시예에서, 단계들(1810 및 1820)에서, 인터 예측부(230)는 대상 블록에 대한 정보 및 공간적 후보의 움직임 정보에 기반하여 공간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
일 실시예에서, 대상 블록에 대한 정보는 대상 블록의 위치일 수 있다. 인터 예측부(230)는 대상 블록의 위치 및 공간적 후보의 움직임 벡터에 기반하여 공간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록 및 공간적 후보에 대한 움직임 예측 경계 검사에 기반하여 공간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록에 적용된 움직임 벡터가 가리키는 위치에 기반하여 공간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다. 여기에서, 적용된 움직임 벡터는 공간적 후보의 움직임 정보의 움직임 벡터일 수 있다.
여기에서, 움직임 벡터가 가리키는 위치는 대상 블록의 위치에 움직임 벡터를 더함으로써 결정된 위치일 수 있다.
또한, 대상 블록에 적용된 움직임 벡터가 가리키는 위치는 대상 블록의 참조 위치일 수 있다. 이하에서, 대상 블록에 적용된 움직임 벡터가 가리키는 위치를 대상 블록의 참조 위치로 약술한다. 참조 위치는 대상 블록의 참조 블록을 가리킬 수 있다.
움직임 벡터가 가리키는 위치 또는 참조 위치는 대상 블록이 참조하는 참조 픽쳐 내의 위치일 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록의 참조 위치가 영역 내에 있으면, 공간적 후보의 움직임 정보를 리스트에 추가할 수 있다. 인터 예측부(230)는 대상 블록의 참조 위치가 영역을 벗어나면 공간적 후보의 움직임 정보를 리스트에 추가하지 않을 수 있다.
영역은 대상 블록을 포함하는 슬라이스의 영역, 대상 블록을 포함하는 타일의 영역 또는 대상 블록을 포함하는 MCTS의 영역일 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록의 참조 위치가 경계를 벗어나지 않으면, 공간적 후보의 움직임 정보를 리스트에 추가할 수 있다. 인터 예측부(230)는 대상 블록의 참조 위치가 영역을 벗어나면 공간적 후보의 움직임 정보를 리스트에 추가하지 않을 수 있다.
경계는 픽쳐의 경계를 포함할 수 있다. 또한, 경계는 슬라이스들 간의 경계, 타일들 간의 경계 또는 MCTS들 간의 경계를 포함할 수 있다.
공간적 후보는 복수일 수 있다. 복수의 공간적 후보들은 A1, B1, B0, A0 및 B2일 수 있다.
리스트 내의 움직임 정보의 개수가 설정된 최대 개수보다 적으면, 단계들(1810 및 1820)은 복수의 공간적 후보들에 대해 순차적으로 반복될 수 있다.
단계(1830)에서, 인터 예측부(230)는 시간적 후보의 움직임 정보가 리스트에 추가될지 여부를 판단할 수 있다.
시간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1840)가 수행될 수 있다.
시간적 후보의 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 단계(1850)가 수행될 수 있다.
단계(1840)에서, 시간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 인터 예측부(230)는 시간적 후보의 움직임 정보를 리스트에 추가할 수 있다.
단계들(1830 및 1840)을 통해, 시간적 후보의 움직임 정보가 리스트에 추가될 수 있다.
일 실시예에서, 단계들(1830 및 1840)에서, 인터 예측부(230)는 대상 블록에 대한 정보 및 시간적 후보의 움직임 정보에 기반하여 시간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
이하에서, 시간적 후보의 움직임 벡터는 스케일된 움직임 벡터일 수 있다.
일 실시예에서, 대상 블록에 대한 정보는 대상 블록의 위치일 수 있다. 인터 예측부(230)는 대상 블록의 위치 및 시간적 후보의 움직임 벡터에 기반하여 시간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록 및 시간적 후보에 대한 움직임 예측 경계 검사에 기반하여 시간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록에 적용된 움직임 벡터가 가리키는 위치에 기반하여 시간적 후보의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다. 여기에서, 적용된 움직임 벡터는 시간적 후보의 움직임 정보의 움직임 벡터일 수 있다.
움직임 벡터가 가리키는 위치 또는 참조 위치는 대상 블록이 참조하는 참조 픽쳐 내의 위치일 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록의 참조 위치가 영역 내에 있으면, 시간적 후보의 움직임 정보를 리스트에 추가할 수 있다. 인터 예측부(230)는 대상 블록의 참조 위치가 영역을 벗어나면 시간적 후보의 움직임 정보를 리스트에 추가하지 않을 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록의 참조 위치가 경계를 벗어나지 않으면, 시간적 후보의 움직임 정보를 리스트에 추가할 수 있다. 인터 예측부(230)는 대상 블록의 참조 위치가 영역을 벗어나면 시간적 후보의 움직임 정보를 리스트에 추가하지 않을 수 있다.
시간적 후보는 전술된 제1 콜 블록 또는 제2 콜 블록일 수 있다. 제1 콜 블록이 가용한 경우 시간적 후보는 제1 콜 블록일 수 있다. 제1 콜 블록이 가용하지 않고, 제2 콜 블록이 가용한 경우 시간적 후보는 제2 콜 블록일 수 있다. 말하자면, 제1 콜 블록이 제2 콜 블록에 비해 우선적으로 사용될 수 있다.
단계(1830)가 수행되기 전에 이미 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수와 동일하면, 단계들(1830, 1840, 1850, 1860, 1870 및 1880)은 수행되지 않을 수 있고, 시간적 후보의 움직임 정보는 리스트에 포함되지 않을 수 있다.
전술된 단계들(1810, 1820, 1830 및 1840)는 복수의 공간적 후보들 및 시간적 후보에 대한 제1 단계 및 제2 단계로 대체될 수 있다.
제1 단계에서, 인터 예측부(230)는 후보 블록의 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
제2 단계에서, 후보 블록의 움직임 정보가 리스트로 추가되도록 결정된 경우, 움직임 정보를 리스트에 추가할 수 있다.
후보 블록은 복수의 공간적 후보들 및 시간적 후보를 포함할 수 있다.
제1 단계 및 제2 단계는 복수의 공간적 후보들 및 시간적 후보에 대해 순차적으로 반복되어 수행될 수 있다. 제1 단계 및 제2 단계는, 모든 복수의 공간적 후보들 및 시간적 후보들에 대해 제1 단계가 수행되거나, 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수에 도달할 때까지 반복되어 수행될 수 있다.
일 실시예에서, 인터 예측부(230)는 후보 블록의 가용성에 기반하여 후보 블록의 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다. 후보 블록이 가용하지 않으면, 인터 예측부(230)는 후보 블록의 움직임 정보를 리스트에 추가하지 않을 수 있다. 인터 예측부(230)는 후보 블록이 가용하고, 후보 블록의 움직임 정보가 리스트 내에 존재하는 다른 움직임 정보와 중복되지 않으면, 후보 블록의 움직임 정보를 리스트에 추가할 수 있다.
일 실시예에서, 움직임 벡터가 경계를 벗어나는지 여부에 대한 판단 또는 이에 상응하는 판단은 가용성에 대한 판단에 관련될 수 있다. 예를 들면, 인터 예측부(230)는 후보 블록의 움직임 벡터가 가용성에 대한 다른 조건을 충족시키더라도, 움직임 예측 경계 검사의 결과에 따라서 후보 블록의 가용한지 여부를 판단할 수 있다. 가용성에 대한 판단에 대하여 아래에서 도 20을 참조하여 상세하게 설명된다.
일 실시예에서, 움직임 벡터가 경계를 벗어나는지 여부에 대한 판단 또는 이에 상응하는 판단은 가용성 판단과는 별개일 수 있다. 예를 들면, 후보 블록의 가용성에 대한 인터 예측부(230)는, 후보 블록이 가용하더라도, 움직임 예측 경계 검사의 결과에 따라서 후보 블록의 움직임 정보가 리스트에 추가될지 여부를 결정할 수 있다.
복수의 공간적 후보들 및 시간적 후보의 모두에 대해 제1 단계 및 제2 단계가 수행되기 전에, 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수에 도달하면 남은 후보에 대해서는 가용성 검사가 이루어지지 않을 수 있다.
단계(1850)에서, 인터 예측부(230)는 조합된 양방향 예측에 의해 생성된 조합된 움직임 정보가 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
조합된 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1860)가 수행될 수 있다.
조합된 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 단계(1870)가 수행될 수 있다.
단계(1860)에서, 조합된 움직임 정보가 리스트에 추가되도록 결정된 경우, 인터 예측부(230)는 조합된 움직임 정보를 리스트에 추가할 수 있다.
인터 예측부(230)는 1) 리스트 내의 움직임 정보의 개수가 설정된 최대 개수보다 적고, 2) 리스트 내의 움직임 정보들을 사용하는 조합된 양방향 예측에 의해 조합된 움직임 정보가 생성될 수 있고, 3) 조합된 움직임 정보가 리스트 내의 다른 움직임 정보와 중복되지 않으면, 조합된 움직임 정보를 리스트에 추가할 수 있다.
이 때, 리스트 내의 움직임 정보들의 각각은 이미 움직임 예측 경계 검사를 통과한 움직임 정보일 수 있다. 따라서, 리스트 내의 움직임 정보들을 사용하는 조합된 양방향 예측에 의해 생성된 조합된 움직임 정보는 움직임 예측 경계 검사를 통과할 수 있다. 이와는 달리, 인터 예측부(230)는 조합된 움직임 정보에 대해서도 움직임 예측 경계 검사를 수행할 수 있고, 움직임 예측 경계 검사를 통과한 조합된 움직임 정보만을 리스트에 추가할 수도 있다.
단계들(1850 및 1860)은 대상 슬라이스의 타입이 "B"인 경우에만 수행될 수 있다.
조합된 움직임 정보는 복수일 수 있다.
전술된 것과 같이, 기정의된 순서에 따라, 복수의 조합된 움직임 정보들이 생성될 수 있다. 단계(1850) 및 단계(1860)는 복수의 조합된 움직임 정보들에 대해 순차적으로 반복해서 수행될 수 있다. 단계(1850) 및 단계(1860)는, 가능한 모든 조합된 움직임 정보들이 리스트에 추가되거나, 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수에 도달할 때까지 반복되어 수행될 수 있다.
단계(1870)에서, 인터 예측부(230)는 제로 벡터 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
제로 벡터 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1880)가 수행될 수 있다.
제로 벡터 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 절차가 종료할 수 있다.
단계(1880)에서, 제로 벡터 움직임 정보가 리스트에 추가되도록 결정된 경우, 인터 예측부(230)는 제로 벡터 움직임 정보를 리스트에 추가할 수 있다.
인터 예측부(230)는 1) 리스트 내의 움직임 정보의 개수가 설정된 최대 개수보다 적고, 2) 제로 벡터 움직임 정보가 생성될 수 있고, 3) 제로 벡터 움직임 정보가 리스트 내의 다른 움직임 정보와 중복되지 않으면, 제로 벡터 움직임 정보를 리스트에 추가할 수 있다.
제로 벡터 움직임 정보는 복수일 수 있다.
단계(1870) 및 단계(1880)는 복수의 제로 벡터 움직임 정보들에 대해 순차적으로 반복해서 수행될 수 있다. 단계(1870) 및 단계(1880)는, 가능한 모든 제로 벡터 움직임 정보들이 리스트에 추가되거나, 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수에 도달할 때까지 반복되어 수행될 수 있다.
도 19는 일 실시예에 따른 대상 블록의 인터 예측을 위한 예측 움직임 벡터 후보 리스트를 생성하는 방법의 흐름도이다.
도 17을 참조하여 전술된 단계(1730)는 아래에서 설명될 단계들(1910, 1920, 1930, 1940, 1970 및 1980)을 포함할 수 있다.
본 실시예에서, 대상 블록의 인트라 예측 모드는 AMVP 모드일 수 있다. 리스트는 예측 움직임 벡터 후보 리스트일 수 있다. 후보 블록의 움직임 정보는 예측 움직임 벡터 후보에 대응할 수 있다.
단계들(1910, 1920, 1930, 1940, 1970 및 1980)은 도 18을 참조하여 전술된 단계들(1810, 1820, 1830, 1840, 1870 및 1880)에 각각 대응할 수 있다. 말하자면, 단계들(1810, 1820, 1830, 1840, 1870 및 1880)에 대한 설명은 단계들(1910, 1920, 1930, 1940, 1970 및 1980)에도 적용될 수 있다. 중복되는 설명은 생략되고, 아래에서는 단계들(1810, 1820, 1830, 1840, 1870 및 1880) 및 단계들(1910, 1920, 1930, 1940, 1970 및 1980) 간의 차이에 대해서 설명된다.
단계(1910)에서, 인터 예측부(230)는 공간적 후보의 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
공간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1920)가 수행될 수 있다.
공간적 후보의 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 단계(1930)가 수행될 수 있다.
공간적 후보는 복수일 수 있다. 복수의 공간적 후보들은 제1 공간적 후보 및 제2 공간적 후보를 포함할 수 있다. 제1 공간적 후보는 A0, A1, 스케일된(scaled) A0 및 스케일된 A1 중 하나일 수 있다. 제2 공간적 후보는 B0, B1, B2, 스케일된 B0, 스케일된 B1 및 스케일된 B2 중 하나일 수 있다.
리스트 내의 움직임 정보의 개수가 설정된 최대 개수보다 적으면, 단계들(1910 및 1920)은 복수의 공간적 후보들에 대해 순차적으로 반복될 수 있다.
단계(1930)에서, 인터 예측부(230)는 시간적 후보의 움직임 정보가 리스트에 추가될지 여부를 판단할 수 있다.
시간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1940)가 수행될 수 있다.
시간적 후보의 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 단계(1970)가 수행될 수 있다.
단계(1940)에서, 시간적 후보의 움직임 정보가 리스트에 추가되도록 결정된 경우, 인터 예측부(230)는 시간적 후보의 움직임 정보를 리스트에 추가할 수 있다.
단계들(1930 및 1940)을 통해, 시간적 후보의 움직임 정보가 리스트에 추가될 수 있다.
단계(1930)가 수행되기 전에 이미 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수와 동일하면, 단계들(1930, 1940, 1970 및 1980)은 수행되지 않을 수 있고, 시간적 후보의 움직임 정보는 리스트에 포함되지 않을 수 있다.
예를 들면, 제1 공간적 후보 및 제2 공간적 후보가 모두 가용하고, 제1 공간적 후보의 움직임 정보 및 제2 공간적 후보의 움직임 정보가 중복되지 않으면, 제1 공간적 후보의 움직임 정보 및 제2 공간적 후보의 움직임 정보의 양자가 리스트에 추가될 수 있다. 이 때, 설정된 최대 개수가 2인 경우, 시간적 후보는 유도되지 않을 수 있고, 시간적 후보의 움직임 정보는 리스트에 추가되지 않을 수 있다.
전술된 단계들(1910, 1920, 1930 및 1940)는 복수의 공간적 후보들 및 시간적 후보에 대한 제1 단계 및 제2 단계로 대체될 수 있다.
제1 단계에서, 인터 예측부(230)는 후보 블록의 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
제2 단계에서, 후보 블록의 움직임 정보가 리스트로 추가되도록 결정된 경우, 움직임 정보를 리스트에 추가할 수 있다.
단계(1970)에서, 인터 예측부(230)는 제로 벡터 움직임 정보가 리스트로 추가될지 여부를 결정할 수 있다.
제로 벡터 움직임 정보가 리스트에 추가되도록 결정된 경우, 단계(1980)가 수행될 수 있다.
제로 벡터 움직임 정보가 리스트에 추가되지 않도록 결정된 경우, 절차가 종료할 수 있다.
단계(1980)에서, 제로 벡터 움직임 정보가 리스트에 추가되도록 결정된 경우, 인터 예측부(230)는 제로 벡터 움직임 정보를 리스트에 추가할 수 있다.
단계(1970) 및 단계(1980)는 복수의 제로 벡터 움직임 정보들에 대해 순차적으로 반복해서 수행될 수 있다. 단계(1970) 및 단계(1980)는, 가능한 모든 제로 벡터 움직임 정보들이 리스트에 추가되거나, 리스트 내의 움직임 정보들의 개수가 설정된 최대 개수에 도달할 때까지 반복되어 수행될 수 있다.
도 20은 일 실시예에 따른 대상 블록의 인터 예측에 대한 후보 블록의 가용성을 판단하는 방법의 흐름도이다.
후보 블록은 전술된 공간적 후보 및 시간적 후보를 포함할 수 있다.
단계(2010)에서, 인터 예측부(230)는 후보 블록을 포함하는 샘플이 픽쳐의 경계 내에 존재하는지 여부를 검사할 수 있다.
후보 블록을 포함하는 샘플이 픽쳐의 경계 내에 존재하는 경우 단계(2020)가 수행될 수 있다.
후보 블록을 포함하는 샘플이 픽쳐의 경계 내에 존재하지 않는 경우 단계(2060)가 수행될 수 있다.
단계(2020)에서, 인터 예측부(230)는 후보 블록을 포함하는 객체가 영역의 경계 내에 존재하는지 여부를 검사할 수 있다.
후보 블록을 포함하는 객체는 PU일 수 있다. 말하자면, 움직임 정보를 제공하는 주체는 PU일 수 있다.
영역은 대상 블록을 포함하는 슬라이스의 영역, 대상 블록을 포함하는 타일의 영역 또는 대상 블록을 포함하는 MCTS의 영역일 수 있다.
후보 블록을 포함하는 객체가 영역의 경계 내에 존재하는 경우 단계(2030)가 수행될 수 있다.
후보 블록을 포함하는 객체가 영역의 경계 내에 존재하지 않는 경우 단계(2060)가 수행될 수 있다.
영역은 대상 블록을 포함하는 슬라이스의 영역, 대상 블록을 포함하는 타일의 영역 또는 대상 블록을 포함하는 MCTS의 영역 중 복수의 영역들일 수 있다. 이러한 경우, 후보 블록을 포함하는 객체가 복수의 영역들의 복수의 경계들 내에 존재하는 경우 단계(2030)가 수행될 수 있다. 후보 블록을 포함하는 객체가 복수의 영역의 복수의 경계들 중 적어도 하나의 경계 내에 존재하지 않는 경우 단계(2060)가 수행될 수 있다.
단계(2030)에서, 인터 예측부(230)는 후보 블록을 포함하는 객체의 예측 모드가 인터 모드인지 여부를 검사할 수 있다.
후보 블록을 포함하는 객체의 예측 모드가 인터 모드인 경우 단계(2040)가 수행될 수 있다.
후보 블록을 포함하는 객체의 예측 모드가 인터 모드가 아닌 경우 단계(2060)가 수행될 수 있다.
단계(2040)에서, 인터 예측부(230)는 후보 블록의 포함하는 객체의 움직임 벡터가 가리키는 지점이 영역의 경계 내에 존재하는지 여부를 판단할 수 있다.
후보 블록을 포함하는 객체의 움직임 벡터가 가리키는 지점이 영역의 경계 내에 존재하는 경우 단계(2050)가 수행될 수 있다.
후보 블록을 포함하는 객체의 움직임 벡터가 가리키는 지점이 영역의 경계 내에 존재하지 않는 경우 단계(2060)가 수행될 수 있다.
단계(2050)에서, 인터 예측부(230)는 후보 블록의 가용성을 "참"으로 설정할 수 있다. 말하자면, 인터 예측부(230)는 후보 블록이 가용한 것으로 설정할 수 있다.
단계(2060)에서, 인터 예측부(230)는 후보 블록의 가용성을 "거짓"으로 설정할 수 있다. 말하자면, 인터 예측부(230)는 후보 블록이 가용하지 않은 것으로 설정할 수 있다.
말하자면, 단계들(201, 2020, 2030 및 2040)에서, 인터 예측부(230)는 후보 블록이 가용한지 여부에 대한 판단을 수행할 수 있고, 단계들(2050 및 2060)에서, 인터 예측부(230)는 판단의 결과에 따라 후보 블록의 가용성을 설정할 수 있다.
단계(2040)에 따르면, 후보 블록의 가용성은 대상 블록의 정보 및 후보 블록을 포함하는 객체의 움직임 정보에 기반하여 결정될 수 있다.
일 실시예에서, 대상 블록에 대한 정보는 대상 블록의 위치일 수 있다. 인터 예측부(230)는 대상 블록의 위치 및 객체의 움직임 벡터에 기반하여 후보 블록이 가용한지 여부를 결정할 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록 및 객체에 대한 움직임 예측 경계 검사에 기반하여 후보 블록이 가용한지 여부를 결정할 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록에 적용된 움직임 벡터가 가리키는 위치에 기반하여 후보 블록이 가용한지 여부를 결정할 수 있다. 여기에서, 적용된 움직임 벡터는 객체의 움직임 정보의 움직임 벡터일 수 있다.
여기에서, 움직임 벡터가 가리키는 위치는 대상 블록의 위치에 움직임 벡터를 더함으로써 결정된 위치일 수 있다.
또한, 대상 블록에 적용된 움직임 벡터가 가리키는 위치는 대상 블록의 참조 위치일 수 있다.
움직임 벡터가 가리키는 위치 또는 참조 위치는 대상 블록이 참조하는 참조 픽쳐 내의 위치일 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록의 참조 위치가 영역 내에 있으면, 후보 블록이 가용한 것으로 결정할 수 있다. 인터 예측부(230)는 대상 블록의 참조 위치가 영역을 벗어나면 후보 블록이 가용하지 않은 것으로 결정할 수 있다.
영역은 대상 블록을 포함하는 슬라이스의 영역, 대상 블록을 포함하는 타일의 영역 또는 대상 블록을 포함하는 MCTS의 영역일 수 있다.
일 실시예에서, 인터 예측부(230)는 대상 블록의 참조 위치가 경계를 벗어나지 않으면, 후보 블록이 가용한 것으로 결정할 수 있다. 인터 예측부(230)는 대상 블록의 참조 위치가 영역을 벗어나면 후보 블록이 가용하지 않은 것으로 결정할 수 있다.
경계는 픽쳐의 경계를 포함할 수 있다. 또한, 경계는 슬라이스들 간의 경계, 타일들 간의 경계 또는 MCTS들 간의 경계를 포함할 수 있다.
전술된 단계들(2010, 2020, 2030, 2040)의 순서들은 단지 예시적인 것으로, 전술된 단계들(2010, 2020, 2030, 2040)의 순서는 임의로 변경될 수 있다.
도 21은 일 예에 따른 움직임 예측 경계 검사가 적용된 머지 리스트를 나타낸다.
도 16의 머지 리스트를 살펴보면, 도 16을 참조하여 전술된 것과 같이 머지 리스트의 제2 행(1620), 제3 행(1630) 및 제4 행(1640)의 움직임 정보들은 움직임 예측 경계 검사를 통과하지 못할 수 있다. 따라서, 제2 행(1620), 제3 행(1630) 및 제4 행(1640)의 움직임 정보는 도 21의 머지 리스트에는 추가되지 못할 수 있다.
또한, 제5 행(1650)의 움직임 정보는 제1 행(1610)의 움직임 정보 및 제2 행(1620)의 움직임 정보에 대한 조합된 양방향 예측에 의해 생성된 조합된 움직임 정보인데, 제2 행(1620)의 움직임 정보가 움직임 예측 경계 검사를 통과하지 못하기 때문에, 제5 행(1650)의 조합된 움직임 정보는 생성될 수 없을 수 있다.
따라서, 도 21의 머지 리스트에는 제1 행(1610)에 해당하는 움직임 정보만이 존재할 수 있다.
공간적 후보들의 움직임 정보들, 시간적 후보들의 움직임 정보 및 조합된 움직임 정보 중 머지 리스트에 추가된 움직임 정보가 단지 1 개 임에 따라, 제로 벡터 움직임 정보가 머지 리스트에 추가될 수 있다.
참조 픽쳐들의 개수가 2인 경우, 참조 픽쳐 인덱스가 0인 제로 벡터 움직임 정보 및 참조 픽쳐 인덱스가 1인 제로 벡터 움직임 정보가 머지 리스트에 추가될 수 있다.
도 21에서 예시된 것과 같이, 전술된 실시예들을 통해, 가용한 움직임 정보들 중 경계를 넘지 않는 움직임 정보만이 리스트에 추가될 수 있으며, 머지 리스트는 유용한 움직임 정보만을 포함할 수 있다. 말하자면, 도 16의 머지 리스트는 실제로 사용될 수 있는 움직임 정보를 단지 1 개 포함하는 것에 비해, 도 21의 머지 리스트의 3 개의 움직임 정보들은 모두 효과적으로 사용될 수 있다. 따라서, 도 21의 머지 리스트에 의해 부호화 효율이 향상될 수 있다.
도 22는 일 실시예에 따른 부호화 장치를 구현하는 전자 장치의 구조도이다.
일 실시예에 따르면, 부호화 장치(100)의 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 복호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 부호화 장치(100)에 포함될 수 있다.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 부호화 장치(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.
프로그램 모듈들은 부호화 장치(100)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.
부호화 장치(100)는 도 22에서 도시된 전자 장치(2200)로서 구현될 수 있다. 전자 장치(2200)는 부호화 장치(100)로서 동작하는 범용의 컴퓨터 시스템일 수 있다.
도 22에서 도시된 바와 같이, 전자 장치(2200)는 버스(2290)를 통하여 서로 통신하는 처리부(2210), 메모리(2230), 사용자 인터페이스(User Interface; UI) 입력 디바이스(2250), UI 출력 디바이스(2260) 및 저장소(storage)(2240)를 포함할 수 있다. 또한, 전자 장치(2200)는 네트워크(2299)에 연결되는 통신부(2220)를 더 포함할 수 있다.
처리부(2220)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(2230) 또는 저장소(2240)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(2220)는 적어도 하나의 하드웨어 프로세서일 수 있다.
처리부(2220)는 전자 장치(2200)로 입력되거나, 전자 장치(2200)에서 출력되거나, 전자 장치(2200)의 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(10)에 의해 수행될 수 있다.
예를 들면, 처리부(2220)는 도 17, 도 18, 도 19 및 도 20의 단계들을 수행할 수 있다.
저장부는 메모리(2230) 및/또는 저장소(2240)를 나타낼 수 있다. 메모리(2230) 및 저장소(2240)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리는 롬(ROM)(2231) 및 램(RAM)(2232) 중 적어도 하나를 포함할 수 있다.
저장부는 전자 장치(2200)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 전자 장치(2200)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.
예를 들면, 저장부는 픽쳐, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.
전자 장치(2200)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.
기록 매체는 전자 장치(2200)가 부호화 장치(100)로서 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(2230)는 적어도 하나의 모듈을 저장할 수 있고, 처리부(2210)에 의하여 실행되도록 구성될 수 있다.
전자 장치(2200) 의 데이터 또는 정보의 통신과 관련된 기능은 통신부(2220)를 통해 수행될 수 있다.
예를 들면, 통신부(2220)는 인터 예측 정보 등을 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다.
도 23은 일 실시예에 따른 복호화 장치를 구현하는 전자 장치의 구조도이다.
일 실시예에 따르면, 복호화 장치(200)의 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 복호화 장치(200)에 포함될 수 있다.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 복호화 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.
프로그램 모듈들은 복호화 장치(200)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.
복호화 장치(200)는 도 23에서 도시된 전자 장치(2300)로서 구현될 수 있다. 전자 장치(2300)는 부호화 장치(100)로서 동작하는 범용의 컴퓨터 시스템일 수 있다.
도 23에서 도시된 바와 같이, 전자 장치(2300)는 버스(2390)를 통하여 서로 통신하는 처리부(2310), 메모리(2330), 사용자 인터페이스(User Interface; UI) 입력 디바이스(2350), UI 출력 디바이스(2360) 및 저장소(storage)(2340)를 포함할 수 있다. 또한, 전자 장치(2300)는 네트워크(2399)에 연결되는 통신부(2320)를 더 포함할 수 있다.
처리부(2320)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(2330) 또는 저장소(2340)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(2320)는 적어도 하나의 하드웨어 프로세서일 수 있다.
처리부(2320)는 전자 장치(2300)로 입력되거나, 전자 장치(2300)에서 출력되거나, 전자 장치(2300)의 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(10)에 의해 수행될 수 있다.
예를 들면, 처리부(2320)는 도 17, 도 18, 도 19 및 도 20의 단계들을 수행할 수 있다.
저장부는 메모리(2330) 및/또는 저장소(2340)를 나타낼 수 있다. 메모리(2330) 및 저장소(2340)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리는 롬(ROM)(2331) 및 램(RAM)(2332) 중 적어도 하나를 포함할 수 있다.
저장부는 전자 장치(2300)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 전자 장치(2300)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.
예를 들면, 저장부는 픽쳐, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.
전자 장치(2300)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.
기록 매체는 전자 장치(2300)가 복호화 장치(200)로서 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(2330)는 적어도 하나의 모듈을 저장할 수 있고, 처리부(2210)에 의하여 실행되도록 구성될 수 있다.
전자 장치(2300) 의 데이터 또는 정보의 통신과 관련된 기능은 통신부(2320)를 통해 수행될 수 있다.
예를 들면, 통신부(2320)는 부호화 장치(100)로부터 인터 예측 정보 등을 포함하는 비트스트림을 수신할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (19)

  1. 대상 블록에 대한 머지 리스트를 생성하는 단계; 및
    상기 머지 리스트 및 머지 인덱스를 사용하여 상기 대상 블록의 움직임 정보를 결정하는 단계
    를 포함하고,
    상기 머지 인덱스는 상기 머지 리스트 내의 머지 후보들 중 상기 대상 블록에 대한 인터 예측을 위한 머지 후보를 가리키는 복호화 방법.
  2. 제1항에 있어서,
    제1 후보 블록의 위치를 사용하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 위치가 픽쳐에 대한 분할에 의해 생성된 영역의 경계 내에 있는 경우에 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제1 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제1 후보 블록은 상기 대상 블록에 공간적으로 인접하고,
    상기 제1 후보 블록은 좌표들이 (xP - 1, yP + h - 1)인 픽셀을 차지하는 블록이고, 상기 xP는 상기 대상 블록의 x 좌표이고, 상기 yP는 상기 대상 블록의 y 좌표이고, 상기 h는 상기 대상 블록의 세로 크기인 복호화 방법.
  3. 제2항에 있어서,
    상기 제1 후보의 움직임 벡터를 사용하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보 중 하나와 중복되는지 여부에 기반하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되기 이전에 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보는 상기 대상 블록의 상단에 인접한 블록의 움직임 정보를 포함하는 복호화 방법.
  4. 제2항에 있어서,
    제2 후보 블록의 위치 및 상기 제2 후보 블록의 움직임 벡터를 사용하여 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제2 후보 블록의 위치가 픽쳐에 대한 분할에 의해 생성된 영역의 경계 내에 있는 경우에 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보 중 하나와 중복되는지 여부에 기반하여 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되기 이전에 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보는 상기 대상 블록의 상단에 인접한 블록의 움직임 정보를 포함하고,
    상기 제2 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제2 후보 블록은 상기 대상 블록에 공간적으로 인접하고,
    상기 제2 후보 블록은 좌표들이 (xP' - 1, yP' + h')인 픽셀을 차지하는 블록이고, 상기 xP'는 상기 대상 블록의 x 좌표이고, 상기 yP'는 상기 대상 블록의 y 좌표이고, 상기 h'는 상기 대상 블록의 세로 크기인 복호화 방법.
  5. 제4항에 있어서,
    제3 후보 블록의 가용성에 기반하여 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제3 후보 블록이 가용한 경우 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제3 후보 블록이 가용하지 않은 경우 상기 제3 후보 블록의 움직임 정보는 상기 머지 리스트에 추가되지 않고,
    상기 제3 후보 블록이 픽쳐를 분할함으로써 생성되는 영역의 경계의 밖에 있으면 상기 제3 후보 블록은 가용하지 않은 것으로 판단되고,
    상기 제3 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제3 후보 블록은 복원된 콜 픽쳐 내의 참조 픽셀을 포함하는 복원된 블록이고,
    상기 참조 픽셀의 x 좌표는 상기 대상 블록의 x 좌표 및 상기 대상 블록의 폭의 합이고,
    상기 참조 픽셀의 y 좌표는 상기 대상 블록의 y 좌표 및 상기 대상 블록의 높이의 합인 복호화 방법.
  6. 제4항에 있어서,
    제3 후보 블록의 가용성에 기반하여 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제3 후보 블록이 가용한 경우 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제3 후보 블록이 가용하지 않은 경우 상기 제3 후보 블록의 움직임 정보는 상기 머지 리스트에 추가되지 않고,
    상기 제3 후보 블록이 픽쳐를 분할함으로써 생성되는 영역의 경계의 밖에 있으면 상기 제3 후보 블록은 가용하지 않은 것으로 판단되고,
    상기 제3 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제3 후보 블록은 복원된 콜 픽쳐 내의 참조 픽셀을 포함하는 복원된 블록이고,
    상기 참조 픽셀의 x 좌표는 (상기 대상 블록의 x 좌표 + (상기 대상 블록의 폭 >> 1))이고,
    상기 참조 픽셀의 y 좌표는 (상기 대상 블록의 y 좌표 + (상기 대상 블록의 높이 >> 1))인 복호화 방법.
  7. 대상 블록에 대한 머지 리스트를 생성하는 단계; 및
    상기 머지 리스트 내의 머지 후보들 중 상기 대상 블록의 움직임 정보에 대응하는 머지 후보를 가리키는 머지 인덱스를 생성하는 단계
    를 포함하는 부호화 방법.
  8. 제7항에 있어서,
    제1 후보 블록의 위치를 사용하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 위치가 픽쳐에 대한 분할에 의해 생성된 영역의 경계 내에 있는 경우에 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제1 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제1 후보 블록은 상기 대상 블록에 공간적으로 인접하고,
    상기 제1 후보 블록은 좌표들이 (xP - 1, yP + h - 1)인 픽셀을 차지하는 블록이고, 상기 xP는 상기 대상 블록의 x 좌표이고, 상기 yP는 상기 대상 블록의 y 좌표이고, 상기 h는 상기 대상 블록의 세로 크기인 부호화 방법.
  9. 제8항에 있어서,
    상기 제1 후보의 움직임 벡터를 사용하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보 중 하나와 중복되는지 여부에 기반하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되기 이전에 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보는 상기 대상 블록의 상단에 인접한 블록의 움직임 정보를 포함하는 부호화 방법.
  10. 제8항에 있어서,
    제2 후보 블록의 위치 및 상기 제2 후보 블록의 움직임 벡터를 사용하여 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제2 후보 블록의 위치가 픽쳐에 대한 분할에 의해 생성된 영역의 경계 내에 있는 경우에 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보 중 하나와 중복되는지 여부에 기반하여 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되기 이전에 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보는 상기 대상 블록의 상단에 인접한 블록의 움직임 정보를 포함하고,
    상기 제2 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제2 후보 블록은 상기 대상 블록에 공간적으로 인접하고,
    상기 제2 후보 블록은 좌표들이 (xP' - 1, yP' + h')인 픽셀을 차지하는 블록이고, 상기 xP'는 상기 대상 블록의 x 좌표이고, 상기 yP'는 상기 대상 블록의 y 좌표이고, 상기 h'는 상기 대상 블록의 세로 크기인 부호화 방법.
  11. 제10항에 있어서,
    제3 후보 블록의 가용성에 기반하여 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제3 후보 블록이 가용한 경우 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제3 후보 블록이 가용하지 않은 경우 상기 제3 후보 블록의 움직임 정보는 상기 머지 리스트에 추가되지 않고,
    상기 제3 후보 블록이 픽쳐를 분할함으로써 생성되는 영역의 경계의 밖에 있으면 상기 제3 후보 블록은 가용하지 않은 것으로 판단되고,
    상기 제3 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제3 후보 블록은 복원된 콜 픽쳐 내의 참조 픽셀을 포함하는 복원된 블록이고,
    상기 참조 픽셀의 x 좌표는 상기 대상 블록의 x 좌표 및 상기 대상 블록의 폭의 합이고,
    상기 참조 픽셀의 y 좌표는 상기 대상 블록의 y 좌표 및 상기 대상 블록의 높이의 합인 부호화 방법.
  12. 제10항에 있어서,
    제3 후보 블록의 가용성에 기반하여 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제3 후보 블록이 가용한 경우 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제3 후보 블록이 가용하지 않은 경우 상기 제3 후보 블록의 움직임 정보는 상기 머지 리스트에 추가되지 않고,
    상기 제3 후보 블록이 픽쳐를 분할함으로써 생성되는 영역의 경계의 밖에 있으면 상기 제3 후보 블록은 가용하지 않은 것으로 판단되고,
    상기 제3 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제3 후보 블록은 복원된 콜 픽쳐 내의 참조 픽셀을 포함하는 복원된 블록이고,
    상기 참조 픽셀의 x 좌표는 (상기 대상 블록의 x 좌표 + (상기 대상 블록의 폭 >> 1))이고,
    상기 참조 픽셀의 y 좌표는 (상기 대상 블록의 y 좌표 + (상기 대상 블록의 높이 >> 1))인 부호화 방법.
  13. 제7항에 기재된 부호화 방법에 의하여 생성된 비트스트림을 기록하는 기록 매체.
  14. 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 비트스트림은,
    머지 리스트 내의 머지 후보들 중 대상 블록에 대한 인터 예측을 위한 머지 후보를 가리키는 머지 인덱스
    를 포함하고,
    상기 머지 리스트가 생성되고,
    상기 머지 리스트 및 상기 머지 인덱스를 사용하여 상기 대상 블록의 움직임 정보가 결정되고,
    상기 대상 블록의 움직임 정보를 사용하여 상기 대상 블록에 대한 인터 예측이 수행되는 컴퓨터 판독 가능한 기록 매체.
  15. 제14항에 있어서,
    제1 후보 블록의 위치를 사용하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 위치가 픽쳐에 대한 분할에 의해 생성된 영역의 경계 내에 있는 경우에 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제1 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제1 후보 블록은 상기 대상 블록에 공간적으로 인접하고,
    상기 제1 후보 블록은 좌표들이 (xP - 1, yP + h - 1)인 픽셀을 차지하는 블록이고, 상기 xP는 상기 대상 블록의 x 좌표이고, 상기 yP는 상기 대상 블록의 y 좌표이고, 상기 h는 상기 대상 블록의 세로 크기인 컴퓨터 판독 가능한 기록 매체.
  16. 제15항에 있어서,
    상기 제1 후보의 움직임 벡터를 사용하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보 중 하나와 중복되는지 여부에 기반하여 상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제1 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되기 이전에 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보는 상기 대상 블록의 상단에 인접한 블록의 움직임 정보를 포함하는 컴퓨터 판독 가능한 기록 매체.
  17. 제15항에 있어서,
    제2 후보 블록의 위치 및 상기 제2 후보 블록의 움직임 벡터를 사용하여 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제2 후보 블록의 위치가 픽쳐에 대한 분할에 의해 생성된 영역의 경계 내에 있는 경우에 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보 중 하나와 중복되는지 여부에 기반하여 상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제2 후보 블록의 움직임 정보가 상기 머지 리스트의 머지 후보로서 상기 머지 리스트에 추가될지 여부가 결정되기 이전에 상기 머지 리스트에 이미 포함된 적어도 하나의 머지 후보는 상기 대상 블록의 상단에 인접한 블록의 움직임 정보를 포함하고,
    상기 제2 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제2 후보 블록은 상기 대상 블록에 공간적으로 인접하고,
    상기 제2 후보 블록은 좌표들이 (xP' - 1, yP' + h')인 픽셀을 차지하는 블록이고, 상기 xP'는 상기 대상 블록의 x 좌표이고, 상기 yP'는 상기 대상 블록의 y 좌표이고, 상기 h'는 상기 대상 블록의 세로 크기인 컴퓨터 판독 가능한 기록 매체.
  18. 제17항에 있어서,
    제3 후보 블록의 가용성에 기반하여 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제3 후보 블록이 가용한 경우 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제3 후보 블록이 가용하지 않은 경우 상기 제3 후보 블록의 움직임 정보는 상기 머지 리스트에 추가되지 않고,
    상기 제3 후보 블록이 픽쳐를 분할함으로써 생성되는 영역의 경계의 밖에 있으면 상기 제3 후보 블록은 가용하지 않은 것으로 판단되고,
    상기 제3 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제3 후보 블록은 복원된 콜 픽쳐 내의 참조 픽셀을 포함하는 복원된 블록이고,
    상기 참조 픽셀의 x 좌표는 상기 대상 블록의 x 좌표 및 상기 대상 블록의 폭의 합이고,
    상기 참조 픽셀의 y 좌표는 상기 대상 블록의 y 좌표 및 상기 대상 블록의 높이의 합인 컴퓨터 판독 가능한 기록 매체.
  19. 제17항에 있어서,
    제3 후보 블록의 가용성에 기반하여 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가될지 여부가 결정되고,
    상기 제3 후보 블록이 가용한 경우 상기 제3 후보 블록의 움직임 정보가 상기 머지 리스트에 추가되고,
    상기 제3 후보 블록이 가용하지 않은 경우 상기 제3 후보 블록의 움직임 정보는 상기 머지 리스트에 추가되지 않고,
    상기 제3 후보 블록이 픽쳐를 분할함으로써 생성되는 영역의 경계의 밖에 있으면 상기 제3 후보 블록은 가용하지 않은 것으로 판단되고,
    상기 제3 후보 블록의 위치는 상기 대상 블록의 위치에 기반하여 결정되고,
    상기 제3 후보 블록은 복원된 콜 픽쳐 내의 참조 픽셀을 포함하는 복원된 블록이고,
    상기 참조 픽셀의 x 좌표는 (상기 대상 블록의 x 좌표 + (상기 대상 블록의 폭 >> 1))이고,
    상기 참조 픽셀의 y 좌표는 (상기 대상 블록의 y 좌표 + (상기 대상 블록의 높이 >> 1))인 컴퓨터 판독 가능한 기록 매체.
KR1020240022832A 2016-04-08 2024-02-16 움직임 예측 정보를 유도하는 방법 및 장치 KR20240027646A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20160043249 2016-04-08
KR1020160043249 2016-04-08
KR1020220068060A KR20220082791A (ko) 2016-04-08 2022-06-03 움직임 예측 정보를 유도하는 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220068060A Division KR20220082791A (ko) 2016-04-08 2022-06-03 움직임 예측 정보를 유도하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240027646A true KR20240027646A (ko) 2024-03-04

Family

ID=60296546

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170045245A KR20170115969A (ko) 2016-04-08 2017-04-07 움직임 예측 정보를 유도하는 방법 및 장치
KR1020240022832A KR20240027646A (ko) 2016-04-08 2024-02-16 움직임 예측 정보를 유도하는 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170045245A KR20170115969A (ko) 2016-04-08 2017-04-07 움직임 예측 정보를 유도하는 방법 및 장치

Country Status (3)

Country Link
US (1) US20200169726A1 (ko)
KR (2) KR20170115969A (ko)
CN (6) CN116546207A (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191891A1 (en) * 2016-05-06 2017-11-09 Samsung Electronics Co., Ltd. Method and electronic device for coding a segment of an inter frame
CN118018762A (zh) 2017-12-28 2024-05-10 韩国电子通信研究院 图像编码和解码的方法和装置以及存储比特流的记录介质
WO2019203504A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 비디오 처리 시스템에서 움직임 정보에 대한 저장 공간을 감소시키는 방법 및 장치
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
KR102701593B1 (ko) 2018-06-21 2024-08-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
WO2020003270A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
WO2020003261A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection from multiple luts
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表（lut）的条件
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
CN118055249A (zh) 2018-09-22 2024-05-17 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
CN117768651A (zh) * 2018-09-24 2024-03-26 北京字节跳动网络技术有限公司 处理视频数据的方法、装置、介质、以及比特流存储方法
CN117241040A (zh) * 2018-11-08 2023-12-15 Oppo广东移动通信有限公司 图像信号编码/解码方法及其设备
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
WO2020117016A1 (ko) * 2018-12-06 2020-06-11 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
US11496765B2 (en) 2018-12-21 2022-11-08 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
WO2020164630A1 (en) * 2019-02-17 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of intra block copy merge candidates
CN112425160B (zh) * 2019-02-26 2023-05-12 苹果公司 用于对视频信号进行编码/解码的方法及其设备
ES2980868T3 (es) * 2019-03-11 2024-10-03 Huawei Tech Co Ltd Direcciones de segmento basadas en sub-imagen en codificación de vídeo
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN113794884B (zh) * 2019-08-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN111461372A (zh) * 2020-03-27 2020-07-28 中国平安人寿保险股份有限公司 一种会议室监控方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
CN106937124B (zh) * 2010-10-28 2020-01-10 韩国电子通信研究院 视频解码设备
CN105245874B (zh) * 2011-06-30 2017-05-24 Jvc建伍株式会社 图像解码装置和图像解码方法
CN107580218B (zh) * 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
US20130114717A1 (en) * 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
US9338451B2 (en) * 2012-04-12 2016-05-10 Qualcomm Incorporated Common spatial candidate blocks for parallel motion estimation
KR101347263B1 (ko) * 2012-06-11 2014-01-10 한국항공대학교산학협력단 움직임 벡터 예측 장치 및 그 예측 방법
EP3490259B1 (en) * 2013-04-02 2021-10-13 InterDigital Madison Patent Holdings, SAS Enhanced temporal motion vector prediction for scalable video coding
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩

Also Published As

Publication number Publication date
CN109314785B (zh) 2023-06-30
US20200169726A1 (en) 2020-05-28
CN116546207A (zh) 2023-08-04
CN109314785A (zh) 2019-02-05
CN116546205A (zh) 2023-08-04
CN116546209A (zh) 2023-08-04
CN116546206A (zh) 2023-08-04
KR20170115969A (ko) 2017-10-18
CN116546208A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
KR20240027646A (ko) 움직임 예측 정보를 유도하는 방법 및 장치
KR102668840B1 (ko) 인터 예측 정보를 사용하는 방법 및 장치
KR102397474B1 (ko) 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
KR20240147965A (ko) 참조 블록을 사용하는 예측 방법 및 장치
KR102504643B1 (ko) 블록 형태에 기반한 예측 방법 및 장치
KR102675048B1 (ko) 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
KR102664440B1 (ko) 양방향 인트라 예측 방법 및 장치
KR20240066144A (ko) 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
KR102549488B1 (ko) 인터 예측 정보를 사용하는 방법 및 장치
KR20220082791A (ko) 움직임 예측 정보를 유도하는 방법 및 장치
KR102709463B1 (ko) 잔차 신호에 대한 예측 방법 및 장치
KR20220136316A (ko) 참조 블록을 사용하는 예측 방법 및 장치
KR20220065740A (ko) 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
KR102709461B1 (ko) 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20240063850A (ko) 양방향 인트라 예측 방법 및 장치
KR20170089777A (ko) 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
KR20170089778A (ko) 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
KR102627232B1 (ko) 참조 픽처를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR102472462B1 (ko) 영상 복잡도에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
KR20240051878A (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20230146483A (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20240110509A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
KR20240144865A (ko) 팔레트 모드를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20230144972A (ko) 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Legal Events

Date Code Title Description
A107 Divisional application of patent