KR20160057368A - 영상의 부호화/복호화 방법 및 이를 이용하는 장치 - Google Patents

영상의 부호화/복호화 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR20160057368A
KR20160057368A KR1020160056507A KR20160056507A KR20160057368A KR 20160057368 A KR20160057368 A KR 20160057368A KR 1020160056507 A KR1020160056507 A KR 1020160056507A KR 20160056507 A KR20160056507 A KR 20160056507A KR 20160057368 A KR20160057368 A KR 20160057368A
Authority
KR
South Korea
Prior art keywords
block
availability
motion information
motion
current
Prior art date
Application number
KR1020160056507A
Other languages
English (en)
Other versions
KR101861703B1 (ko
Inventor
김휘용
임성창
박광훈
김경용
최진수
김진웅
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20160057368A publication Critical patent/KR20160057368A/ko
Application granted granted Critical
Publication of KR101861703B1 publication Critical patent/KR101861703B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명에 따른 영상의 부호화 방법은 현재 블록의 주변 블록에 대한 가용성을 판단하는 단계와 상기 가용성 판단 결과에 기초하여 상기 현재 블록에 대한 머지 후보 리스트를 구성하는 단계와; 상기 머지 후보 리스트에 기초하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함하고, 상기 가용성을 판단하는 단계는, 상기 주변 블록에 대한 블록 가용성 정보를 유도하는 단계와; 상기 유도된 블록 가용성 정보를 이용하여 상기 주변 블록의 움직임 정보에 대한 가용성을 유도하는 단계를 포함하고, 상기 주변 블록에 대한 가용성을 판단하는 단계는 주변 블록이 복수인 경우 일정한 순서 제약에 따라 주변 블록들에 대한 가용성을 판단할 수 있다.

Description

영상의 부호화/복호화 방법 및 이를 이용하는 장치{VIDEO ENCODING AND DECODING METHOD AND APPARATUS USING THE SAME}
본 발명은 영상의 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 움직임 후보 목록을 구성하는 영상의 부호화 및 복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도(1280x1024 혹은 1920x1080)를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 이제 많은 사용자들이 고해상도, 고화질의 영상에 많이 익숙해지고 있으며 그에 발맞춰서 많은 기관에서는 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 동영상 표준화 단체들은 보다 높은 해상도, 고화질의 영상에 대한 압축기술의 필요성을 인식하게 되었다. 또한 현재 HDTV, 휴대전화, 블루레이 플레이어에 사용되는 H.264/AVC보다 높은 압축 효율을 통해 동일한 화질을 유지하면서도 주파수 대역이나 저장 측면에서 많은 이득을 얻을 수 있는 새로운 표준이 절실한 실정이다. 현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 공동으로 차세대 비디오 코덱인 HEVC(High Efficiency Video Coding)를 표준화하고 있으며, UHD 영상까지 포함한 영상을 H.264/AVC 대비 2배의 압축효율로 부호화를 하는 것을 목표로 하고 있다. 이는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동통신망에서도 현재보다 낮은 주파수로 고화질의 영상을 제공할 수 있다.
HEVC는 현재 2010년 4월에 첫 JCT-VC(Joint Collaboration Team Video Coding) 회의가 열린 이후 각 기관의 기고를 통해 HM(HEVC Test Model)이라는 명칭의 코덱을 표준의 성능을 측정하기 위해 책정하였다.
본 발명의 일 실시형태는 움직임 후보 목록을 구성하는데 있어서, 주변 블록의 사용 가능 여부를 판단하는 순서를 제공하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명의 일 실시 형태는 움직임 후보 목록을 구성하는데 있어서, 부호화 단위 내의 예측 단위들 간의 병렬성을 제공하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
이를 통하여 영상의 부, 복호화 효율을 향상시키는데 그 목적이 있다.
*본 발명의 일 실시예에 따른 영상의 부호화 방법은 현재 블록의 주변 블록에 대한 가용성을 판단하는 단계와 상기 가용성 판단 결과에 기초하여 상기 현재 블록에 대한 머지 후보 리스트를 구성하는 단계와; 상기 머지 후보 리스트에 기초하여 상기 현재 블록에 대한 움직임 보상을 수행하는 단계를 포함하고, 상기 가용성을 판단하는 단계는, 상기 주변 블록에 대한 블록 가용성 정보를 유도하는 단계와; 상기 유도된 블록 가용성 정보를 이용하여 상기 주변 블록의 움직임 정보에 대한 가용성을 유도하는 단계를 포함하고, 상기 주변 블록에 대한 가용성을 판단하는 단계는 주변 블록이 복수인 경우 일정한 순서 제약에 따라 주변 블록들에 대한 가용성을 판단할 수 있다.
상기 현재 블록의 위치를 (xP, yP)라 할 경우, 상기 주변 블록은 (xP-1, yP+nPSH)에 존재하는 픽셀을 포함하는 제1 블록, (xP-1, yP+nPSH-1)에 존재하는 픽셀을 포함하는 제2 블록, (xP+nPSW, yP-1)에 위치하는 픽셀을 포함하는 제3 블록, (xP+nPSW-1, yP-1)에 위치하는 픽셀을 포함하는 제4 블록, (xP-1, yP-1)에 존재하는 픽셀을 포함하는 제5 블록을 포함할 수 있다.
*상기 주변 블록에 대한 가용성을 판단하는 단계는, 상기 현재 블록과 상기 주변 블록에 대한 머지 후보 리스트를 병렬적으로 유도할 수 없는 경우 상기 블록 가용성 정보를 거짓(false, 0)으로 설정할 수 있다.
상기 주변 블록에 대한 가용성을 판단하는 단계는, 상기 현재 블록의 파티션 형태가 PART_Nx2N, PART_nLx2N 및 PART_nRx2N 중 하나이고, 부호화 유닛 내의 상기 현재 블록에 대한 인덱스 partIdx가 ‘1’이면, 상기 제2 블록에 대한 상기 블록 가용성 정보를 거짓(0)으로 설정할 수 있다.
상기 주변 블록에 대한 가용성을 판단하는 단계는, 상기 현재 블록의 파티션 형태가 PART_2NxN, PART_2NxnU 및 PART_2NxnD 중 하나이고 부호화 유닛 내의 상기 현재 블록에 대한 인덱스 partIdx가 ‘1’이면, 상기 제4 블록에 대한 상기 블록 가용성 정보를 거짓(false, 0)으로 설정할 수 있다.
상기 주변 블록의 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제2 블록의 움직임 정보에 대한 가용성은 상기 제 1 블록, 상기 제3 블록, 상기 제4 블록 및 상기 제5 블록의 움직임 정보에 대한 가용성보다 먼저 유도되고, 상기 제4 블록의 움직임 정보에 대한 가용성은 상기 제3 블록 및 상기 제5 블록의 움직임 정보에 대한 가용성보다 먼저 유도되며, 상기 제5 블록의 움직임 정보에 대한 가용성은 상기 제1 블록, 상기 제2 블록, 상기 제3 블록 및 상기 제4 블록의 움직임 정보에 대한 가용성보다 나중에 유도될 수 있다.
상기 주변 블록의 움직임 정보에 대한 가용성을 유도하는 단계는 상기 제2 블록, 상기 제 4 블록, 상기 제3 블록, 상기 제1 블록, 상기 제5 블록 순으로 수행될 수 있다.
상기 블록 가용성 정보를 유도하는 단계에서, 상기 주변 블록이 존재하지 않거나 인트라 모드로 부호화 되어 있으면 상기 블록 가용성 정보를 거짓(false, 0)으로 설정하고, 상기 블록 가용성 정보가 거짓(false, 0)이면 상기 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
상기 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제2 블록의 상기 블록 가용성 정보가 참(true, 1)이고, 상기 제2 블록의 움직임 정보와 상기 제4 블록의 움직임 정보가 동일하면, 상기 제4 블록의 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
상기 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제4 블록의 상기 블록 가용성 정보가 참(true, 1)이고, 상기 제4 블록의 움직임 정보와 상기 제3 블록의 움직임 정보가 동일하면, 상기 제3 블록의 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
상기 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제2 블록의 상기 블록 가용성 정보가 참(true, 1)이고, 상기 제2 블록의 움직임 정보와 상기 제1 블록의 움직임 정보가 동일하면, 상기 제1 블록의 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
상기 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제2 블록의 상기 블록 가용성 정보가 참(true, 1)이고, 상기 제2 블록의 움직임 정보와 상기 제5 블록의 움직임 정보가 동일하면 상기 제5 블록의 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
상기 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제4 블록의 상기 블록 가용성 정보가 참(true, 1)이고, 상기 제4 블록의 움직임 정보와 상기 제5 블록의 움직임 정보가 동일하면 상기 제5 블록의 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
상기 움직임 정보에 대한 가용성을 유도하는 단계에서, 상기 제 1 블록, 상기 제2 블록, 상기 제3 블록, 상기 제4 블록의 상기 움직임 정보에 대한 가용성이 모두 1이면 상기 제5 블록의 움직임 정보에 대한 가용성은 0으로 설정될 수 있다.
본 발명의 일 실시예에 따르면, 움직임 후보 목록을 구성하는데 있어서, 주변 블록의 사용 가능 여부를 판단하는 순서를 제공하는 방법 및 이를 이용하는 장치가 제공된다.
또한 본 발명에 따르면 움직임 후보 목록을 구성하는데 있어서, 부호화 단위 내의 예측 단위들 간의 완벽한 병렬성을 방법 및 이를 이용하는 장치가 제공된다.
이를 통하여 영상의 부, 복호화 효율을 향상시킬 수 있는 영상의 부호화/복호화 방법 및 장치가 제공된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 병합 움직임 후보 목록으로 사용되는 현재 블록의 주변 블록들의 일예를 도시한 도면이다.
도 4는 화면 간 부호화에서 움직임 보상 과정을 설명하기 위한 제어 흐름도이다.
도 5는 일 예에 따라 하나의 CU가 2개의 PU로 나누어졌을 경우, 병합 움직임 후보 목록을 설정하는 일예를 나타낸 도면이다.
도 6은 다른 예에 따라 하나의 CU가 2개의 PU로 나누어졌을 경우, 병합 움직임 후보 목록을 설정하는 일예를 나타낸 도면이다.
도 7은 현재 블록의 주변 블록들의 일예를 도시한 도면이다.
도 8은 움직임 정보 가용성을 결정하는 순서를 제약하는 방법에 대한 여러 예를 도시한 도면이다.
도 9는 순차적으로 블록 움직임 정보의 가용성 정보를 판단하는 경우 주변 블록을 도시한 도면이다.
도 10은 하나의 CU가 복 수의 PU로 파티셔닝되는 예를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따라 블록 가용성 정보를 재설정하는 방법을 설명하기 위한 제어 흐름도이다.
도 12는 현재 블록의 머지 후보 리스트 생성을 설명하기 위한 현재 블록 및 주변 블록을 도시한 도면이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
*인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.
여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
상기 영상 복호화 장치(200)에 포함되어 있는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270) 중 영상의 복호화에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 등을 다른 구성요소와 구분하여 복호화부 또는 디코딩부로 표현할 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
통상적으로 화면간 예측은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다.
참조 픽처 내의 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.
화면간 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다.
화면 간 예측에서 부호화 장치 및 복호화 장치는 현재 블록의 움직임 정보를 도출한 후, 도출된 움직임 정보에 기반하여 화면 간 예측 및/또는 움직임 보상을 수행할 수 있다. 이 때, 부호화 장치 및 복호화 장치는 복원된 주변 블록(neighboring block) 및/또는 이미 복원된 콜(col) 픽쳐(collocated picture) 내에서 현재 블록에 대응되는 콜(col) 블록(collocated block)의 움직임 정보를 이용함으로써, 부호화/복호화 효율을 향상시킬 수 있다.
여기서, 복원된 주변 블록은 이미 부호화 및/또는 복호화되어 복원된 현재 픽쳐 내의 블록으로서, 현재 블록에 인접한 블록 및/또는 현재 블록의 외부 코너에 위치한 블록을 포함할 수 있다. 또한 부호화 장치 및 복호화 장치는, 콜 픽쳐 내에서 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록을 기준으로 소정의 상대적인 위치를 결정할 수 있고, 상기 결정된 소정의 상대적인 위치(상기 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록의 내부 및/또는 외부의 위치)를 기반으로 상기 콜 블록을 도출할 수 있다. 여기서, 일례로 콜 픽쳐는 참조 픽쳐 리스트에 포함된 참조 픽쳐 중에서 하나의 픽쳐에 해당될 수 있다.
화면간 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
한편, 움직임 정보 도출 방식은 현재 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 AMVP(Advanced Motion Vector Predictor), 머지(merge) 등이 있을 수 있다.
일례로, AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 부호화 장치 및 복호화 장치는 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터를 이용하여, 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 즉, 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터는 예측 움직임 벡터 후보로 사용될 수 있다. 부호화 장치는 상기 리스트에 포함된 예측 움직임 벡터 후보 중에서 선택된 최적의 예측 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 복호화 장치로 전송할 수 있다. 이 때, 복호화 장치는 상기 예측 움직임 벡터 인덱스를 이용하여, 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다.
부호화 장치는 현재 블록의 움직임 벡터와 예측 움직임 벡터 간의 움직임 벡터 차분(MVD: Motion Vector Difference)을 구할 수 있고, 이를 부호화하여 복호화 장치로 전송할 수 있다. 이 때, 복호화 장치는 수신된 움직임 벡터 차분을 복호화할 수 있고, 복호화된 움직임 벡터 차분과 예측 움직임 벡터의 합을 통해 현재 블록의 움직임 벡터를 도출할 수 있다.
부호화 장치는 또한 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화 장치에 전송할 수 있다.
복호화 장치는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화 장치로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화 장치는 유도한 움직임 벡터와 부호화 장치로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
화면 간 예측에 이용되는 다른 모드 중 하나 인 스킵 모드의 경우에, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서 스킵 모드의 경우에, 부호화 장치는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 복호화 장치에 전송하지 않는다.
다른 예로, 병합 움직임, 즉 머지(merge)가 적용되는 경우, 부호화 장치 및 복호화 장치는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여, 병합 움직임 후보 목록(머지 후보 리스트, merge cadidate list)를 생성할 수 있다. 이때 움직임 정보란, 움직임 벡터, 참조 영상에 대한 인덱스 그리고 예측 방향(단방향, 양방향, 등) 중에서 적어도 하나를 포함한다.
병합 움직임은 부호화 유닛(Coding Unit: CU, 이하 ‘CU’라 함) 단위의 병합 움직임과 예측 유닛(Prediction Unit: PU, 이하 ‘PU’라 함) 단위의 병합 움직임이 가능하다. CU 또는 PU(이하, 설명의 편의를 위해 ‘블록’이라 함) 단위로 병합 움직임을 수행하는 경우에는, 블록 파티션(partition)별로 병합 움직임을 수행할지에 관한 정보와 현재 블록에 인접한 주변 블록(현재 블록의 좌측 인접 블록, 현재 블록의 상측 인접 블록, 현재 블록의 시간적(temporral) 인접 블록 등) 중 어떤 블록과 병합 움직임을 할 것인지에 대한 정보를 전송할 필요가 있다.
병합 움직임 후보 목록은 움직임 정보들이 저장된 목록을 나타내며, 병합 움직임이 수행되기 전에 생성된다. 여기서 병합 움직임 후보 목록에 저장되는 움직임 정보는 현재 블록에 인접한 주변 블록의 움직임 정보이거나 참조 영상에서 현재 블록에 대응되는(collocated) 블록의 움직임 정보일 수 있다. 또한 병합 움직임 후보 목록에 저장되는 움직임 정보는 이미 병합 움직임 후보 목록에 존재하는 움직임 정보들을 조합하여 만든 새로운 움직임 정보일 수 있다.
도 3은 병합 움직임 후보 목록으로 사용되는 현재 블록의 주변 블록들의 일예를 도시한 도면이다.
병합 움직임 후보 목록은 도 3의 주변 블록(A, B, C, D, E)과 그리고 동일 위치의 후보 블록(H(혹은 M))에 대하여 해당 블록의 움직임 정보가 현재 블록의 병합 움직임에 이용될 수 있는지를 판단하여, 이용 가능한 경우에는 해당 블록의 움직임 정보를 병합 움직임 후보 목록에 입력할 수 있다.
시간적 후보 예측 블록으로 사용되는 동일 위치 후보 블록은 현재 블록을 포함하는 픽쳐 내의 픽셀 위치 (xP, yP)를 기초로 현재 블록의 콜 픽쳐(Colocated Picture)에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록(H)이거나 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록이 가용하지 않은 경우, (xP+(nPSW>>1), yP+(nPSH>>1)) 위치의 픽셀을 포함하는 예측 블록(M)이 될 수 있다.
각 주변 블록은 서로 동일한 움직임 정보를 가지는지 확인하여 동일한 움직임 정보일 경우, 해당 주변 블록의 움직임 정보는 병합 움직임 후보 목록에 포함되지 않는다.
실시 일 예로, 도 3에서 X 블록에 대한 병합 움직임 후보 목록을 생성할 때, 주변 블록 A가 사용 가능하여 병합 움직임 후보 목록에 포함되면, 주변 블록 B는 주변 블록 A와 동일한 움직임 정보가 아닐 경우에만 병합 움직임 후보 목록에 포함될 수 있다. 동일한 방법으로 주변 블록 C는 주변 블록 B와 동일한 움직임 정보가 아닐 경우에만 병합 움직임 후보 목록에 포함될 수 있다. 동일한 방법으로 주변 블록 D와 주변 블록 E에 적용될 수 있다.
여기서 동일한 움직임 정보라는 것은 움직임 벡터가 동일하고 동일한 참조 픽쳐를 사용하고 동일한 예측 방향(단방향(정방향, 역방향), 양방향)을 사용함을 의미할 수 있다.
마지막으로 도 3에서 X 블록에 대한 병합 움직임 후보 목록은 소정의 순서, 예컨대, A→B→C→D→E→H(혹은 M) 블록 순서로 목록에 추가될 수 있다.
도 4는 화면 간 부호화에서 움직임 보상 과정을 설명하기 위한 제어 흐름도이다.
도 4와 같이, 움직임 보상 과정은 현재 블록 및 주변 블록에 대한 정보가 입력되면, 주변 블록들에 대한 가용성을 판단하고(S410), 움직임 후보 목록을 구성하고(S420), 구성된 움직임 후보 목록을 통해 현재 블록에 대한 움직임 정보를 출력하여, 최종적으로 움직임 보상된 영상을 출력하는 단계(S430)로 구성된다.
도 4에서 현재 블록에 대한 움직임 후보 목록을 구성하기 위해 사용되는 주변 블록들은 복 수개로 다양하게 설정될 수 있으며, 일예로 도 3의 주변 블록(A, B, C, D, E)과 그리고 동일 위치의 후보 블록(H 또는 M))일 수 있다.
도 4의 첫 번째 단계인 주변 블록의 가용성 판단 단계(S411)는 해당 주변 블록이 존재할 경우 해당 블록이 가용하다고 판단하는 과정이며, 가용성 판단의 결과로 블록 가용성 정보가 출력된다. 여기서 주변 블록이 존재한다는 것은 주변 블록이 현재 블록이 속한 동일한 영상(픽쳐), 슬라이스, 타일 내부에 존재하여 복호 과정에서 접근이 가능하다는 것을 의미할 수 있다. 본 발명에서 판단이라 함은 결정 혹은 설정의 의미로 사용될 수 있다. 가용성 판단시 추가적으로 해당 주변 블록이 화면내 부호화 되어 있지 않은 경우에만 가용하다고 판단 할 수도 있다.
판단 결과, 블록 가용성 정보가 ‘1’이면, 해당 블록은 사용 가능(일예로, 영상 내에 존재)하며, ‘0’이면 사용 불가능(일예로, 영상 밖에 위치하여 존재하지 않을 수 있음)한 것을 나타낼 수 있으며, 그 역도 가능하다.
다음으로 블록 가용성 정보를 바탕으로 주변 블록의 움직임 정보에 대한 가용성이 판단(S413)된다. 이를 통하여 해당 주변 블록의 움직임 정보를 현재 블록의 움직임 후보 목록에 포함시킬수 있는지 여부를 나타내는 블록 움직임 정보의 가용성 정보가 출력된다.
여기서 블록 움직임 정보의 가용성 정보가 ‘1’이면, 해당 블록은 사용 가능하며, ‘0’이면 사용 불가능하며 그 역도 가능한다.
본 발명에 따르면 주변 블록들에 대한 움직임 정보의 가용성 판단은 임의의 순서로 수행될 수 없으며 주변 블록간에 일정한 순서 제약을 준수해야 한다.
주변 블록들에 대한 움직임 정보의 가용성 판단이 완료 되면, 블록 움직임 정보의 가용성 정보에 기초하여 초기 움직임 후보 목록이 구성되며(S421), 도 3의 주변 블록은 A→B→C→D→E→H→M 순서로 움직임 후보 목록에 추가될 수 있다.
그 후 움직임 후보 목록은 재구성될 수 있으며, 재구성 과정을 거쳐 최종 움직임 후보 목록이 구성될 수 있다(S423).
최종 움직임 후보 목록에 포함된 움직임 후보 중에서 현재 블록의 움직임 정보가 선택되고(S431), 선택된 움직임 정보를 이용하여 현재 블록에 대한 움직임 보상이 수행된다(S423). 도 4의 과정을 거쳐 움직임 보상된 영상을 출력된다.
부호화 장치는 병합 움직임 후보 리스트에 포함된 병합 움직임 후보 중에서 최적의 부호화 효율을 제공할 수 있는 병합 움직임 후보를 현재 블록에 대한 움직임 정보로 선택할 수 있다. 병합 움직임 후보 목록 중에서 현재 블록이 병합 움직임 할 후보에 대한 인덱스를 병합 움직임 인덱스(merge_idx, 이하 ‘merge_idx’라 함)라하며, 상기 선택된 머지 인덱스가 비트스트림에 포함되어 복호화 장치로 전송될 수 있다.
병합 움직임 후보 목록 내에 동일한 움직임 정보가 존재하는 경우에는, 동일한 움직임 정보들 중에서 하나만 병합 움직임 후보 목록에 남겨둔다. 병합 움직임 후보 목록 내의 움직임 정보의 수는 소정의 개수로 설정할 수 있다. 예컨대, 병합 움직임 후보 목록 내의 움직임 정보의 수를 최대 5개(혹은 임의의 수)가 되도록 설정할 수 있다.
복호화 장치는 전송된 머지 인덱스를 이용하여, 병합 움직임 후보 리스트에 포함된 머지 후보 중에서 하나를 선택할 수 있으며, 상기 선택된 병합 움직임 후보를 현재 블록의 움직임 정보로 결정할 수 있다. 따라서, 병합 움직임 모드가 적용되는 경우, 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 현재 블록의 움직임 정보로 그대로 사용될 수 있다. 복호화 장치는 예측 블록과 부호화 장치로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.
병합 움직임 인덱스 값이 지시되지 않는다면, ‘0’을 갖는 것으로 추정(infer)될 수 있다.
도 5는 일 예에 따라 하나의 CU가 2개의 PU로 나누어졌을 경우, 병합 움직임 후보 목록을 설정하는 일예를 나타낸 도면이다. 도시된 바와 같이, CU는 Nx2N으로 파티셔닝되었으며, 왼쪽에 있는 첫 번째 예측 블록, PU 0은 PartIdx가 0이고, 오른쪽에 있는 두 번째 예측 블록 PU 1은 PartIdx가 1로 식별된다.
PU에 대한 주변 블록의 움직임 정보는 현재 블록에 인접한 주변 블록(A0, A1, B0, B1, B2)의 움직임 정보이거나 참조 영상에서 현재 블록에 대응되는(collocated) 블록(미도시)의 움직임 정보일 수 있다. 도 5의 (a)는 PU 0에 대한 병합 움직임 후보 목록을 구성하기 위해 사용되는 주변 블록들을 나타내고, 도 5의 (b)는 PU 1에 대한 병합 움직임 후보 목록을 구성하기 위해 사용되는 주변 블록들을 나타낸다.
PU 1의 병합 움직임 후보 목록 구성 시, 동일 CU내의 다른 PU의 움직임 정보를 참조하지 않도록 함으로써다른 PU와 병렬적으로 병합 움직임 후보 목록을 구성할 수 있으며, 이를 위해 도 5의 (b)에서 PU 0에 위치한 A1 블록은 PU 1의 병합 움직임 후보 목록에 포함되지 않을 수 있다. 즉, 도 5의 (b)에서 PU 0에 위치한 A1 블록은 PU 1의 병합 움직임 후보 목록 구성에 사용 가능하지 않으며, 병합 움직임 후보 목록 구성 시 A1 블록의 움직임 정보에 접근할 수 없다는 것을 의미할 수 있다(혹은 움직임 정보가 존재하지 않는다는 것을 의미할 수 있으며, 혹은 블록 움직임 정보의 가용성이 없음을 의미할 수 있음).
도 6은 다른 예에 따라 하나의 CU가 2개의 PU로 나누어졌을 경우, 병합 움직임 후보 목록을 설정하는 일예를 나타낸 도면이다. 도시된 바와 같이, CU는 2NxN 으로 파티셔닝되었으며, 상단의 첫 번째 예측 블록, PU 0은 PartIdx가 0이고, 오른쪽에 있는 하단의 예측 블록 PU 1은 PartIdx가 1로 식별된다.
PU에 대한 주변 블록의 움직임 정보는 현재 블록에 인접한 주변 블록(A0, A1, B0, B1, B2)의 움직임 정보이거나 참조 영상에서 현재 블록에 대응되는(collocated) 블록(미도시)의 움직임 정보일 수 있다. 도 6의 (a)는 PU 0에 대한 병합 움직임 후보 목록을 구성하기 위해 사용되는 주변 블록들을 나타내고, 도 6의 (b)는 PU 1에 대한 병합 움직임 후보 목록을 구성하기 위해 사용되는 주변 블록들을 나타낸다.
PU 1의 병합 움직임 후보 목록 구성 시, 동일 CU내의 다른 PU의 움직임 정보를 참조하지 않도록 함으로써 다른 PU와 병렬적으로 병합 움직임 후보 목록을 구성할 수 있으며, 이를 위해 도 6의 (b)에서 PU 0에 위치한 B1 블록은 PU 1의 병합 움직임 후보 목록에 포함되지 않을 수 있다. 즉, 도 6의 (b)에서 PU 0에 위치한 B1 블록은 PU 1의 병합 움직임 후보 목록 구성에 사용 가능하지 않으며, 병합 움직임 후보 목록 구성 시 B1 블록의 움직임 정보에 접근할 수 없다는 것을 의미할 수 있다(혹은 움직임 정보가 존재하지 않는다는 것을 의미할 수 있으며, 혹은 블록 움직임 정보의 가용성이 없음을 의미할 수 있음).
한편, 본 발명은 움직임 예측을 위한 움직임 후보 목록을 구성함에 있어, 움직임 후보 목록이 구성되는 대상 블록(현재 블록이라 칭함)과 인접한 주변 블록들에 대한 움직임 후보 가용성을 유도하는 방법 및 장치에 관한 것이다.
도 7은 현재 블록의 주변 블록들의 일예를 도시한 도면이다.
도 7을 참조하면 현재 블록(X)과 인접한 주변 블록들은 좌측 블록들(A0, A1), 상측 블록들(B0, B1), 그리고 모서리 블록(C)으로 구분할 수 있다. 본 발명은 이러한 주변 블록들 대해 움직임 후보로 사용 가능한지에 대한 움직임 정보 가용성을 결정하는 순서를 제약함으로써 동일 부호화 유닛(CU)에 속한 예측 유닛(PU) 들의 움직임 후보 목록(움직임 후보 목록)을 병렬적으로 구성하는 것을 가능하게 한다.
도 8은 움직임 정보 가용성을 결정하는 순서를 제약하는 방법에 대한 여러 예를 도시한 도면이다.
도 8을 참조하면 본 발명에 의한 움직임 정보 가용성 결정 순서 제약 방식은 (a) 상측 우선 방식, (b) 좌측 우선 방식, (c) 상측/좌측 병렬 방식이 있을 수 있다.
상측 우선 방식은 상측 블록들 중 하나에 대한 움직임 정보 가용성을 다른 주변 블록들 보다 가장 우선하여 결정하는 방식이고, 좌측 우선 방식은 좌측 블록들 중 하나에 대한 움직임 정보 가용성을 다른 주변 블록들 보다 가장 우선하여 결정하는 방식이다.
움직임 정보 가용성 결정 과정의 병렬성을 높이기 위해 (c)와 같이 상측/좌측 병렬 결정 방식을 사용할 수도 있으며, 이때는 좌측 블록들에 대한 움직임 정보 가용성 결정과 상측 블록들에 대한 움직임 정보 가용성 결정을 병렬로 수행할 수 있는 장점이 있다.
중복된 움직임 정보를 가진 주변 블록이 움직임 후보 목록에 포함되지 않도록 각 주변 블록의 움직임 정보 가용성 결정 과정에 움직임 정보의 동일성을 판단하는 움직임 정보 동일성 판단 과정이 포함될 수 있다.
예컨대, 도 7의 B0에 대한 움직임 정보 가용성 결정 시 B0의 움직임 정보가 B1의 움직임 정보와 동일한 경우에는 B0에 대한 움직임 정보 가용하지 않다고 결정할 수 있다.
본 발명에 따르면, 움직임 정보 가용성 결정 과정에 움직임 정보 동일성 판단 과정이 포함되는 경우에도 도 8과 같이 움직임 정보 가용성 결정 순서에 제약을 받아야만 한다. 예를 들어 주변 블록들에 대한 움직임 정보 가용성 결정 순서 상 B1이 B0 보다 우선하는 경우에만 B0의 움직임 정보가 B1의 움직임 정보와 동일한 지 여부에 따라 B0의 움직임 정보 가용성을 결정할 수 있다.
반대의 경우, 즉 주변 블록들에 대한 움직임 정보 가용성 결정 순서 상 B0가 B1 보다 우선하는 경우에는 B0의 움직임 정보가 B1의 움직임 정보와 동일한 지에 따라 B0의 움직임 정보 가용성을 결정할 수 없다.
본 발명에서는 도 8의 세 가지 움직임 정보 가용성 결정 순서 제약 방식들 중 (b) 좌측 우선 결정 방식을 예로 하여 설명된다. 하지만, 주변 블록의 가용성 판단 과정을 포함하는 상기 설명된 내용과 후술될 내용은 (a) 상측 우선 결정 방식 및 (c) 상측/좌측 병렬 결정 방식에 적용될 수 있으며, 이는 동 분야의 통상의 지식을 가진 사람들에게는 자명하다고 할 수 있다.
본 발명에 의하면, 도 5의 (b)의 PU 1의 병합 움직임 후보 목록을 구성하는데 있어서, 주변 블록 B1은 주변 블록 A1 이 사용 가능하지 않다는 것을 미리 알 수 있다. 따라서, 도 5의 (b)의 PU 1의 병합 움직임 후보 목록을 구성하는데 있어서, 주변 블록 A1 의 가용성 정보를 확인하여 주변 블록 B1 과 주변 블록 A1 이 동일한 움직임 정보를 가지는지를 확인하지 않아도 된다.
다시 말하면, 도 5의 (b)의 PU 1의 병합 움직임 후보 목록을 구성하기 위해서 PU 1과 동일 CU 내에 속한 주변 블록 A1 의 움직임 정보에 접근하지 않아도 되므로 PU 0와 PU 1의 병합 움직임 후보 목록을 병렬적으로 구성할 수 있다.
유사하게, 도 6의 (b)의 PU 1의 병합 움직임 후보 목록을 구성하는데 있어서, 주변 블록 B0은 주변 블록 B1 이 사용 가능하지 않다는 것을 미리 알 수 있다. 따라서, 도 6의 (b)의 PU 1의 병합 움직임 후보 목록을 구성하는데 있어서, 주변 블록 B1 의 가용성 정보를 확인하여 주변 블록 B1 과 주변 블록 B0 이 동일한 움직임 정보를 가지는지를 확인하지 않아도 된다.
다시 말하면, 도 6의 (b)의 PU 1의 병합 움직임 후보 목록을 구성하기 위해서 PU 1과 동일 CU 내에 속한 주변 블록 B1 의 움직임 정보에 접근하지 않아도 되므로 PU 0와 PU 1의 병합 움직임 후보 목록을 병렬적으로 구성할 수 있다.
PU의 병합 움직임 후보 목록을 병렬적으로 구성하면서 주변 블록들에 대한 움직임 정보 가용성 결정 순서를 제약하는 기 위한 구체적인 방법으로 순차적으로 블록 움직임 정보의 가용성 정보를 판단하는 방법과 주변 블록의 가용성 판단 과정 후 블록 가용성 정보를 재설정하는 방법이 존재할 수 있다.
[방법 1] 병합 움직임 후보 목록을 구성하는데 있어서, 순차적으로 블록 움직임 정보의 가용성 정보를 판단하는 방법의 일 예
도 9는 순차적으로 블록 움직임 정보의 가용성 정보를 판단하는 경우 주변 블록을 도시한 도면으로, 현재 블록(X)의 주변 블록(A, B, C, D, E)을 도시하고 있다.
본 발명에서 순차적이란, 현재 혹은 다음 순서에 해당하는 정보가 이전 순서에 해당하는 정보에 의존적인 것을 의미할 수 있다.
주변 블록에 대한 움직임 정보로 사용 가능한지 여부(블록 움직임 정보의 가용성 정보)에 대한 판단은 기설정된 순서로 이루어질 수 있다. 좌측 블록들 중 하나에 대한 움직임 정보 가용성을 다른 주변 블록들 보다 가장 우선하여 결정하는 좌측 우선 결정 방식을 따를 경우, A→B→C→D→E 블록의 순서로 해당 블록의 움직임 정보가 현재 블록의 병합 움직임에 이용될 수 있는지를 판단하고 이용 가능한 경우에는 해당 블록의 움직임 정보를 병합 움직임 후보 목록에 입력할 수 있다.
도 10은 하나의 CU가 복 수의 PU로 파티셔닝되는 예를 도시한 것이다.
도 10에 도시된 바와 같이, CU는 파티셔닝 되지 않고 2Nx2N의 PU일 수도 있고, 동일한 크기인 2NxN, Nx2N, NxN으로 파티셔닝 될 수도 있다. 또한, CU는 2NxnU, 2NxnD, nLx2N, nRx2N 와 같이 비대칭적으로 파티셔닝 될 수도 있다.
[방법 2] 병합 움직임 후보 목록을 구성하는데 있어서, 블록 가용성 정보를 재설정하는 방법의 일 예
도 11은 본 발명의 일 실시예에 따라 블록 가용성 정보를 재설정하는 방법을 설명하기 위한 제어 흐름도이다. 도 11은 도 4의 주변 블록들에 대한 가용성 판단 단계(S410)에서 블록 가용성 정보를 재설정하는 방법의 구조도의 일예를 나타낸다.
도 11을 참조하면, 우선 주변 블록들이 존재하는지를 여부에 대한 주변 블록의 가용성이 판단된다(S1110). 판단 결과로 블록 가용성 정보가 출력된다.
그런 후, 주변 블록의 블록 가용성 정보가 재설정된다(S1120)).
일 예로, 도 5의 (b) PU 1에 대하여, 병합 움직임 후보 목록을 다른 PU와 병렬적으로 구성하기 위해서 도 5의 (b) PU 0에 위치한 A1 블록은 PU 1의 병합 움직임 후보 목록에 포함될 수 없다.
따라서 도 5의 (b) PU 0에 위치한 A1 블록의 블록 가용성 정보를 ‘0’으로 설정하여 해당 블록을 사용할 수 없게 할 수 있다.
다음으로, 설정된 블록 가용성 정보를 바탕으로 주변 블록의 움직임 정보에 대한 가용성을 판단한다(S1130). 단계 S1130을 통하여 주변 블록의 움직임 정보를 현재 블록의 움직임 후보 목록에 포함시킬수 있는지 여부를 나타내는 블록 움직임 정보의 가용성 정보가 출력된다.
블록 움직임 정보의 가용성 정보를 바탕으로 초기 움직임 후보 목록이 구성된다.
도 11의 블록 가용성 정보를 재설정하는 방법은 하나의 CU가 다수개의 PU로 분할 될 경우 (일예로, 도 10에서의 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, nRx2N), 즉 하나의 CU에서 분할된 PU에 적용할 수 있다.
상술한 방법 1을 이용한 복호화 과정의 일례를 나타내면 아래와 같다.
이하, 본 발명에서 사용되는 용어에 대한 정의 다음과 같다.
PredMode는 현재 PU(Prediction Unit) 블록의 부호화 모드를 나타내며, MODE_SKIP, MODE_INTRA, MODE_INTER 가 존재한다.
Merge_flag는 현재 PU블록이 머지 모드로 부호화되었는지를 나타낸다. 현재 PU 블록이 머지 모드로 부호화되었다면, Merge_flag는 ‘1’로 설정되며, 그 반대로도 설정할 수 있다.
merge_idx는 움직임 정보 후보 목록에서 현재 PU 블록에 대한 움직임 정보를 가르키는 인덱스를 나타낸다.
log2_parallel_merge_level_minus2는 병렬 머지 스킵의 레벨을 정의한다. 본 발명에 따를 경우 머지 스킵은 화면간 예측에 적용되는 모드 중 머지모드와 스킵모드를 동시에 지칭하는 용어로 해석될 수 있으며, 병렬 머지 스킵은 머지 모드 및/또는 스킵 모드를 적용하는 경우 특정 영역 내의 블록들 간에 병합 움직임 후보 목록을 병렬적으로 구성할 수 있는 것을 의미할 수 있다.
예를 들어, log2_parallel_merge_level_minus2의 값이 ‘0’이면, 병렬 머지 스킵이 수행되지 않는다. log2_parallel_merge_level_minus2의 값이 ‘1’이면, 8x8 블록 안의 있는 모든 PU에 대하여 병렬 머지 스킵이 수행된다. log2_parallel_merge_level_minus2의 값이 ‘2’이면, 16x16 블록 안의 있는 모든 PU에 대하여 병렬 머지 스킵이 수행되고, log2_parallel_merge_level_minus2의 값이 ‘3’이면, 32x32 블록 안의 있는 모든 PU에 대하여 병렬 머지 스킵이 수행된다. log2_parallel_merge_level_minus2의 값이 ‘4’이면, 64x64 블록 안의 있는 모든 PU에 대하여 병렬 머지 스킵이 수행된다.
Z-스캔 가용성 유도 과정
[1] Z-스캔 가용성 유도 과정에서 입력은 아래와 같다.
(xCurr, yCurr): 현재 픽쳐의 좌상단 위치와 관련된 현재 블록의 좌상단 위치;
(xN, yN): 현재 픽쳐의 좌상단 위치와 관련된 주변 블록의 좌상단 위치
Z-스캔 가용성 유도 과정에서 출력은 아래와 같다.
availableN: (xN, yN) 위치의 주변 블록의 가용성 정보
[2] minBlockAddrCurr을 현재 블록에 대한 z-스캔 순서로 최소 휘도 블록의 주소라고 설정한다. 이 때 minBlockAddrCurr는 아래와 같다.
minBlockAddrCurr= MinTbAddrZS[xCurr>>Log2MinTrafoSize][yCurr>>Log2MinTrafoSize]
(여기서 MinTbAddrZS는 최소 변환 블록(transform block)에서의 z-스캔 순서 배열을 의미하며, log2MinTrafoSize는 최소 변환 블록의 크기를 의미한다.)
[3] minBlockAddrN을 (xN, yN) 위치를 가지는 주변 블록에 대한 z-스캔 순서로 최소 휘도 블록의 주소로 설정한다.
만일 아래 조건((1) 내지 (4)) 중에 하나라도 ‘참’이면, minBlockAddrN을 ‘-1’로 설정한다.
(1) xN이 ‘0’보다 작다.
(2) yN이 ‘0’보다 작다.
(3) xN이 pic_width_in_luma_sample(영상의 너비)보다 크다.
(4) yN이 pic_height_in_luma_sample(영상의 너비)보다 크다.
그렇지 않다면(즉, (xN, yN) 위치가 픽쳐 경계 안이라면), 아래를 적용한다.
minBlockAddrN = MinTbAddrZS[ xN >> Log2MinTrafoSize ][ yN >> Log2MinTrafoSize ]
[4] 주변 블록 가용성 정보 availableN은 아래 과정을 통해 유도된다.
만일 아래 조건((1) 내지 (4))중에 하나라도 ‘참(true)’이면, availableN은 ‘거짓(false)’으로 설정한다.
(1) minBlockAddrN이 ‘0’보다 작다.
(2) minBlockAddrN이 minBlockAddrCurr 보다 크다.
(3) minBlockAddrN을 가지는 주변 블록을 포함하고 있는 슬라이스의 주소 인덱스가 minBlockAddrCurr을 가지는 현재 블록을 포함하고 있는 슬라이스의 주소 인덱스와 다르다.
(4) minBlockAddrN을 가지는 주변 블록이 minBlockAddrCurr을 가지는 현재 블록과 다른 타일(Tile) 에 위치한다. (여기서 타일 이란, 영상을 슬라이스로 나누는 것과 동일한 개념이며, 타일 간에는 블록의 부호화 정보를 유도하지 않는다.)
그렇지 않다면, availableN은 ‘참’으로 설정한다.
예측 블록(prediction block)의 가용성 유도 과정
[1] 예측 블록(prediction block)의 가용성 유도 과정에서 입력은 아래와 같다.
(xC, yC): 현재 픽쳐의 좌상단 위치와 관련된 현재 휘도 부호화 블록의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(xP, yP): 현재 픽쳐의 좌상단 위치와 관련된 현재 휘도 예측 블록의 좌상단 위치;
(nPbW, nPbH): 현재 CU블록 내에서 현재 PU의 너비와 높이를 가르키는 변수;
(partIdx): 현재 CU블록 내에서 현재 PU의 인덱스;
(xN, yN): 현재 픽쳐의 좌상단 위치와 관련된 주변 블록의 위치;
예측 블록(prediction block)의 가용성 유도 과정에서 출력은 아래와 같다.
availableN: (xN, yN) 위치를 가지는 주변 블록의 가용성 정보
[2] 변수 sameCb를 현재 휘도 예측 블록과 주변 휘도 예측 블록이 동일한 휘도 부호화 블록인지를 나타내는 것으로 정의한다.
만일 아래 조건들((1) 내지 (4))이 모두 ‘참’이면, sameCb를 ‘참’으로 설정한다.
(1) xC가 xN보다 작거나 혹은 같다.
(2) yC가 yN보다 작거나 혹은 같다.
(3) (xC + nCbS)가 xN보다 크다.
(4) (yC + nCbS)가 yN보다 크다.
그렇지 않다면, sameCb는 ‘거짓’으로 설정한다.
여기서 sameCb가 ‘참’일 경우, 현재 휘도 예측 블록과 주변 휘도 예측 블록이 동일한 휘도 부호화 블록에 속하는지를 의미할 수 있으며, 또는 그 역도 가능하다.
[3] 주변 예측 블록의 가용성 정보 availableN은 다음과 같이 유도된다.
만일 sameCb가 ‘거짓’이라면, z-스캔 가용성 유도 과정을 적용하여, availableN을 설정한다.
그렇지 않고, 만일 아래 조건((1) 내지 (5))이 이 모두 ‘참’이면, availableN을 ‘거짓’으로 설정한다.
*(1) ( nPbW << 1 )이 nCbS와 같다.
(2) ( nPbH << 1 )이 nCbS와 같다.
(3) partIdx 이 ‘1’이다.
(4) (yC + nPbH) 이 yN 보다 작거나 같다.
(5) (xC + nPbW) 이 xN보다 크다.
그렇지 않다면, availableN을 ‘참’으로 설정한다.
availableN이 ‘참’이고 PredMode[xN][yN]이 MODE_INTRA일 경우, availableN을 ‘거짓’으로 설정한다.
움직임 벡터와 참조 픽쳐 인덱스를 유도하는 과정
[1] 움직임 벡터와 참조 픽쳐 인덱스를 유도하는 과정에서 입력은 아래와 같다.
(xC yC): 현재 CU(Coding Unit) 블록의 좌상단 위치;
(xB, yB): 현재 PU의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(nPSW, nPSH): 현재 PU의 너비와 높이를 가르키는 변수;
(partIdx): 현재 CU블록 내에서 현재 PU의 인덱스
움직임 벡터와 참조 픽쳐 인덱스를 유도하는 과정에서 출력은 아래와 같다.
(mvL0와 mvL1): 휘도 샘플에 대한 움직임 벡터;
(mvCL0와 mvCL1): 색차 샘플에 대한 움직임 벡터;
참조 픽쳐 인덱스; refIdxL0와 refIdxL1
predFlagL0와 predFlagL1: 예측 목록 이용 가능 여부(L0혹은 L1예측을 수행하는지)를 알려주는 변수
[2] 현재 PU블록의 위치를 xP = xC + xB, yP = yC + yB 로 설정한다.
[3] mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1은 아래 과정을 통하여 유도된다.
만일 PredMode가 MODE_SKIP이라면, 머지 모드를 위한 휘도 움직임 벡터 유도과정을 수행한다. 여기서 입력은 (xC, yC), (xP, yP), nCS, nPSW, nPSH, partIdx 이며, 출력은 mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1이다.
그렇지 않고, 만일 PredMode가 MODE_INTER이고 현재 PU블록에 대한 merge_flag가 ‘1’이라면, 머지 모드를 위한 휘도 움직임 벡터 유도 과정을 수행한다. 여기서 입력은 (xC, yC), (xP, yP), nCS, nPSW, nPSH, partIdx 이며, 출력은 mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1이다.
그렇지 않다면, mvLX, refIdxLX, PredFlagLX는 신택스(syntax) 요소 ref_idx_lx, mvd_lX에 의해 설정된다. 여기서 X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.
머지 모드를 위한 휘도 움직임 벡터 유도 과정
[1] 머지 모드를 위한 휘도 움직임 벡터 유도 과정에서 입력은 아래와 같다.
(xC yC): 현재 CU(Coding Unit) 블록의 좌상단 위치;
(xP, yP): 현재 PU의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(nPSW, nPSH): 현재 PU의 너비와 높이를 가르키는 변수;
(partIdx): 현재 CU블록 내에서 현재 PU의 인덱스;
머지 모드를 위한 휘도 움직임 벡터 유도 과정에서 출력은 아래와 같다.
(mvL0와 mvL1): 휘도 샘플에 대한 움직임 벡터;
refIdxL0와 refIdxL1: 참조 픽쳐 인덱스;
predFlagL0와 predFlagL1: 예측 목록 이용가능 여부(L0혹은 L1예측을 수행하는지)를 알려주는 변수
[2] 변수 singleMCLFlag(공통의 머지 후보 목록 플래그)는 아래와 같이 유도된다.
만일 log2_parallel_merge_level_minus2 의 값이 ‘0’보다 크고 nCS 값이 ‘8’이면, singleMCLFlag 에 ‘1’을 설정한다.
그렇지 않다면, singleMCLFlag 에 ‘0’을 설정한다.
[3] 현재 PU의 좌상단 위치(xP, yP), 현재 PU의 너비와 높이를 가르키는 변수(nPSW, nPSH)는 아래와 같이 유도된다.
만일 singleMCLFlag 가 ‘1’이면, xP에 xC를 입력하고 yP에 yC를 입력하고 nPSW와 nPSH에 nCS를 입력한다.
부연 설명: singleMCLFlag 의 값이 ‘1’로 설정되면, 하나의 CU안의 모든 PU블록은 파티션 형태에 상관없이 2Nx2N PU에 대한 머지 후보 목록을 공유한다.
[4] 머지 부호화 모드에서 사용할 머지 후보 목록을 구성하고 현재 PU에 대한 움직임 정보(mvL0, mvL1, refIdxL0, refIdxL1, PredFlagL0, PredFlagL1)를 설정하는 단계는 아래와 같은 순서로 수행된다.
[4-1] 현재 PU을 포함하는 현재 CU의 주변 PU으로부터 머지 움직임 후보를 설정하는 과정을 수행한다.
여기서 입력은 (xP, yP), nPSH, nPSW, singleMCLFlag 이며, 출력은 availableFlagN(주변 PU의 사용 가능 여부를 알려주는 변수), mvL0N, mvL1N, refIdxL0N, refIdxL1N, PredFlagL0N, PredFlagL1N이다. (여기서 N은 도 12의 A1, B1, B0, A0, B2으로 교체될 수 있으며, X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.)
[4-2] 시간적 머지 움직임 후보를 사용하기 위한 참조 픽쳐 인덱스 refIdxLX 는 ‘0’으로 설정된다. 여기서 X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.
[4-3] 시간적으로 유추된 움직임 정보를 머지 움직임 후보로 설정하는 과정을 수행한다. 여기서 입력은 (xP, yP), nPSH, nPSW, refIdxLX이며, 출력은 availableFlagLXCol(시간적으로 유추된 움직임 정보의 사용 가능 여부를 알려주는 변수), mvLXCol(시간적으로 유추된 움직임 정보)이다.
availableFlagCol(시간적으로 유추된 움직임 정보의 사용 가능 여부를 알려주는 변수)과 PredFlagLXCol(시간적으로 유추된 움직임 정보에 대한 예측 목록 이용가능 여부(L0혹은 L1예측을 수행하는지)를 알려주는 변수)는 아래와 같이 설정된다.
availableFlagCol = availableFlagL0Col || availableFlagL1Col
PredFlagLXCol = availableFlagLXCol
[4-4] 다음으로, 머지 후보 목록을 아래와 같이 구성한다.
*도 12는 현재 블록의 머지 후보 리스트 생성을 설명하기 위한 현재 블록 및 주변 블록을 도시한 도면이다.
현재 블록, 즉 예측 대상 블록의 좌측 상단에 존재하는 픽셀의 위치를 (xP, yP)라고 하고 에측 대상 블록의 너비를 nPSW, 예측 대상 블록의 높이를 nPSH라는 변수로 정의한다.
이하, 본 발명의 실시예에서는 현재 블록의 공간적 주변 예측 블록은 (xP-1, yP+nPSH-1)에 존재하는 픽셀을 포함하는 블록을 좌측 A1 블록, (xP-1, yP+nPSH)에 존재하는 픽셀을 포함하는 블록을 A0 블록, (xP+nPSW, yP-1)에 위치하는 픽셀을 포함하는 블록을 B0 블록, (xP+nPSW-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록을 B1 블록, (xP-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록을 B2 블록을 포함할 수 있다.
도 12의 A1, B1, B0, A0, B2, Col 순으로 해당블록의 움직임 정보가 사용가능할 경우, 해당 블록의 움직임 정보를 머지 후보 목록에 차례대로 입력한다. 여기서 Col은 시간적으로 유추된 움직임 정보를 말한다.
[4-5] 머지 후보 목록 내에서 동일한 움직임 정보가 존재할 경우, 해당 움직임 정보를 하나만 남겨두는 단계를 수행한다.
[4-6] 머지 후보 목록의 움직임 정보 개수를 설정하고 최대 머지 후보 목록의 개수를 ‘5’로 설정하는 단계를 수행한다.
[4-7] B 픽쳐일때, 결합 양예측 머지 후보를 추가하는 단계를 수행한다.
[4-8] 영(0,0) 움직임 정보를 머지후보로 추가하는 단계를 수행한다.
[4-9] 머지 후보 목록에서 merge_idx에 존재하는 움직임 정보를 현재 PU의 움직임 정보로 설정하는 단계를 수행한다.
현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계
[1] 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계에서 입력은 아래와 같다.
(xC yC): 현재 CU(Coding Unit) 블록의 좌상단 위치;
(xP, yP): 현재 PU의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(nPSW, nPSH): 현재 PU의 너비와 높이를 가르키는 변수;
singleMCLFlag: 현재 CU에 대한 공통의 머지 후보 목록의 사용여부를 나타내는 변수;
(partIdx): 현재 CU블록 내에서 현재 PU의 인덱스;
현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계에서 출력은 아래와 같다. (여기서 N은 도 12의 A1, B1, B0, A0, B2으로 교체될 수 있으며, X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.)
availableFlagN: 주변 PU N의 움직임 정보 가용성 여부를 알려주는 변수;
refIdxLXN: 주변 PU N의 참조 인덱스;
predFlagLXN: 주변 PU N에 대한 예측 목록 이용가능 여부를 알려주는 변수;
mvLXN: 주변 PU N에 대한 움직임 벡터
[2] 아래 [3]의 과정을 통해 주변 PU A0, A1, B0, B1, 혹은 B2의 availableFlagN을 유도하기 위해서, 아래의 좌측 우선 결정 방식에 따른 유도 순서(제한)를 적용한다.
A1 은 A0, B0, B1 그리고 B2 보다 먼저 availableFlagN(여기서 N = A1)을 유도하여야 한다.
B1 은 B0와 B2 보다 먼저 availableFlagN (여기서 N = B1)을 유도하여야 한다.
B2 는 A0, A1, B0 그리고 B1 다음에 availableFlagN (여기서 N = B2)을 유도하여야 한다.
상기한 좌측 우선 결정 방식의 순서 제약에 부합하는 주변 블록의 움직임 정보 가용성 유도 순서의 예는 다음과 같다:
A1 → B1 → A0 → B0 → B2,
A1 → B1 → B0 → A0 → B2
A1 → B1 → A0 및 B0 (병렬 유도) → B2
A1 → A0 → B1 → B0 → B2
A1 → A0 및 B1 (병렬 유도) → B0 → B2
[3] 현재 PU의 주변 PU(공간적 PU)이 머지 움직임 후보로 사용 가능한지를 판단하기 위한 과정은 아래의 내용을 적용한다. (여기서 주변 PU은 도 12의 A1, B1, B0, A0, B2을 말하며, N은 도 12의 A1, B1, B0, A0, B2으로 교체될 수 있으며, (xN, yN) 은 (xC-1, yC+nCS), (xC-1, yC+nCS-1), (xC+nCS, yC-1), (xC+nCS-1, yC-1), (xC-1, yC-1)으로 교체될 수 있다.)
[3-1] 주변 PU의 가용성을 판단하는 과정을 수행하며, 입력은 ( xC, yC ), ( xP, yP ), nPbW, nPbH, ( xN, yN ) 그리고 partIdx 이며, 출력은 ( xN, yN )에 위치한 PU의 가용성 정보 availableN 이다.
[3-3] 만일 아래 조건((1) 내지 (10))중에서 하나라도 ‘참’ 이면, availableFlagN 이 ‘0’으로 설정되고 mvLXN은 ‘0,0’으로 설정된다.
(1) (xP >> (log2_parallel_merge_level_minus2 +2))가 (xN>>(log2_parallel_merge_level_minus2+2))와 같고 (yP>>(log2_parallel_merge_level_minus2+2))가 (yN>>(log2_parallel_merge_level_minus2 +2))와 같다.
(2) N이 B2이고 availableFlagA0 + availableFlagA1 + availableFlagB0 + availableFlagB1이 ‘4’이다.
(3) [xN, yN]의 위치에 있는 PU가 사용 불가능하거나 혹은 화면 내 모드로 부호화되었다. 즉, availableN 이 ‘0’이다.
(4) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_2NxN 혹은 PART_2NxnU 혹은 PART_2NxnD이고 PartIdx가 ‘1’이고 N이 ‘B1’이다.
(5) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_Nx2N 혹은 PART_nLx2N 혹은 PART_nRx2N 이고 PartIdx가 ‘1’이고 N이 ‘A1’이다.
(6) 움직임 정보 동일성 판단 과정으로, N이 B1이고, (xA1, yA1)에 위치한 PU의 움직임 정보와 (xN, yN )에 위치한 움직임 정보가 동일하다.
(7) 움직임 정보 동일성 판단 과정으로, N이 B0 이고, (xB1, yB1)에 위치한 PU의 움직임 정보와 (xN, yN )에 위치한 움직임 정보가 동일하다.
(8) 움직임 정보 동일성 판단 과정으로, N이 A0 이고, (xA1, yA1)에 위치한 PU의 움직임 정보와 (xN, yN)에 위치한 움직임 정보가 동일하다.
(9) 움직임 정보 동일성 판단 과정으로, N이 B2 이고, (xA1, yA1)에 위치한 PU의 움직임 정보와 (xN, yN)에 위치한 움직임 정보가 동일하다.
(10) 움직임 정보 동일성 판단 과정으로 N이 B2 이고, (xB1, yB1)에 위치한 PU의 움직임 정보와 (xN, yN)에 위치한 움직임 정보가 동일하다.
그렇지 않으면, availableFlagN은 ‘1’로 설정되며, mvLXN, refIdxLXN, predFlagLXN은 각각 mvLX[xN, yN], refIdxLX[xN, yN], predFlagLX[xN, yN]으로 설정된다.
방법 1의 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계는 본 발명의 일 예에 따라 아래와 같이 변형될 수 있다.
[1] 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계의 입력은 아래와 같다.
(xC yC): 현재 CU(Coding Unit) 블록의 좌상단 위치;
(xP, yP): 현재 PU의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(nPSW, nPSH): 현재 PU의 너비와 높이를 가르키는 변수;
singleMCLFlag: 현재 CU에 대한 공통의 머지후보목록의 사용여부를 나타내는 변수;
(partIdx): 현재 CU블록 내에서 현재 PU의 인덱스
이 단계에서는 출력은 아래와 같다. (여기서 N은 도 102의 A1, B1, B0, A0, B2으로 교체될 수 있으며, X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.)
availableFlagN: 주변 PU N의 움직임 정보 가용성 여부를 알려주는 변수;
refIdxLXN: 주변 PU N의 참조 인덱스;
predFlagLXN: 주변 PU N에 대한 예측 목록 이용가능 여부를 알려주는 변수;
mvLXN: 주변 PU N에 대한 움직임 벡터;
[2] 아래 [3]의 과정을 통해 주변 PU A0, A1, B0, B1, 혹은 B2의 availableFlagN을 유도하기 위해서, 아래의 유도 순서(제한)를 적용한다.
B2 는 A0, A1, B0 그리고 B1 다음에 availableFlagN (여기서 N = B2)을 유도 한다.
[3] 현재 PU의 주변 PU(공간적 PU)이 머지 움직임 후보로 사용 가능한지를 판단하기 위한 과정은 아래와 같다. (여기서 주변 PU은 도 12의 A1, B1, B0, A0, B2일 수 있으며, N은 도 12의 A1, B1, B0, A0, B2으로 교체될 수 있으며, (xN, yN) 은 (xC-1, yC+nCS), (xC-1, yC+nCS-1), (xC+nCS, yC-1), (xC+nCS-1, yC-1), (xC-1, yC-1)으로 교체될 수 있다.)
[3-1] 주변 PU의 가용성을 판단하며, 이 단계에서 입력은 (xC, yC), (xP, yP), nPbW, nPbH, (xN, yN) 그리고 partIdx 이며, 출력은 (xN, yN)에 위치한 PU의 가용성 정보 availableN 이다.
[3-2] 만일 아래 조건((1) 내지 (3)) 중에서 하나라도 ‘참’이면, availableN은 ‘0’으로 설정한다.
(1) 만일 (xP >> (log2_parallel_merge_level_minus2 +2))가 (xN >> (log2_parallel_merge_level_minus2 +2))와 같고 (yP >> (log2_parallel_merge_level_minus2 +2))가 (yN >> (log2_parallel_merge_level_minus2 +2))와 같다.
(2) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_2NxN 혹은 PART_2NxnU 혹은 PART_2NxnD이고 PartIdx가 ‘1’이고 N이 ‘B1’이다.
(3) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_Nx2N 혹은 PART_nLx2N 혹은 PART_nRx2N 이고 PartIdx가 ‘1’이고 N이 ‘A1’이다.
[3-2] 만일 아래 조건 중에서 하나라도 ‘참’ 이면, availableFlagN 이 ‘0’으로 설정되고 mvLXN은 (0,0)으로 설정된다.
(1) N이 B2이고 availableFlagA0 + availableFlagA1 + availableFlagB0 + availableFlagB1이 ‘4’이다.
(2) [xN, yN]의 위치에 있는 PU이 사용불가능하거나 혹은 인트라로 부호화되었다. 즉, availableN 이 ‘0’이다.
(3) 움직임 정보 동일성 판단 과정으로, N이 B1이고, ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(4) 움직임 정보 동일성 판단 과정으로, N이 B0이고, (xB1, yB1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(5) 움직임 정보 동일성 판단 과정으로, N이 A0이고, ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(6) 움직임 정보 동일성 판단 과정으로, N이 B2이고, ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
*(7) 움직임 정보 동일성 판단과정): N이 B2과 같고 그리고 ( xB1, yB1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
[3-3] 그렇지 않으면, availableFlagN은 ‘1’로 설정되며, mvLXN, refIdxLXN, predFlagLXN에는 각각 mvLX[xN, yN], refIdxLX[xN, yN], predFlagLX[xN, yN]이 설정된다.
방법 1의 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계는 본 발명의 다른 예에 따라 아래와 같이 변형될 수 있다.
*[1] 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계에서 입력은 아래와 같다.
(xC yC): 현재 CU(Coding Unit) 블록의 좌상단 위치;
(xP, yP): 현재 PU의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(nPSW, nPSH): 현재 PU의 너비와 높이를 가르키는 변수;
singleMCLFlag: 현재 CU에 대한 공통의 머지 후보목록의 사용여부를 나타내는 변수;
(partIdx): 현재 CU블록 내에서 현재 PU의 인덱스:
이 단계에서 출력은 아래와 같다. 여기서 N은 도 102의 A1, B1, B0, A0, B2으로 교체될 수 있으며, X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.
availableFlagN: 주변 PU N의 움직임 정보 가용성 여부를 알려주는 변수;
refIdxLXN: 주변 PU N의 참조 인덱스;
predFlagLXN: 주변 PU N에 대한 예측 목록 이용가능 여부를 알려주는 변수;
mvLXN: 주변 PU N에 대한 움직임 벡터
[2] 현재 PU의 주변 PU(공간적 PU)이 머지 움직임 후보로 사용 가능한지를 판단하기 위한 과정은 아래의 내용을 적용한다. 여기서 주변 PU은 도 12의 A1, B1, B0, A0을 말하며, N은 도 12의 A1, B1, B0, A0, 로 교체될 수 있으며, (xN, yN) 은 (xC-1, yC+nCS), (xC-1, yC+nCS-1), (xC+nCS, yC-1), (xC+nCS-1, yC-1)로 교체될 수 있다.
[2-1] 주변 PU의 가용성을 판단하는 과정을 수행하며, 여기서 입력은 ( xC, yC ), ( xP, yP ), nPbW, nPbH, ( xN, yN ) 그리고 partIdx 이며, 출력은 ( xN, yN )에 위치한 PU의 가용성 정보 availableN 이다.
[2-2] 만일 아래 조건 중((1) 내지 (10))에서 하나라도 ‘참’이면, availableN은 ‘0’으로 설정한다.
(1) (xP >> (log2_parallel_merge_level_minus2 +2))가 (xN >> (log2_parallel_merge_level_minus2 +2))와 같고 (yP >> (log2_parallel_merge_level_minus2 +2))가 (yN >> (log2_parallel_merge_level_minus2 +2))와 같다.
(2) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_2NxN 혹은 PART_2NxnU 혹은 PART_2NxnD이고 PartIdx가 ‘1’이고 N이 ‘B1’이다.
(3) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_Nx2N 혹은 PART_nLx2N 혹은 PART_nRx2N 이고 PartIdx가 ‘1’이고 N이 ‘A1’이다.
(4) 만일 아래 조건 중에서 하나라도 ‘참’ 이면, availableFlagN 이 ‘0’으로 설정되고 mvLXN은 ‘0,0’으로 설정된다.
(5) [xN, yN]의 위치에 있는 PU이 사용불가능하거나 혹은 인트라로 부호화되었다. (즉, availableN 이 ‘0’이다)
(6) 움직임 정보 동일성 판단 과정으로, N이 B1이고, availableA1=1이고 그리고 ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(7) 움직임 정보 동일성 판단 과정으로, N이 B0이고, availableB1=1이고 그리고 ( xB1, yB1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(8) 움직임 정보 동일성 판단 과정으로, N이 A0 이고, availableA1=1이고 그리고 ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(9) 움직임 정보 동일성 판단 과정으로, N이 B2 이고, availableA1=1이고 그리고 ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(10) 움직임 정보 동일성 판단 과정으로, N이 B2 이고, availableB1=1이고 그리고 ( xB1, yB1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
그렇지 않으면, availableFlagN은 ‘1’로 설정되며, mvLXN, refIdxLXN, predFlagLXN에는 각각 mvLX[xN, yN], refIdxLX[xN, yN], predFlagLX[xN, yN]이 설정된다.
[3] A0, A1, B0 그리고 B1 다음에 B2의 availableFlagN (여기서 N = B2)이 유도된다. 현재 CU의 주변 PU(공간적 PU) 중 B2가 머지 움직임 후보로 사용 가능한지를 판단하기 위한 과정은 아래의 내용을 적용한다. 여기서 (xB2, yB2) 는 (xC?1, yC?1)로 교체될 수 있다.
[3-1] 주변 PU의 가용성을 판단하는 과정을 수행하며, 여기서 입력은 ( xC, yC ), ( xP, yP ), nPbW, nPbH, ( xB2, yB2 ) 그리고 partIdx 이며, 출력은 ( xB2, yB2 )에 위치한 PU의 가용성 정보 availableB2 이다.
[3-2] 만일 아래 조건이 ‘참’ 이면, availableFlagB2 이 ‘0’으로 설정되고 mvLXB2은 ‘0,0’으로 설정된다.
availableFlagA0 + availableFlagA1 + availableFlagB0 + availableFlagB1이 ‘4’이다.
그렇지 않으면, availableFlagB2은 ‘1’로 설정되며, mvLXB2, refIdxLXB2, predFlagLXB2에는 각각 mvLX[xB2, yB2], refIdxLX[xB2, yB2], predFlagLX[xB2, yB2]이 설정된다.
*방법 1의 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계는 본 발명의 또 다른 예에 따라 아래와 같이 변형될 수 있다.
[1] 현재 PU의 주변 PU(공간적 PU)으로부터 머지 움직임 후보를 설정하는 단계에서는 입력은 아래와 같다.
(xC yC): 현재 CU(Coding Unit) 블록의 좌상단 위치;
(xP, yP): 현재 PU의 좌상단 위치;
(nCS): 현재 CU의 크기를 가르키는 변수;
(nPSW, nPSH): 현재 PU의 너비와 높이를 가르키는 변수;
singleMCLFlag: 현재 CU에 대한 공통의 머지 후보목록의 사용 여부를 나타내는 변수;
현재 CU블록 내에서 현재 PU의 인덱스: (partIdx)
이 단계에서는 출력은 아래와 같다. (여기서 N은 도 102의 A1, B1, B0, A0, B2으로 교체될 수 있으며, X는 ‘0’ 혹은 ‘1’로 교체될 수 있다.)
availableFlagN: 주변 PU N의 움직임 정보 가용성 여부를 알려주는 변수;
refIdxLXN: 주변 PU N의 참조 인덱스;
predFlagLXN: 주변 PU N에 대한 예측 목록 이용가능 여부를 알려주는 변수;
mvLXN: 주변 PU N에 대한 움직임 벡터
[2] 현재 PU의 주변 PU(공간적 PU)이 머지 움직임 후보로 사용 가능한지를 판단하기 위한 과정은 좌측 우선 결정 방식에 따라 A1→B1→B0→A0→B2 블록의 순서로 수행된다. 여기서 주변 PU은 도 12의 A1, B1, B0, A0, B2을 말하며, N은 도 102의 A1, B1, B0, A0, B2으로 교체될 수 있으며, (xN, yN) 은 (xC-1, yC+nCS), (xC-1, yC+nCS-1), (xC+nCS, yC-1), (xC+nCS-1, yC-1), (xC-1, yC-1)으로 교체될 수 있다.
[2-1] 주변 PU의 가용성을 판단하는 과정을 수행하며, 여기서 입력은 ( xC, yC ), ( xP, yP ), nPbW, nPbH, ( xN, yN ) 그리고 partIdx 이며, 출력은 ( xN, yN )에 위치한 PU의 가용성 정보 availableN 이다.
[2-2] 만일 아래 조건 중((1) 내지 (10))에서 하나라도 ‘참’ 이면, availableFlagN 이 ‘0’으로 설정되고 mvLXN은 ‘0,0’으로 설정된다.
(1) (xP >> (log2_parallel_merge_level_minus2 +2))가 (xN >> (log2_parallel_merge_level_minus2 +2))와 같고 (yP >> (log2_parallel_merge_level_minus2 +2))가 (yN >> (log2_parallel_merge_level_minus2 +2))와 같다.
(2) N이 B2이고 availableFlagA0 + availableFlagA1 + availableFlagB0 + availableFlagB1이 ‘4’이다.
(3) [xN, yN]의 위치에 있는 PU이 사용 불가능하거나 혹은 인트라로 부호화되었다. 즉, availableN 이 ‘0’이다.
(4) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_2NxN 혹은 PART_2NxnU 혹은 PART_2NxnD이고 PartIdx가 ‘1’이고 N이 ‘B1’이다.
(5) singleMCLFlag가 ‘0’이고 현재 PU의 파티션 형태가 PART_Nx2N 혹은 PART_nLx2N 혹은 PART_nRx2N 이고 PartIdx가 ‘1’이고 N이 ‘A1’이다.
(6) 움직임 정보 동일성 판단 과정으로, N이 B1과 같고 그리고 ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(7) 움직임 정보 동일성 판단 과정으로, N이 B0이고, ( xB1, yB1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(8) 움직임 정보 동일성 판단 과정으로, N이 A0 이고, ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
*(9) 움직임 정보 동일성 판단 과정으로, N이 B2 이고, ( xA1, yA1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
(10) 움직임 정보 동일성 판단 과정으로, N이 B2 이고, ( xB1, yB1 )에 위치한 PU의 움직임 정보와 ( xN, yN )에 위치한 움직임 정보가 동일하다.
그렇지 않으면, availableFlagN은 ‘1’로 설정되며, mvLXN, refIdxLXN, predFlagLXN에는 각각 mvLX[xN, yN], refIdxLX[xN, yN], predFlagLX[xN, yN]이 설정된다.
상술한 방법들은 모두 블록 크기 혹은 CU 깊이 등에 따라 적용 범위를 달리할 수 있다. 이렇게 적용 범위를 결정하는 변수(즉, 크기 혹은 깊이 정보)는 부호화기 및 복호화기가 미리 정해진 값을 사용하도록 설정할 수도 있고, 프로파일 또는 레벨에 따라 정해진 값을 사용하도록 할 수도 있고, 부호화기가 변수 값을 비트스트림에 기재하면 복호화기는 비트스트림으로부터 이 값을 유도하여 사용할 수도 있다.
CU 깊이에 따라 적용 범위를 달리하는 할 때는 아래 표 1에 예시한 바와 같이, 방법 (A) 주어진 깊이 이상의 깊이에만 적용하는 방식, 방법 (B) 주어진 깊이 이하에만 적용하는 방식, 방법 (C) 주어진 깊이에만 적용하는 방식이 있을 수 있다.
Figure pat00001
표 1의 “0”은 해당 깊이에 가용성 여부를 판단하는 방법을 적용하는 경우를 나타내고, “X”는 해당 깊이에 가용성 여부를 판단하는 방법을 적용하지 않는 것을 나타낸다.
표 1을 참조하면, CU 깊이가 2인 경우 상술한 방법들이 모두 적용될 수 있다. 표 1은 하나의 예를 도시한 것으로, 이는 변경 가능하다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
100 : 영상 부호화 장치 111: 움직임 예측부
112: 움직임 보상부 120 : 인트라 예측부
115 : 스위치 125 : 감산기
130 : 변환부 140 : 양자화부
150 : 엔트로피 부호화부 160 : 역양자화부
170 : 역변환부 180 : 필터부

Claims (8)

  1. 현재 블록에 인접한 공간적 이웃 블록의 가용성을 판단하는 단계;
    상기 현재 블록에 대한 시간적 이웃 블록의 가용성을 판단하는 단계;
    상기 공간적 이웃 블록 및 상기 시간적 이웃 블록의 가용성 판단 결과에 기초하여, 상기 현재 블록의 머지 후보 리스트를 생성하는 단계; 및
    상기 머지 후보 리스트를 기초로, 현재 블록의 예측 샘플들을 획득하는 단계를 포함하되,
    상기 공간적 이웃 블록의 가용성은, 상기 공간적 이웃 블록이 화면간 예측에 이용가능한지 여부를 나타내는 블록 가용성 및 상기 공간적 이웃 블록의 모션 정보가 화면간 예측에 이용가능한지 여부를 나타내는 모션 정보 가용성을 포함하고,
    상기 블록 가용성은, 병렬 머지 프로세싱이 가능한 블록의 크기를 나타내는 병렬 머지 레벨 정보를 기초로 판단되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  2. 제1항에 있어서,
    상기 공간적 이웃 블록은 상기 현재 블록에 인접한 적어도 하나의 이웃 블록을 포함하고,
    상기 현재 블록의 높이가 nPSH이고, 상기 현재 블록의 너비가 nPSW 이며, 상기 현재 블록의 좌측 상단 샘플의 좌표가 (xP, yP)인 경우, 상기 적어도 하나의 이웃 블록은, (xP-1, yP+nPHS) 좌표의 픽셀을 포함하는, 좌측 하단 이웃 블록, (xP-1, yP+nPHS-1) 좌표의 픽셀을 포함하는 좌측 이웃 블록, (xP+nPSW, yP-1) 좌표의 픽셀을 포함하는 상단 우측 이웃 블록, (xP+nPSW-1, yP-1) 좌표의 픽셀을 포함하는 상단 이웃 블록 및 (xP-1, yP-1) 좌표의 픽셀을 포함하는 좌측 상단 이웃 블록 중 적어도 하나를 포함하는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  3. 제1항에 있어서,
    상기 현재 블록 및 상기 공간적 이웃 블록을 포함하는 부호화 블록이 2개의 블록으로 파티셔닝되고, 상기 부호화 블록에 포함된 상기 현재 블록의 인덱스가 1인 경우, 상기 공간적 이웃 블록의 상기 블록 가용성은, 상기 현재 블록의 화면간 예측에 이용 불가능하다고 판단되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  4. 제1항에 있어서,
    상기 블록 가용성은, 상기 현재 블록의 위치 정보를 병렬 머지 레벨 정보만큼 시프팅하여 유도된 값과 상기 공간적 이웃 블록의 위치 정보를 상기 병렬 머지 레벨 정보만큼 시프팅하여 유도된 값을 비교하여 결정되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  5. 제1항에 있어서,
    상기 블록 가용성은, 상기 공간적 이웃 블록이 인트라 코딩된 블록인지 여부에 기초하여 결정되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  6. 제2항에 있어서,
    상기 좌측 하단 이웃 블록의 모션 정보 가용성은, 상기 좌측 이웃 블록의 블록 가용성 및 상기 좌측 하단 이웃 블록의 모션 정보와 상기 좌측 이웃 블록의 모션 정보의 비교 결과에 기초하여 판단되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  7. 제2항에 있어서,
    상기 상단 우측 이웃 블록의 모션 정보 가용성은, 상기 상단 블록의 블록 가용성 및 상기 상단 우측 이웃 블록의 모션 정보와 상기 상단 이웃 블록의 모션 정보의 비교 결과에 기초하여 판단되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
  8. 제2항에 있어서,
    상기 좌측 상단 이웃 블록의 모션 정보 가용성은, 상기 좌측 상단 이웃 블록을 제외한 나머지 이웃 블록들의 모션 정보들이 가용한지 여부에 기초하여 판단되는 것을 특징으로 하는, 비디오 신호 복호화 방법.
KR1020160056507A 2012-10-12 2016-05-09 영상의 부호화/복호화 방법 및 이를 이용하는 장치 KR101861703B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120113851 2012-10-12
KR20120113851 2012-10-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130142748A Division KR101779831B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20160057368A true KR20160057368A (ko) 2016-05-23
KR101861703B1 KR101861703B1 (ko) 2018-05-29

Family

ID=50655063

Family Applications (21)

Application Number Title Priority Date Filing Date
KR20130121330A KR101424220B1 (ko) 2012-10-12 2013-10-11 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020130142747A KR101527443B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20130142746A KR101424219B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020130142748A KR101779831B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020160056502A KR101750997B1 (ko) 2012-10-12 2016-05-09 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020160056507A KR101861703B1 (ko) 2012-10-12 2016-05-09 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020160056497A KR101750996B1 (ko) 2012-10-12 2016-05-09 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020160060207A KR101750998B1 (ko) 2012-10-12 2016-05-17 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020170109962A KR101882912B1 (ko) 2012-10-12 2017-08-30 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020170109963A KR101882913B1 (ko) 2012-10-12 2017-08-30 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020170109961A KR101882911B1 (ko) 2012-10-12 2017-08-30 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020180085469A KR101982037B1 (ko) 2012-10-12 2018-07-23 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190058630A KR102044256B1 (ko) 2012-10-12 2019-05-20 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190141505A KR102112150B1 (ko) 2012-10-12 2019-11-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190141506A KR102112151B1 (ko) 2012-10-12 2019-11-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190141507A KR102112669B1 (ko) 2012-10-12 2019-11-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020200056999A KR102153694B1 (ko) 2012-10-12 2020-05-13 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020200111834A KR102245490B1 (ko) 2012-10-12 2020-09-02 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020210052165A KR102332284B1 (ko) 2012-10-12 2021-04-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020210163196A KR102423641B1 (ko) 2012-10-12 2021-11-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020220088232A KR102504802B1 (ko) 2012-10-12 2022-07-18 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR20130121330A KR101424220B1 (ko) 2012-10-12 2013-10-11 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020130142747A KR101527443B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20130142746A KR101424219B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020130142748A KR101779831B1 (ko) 2012-10-12 2013-11-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020160056502A KR101750997B1 (ko) 2012-10-12 2016-05-09 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Family Applications After (15)

Application Number Title Priority Date Filing Date
KR1020160056497A KR101750996B1 (ko) 2012-10-12 2016-05-09 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020160060207A KR101750998B1 (ko) 2012-10-12 2016-05-17 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020170109962A KR101882912B1 (ko) 2012-10-12 2017-08-30 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020170109963A KR101882913B1 (ko) 2012-10-12 2017-08-30 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020170109961A KR101882911B1 (ko) 2012-10-12 2017-08-30 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020180085469A KR101982037B1 (ko) 2012-10-12 2018-07-23 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190058630A KR102044256B1 (ko) 2012-10-12 2019-05-20 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190141505A KR102112150B1 (ko) 2012-10-12 2019-11-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190141506A KR102112151B1 (ko) 2012-10-12 2019-11-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020190141507A KR102112669B1 (ko) 2012-10-12 2019-11-07 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020200056999A KR102153694B1 (ko) 2012-10-12 2020-05-13 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020200111834A KR102245490B1 (ko) 2012-10-12 2020-09-02 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020210052165A KR102332284B1 (ko) 2012-10-12 2021-04-22 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020210163196A KR102423641B1 (ko) 2012-10-12 2021-11-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR1020220088232A KR102504802B1 (ko) 2012-10-12 2022-07-18 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Country Status (7)

Country Link
US (10) US10506253B2 (ko)
EP (3) EP2908530A4 (ko)
JP (6) JP5969695B2 (ko)
KR (21) KR101424220B1 (ko)
CN (6) CN110545421B (ko)
TW (5) TWI612799B (ko)
WO (1) WO2014058280A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575929B2 (en) 2018-07-18 2023-02-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506253B2 (en) 2012-10-12 2019-12-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and device using same
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US9438908B1 (en) * 2014-02-25 2016-09-06 Pixelworks, Inc. Motion vector interpolation based on true motion and layer information
WO2016003074A1 (ko) * 2014-06-30 2016-01-07 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
KR102378459B1 (ko) 2014-06-30 2022-03-24 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
US10321145B2 (en) 2014-10-07 2019-06-11 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by means of view merging prediction
WO2017043734A1 (ko) * 2015-09-07 2017-03-16 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
US20180352221A1 (en) * 2015-11-24 2018-12-06 Samsung Electronics Co., Ltd. Image encoding method and device, and image decoding method and device
TWI601410B (zh) * 2016-01-11 2017-10-01 晨星半導體股份有限公司 視訊串流解碼方法及視訊串流解碼系統
US10412390B2 (en) 2016-07-12 2019-09-10 Mediatek Inc. Video processing system using low-cost video encoding/decoding architecture
WO2018012886A1 (ko) 2016-07-12 2018-01-18 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
CN115052142A (zh) * 2016-08-01 2022-09-13 韩国电子通信研究院 图像编码/解码方法
CN116866568A (zh) * 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置
US10750190B2 (en) * 2016-10-11 2020-08-18 Lg Electronics Inc. Video decoding method and device in video coding system
CA3067528A1 (en) 2017-10-20 2019-04-25 Kt Corporation Video signal processing method and device
KR20190046704A (ko) 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
KR102306562B1 (ko) * 2017-11-27 2021-09-30 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
EP3737093A4 (en) 2017-11-28 2022-02-09 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIA STORED WITH A BITSTREAM
US11057640B2 (en) 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
WO2019151795A1 (ko) * 2018-01-31 2019-08-08 가온미디어 주식회사 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN111837388B (zh) 2018-03-09 2023-04-14 韩国电子通信研究院 使用样点滤波的图像编码/解码方法和设备
US10397603B1 (en) * 2018-05-08 2019-08-27 Tencent America LLC Method and apparatus for video coding
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
CA3105330C (en) 2018-06-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CA3101730A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
TWI723445B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 查找表的更新：fifo、約束的fifo
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
CN110677666B (zh) 2018-07-02 2022-06-14 北京字节跳动网络技术有限公司 Lamvr中取整和修剪的顺序
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
KR20210084479A (ko) * 2018-11-06 2021-07-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 정보의 위치 의존적 저장
CN117041592A (zh) 2018-11-08 2023-11-10 Oppo广东移动通信有限公司 图像信号编码/解码方法及其设备
US11736713B2 (en) * 2018-11-14 2023-08-22 Tencent America LLC Constraint on affine model motion vector
CN112236996A (zh) * 2018-12-21 2021-01-15 株式会社 Xris 视频信号编码/解码方法及其装置
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) * 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
US11611742B2 (en) * 2019-01-28 2023-03-21 Apple Inc. Image signal encoding/decoding method and device therefor
WO2020171658A1 (ko) * 2019-02-21 2020-08-27 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020175915A1 (ko) 2019-02-26 2020-09-03 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN113728626B (zh) 2019-04-19 2023-05-30 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
WO2020244545A1 (en) * 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Interaction between motion vector refinements and other coding tools
KR20210035069A (ko) * 2019-09-23 2021-03-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20230043747A (ko) * 2021-09-24 2023-03-31 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943591B1 (ko) * 2004-07-20 2010-02-24 콸콤 인코포레이티드 움직임 벡터 처리를 위한 방법 및 장치
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101573985B (zh) * 2006-11-03 2012-07-04 三星电子株式会社 用于视频预测编码的方法和装置以及用于视频预测解码的方法和装置
CN104822062B (zh) 2007-01-08 2018-11-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
KR101364195B1 (ko) * 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
CN101677406B (zh) * 2008-09-19 2011-04-20 华为技术有限公司 一种视频编解码的方法及装置
CN101854540B (zh) * 2009-04-01 2014-07-02 辉达公司 用于应用h.264视频编码标准的帧内预测方法及装置
KR20110071047A (ko) 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR20110135471A (ko) * 2010-06-11 2011-12-19 (주)휴맥스 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
KR101432771B1 (ko) * 2010-03-05 2014-08-26 에스케이텔레콤 주식회사 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
KR20110135763A (ko) 2010-06-11 2011-12-19 에스케이 텔레콤주식회사 문맥 모델링 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
WO2012005520A2 (en) * 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
CN101924938B (zh) * 2010-08-11 2012-09-05 上海交通大学 视频解码宏块预测与边界滤波中相邻块信息的处理方法
CN103081470B (zh) * 2010-09-02 2016-08-03 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置
JP2013545342A (ja) * 2010-10-08 2013-12-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ブロック分割及びブロック統合をサポートする画像符号化
CN106937122B (zh) 2010-10-28 2020-03-27 韩国电子通信研究院 视频解码方法
CN107071491B (zh) * 2010-11-04 2020-11-03 Ge视频压缩有限责任公司 支持区块合并和跳过模式的图像编码
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
CN105847831B (zh) * 2010-11-23 2019-08-09 Lg电子株式会社 视频编码装置和视频解码装置
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
CN102547270B (zh) * 2010-12-31 2014-03-19 联芯科技有限公司 当前块的相邻块可用性获取方法及系统
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
JP5979405B2 (ja) * 2011-03-11 2016-08-24 ソニー株式会社 画像処理装置および方法
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
DK2755389T3 (en) * 2011-09-09 2019-04-01 Lg Electronics Inc Method of inter prediction and arrangement thereof
US20130070855A1 (en) * 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
KR101197176B1 (ko) 2011-09-23 2012-11-05 주식회사 케이티 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
CN107835413A (zh) * 2011-11-08 2018-03-23 株式会社Kt 对视频信号进行解码的方法
EP4009640A1 (en) * 2011-11-08 2022-06-08 Electronics and Telecommunications Research Institute Method and device for sharing a candidate list
KR101205017B1 (ko) * 2011-11-23 2012-11-26 (주)휴맥스 비대칭 파티션에 대한 공통 병합 후보 블록 집합을 이용한 영상 부호화 방법 및 복호화 방법
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US10506253B2 (en) 2012-10-12 2019-12-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and device using same
KR101854003B1 (ko) * 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
EP3062518A4 (en) * 2013-10-24 2017-05-31 Electronics and Telecommunications Research Institute Video encoding/decoding method and apparatus
JP2016134512A (ja) * 2015-01-20 2016-07-25 トヨタ自動車株式会社 コイルユニット
JP2016134526A (ja) * 2015-01-20 2016-07-25 リンテック株式会社 移載装置および移載方法
JP6439457B2 (ja) * 2015-01-20 2018-12-19 新電元メカトロニクス株式会社 ソレノイド
JP6469455B2 (ja) * 2015-01-21 2019-02-13 住友重機械工業株式会社 レーザアニール装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575929B2 (en) 2018-07-18 2023-02-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction
US11792422B2 (en) 2018-07-18 2023-10-17 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction

Also Published As

Publication number Publication date
JP6364450B2 (ja) 2018-07-25
KR20170102843A (ko) 2017-09-12
US11202095B2 (en) 2021-12-14
KR101424220B1 (ko) 2014-07-31
CN110545421A (zh) 2019-12-06
TWI651963B (zh) 2019-02-21
JP6549279B2 (ja) 2019-07-24
KR101750997B1 (ko) 2017-06-26
CN110545419A (zh) 2019-12-06
JP6364448B2 (ja) 2018-07-25
EP4135326A1 (en) 2023-02-15
KR102423641B1 (ko) 2022-07-21
KR101750998B1 (ko) 2017-06-26
KR20190057040A (ko) 2019-05-27
US20200059660A1 (en) 2020-02-20
KR20200105796A (ko) 2020-09-09
TWI651962B (zh) 2019-02-21
JP2015520580A (ja) 2015-07-16
KR101882913B1 (ko) 2018-07-27
KR20160061302A (ko) 2016-05-31
KR102504802B1 (ko) 2023-02-28
KR20190127648A (ko) 2019-11-13
US20200059664A1 (en) 2020-02-20
TWI662831B (zh) 2019-06-11
TW201811042A (zh) 2018-03-16
KR101750996B1 (ko) 2017-06-26
JP2016197897A (ja) 2016-11-24
TW201806389A (zh) 2018-02-16
KR20200055697A (ko) 2020-05-21
KR20140049958A (ko) 2014-04-28
TWI653877B (zh) 2019-03-11
KR20160057366A (ko) 2016-05-23
KR102153694B1 (ko) 2020-09-08
KR20140049494A (ko) 2014-04-25
JP6364447B2 (ja) 2018-07-25
KR102332284B1 (ko) 2021-12-01
JP2016197896A (ja) 2016-11-24
CN110545421B (zh) 2022-11-22
US11743491B2 (en) 2023-08-29
KR20140049472A (ko) 2014-04-25
US20220060742A1 (en) 2022-02-24
CN110545420B (zh) 2022-11-22
KR102112150B1 (ko) 2020-05-18
KR20190127649A (ko) 2019-11-13
EP2908530A4 (en) 2016-04-13
JP5969695B2 (ja) 2016-08-17
US11202096B2 (en) 2021-12-14
WO2014058280A1 (ko) 2014-04-17
JP6364449B2 (ja) 2018-07-25
JP2016197898A (ja) 2016-11-24
KR101882912B1 (ko) 2018-07-27
TW201424399A (zh) 2014-06-16
US11202094B2 (en) 2021-12-14
US20200059662A1 (en) 2020-02-20
US20200059661A1 (en) 2020-02-20
KR20210146872A (ko) 2021-12-06
KR102112669B1 (ko) 2020-05-19
TW201811041A (zh) 2018-03-16
KR101861703B1 (ko) 2018-05-29
KR20140049495A (ko) 2014-04-25
CN110545422B (zh) 2022-11-22
CN110545423A (zh) 2019-12-06
CN110545420A (zh) 2019-12-06
US20200059663A1 (en) 2020-02-20
JP2018139424A (ja) 2018-09-06
KR20180087880A (ko) 2018-08-02
KR102245490B1 (ko) 2021-04-28
US20230370632A1 (en) 2023-11-16
KR20190127647A (ko) 2019-11-13
KR101779831B1 (ko) 2017-09-19
CN110545423B (zh) 2022-11-22
KR102112151B1 (ko) 2020-05-18
CN104396248B (zh) 2019-11-08
TWI612799B (zh) 2018-01-21
KR101982037B1 (ko) 2019-05-24
TW201808008A (zh) 2018-03-01
US11234018B2 (en) 2022-01-25
EP2908530A1 (en) 2015-08-19
KR20170102844A (ko) 2017-09-12
CN110545419B (zh) 2022-11-22
KR101882911B1 (ko) 2018-07-27
KR20170102845A (ko) 2017-09-12
KR20160057367A (ko) 2016-05-23
EP3481065A1 (en) 2019-05-08
KR20210046640A (ko) 2021-04-28
US20230370633A1 (en) 2023-11-16
US10506253B2 (en) 2019-12-10
US20230370634A1 (en) 2023-11-16
CN110545422A (zh) 2019-12-06
KR101424219B1 (ko) 2014-07-31
US20150103897A1 (en) 2015-04-16
JP2016197895A (ja) 2016-11-24
KR102044256B1 (ko) 2019-11-13
KR101527443B1 (ko) 2015-06-12
KR20220104669A (ko) 2022-07-26
US11228785B2 (en) 2022-01-18
CN104396248A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
KR101982037B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant