KR102620625B1 - 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR102620625B1
KR102620625B1 KR1020230093233A KR20230093233A KR102620625B1 KR 102620625 B1 KR102620625 B1 KR 102620625B1 KR 1020230093233 A KR1020230093233 A KR 1020230093233A KR 20230093233 A KR20230093233 A KR 20230093233A KR 102620625 B1 KR102620625 B1 KR 102620625B1
Authority
KR
South Korea
Prior art keywords
block
merging candidate
prediction
reference picture
blocks
Prior art date
Application number
KR1020230093233A
Other languages
English (en)
Other versions
KR20230110712A (ko
Inventor
김휘용
임성창
이진호
최진수
김진웅
김경용
박광훈
김상민
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20230110712A publication Critical patent/KR20230110712A/ko
Application granted granted Critical
Publication of KR102620625B1 publication Critical patent/KR102620625B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체가 개시되어 있다. 본 발명에 따른 영상 복호화 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 프로그램은 현재 블록에 대한 시간적 머징 후보를 위한 참조 픽처 인덱스를 결정하는 단계, 상기 현재 블록을 기초로 유도된 시간적 머징 후보 블록으로부터 시간적 머징 후보를 유도하는 단계 및 상기 시간적 머징 후보의 가용성 여부를 기초로 상기 시간적 머징 후보를 상기 현재 블록에 대한 머징 후보 리스트에 포함하는 단계를 포함하며, 상기 시간적 머징 후보를 위한 참조 픽처 인덱스는 고정된 값으로 설정될 수 있다.

Description

영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체{METHOD FOR VIDEO DECODING AND COMPUTER READABLE REDORDING MEDUIM THEREOF}
본 발명은 영상 처리 방법 및 장치에 관한 것으로 더욱 상세하게는 화면 간 예측 방법 및 이러한 방법을 사용하는 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 발명의 목적은 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법을 수행하는 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 영상 복호화 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 프로그램은 현재 블록에 대한 시간적 머징 후보를 위한 참조 픽처 인덱스를 결정하는 단계, 상기 현재 블록을 기초로 유도된 시간적 머징 후보 블록으로부터 시간적 머징 후보를 유도하는 단계 및 상기 시간적 머징 후보의 가용성 여부를 기초로 상기 시간적 머징 후보를 상기 현재 블록에 대한 머징 후보 리스트에 포함하는 단계를 포함하며, 상기 시간적 머징 후보를 위한 참조 픽처 인덱스는 고정된 값으로 설정될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법 및 장치에 따르면, 특정한 값으로 설정된 시간적 머징 후보를 사용하거나 미리 정해진 위치의 공간적 머징 후보의 참조 픽쳐 인덱스를 시간적 머징 후보의 참조 픽쳐 인덱스를 사용함으로서 복수개의 예측 블록에 대해 병렬적으로 시간적 머징 후보를 이용한 화면 간 예측을 수행할 수 있다. 따라서, 영상 처리 속도를 높이고 영상 처리의 복잡도를 감소시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 머지를 이용한 화면 간 예측 방법을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 시간적 머징 후보를 이용한 화면 간 예측과 시간적 머징 후보의 참조 픽쳐 인덱스를 설명하기 위한 개념도이다.
도 5는 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우를 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 설정하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 13은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 14는 본 발명의 실시예에 따른 시간적 머징 후보를 머징 후보 리스트에 포함시키는 방법을 나타낸 순서도이다.
도 15는 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 머징 후보와 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 16은 본 발명의 실시예에 따른 단일 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 산출한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.
인트라 모드는 화면 내 예측 모드, 인터 모드는 화면 간 예측 모드, 인트라 예측부(120)는 화면 내 예측부, 움직임 예측부(111) 및 움직임 보상부(112)는 화면 간 예측부라는 용어로 정의되어 사용될 수 있다.
본 발명의 실시예에 따른 화면 간 예측 방법은 시간적 머징 후보의 참조 픽쳐 인덱스를 결정하는 방법에 대해 개시하는데, 예측부(120)에는 현재 블록의 공간적 머징 후보 및 시간적 머징 후보 블록을 유도하고 공간적 머징 후보 블록으로부터는 공간적 머징 부호, 시간적 머징 후보 블록으로부터 시간적 머징 후보를 산출하는 머징 후도 유도부가 포함될 수 있다. 머지 후보를 유도하는 방법에 대해서는 추가적으로 상술한다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.
감산기(125)는 입력 블록과 산출된 예측 블록의 차분에 의해 잔차 블록(residual block)을 산출할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 산출된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 산출된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.
양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 산출된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.
도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 산출한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 산출할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 산출할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 산출될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 산출할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 산출할 수 있다.
본 발명의 실시예에 따른 화면 간 예측 방법은 시간적 머징 후보의 참조 픽쳐 인덱스를 결정하는 방법에 대해 개시하는데, 예측부(120)에는 현재 블록의 공간적 머징 후보 및 시간적 머징 후보 블록을 유도하고 공간적 머징 후보 블록으로부터는 공간적 머징 부호, 시간적 머징 후보 블록으로부터 시간적 머징 후보를 산출하는 머징 후도 유도부가 포함될 수 있다. 머지 후보를 유도하는 방법에 대해서는 추가적으로 상술한다.
복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다. 본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.
본 발명의 실시예에서는 영상을 처리하는 단위로 부호화 단위(coding unit, CU), 예측 단위(prediction unit, PU), 변환 단위(transform unit, TU)라는 용어를 사용할 수 있다.
부호화 단위는 부호화/복호화를 수행하는 영상 처리 단위로서 부호화/복호화가 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 부호화 블록과 부호화 블록의 샘플들을 부호화 또는 복호화하는데 사용되는 정보를 포함할 수 있다.
예측 단위는 예측을 수행하는 영상 처리 단위로서 예측이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 예측 블록과 예측 블록의 샘플들을 예측하는데 사용되는 정보를 포함할 수 있다. 부호화 블록은 복수의 예측 블록으로 나뉘어 질 수 있다.
변환 단위는 변환을 수행하는 영상 처리 단위로서 변환이 수행되는 휘도 샘플 또는 색차 샘플의 블록 단위 집합인 변환 블록과 변환 블록의 샘플들을 변환하는데 사용되는 정보를 포함할 수 있다. 부호화 블록은 복수의 변환 블록으로 나뉘어 질 수 있다.
이하, 본 발명의 실시예에서는 특별히 구분하여 표시하지 않는 한, 블록과 유닛은 동일한 의미로 해석될 수 있다.
또한 현재 블록(current block)은 현재 예측이 수행되는 예측 블록, 현재 부호화가 수행되는 부호화 블록과 같이 특정한 영상 처리가 수행되는 블록을 지칭할 수 있다. 예를 들어, 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우, 분할된 예측 블록 중 예측이 수행되는 블록을 현재 블록이라는 용어로 지칭하여 사용할 수 있다.
본 발명의 실시예에서 후술할 영상 부호화 방법 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.
이하, 본 발명의 실시예에서 개시되는 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법은 영상 처리 방법 중 SKIP 모드 및 화면 간 예측 방법 중 하나인 머지에서 모두 사용할 수 있다. SKIP 모드는 잔차 블록을 생성하지 않고 주변 블록부터 유도된 움직임 예측 정보를 기초로 예측된 블록을 복원 블록으로 출력하는 영상 처리 방법이다. 화면 간 예측 방법 중 하나인 머지는 SKIP 모드와 주변 블록부터 유도된 움직임 예측 정보를 기초로 예측된 블록을 생성한다는 점에서 동일하나 잔차 블록 정보를 추가적으로 부호화 및 복호화하여 잔차 블록과 예측 블록을 합친 복원 블록을 출력하는 영상 처리 방법이다. 출력된 복원 블록에는 디블록킹 필터링 및 샘플 적응적 오프셋 등과 같은 루프 내 필터링 방법이 추가로 적용될 수 있다.
도 3은 본 발명의 실시예에 따른 머지를 이용한 화면 간 예측 방법을 설명하기 위한 개념도이다.
도 3을 참조하면, 머지를 이용한 화면 간 예측은 아래와 같은 방법으로 수행될 수 있다.
머지를 이용한 화면 간 예측은 현재 블록의 주변 블록으로부터 머징 후보를 유도하고 유도된 머징 후보를 사용하여 화면 간 예측을 수행하는 방법을 말한다. 머징 후보를 유도하기 위해 사용되는 주변 블록은 현재 블록과 동일한 픽쳐에 존재하면서 현재 블록에 인접한 블록과 현재 블록이 포함된 픽쳐와 다른 픽쳐에 존재하면서 현재 블록에 콜로케이트(collocate)된 위치에 존재하는 블록으로 구분될 수 있다.
이하, 본 발명의 실시예에서는 머징 후보를 유도하기 위해 사용되는 주변 블록 중 현재 블록과 동일한 픽쳐에 존재하면서 현재 블록에 인접한 블록을 공간적 머징 후보 블록이라고 정의하고, 공간적 머징 후보 블록으로부터 유도된 움직임 예측 관련 정보를 공간적 머징 후보라는 용어로 정의하여 사용한다. 또한, 머징 후보를 유도하기 위해 사용되는 주변 블록 중 현재 블록이 포함된 픽쳐와 다른 픽쳐에 존재하면서 현재 블록에 콜로케이트(collocate)된 위치에 존재하는 블록을 시간적 머징 후보 블록이라고 정의하고, 시간적 머징 후보 블록으로부터 유도된 움직임 예측 관련 정보를 시간적 머징 후보라는 용어로 정의하여 사용한다.
즉, 머지를 이용한 화면 간 예측 방법은 공간적 머징 후보 블록의 움직임 예측 관련 정보(공간적 머징 후보(spatial merging candidate)) 또는 추후 설명할 시간적 머징 후보 블록의 움직임 예측 관련 정보(시간적 머징 후보(temporal merging candidate))를 사용하여 현재 블록을 예측하는 화면 간 예측 방법이다.
움직임 예측 관련 정보로는, 예를 들어, 움직임 벡터(motion vector, mvL0/L1), 참조 픽쳐 인덱스(refIdxL0/L1), 참조 픽쳐 리스트 활용 정보(predFlagL0/L1)이 사용될 수 있다.
도 3의 (A)는 움직임 벡터(motion vector, mvL0/L1), 참조 픽쳐 인덱스(refIdxL0/L1), 참조 픽쳐 리스트 활용 정보(predFlagL0/L1)에 대해 나타낸다.
움직임 벡터(304)는 방향성 정보로서 화면 간 예측을 수행하는데 있어 예측 블록이 참조 픽쳐에서 특정 위치에 존재하는 픽셀 정보를 유도하기 위해 사용될 수 있다. 예측 블록에서 복수개의 방향성 정보를 이용하여 화면 간 예측이 수행될 경우, mvL0와 mvL1을 사용하여 각각의 방향에 대한 움직임 벡터를 나타낼 수 있다.
참조 픽쳐 인덱스(306)는 예측 블록이 화면 간 예측을 수행하는데 있어 참조하는 픽쳐에 대한 인덱스 정보이다. 복수개의 참조 픽쳐를 사용하여 화면 간 예측을 수행할 경우, 참조 픽쳐 인덱스 또한 refIdxL0 및 refIdxL1를 사용하여 각각의 사용되는 참조 픽쳐를 인덱싱 할 수 있다.
참조 픽쳐 리스트 활용 정보는 참조 픽쳐가 어떠한 참조 픽쳐 리스트(308)에서 유도된 픽쳐인지에 대한 정보를 지시할 수 있다. 예를 들어, i, j, k 픽쳐는 참조 픽쳐 리스트 0(308)에 저장되어 사용될 수 있다. 참조 픽쳐가 저장된 리스트가 2개가 존재하는 경우, predFlagL0과 predFlagL1을 사용하여 참조 픽쳐가 어떠한 참조 픽쳐 리스트에서 유도된 픽쳐인지에 대한 정보를 나타낼 수 있다.
머지를 이용한 화면 간 예측 방법을 수행하기 위해 우선, 아래의 (1) 단계를 통해 공간적 머징 후보를 획득할 수 있다. 도 3의 (B)에서는 공간적 머징 후보 및 시간적 머징 후보에 대해 개시한다.
(1) 현재 블록(예측 대상 블록)에 대한 주변 블록으로부터 공간적 머징 후보를 유도한다.
전술한 바와 같이 공간적 머징 후보는 공간적 머징 후보 블록으로부터 유도되는 움직임 예측 관련 정보이다. 공간적 머징 후보 블록은 현재 블록의 위치를 기준으로 산출될 수 있다.
도 3의 (B)를 참조하면, 기존의 공간적 머징 후보 블록(300, 310, 320, 330, 340)는 예측 대상 블록을 기준으로 산출되었다. 예측 대상 블록의 좌측 상단에 존재하는 픽셀의 위치를 (xP, yP), 예측 블록의 너비를 nPbW, 예측 대상 블록의 높이를 nPbH, MinPbSize는 가장 작은 예측 블록의 크기를 나타낸다고 할 경우, 이하, 본 발명의 실시예에서는 예측 블록의 공간적 머징 후보 블록은 (xP-1, yP+nPbH)에 존재하는 픽셀을 포함하는 블록을 좌측 제1 블록(또는 A0 블록, 300), (xP-1, yP+nPbH-1)에 존재하는 픽셀을 포함하는 블록을 좌측 제2 블록(또는 A1 블록, 310), (xP+nPbW, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제1 블록(또는 B0 블록, 320), (xP+nPbW-1, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제2 블록(B1 블록, 330), (xP-1, yP-1)에 위치하는 픽셀을 포함하는 블록을 상단 제3 블록(B2 블록, 340)이 될 수 있다. 1 대신에 다른 값, 예를 들어, “MinPbSize”을 사용할 수도 있고 이러한 경우에도 동일한 위치의 블록을 지시할 수 있다. 위의 특정 위치의 블록을 지시하기 위해 사용된 좌표는 임의적인 것으로서 다양한 다른 표현 방법에 의해 동일한 위치의 블록을 지시하는 것도 가능하다.
도 3에서 개시한 공간적 머징 후보 블록(300, 310, 320, 330, 340)의 위치 및 개수와 시간적 머징 후보 블록(360, 370)의 위치 및 개수는 임의적인 것으로서 본 발명의 본질에서 벗어나지 않는 한 공간적 머징 후보 블록의 위치 및 개수와 시간적 머징 후보 블록의 위치 및 개수는 변할 수 있다. 또한, 머징 후보 리스트를 구성 시 우선적으로 스캔되는 머징 후보 블록의 순서도 변할 수 있다. 즉, 이하, 본 발명의 실시예에서 설명하는 후보 예측 움직임 벡터 리스트를 구성 시 사용되는 후보 예측 블록의 위치, 개수, 스캔 순서, 후보 예측 그룹 등은 하나의 실시예로서 본 발명의 본질에서 벗어나지 않는 한 변할 수 있다.
공간적 머징 후보 블록(300, 310, 320, 330, 340)이 가용한지 여부를 판단하여 가용한 공간적 머징 후보 블록에서 공간적 머징 후보를 유도할 수 있다. 공간적 머징 후보에서 공간적 머징 후보가 유도될 수 있는지를 나타내는 정보가 가용성 정보이다. 예를 들어, 공간적 머징 후보 블록이 현재 블록이 속한 슬라이스, 타일(tile), 또는 픽쳐의 외부에 위치하는 경우이거나, 화면 내 예측이 수행된 블록인 경우, 해당 블록으로부터 움직임 예측 관련 정보인 공간적 머징 후보가 유도될 수 없다. 이러한 경우, 공간적 머징 후보 블록이 가용하지 않은 것으로 판단될 수 있다. 공간적 머징 후보의 가용성 정보를 판단하기 위해서는 여러 가지 판단 방법을 사용할 수 있다. 이러한 실시예에 대해서는 추가적으로 상술한다.
공간적 머징 후보 블록이 가용한 경우 움직임 예측 관련 정보를 유도하여 현재 블록에 대한 머지를 이용한 화면 간 예측을 수행하기 위해 사용될 수 있다.
하나의 부호화 블록은 적어도 하나의 예측 블록으로 분할될 수 있다. 즉, 부호화 블록은 하나 이상의 예측 블록을 포함할 수 있다. 부호화 블록에 포함되는 예측 블록이 복수일 경우, 특정한 인덱스 정보를 이용하여 예측 블록을 지시할 수 있다. 예를 들어, 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우 하나의 예측 블록의 partition index를 0, 나머지 하나의 예측 블록의 partition index를 1로 설정하여 두 개의 예측 블록을 지시할 수 있다. partition index가 0인 경우 제1 예측 블록, partition index가 1인 경우 제2 예측 블록과 같이 다른 용어를 사용하여 정의할 수도 있다. 하나의 부호화 블록이 추가의 예측 블록으로 더 분할되는 경우 예측 블록을 지시하는 인덱스 값은 증가할 수 있다. 예측 블록을 지칭하기 위해 정의된 용어는 임의적인 것으로서 다르게 사용될 수도 있고 다르게 해석될 수도 있다. 예측 블록의 partition index는 예측 블록이 부호화 및 복호화 같은 영상 처리를 수행 시 처리되는 순서를 나타내기 위한 정보로도 사용될 수 있다.
하나의 부호화 블록 내부에 복수 개의 예측 블록이 존재하는 경우 예측 블록에 대한 공간적 머징 후보를 산출 시 다른 예측 블록에 대한 부호화 또는 복호화가 미리 수행되어야 할 경우가 발생할 수 있다. 본 발명의 실시예에 따르면 머징 후보 리스트 생성함에 있어서 공간적 머징 후보 및 시간적 머징 후보를 하나의 부호화 블록에 포함된 각각의 예측 블록에 대해 병렬적으로 산출하는 방법에 대해서는 추가적으로 상세히 개시한다.
(2) 시간적 머징 후보의 참조 픽쳐 인덱스를 결정한다.
시간적 머징 후보는 현재 블록이 포함된 픽쳐와 다른 픽쳐에 존재하는 시간적 머징 후보 블록에서 유도되는 움직임 예측 관련 정보이다. 시간적 머징 후보 블록은 현재 블록의 위치를 기준으로 콜로케이트(collocated)된 위치에 존재하는 블록을 기준으로 산출된 블록이다. 콜 블록이라는 용어도 시간적 머징 후보 블록과 동일한 의미로 사용될 수 있다.
다시 도 3을 참조하면, 시간적 머징 후보 블록(360, 370)은 예측 블록을 포함하는 픽쳐 내의 픽셀 위치 (xP, yP)를 기준으로 현재 예측 블록의 콜 픽쳐(Colocated Picture)에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 블록(360)이거나 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 블록(360)이 가용하지 않은 경우, (xP+(nPSW>>1), yP+(nPSH>>1)) 위치의 픽셀을 포함하는 블록(370)이 될 수 있다. 콜 픽쳐에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록(360)을 제1 시간적 머징 후보 블록(또는 제1 Colocated Block, 360)이라고 하고 콜 픽쳐에서 (xP+(nPSW>>1), yP+(nPSH>>1)) 위치의 픽셀을 포함하는 예측 블록을 제2 시간적 머징 후보 블록(370)이라고 할 수 있다.
최종적으로 시간적 머징 후보(움직임 예측 관련 정보)를 산출하는데 사용되는 최종 시간적 머징 후보 블록의 위치는 제1 시간적 머징 후보 블록(360) 및 제2 시간적 머징 후보 블록(370)의 위치를 기준으로 일부 이동한 위치에 존재하는 블록일 수 있다. 예를 들어, 메모리에 콜 픽쳐에 존재하는 일부의 예측 블록의 움직임 예측 관련 정보만 저장하는 경우 제1 시간적 머징 후보 블록(360) 및 제2 시간적 머징 후보 블록(370)의 위치를 기준으로 일부 이동한 위치에 존재하는 블록을 최종적인 움직임 예측 관련 정보를 유도하는 최종 시간적 머징 후보 블록으로 사용할 수 있다. 공간적 머징 후보 블록과 마찬가지로 시간적 머징 후보 블록의 위치는 도 3과 달리 변하거나 추가될 수 있고 이러한 실시예에 대해서는 아래에서 후술한다.
시간적 머징 후보의 참조 픽쳐 인덱스는 현재 블록이 시간적 머징 후보로부터 산출된 움직임 벡터(mvLXCol)를 기초로 화면 간 예측을 수행하기 위해 참조되는 픽쳐를 지시하는 정보이다.
도 4는 본 발명의 실시예에 따른 시간적 머징 후보를 이용한 화면 간 예측과 시간적 머징 후보의 참조 픽쳐 인덱스를 설명하기 위한 개념도이다.
도 4를 참조하면, 현재 블록(400), 현재 블록이 포함된 픽쳐(410), 시간적 머징 후보 블록(콜블록)(420), 콜 블록이 포함된 콜 픽쳐(430)가 정의될 수 있다.
시간적 머징 후보 블록(420)의 관점에서 보면, 시간적 머징 후보 블록(420)에 대한 화면 간 예측을 수행하기 위해 시간적 머징 후보 블록이 화면 간 예측에 사용한 픽쳐(440)가 존재한다. 이러한 픽쳐는 콜 픽쳐(430)의 참조 픽쳐(440)로 정의된다. 또한, 시간적 머징 후보 블록(420)이 콜 픽쳐의 참조 픽쳐(440)로부터 화면 간 예측을 수행하기 위해 사용되는 움직임 벡터는 mvCol(470)로 정의할 수 있다.
현재 블록(400)의 관점에서 보면, 산출된 mvCol(470)을 기초로 현재 블록(400)의 화면 간 예측에 사용되는 참조 픽쳐(460)가 정의되어야 한다. 현재 블록(400)의 화면 간 예측에 사용되기 위해 정의된 참조 픽쳐를 시간적 머징 후보의 참조 픽쳐(460)라고 할 수 있다. 즉, 시간적 머징 후보의 참조 픽쳐(460)의 인덱스(reference index of the temporal merging candidate)는 현재 블록(400)의 시간적 움직임 예측에 사용되는 참조 픽쳐를 지시하기 위한 값이다. 단계 (2)에서는 이러한 시간적 머징 후보의 참조 픽쳐 인덱스를 결정할 수 있다.
시간적 머징 후보 블록(420)으로부터 유도되는 움직임 벡터인 mvCol(470)은 콜 픽쳐(430)와 콜 픽쳐의 참조 픽쳐(440) 사이의 거리와 현재 블록이 포함된 픽쳐(410)와 단계 (2)를 통해 산출된 시간적 머징 후보의 참조 픽쳐(460) 사이의 거리 사이의 관계에 따라 스케일링 되어 다른 값으로 변형될 수 있다.
즉, 현재 블록(400)의 시간적 머징 후보를 통한 화면 간 예측은 (2)를 통해 산출된 시간적 머징 후보의 참조 픽쳐 인덱스(460)와 시간적 머징 후보의 참조 픽쳐 인덱스(460)를 기준으로 아래에서 후술할 단계 (3)을 통해 유도된 mvLXCol(480)을 통해 수행될 수 있다. mvLXCol을 시간적 움직임 벡터라고 정의할 수 있다.
기존의 영상 부호화/복호화 방법에서는 예측 대상 블록에서 시간적 머징 후보의 참조 픽쳐 인덱스를 공간적 머징 후보의 참조 픽쳐 인덱스로부터 산출된 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 기초로 결정할 수 있었다. 이러한 방법을 사용할 경우 아직 부호화 또는 복호화가 되지 않은 공간적 머징 후보의 참조 픽쳐 인덱스를 유도해야 하는 경우가 생길 수 있다. 이러한 경우 해당 공간적 머징 후보를 포함하는 예측 블록에 대한 부호화 또는 복호화가 끝날 때까지 기다려야 공간적 머징 후보의 참조 픽쳐 인덱스를 유도할 수 있다. 따라서 모든 공간적 머징 후보 블록으로부터 유도된 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 기초로 시간적 머징 후보의 참조 픽쳐 인덱스를 결정하는 경우 현재 블록에 대한 시간적 머징 후보의 참조 픽쳐가 유도되는 과정이 병렬적으로 수행될 수 없다. 도 5에서는 이러한 문제점에 대해 개시한다.
도 5는 하나의 부호화 블록이 두 개의 예측 블록으로 분할된 경우를 나타낸 개념도이다.
도 5를 참조하면, 하나의 부호화 블록이 Nx2N 형태의 제1 예측 블록(500)과 제2 예측 블록(520)으로 분할된다. 제1 예측 블록(500)에 대한 공간적 머징 후보 블록은 도 5(A)와 같이 제1 예측 블록(500)의 위치를 기준으로 산출되고, 제2 예측 블록(520)에 대한 공간적 머징 후보 블록은 도 5(B)와 같이 제2 예측 블록(520)의 위치를 기준으로 산출된다. 시간적 머징 후보 블록은 도시되지는 않았으나 시간적 머징 후보도 각각의 예측 블록의 위치를 기준으로 산출될 수 있다.
제1 예측 블록(500)의 공간적 머징 후보 블록은 제1 예측 블록(500)의 외부에 존재하는 블록으로서 이미 부호화 또는 복호화가 종료된 블록에 포함된 위치에 존재한다.
하지만, 제2 예측 블록(520)의 공간적 머징 후보 블록 중 A1 블록(530)은 제1 예측 블록(500)의 내부에 존재하는 블록이다. 따라서, 제1 예측 블록(500)의 예측이 수행된 후에 A1 블록(530)의 움직임 예측 관련 정보(예를 들어, 움직임 벡터, 참조 픽쳐 인덱스, 참조 픽쳐 리스트 활용 정보)를 알 수 있다. 또한 A0 블록(550)은 아직 부호화 또는 복호화되지 않은 위치에 존재하기 때문에 A0 블록(550)의 움직임 예측 관련 정보를 유도할 수 없다.
만약 A1 블록(530)의 움직임 예측 관련 정보로부터 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하는 경우 제1 예측 블록에 대한 부호화 및 복호화가 종료된 후 유도될 수 있다. 또한 A0 블록(550)으로부터 참조 픽쳐 인덱스를 유도할 수 없다. 즉, 일부의 공간적 머징 후보 블록의 참조 픽쳐 인덱스를 산출할 수 없기 때문에 각 예측 블록에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 병렬적으로 유도할 수 없다.
본 발명의 실시예에서는 위와 같은 문제점을 해결하기 위해 예측 블록들에 대한 시간적 머징 후보의 참조 픽쳐 인덱스(reference index of temporal merging candidate)를 유도하는 방법들에 대해 개시한다.
본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스 유도 방법을 사용하는 경우 여러 개의 예측 블록에 대한 시간적 머징 후보의 참조 픽쳐 인덱스 유도 프로세스가 병렬적으로 수행될 수 있다. 시간적 머징 후보의 참조 픽쳐 인덱스가 병렬적으로 유도됨으로서 하나의 부호화 블록 내부에 포함된 복수의 예측 블록들에 대한 머지를 이용한 화면 간 예측이 병렬적으로 수행될 수 있다.
이하, 본 발명의 실시예에서는 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법에 대해 개시하고 추가적으로 상술한다.
(3) 시간적 머징 후보 블록의 움직임 예측 관련 정보를 유도한다.
단계 (3)에서는 시간적 머징 후보를 기초로 한 움직임 예측을 수행하기 위해 시간적 머징 후보 블록이 가용한지 여부에 대한 정보(availableFlagCol), 참조 픽쳐 리스트 활용 정보(PredFlagLXCol), 시간적 머징 후보의 움직임 벡터 정보(mvLXCol)와 같은 시간적 머징 후보를 유도할 수 있다. 시간적 머징 후보로부터 유도된 움직임 예측 관련 정보는 시간적 머징 후보라는 용어로 정의할 수 있다. 시간적 머징 후보 블록의 가용성 정보는 시간적 머징 후보 블록에서 시간적 머징 후보를 유도할 수 있는지 여부에 대한 정보이다. 시간적 머징 후보 블록의 가용성 정보를 기초로 시간적 머징 후보를 머징 후보 리스트에 포함시킬 수 있다.
(4) 머징 후보 리스트(merging candidate list)를 산출한다.
머징 후보 리스트는 머징 후보 블록(공간적 머징 후보 블록, 시간적 머징 후보 블록)의 가용성 정보를 기초로 머지를 이용한 화면 간 예측에 사용될 수 있는 머지 후보에 대한 정보를 포함할 수 있다. 머징 후보 리스트에 포함된 머징 후보 중 하나의 머징 후보는 현재 블록에 대한 머지를 이용한 화면 간 예측을 수행하는데에 사용될 수 있다. 어떠한 머징 후보를 현재 블록을 예측하는데 사용할지에 대한 정보(머지 인덱스)는 부호화 단계에서 부호화되어 복호화기로 전송될 수 있다.
머징 후보 리스트는 아래와 같은 우선 순위를 가지고 생성될 수 있다.
1) 만약 A1 블록이 가용한 경우, A1 블록에서 유도된 머징 후보
2) 만약 B1 블록이 가용한 경우, B1 블록에서 유도된 머징 후보
3) 만약 B0 블록이 가용한 경우, B0 블록에서 유도된 머징 후보
4) 만약 A0 블록이 가용한 경우, A0 블록에서 유도된 머징 후보
5) 만약 B2 블록이 가용한 경우, B2 블록에서 유도된 머징 후보
6) 만약 Col 블록이 가용한 경우, Col 블록에서 유도된 머징 후보
머징 후보 리스트에는 가용 블록의 개수에 따라 예를 들어, 0~5개의 머징 후보가 포함될 수 있다. 머징 후보를 유도하는데 사용되는 블록이 더 많은 경우 더 많은 머징 후보가 머징 후보 리스트에 포함되는 것도 가능하다.
(5) 머징 후보 리스트에 포함된 머징 후보의 개수가 머징 후보 리스트에 포함될 수 있는 최대 머징 후보의 개수보다 작은 경우, 추가적인 머징 후보를 유도한다.
추가적인 머징 후보는 기존의 머징 후보들의 움직임 예측 관련 정보를 조합하여 생성된 후보(combined merging candidate)이거나, 0 벡터 머징 후보(zero merging candidate)가 될 수 있다. 여기서 0벡터 머징 후보란 움직임 벡터가 (0,0)인 머징 후보를 지칭한다.
(6) 머징 후보 리스트에 포함된 머징 후보 중 현재 블록의 화면 간 예측에 적용되는 머징 후보를 결정하고 머징 후보의 움직임 예측 관련 정보를 현재 블록의 움직임 예측 관련 정보로 설정한다.
복호화 과정에서는 현재 블록의 화면 간 예측에 머징 후보 리스트에 포함된 후보 중 어떠한 후보가 사용되는지에 대한 정보인 머지 인덱스(merge_idx[xP][yP])를 기초로 현재 블록에 대해 머지를 이용한 화면 간 예측을 수행할 수 있다.
위와 같은 단계 (1) 내지 단계 (6)의 절차를 통해 현재 블록에 대한 움직임 예측 관련 정보를 유도하고, 이를 이용하여 현재 블록에 대한 화면 간 예측을 수행할 수 있다.
본 발명의 실시예에서는 단계 (2)의 시간적 머징 후보의 참조 픽쳐 인덱스를 설정함에 있어 하나의 부호화 블록에 포함된 복수의 예측 블록들에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 병렬적으로 유도하는 방법에 대해 개시한다.
부호화 블록에 포함된 복수의 예측 블록들에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 병렬적으로 유도하기 위한 방법으로 아래와 같은 여러 가지 방법이 사용될 수 있다.
1) 예측 대상 블록(현재 블록)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 유도하기 위해 사용되는 공간적 머징 후보 블록의 위치를 현재 블록이 포함된 부호화 블록의 위부에 위치한 이미 부호화 또는 복호화가 수행된 위치로 설정하는 방법.
2) 예측 대상 블록(현재 블록)의 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 유도하기 위해 사용되는 공간적 머징 후보 블록의 위치가 부호화 블록의 내부 또는 아직 부호화가 수행되지 않은 위치인 경우, 해당 위치의 공간적 머징 후보로부터 유도되는 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 ‘0’으로 설정하는 방법.
3) 예측 대상 블록(현재 블록)의 시간적 머징 후보의 참조 픽쳐 인덱스를 고정된 값인‘0’으로 설정하는 방법.
4) 예측 대상 블록(현재 블록)의 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 유도하기 위해 참조하는 공간적 머징 후보 블록의 위치가 부호화 블록의 내부 또는 아직 부호화가 수행되지 않은 위치인 경우, 해당 위치의 공간적 머징 후보 블록의 참조 픽쳐 인덱스를 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 사용하지 않는 방법.
5) 예측 대상 블록(현재 블록)의 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 참조하는 특정한 위치의 공간적 머징 후보 블록을 미리 정하여 특정한 위치의 공간적 머징 후보 블록으로부터 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법.
6) 예측 대상 블록(현재 블록)에 대한 머지를 수행하기 위해 유도된 공간적 머징 후보 중 일부의 공간적 머징 후보 블록의 위치가 부호화 블록의 내부 또는 아직 부호화가 수행되지 않은 위치에 존재하여 해당 위치의 공간적 머징 후보 블록으로부터 시간적 머징 후보의 참조 픽쳐 인덱스 정보를 유도할 수 없는 경우, 해당 위치의 공간적 머징 후보 블록을 부호화 블록의 부호화 또는 복호화가 수행된 외부 위치로 고정하여 사용하는 방법 등 다양한 방법들이 사용될 수 있다.
이하, 본 발명의 실시예에서는 이러한 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하는 방법들에 대해 구체적으로 개시한다.
우선적으로 도 5에서 전술한 기존의 시간적 머징 후보의 참조 픽쳐 인덱스를 결정시에 발생되는 문제점에 대해 도 6에서 보다 상세히 기술한다.
도 6은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 설정하는 방법을 나타낸 개념도이다.
도 6을 참조하면, 하나의 부호화 블록(2Nx2N)은 두 개의 예측 블록(Nx2N)으로 분할될 수 있다. 분할된 블록 중 제1 예측 블록(600)은 공간적 머징 후보 블록(605, 610, 615, 620, 625)이 모두 부호화 블록의 외부에 존재한다. 반면, 제2 예측 블록(650)은 공간적 머징 후보 블록(655, 660, 665, 670, 675) 중 일부의 공간적 머징 후보 블록(655, 665, 670, 675)은 부호화 블록의 외부에 존재하고, 일부의 공간적 머징 후보 블록(660)는 부호화 블록의 내부에 존재하게 된다.
현재 블록(예측 대상 블록)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스는 공간적 머징 후보의 참조 픽쳐 인덱스로부터 유도될 수 있다. 즉, 현재 블록에 대한 시간적 머징 후보의 참조 픽쳐 인덱스는 공간적 머징 후보 블록이 화면 간 예측을 하는데 사용한 참조 픽쳐 인덱스 정보로부터 산출될 수 있다.
예를 들어, 현재 블록의 복수개의 공간적 머징 후보 중 3개의 공간적 머징 후보 블록의 참조 픽쳐 인덱스는 refIdxLXA, refIdxLXB, refIdxLXC라고 가정할 수 있다. 참조 픽쳐 인덱스 정보 refIdxLXA, refIdxLXB, refIdxLXC는 시간적 머징 후보의 참조 픽쳐 인덱스 후보가 될 수 있고 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 기초로 시간적 머징 후보의 참조 픽쳐 인덱스 값을 유도할 수 있다.
위와 같은 방법을 사용할 경우 현재 블록의 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해서는 현재 블록의 공간적 머징 후보 블록의 참조 픽쳐 인덱스 정보가 필요하므로 현재 블록의 공간적 머징 후보 블록이 미리 부호화 또는 복호화되어야 할 필요가 있다.
다시 도 6을 참조하면, 제1 예측 블록(600)은 전술한 바와 같이 공간적 머징 후보가 부호화 블록의 외부의 부호화 또는 복호화가 이미 수행된 위치에 포함되는 블록이다. 따라서, 제1 예측 블록(600)이 예측이 수행되는 현재 블록일 경우, 제1 예측 블록(600)의 시간적 머징 후보의 참조 픽쳐 인덱스 후보는 제1 예측 블록(600)의 공간적 머징 후보 블록으로부터 바로 유도될 수 있다.
하지만, 제2 예측 블록(650)은 전술한 바와 같이 공간적 머징 후보 중 일부(660)가 부호화 블록의 내부인 제1 예측 블록(600)에 존재한다. 따라서 제2 예측 블록(650)에 대해 머지를 이용한 화면 간 예측을 수행 시 제1 예측 블록(650)의 시간적 머징 후보의 참조 픽쳐 인덱스는 A1 블록(660)이 부호화 또는 복호화되기 전까지, 즉, A1 블록(660)을 포함하는 제1 예측 블록(600)에 대한 예측이 수행되기 전까지 유도될 수 없다. 이러한 경우, 제2 예측 블록(650)에 대한 시간적 머지 후보가 제1 예측 블록(600)에 대한 예측이 수행되기 전까지 유도되지 않아서 제1 예측 블록(600)과 제2 예측 블록(650)에 대해서 병렬적으로 머징을 이용한 화면 간 예측이 수행될 수 없다는 문제점이 발생한다. 이러한 문제를 해결하기 위해 다양한 방법이 사용될 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 예측 블록의 분할 형태 중 일부의 분할 형태에 대해서만 개시하지만, 부호화 블록의 여러 가지 예측 블록의 분할 형태에 대해서도 본 발명이 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
도 7은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 7에서는 예측 블록이 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 참조하는 공간적 머징 후보 블록의 위치를 현재 예측 블록이 포함된 부호화 블록의 외부로 설정하는 방법에 대해 개시한다.
도 7의 (A)는 하나의 부호화 블록이 Nx2N 형태의 두 개의 예측 블록(700, 750)으로 분할된 경우를 나타낸다.
제1 예측 블록(700)의 공간적 머징 후보 블록은 모두 부호화 단위의 외부의 이미 부호화 또는 복호화가 수행된 위치에 존재하므로 바로 이미 부호화 또는 복호화된 공간적 머징 후보 블록을 사용하여 제1 예측 블록(700)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 산출할 수 있다.
하지만, 제2 예측 블록(750)의 경우 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위한 공간적 머징 후보 블록 중 일부 공간적 머징 후보 블록(710, 720)의 위치를 변경하여 시간적 머징 후보의 참조 픽쳐 인덱스를 유도할 수 있다.
시간적 머징 후보의 참조 픽쳐 인덱스 후보를 유도하기 위해 제2 예측 블록(750)의 공간적 머징 후보 블록 중 부호화 단위의 내부에 포함된 공간적 머징 후보 블록(710)을 사용하지 않고 공간적 머징 후보 블록(710)을 부호화 블록의 외부에 있는 블록(715)으로 대체하여 해당 블록(715)의 참조 픽쳐 인덱스를 시간적 머징 후보의 참조 픽쳐 인덱스 후보로 사용할 수 있다.
또한, 부호화 단위의 외부에 위치한 공간적 머징 후보 블록 중 아직 부호화 또는 복호화가 수행되지 않은 블록(720)을 사용하지 않고 공간적 머징 후보 블록(720)을 부호화 블록의 외부에 있는 블록(725)으로 대체하여 해당 블록(725)의 참조 픽쳐 인덱스를 시간적 머징 후보의 참조 픽쳐 인덱스 후보로서 사용할 수 있다.
즉, 제2 예측 블록(750)의 A0 블록(710) 및 A1 블록(720) 대신에 부호화 블록의 외부에 있는 A’0 블록(725) 및 A’1 블록(715)을 사용하여 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 산출할 수 있다.
위와 같은 방법을 사용함으로서 제2 예측 블록(750)에서 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위해 사용되는 공간적 머징 후보 블록은 모두 이미 부호화된 블록에 포함되는 블록이 될 수 있다. 따라서, 제2 예측 블록(750)은 제1 예측 블록(700)이 예측 과정을 수행하였는지 여부에 상관없이 시간적 머징 후보의 참조 픽쳐 인덱스를 산출할 수 있다.
도 7의 (B)는 하나의 부호화 블록이 2NxN 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 7의 (B)의 경우도 도 7의 (A)와 동일하게 제2 예측 블록(770)의 공간적 머징 후보 블록 중 부호화 블록 내부에 포함된 블록인 B1 블록(780) 및 아직 부호화 또는 복호화가 되지 않은 블록인 B0 블록(790) 대신에 이미 부호화된 블록인 B’1 블록(785) 및 B’0 블록(795)을 제2 예측 블록(770)의 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위한 블록으로 사용할 수 있다.
도 8은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 8에서는 예측 대상 블록(현재 블록)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 참조하는 공간적 머징 후보 블록의 위치가 현재 블록이 포함된 부호화 블록의 내부이거나 또는 아직 부호화 또는 복호화가 수행되지 않은 위치인 경우, 부호화 블록의 내부에 존재하는 공간적 머징 후보 블록 및 아직 부호화 또는 복호화가 수행되지 않은 위치에 존재하는 공간적 머징 후보 블록으로부터 유도되는 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 ‘0’으로 설정하는 방법에 대해 개시한다.
도 8의 (A)는 하나의 부호화 블록이 Nx2N 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 8의 (A)를 참조하면, 제1 예측 블록(800)의 공간적 머징 후보 블록은 모두 부호화 단위의 외부의 부호화 또는 복호화가 이미 수행된 위치에 존재한다. 따라서 제1 예측 블록(800)의 공간적 머징 후보 블록으로부터 제1 예측 블록(800)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 산출할 수 있다.
제2 예측 블록(850)의 경우 일부 공간적 머징 후보 블록(810, 820)의 참조 픽쳐 인덱스를 ‘0’으로 가정하여 제2 예측 블록(850)의 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 산출할 수 있다. 예측 대상 블록(현재 블록)이 포함된 부호화 블록의 내부에 위치한 공간적 머징 후보 블록 또는 아직 부호화 또는 복호화가 수행되지 않은 위치에 존재하는 공간적 머징 후보 블록에 대해 해당 공간적 머징 후보 블록으로부터 유도되는 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 ‘0’으로 설정하여 현재 블록의 시간적 머징 후보의 참조 픽쳐 인덱스를 유도할 수 있다.
예를 들어, 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 유도 시 제2 예측 블록(850)의 A0 블록(810) 및 A1 블록(820)로부터 유도되는 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 미리 ‘0’으로 설정하여 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하는 과정에서 사용할 수 있다.
도 8의 (B)는 하나의 부호화 블록이 2NxN 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
*제1 예측 블록(860)의 공간적 머징 후보 블록은 모두 부호화 단위의 외부의 부호화 또는 복호화가 완료된 위치에 존재한다. 따라서 제1 예측 블록(860)의 공간적 머징 후보 블록으로부터 바로 제1 예측 블록(860)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 유도할 수 있다.
제2 예측 블록(870)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도 시 아직 예측이 수행되지 않은 예측 블록에 포함되는 공간적 머징 후보 블록(880) 또는 아직 부호화 또는 복호화 과정이 수행되지 않은 위치에 존재하는 일부 공간적 머징 후보 블록(890)로부터 유도되는 시간적 머징 후보의 참조 픽쳐 인덱스 후보는 ‘0’으로 설정하여 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 산출할 수 있다.
예를 들어, 제2 예측 블록(870)의 공간적 머징 후보 블록인 B0 블록(880) 및 B1 블록(890)으로 유도되는 시간적 머징 후보의 참조 픽쳐 인덱스를 ‘0’으로 설정하여 제2 예측 블록(870)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 과정에서 사용할 수 있다.
도 9는 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 9에서는 예측 블록이 시간적 머징 후보의 참조 픽쳐 인덱스를 고정된 값인‘0’으로 설정하여 사용하는 방법에 대해 개시한다.
도 9의 (A)는 하나의 부호화 블록이 Nx2N 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 9의 (A)를 참조하면, 제1 예측 블록(900) 및 제2 예측 블록(950)의 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위해 공간적 머징 후보 블록(905 내지 925 및 930 내지 947)를 사용하지 않고 시간적 머징 후보의 참조 픽쳐 인덱스 값을 ‘0’으로 고정하여 사용할 수 있다. 이러한 방법을 사용하는 경우, 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 단계를 수행하지 않기 때문에 부호화 및 복호화의 계산 복잡도가 낮아져 부호화 및 복호화의 속도가 높아질 수 있다. 또한, 현재 부호화 블록에 포함된 다른 예측 블록에 대한 예측이 수행되었는지를 기다릴 필요가 없이 현재 블록에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도할 수 있다. 따라서 하나의 부호화 블록에 포함된 복수의 예측 블록에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 병렬적으로 유도할 수 있다.
도 9의 (B)는 하나의 부호화 블록이 2NxN 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 9의 (B)에서도 마찬가지로 제1 예측 블록(960) 및 제2 예측 블록(990)의 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위해 공간적 머징 후보를 사용하지 않고 시간적 머징 후보의 참조 픽쳐 인덱스 값을 ‘0’으로 고정하여 사용할 수 있다.
도 9에서는 도면 상으로 설명의 편의상 공간적 머징 후보 블록에 0을 표시해 놓았으나, 실제로 시간적 머징 후보의 참조 픽쳐 인덱스를 유도 시 공간적 머징 후보 블록의 참조 픽쳐 인덱스를 탐색하는 절차 없이 ‘0 ‘으로 설정한 값을 사용할 수 있다. ‘0’은 하나의 고정된 픽쳐 인덱스의 예시로서 0이 아닌 다른 픽쳐 인덱스를 사용할 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
도 10은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 10에서는 현재 블록(예측 대상 블록)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 참조하는 공간적 머징 후보 블록의 위치가 현재 블록이 포함되는 부호화 블록의 내부 또는 아직 부호화가 수행되지 않은 위치인 경우, 해당 공간적 머징 후보 블록의 참조 픽쳐 인덱스를 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위한 후보로서 사용하지 않는 방법에 대해 개시한다.
도 10의 (A)는 하나의 부호화 블록이 Nx2N 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 10의 (A)를 참조하면, 제2 예측 블록(1010)의 A1 블록(1030) 및 A0 블록(1020)은 현재 블록이 포함된 부호화 블록 내부의 블록 및 아직 부호화 또는 복호화가 수행되지 않은 위치의 블록으로서 제2 예측 블록(1000)에 대한 시간적 머징 후보의 참조 픽쳐 인덱스를 유도 시 A1 블록(1030) 및 A0 블록(1020)의 참조 픽쳐 인덱스 정보를 사용할 수 없다.
따라서, 제2 예측 블록(1010)에서 시간적 머징 후보의 참조 픽쳐 인덱스를 유도 시 A1 블록(1030)과 A0 블록(1020)의 참조 픽쳐 인덱스 정보를 ‘-1’로 설정할 수 있다. 공간적 머징 후보 블록 중 참조 픽쳐 인덱스 값이 ‘-1’인 경우, 해당 공간적 머징 후보 블록은 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위해 사용되지 않는 블록임을 나타낼 수 있다.
도 10의 (B)는 하나의 부호화 블록이 2NxN 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 10의 (B)를 참조하면, 제2 예측 블록(1050)의 B1 블록(1060)은 부호화 블록 내부에 존재하는 공간적 머징 후보 블록으로서 제1 예측 블록(1040)에 대한 예측이 수행되어야만 참조 픽쳐 인덱스 정보를 알 수 있는 블록이다. B0 블록(1070)은 아직 부호화가 수행되지 않은 지역에 존재하는 공간적 머징 후보 블록으로서 참조 픽쳐 인덱스 정보를 알 수 없다.
따라서, 제1 예측 블록(1040)과 제2 예측 블록(1050)에서 시간적 머징 후보의 참조 픽쳐 인덱스를 병렬적으로 산출하기 위해서 B1 블록(1060)과 B0 블록(1070)의 참조 픽쳐 인덱스 정보를 ‘-1’로 설정할 수 있다. 즉, B0 블록(1070) 및 B1 블록(1060)을 제2 예측 블록(1050)의 시간적 머징 후보의 참조 픽쳐 인덱스 후보를 산출하기 위한 블록으로 사용하지 않을 수 있다.
도 11은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 11에서는 예측 블록이 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 참조하는 특정한 공간적 머징 후보 블록을 미리 정하여 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법에 대해 개시한다.
도 11의 (A)는 하나의 부호화 블록이 Nx2N 형태의 두 개의 예측 블록으로 분할되는 경우를 나타낸다.
제1 예측 블록(1100)과 제2 예측 블록(1120)은 공간적 머징 후보 블록(A0, A1, B0, B1, B2)을 공유할 수 있다. 즉, 제1 예측 블록(1100)과 제2 예측 블록(1120)에서 머지를 이용한 화면 간 예측을 수행하기 위한 공간적 머징 후보 블록(A0, A1, B0, B1, B2)은 부호화 블록의 외부에 존재하는 블록들이 될 수 있다.
제1 예측 블록(1100)의 시간적 머징을 위한 참조 픽쳐 인덱스는 B1 블록(1105)의 참조 픽쳐 인덱스 값으로 설정될 수 있다. 즉, 분할 형태에 따라 예측 블록의 특정한 위치에 존재하는 고정된 공간적 머징 후보 블록의 참조 픽쳐 인덱스를 현재 블록의 시간적 머징을 위한 참조 픽쳐 인덱스 값으로 설정할 수 있다.
만약 B1 블록(1125)이 가용하지 않은 경우 참조 픽쳐 인덱스 값을 ‘0’으로 설정하여 사용할 수 있다.
제2 예측 블록(1120)의 경우도 마찬가지로 시간적 머징을 위한 참조 픽쳐 인덱스는 A1 블록(1125)의 참조 픽쳐 인덱스 값을 사용할 수 있다. 만약 B1 블록(1105)이 가용하지 않은 경우 참조 픽쳐 인덱스 값을 ‘0’으로 설정하여 사용할 수 있다.
도 11의 (B)는 하나의 부호화 블록이 2NxN 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
제1 예측 블록(1150)과 제2 예측 블록(1170)은 공간적 머징 후보 블록(A0, A1, B0, B1, B2)을 공유할 수 있다. 즉, 제1 예측 블록(1150)과 제2 예측 블록(1170)에서 머지를 이용한 화면 간 예측을 수행하기 위한 공간적 머징 후보 블록은 부호화 블록의 외부에 존재하는 블록들이 될 수 있다.
제1 예측 블록(1150)의 시간적 머징을 위한 참조 픽쳐 인덱스는 A1 블록(1155)의 참조 픽쳐 인덱스 값으로 설정될 수 있다. 즉, 분할 형태에 따라 예측 블록의 특정한 위치에 존재하는 공간적 머징 후보 블록의 참조 픽쳐 인덱스를 현재 블록의 시간적 머징을 위한 참조 픽쳐 인덱스 값으로 설정할 수 있다.
만약 B1 블록(1175)이 가용하지 않은 경우 참조 픽쳐 인덱스 값을 ‘0’으로 설정하여 사용할 수 있다.
제2 예측 블록(1170)의 경우도 마찬가지로 시간적 머징을 위한 참조 픽쳐 인덱스는 B1 블록(1175)의 참조 픽쳐 인덱스 값을 사용할 수 있다. 만약 B1 블록(1175)이 가용하지 않은 경우 참조 픽쳐 인덱스 값을 ‘0’으로 설정하여 사용할 수 있다.
도 12는 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 12에서는 예측 대상 블록이 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위해 참조하는 특정한 공간적 머징 후보 블록을 미리 정하여 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법에 대해 개시한다.
도 12를 참조하면, 하나의 부호화 블록이 분할된 예측 블록의 형태에 따라 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위해 서로 다른 공간적 머징 후보 블록을 사용할 수 있다.
예를 들어, 예측 블록에서는 공간적 머징 후보 블록 중 A1 블록, B1 블록 중 하나의 블록을 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위한 블록으로 사용할 수 있다. 두 개의 공간적 머징 후보 블록 중 부호화 블록 내부에 존재하는 공간적 머징 후보 블록은 시간적 머징 후보의 참조 픽쳐 인덱스를 산출하기 위해 사용하지 않고 부호화 블록의 외부에 존재하는 공간적 머징 후보 블록을 참조 픽쳐 인덱스를 산출하기 위해 사용할 수 있다.
설명의 편의상 부호화 블록이 Nx2N 형태의 예측 블록으로 분할된 경우인 도 12의 (A)와 부호화 블록이 2NxN 형태의 예측 블록으로 분할된 경우인 도 12의 (B)에 대해서만 설명하나 동일한 방법이 여러 가지 형태로 분할된 부호화 블록에 대해서 적용될 수 있다.
도 12의 (A)는 부호화 블록이 Nx2N 크기의 예측 블록으로 분할된 경우를 나타낸다.
하나의 부호화 블록이 Nx2N 형태의 예측 블록으로 분할된 경우 두 개의 공간적 머징 후보 블록(A1 블록(1200) 또는 B1 블록(1220)) 중 부호화 블록 외부에 위치하고 이미 부호화 또는 복호화된 위치에 존재하는 공간적 머징 후보인 B1 블록(1220)의 참조 픽쳐 인덱스를 제2 예측 블록(1210)의 시간적 머징 후보의 참조 픽쳐 인덱스로 설정할 수 있다.
도 12의 (B)는 부호화 블록이 2NxN 크기의 예측 블록으로 분할된 경우를 나타낸다.
하나의 부호화 블록이 2NxN 형태의 예측 블록으로 분할된 경우 두 개의 공간적 머징 후보 블록(A1 블록(1240) 또는 B1 블록(1260)) 중 부호화 블록 외부에 위치한 공간적 머징 후보인 A1 블록(1240)의 참조 픽쳐 인덱스를 제2 예측 블록(1250)의 시간적 머징 후보의 참조 픽쳐 인덱스로 설정할 수 있다.
도 13은 본 발명의 실시예에 따른 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하는 방법을 나타낸 개념도이다.
도 13에서는 예측 블록 중 예측 블록의 일부 공간적 머징 후보의 위치가 부호화 블록의 내부 또는 아직 부호화가 수행되지 않은 위치에 존재하는 경우, 해당 예측 블록의 공간적 머징 후보 블록의 위치를 부호화 블록의 외부 위치로 고정하여 사용하는 방법에 대해 개시한다.
도 13의 (A)는 하나의 부호화 블록이 Nx2N 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
제1 예측 블록(1300)은 제1 예측 블록(1300)을 기준으로 공간적 머징 후보 블록(1305, 1310, 1315, 1320, 1325)를 결정할 수 있다. 하지만 제2 예측 블록(1330)의 경우, 공간적 머징 후보 블록을 부호화 블록의 외부의 위치에 존재하는 블록(1335, 1340, 1345, 1350, 1355)으로 고정하여 사용할 수 있다. 즉, 부호화 블록을 기준으로 공간적 머징 후보 블록(1335, 1340, 1345, 1350, 1355)을 산출하여 해당 공간적 머징 후보 블록(1335, 1340, 1345, 1350, 1355)을 제2 예측 블록(1330)의 머지를 이용한 화면 간 예측에 사용할 수 있다.
도 13의 (B)는 하나의 부호화 블록이 2NxN 형태의 두 개의 예측 블록으로 분할된 경우를 나타낸다.
도 13의 (B)에서도 마찬가지로 제1 예측 블록의 경우 예측 블록을 기준으로 유도된 공간적 머징 후보 블록을 사용할 수 있다. 하지만, 제2 예측 블록(1360)의 공간적 머징 후보 블록(1365, 1370, 1375, 1380, 1385)를 부호화 블록을 기준으로 산출할 수 있다.
도 14는 본 발명의 실시예에 따른 시간적 머징 후보를 머징 후보 리스트에 포함시키는 방법을 나타낸 순서도이다.
도 14에서는 전술한 시간적 머징 후보의 참조 픽쳐 인덱스 유도 방법을 기초로 산출된 인덱스 값을 사용하여 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하고 시간적 머징 후보를 머징 후보 리스트에 포함시키는 과정에 대해 개시한다.
도 14를 참조하면, 시간적 머징 후보의 참조 픽쳐 인덱스를 유도한다(단계 S1400).
시간적 머징 후보의 참조 픽쳐 인덱스는 전술한 바와 같이 현재 블록(예측 대상블록)이 머지를 이용한 화면 간 예측을 수행 시 참조하는 픽쳐의 참조 픽쳐 인덱스를 의미한다. 시간적 머징 후보의 참조 픽쳐 인덱스는 예측 블록에 대해 병렬적으로 시간적 머징 후보의 참조 픽쳐 인덱스를 유도하기 위한 여러 가지 방법들을 사용하여 유도할 수 있다. 예를 들어, 1) 참조할 공간적 머징 후보 블록의 공간적 위치를 항상 부호화 블록의 외부에 위치하도록 하는 방법, 2) 참조할 공간적 머징 후보 블록의 공간적 위치가 부호화 블록의 내부인 경우에 해당 공간적 머징 후보 블록으로부터 유도되는 참조 픽쳐 인덱스 값을 ‘0’으로 대체하는 방법, 3) 시간적 머징 후보의 참조 픽쳐 인덱스를 무조건 ‘0’으로 고정하는 방법 등과 같은 여러 가지 방법을 사용하여 유도할 수 있다.
시간적 머징 후보를 유도한다(단계 S1410).
전술한 바와 같이 시간적 머징 후보는 예측 블록을 포함하는 픽쳐 내의 픽셀 위치 (xP, yP)를 기초로 현재 블록의 콜 픽쳐(Colocated Picture)에서 (xP+nPbW, yP+nPbH) 위치의 픽셀을 포함하는 예측 블록(제1 시간적 머징 후보 블록)에서 유도된 움직임 예측 관련 정보(예를 들어, predFlag, mvLXCol 또는 시간적 머징 후보)일 수 있다. 콜 픽쳐에서 (xP+nPbW, yP+nPbH) 위치의 픽셀을 포함하는 예측 블록이 가용하지 않거나 화면 내 예측 방법을 사용하여 예측된 블록일 경우, (xP+(nPbW>>1), yP+(nPbH>>1)) 위치의 픽셀을 포함하는 예측 블록(제2 시간적 머징 후보 블록)으로부터 움직임 예측 관련 정보(시간적 머징 후보)를 유도할 수 있다.
최종적으로 움직임 예측 관련 정보를 산출하는데 사용되는 최종 시간적 머징 후보 블록(콜 블록)는 제1 시간적 머징 후보 블록 및 제2 시간적 머징 후보 블록의 위치를 기준으로 일부 이동한 위치에 존재하는 블록일 수 있다. 예를 들어, 메모리에 일부의 블록의 움직임 예측 관련 정보만이 저장되는 경우 제1 시간적 머징 후보 블록 및 제2 시간적 머징 후보 블록의 위치를 기준으로 일부 이동한 위치에 존재하는 시간적 머징 후보 블록을 시간적 머징 후보(움직임 예측 관련 정보)를 유도하기 위한 최종적인 콜 블록으로 결정할 수 있다.
시간적 머징 후보를 유도함에 있어서 현재 블록이 단일 머징 후보 리스트를 사용하는 블록인지 아니면 단일 머징 후보 리스트를 사용하지 않는 블록인지에 따라 서로 다른 시간적 머징 후보가 유도될 수 있다. 현재 블록이 단일 머징 후보 리스트를 사용하는 블록인 경우 부호화 블록 내에 포함된 복수의 예측 블록이 하나의 시간적 머징 후보 블록에서 유도된 시간적 머징 후보를 사용할 수 있다. 하지만, 단일 머징 후보 리스트를 사용하지 않는 블록의 경우 부호화 블록 내에 포함된 복수의 예측 블록에 대해 머지 후보 리스트를 생성하여 개별적으로 머지를 이용한 화면 간 예측을 수행할 수 있다. 즉, 이러한 경우 예측 블록 각각에 대한 시간적 머징 후보 블록에서 유도된 시간적 머징 후보를 사용하여 화면 간 예측을 수행할 수 있다. 이하 에서는 단일 머징 후보 리스트를 사용하여 화면 간 예측을 수행하는 경우에 대해 개시한다.
도 15는 본 발명의 실시예에 따른 복수의 예측 블록에서 공간적 머징 후보와 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 15에서는 하나의 부호화 블록에서 분할되는 복수의 예측 블록이 부호화 블록을 기초로 결정된 공간적 머징 후보, 시간적 머징 후보를 모두 공유하여 단일 머징 후보 리스트를 생성하는 방법에 대해 개시한다.
도 15를 참조하면, 제1 예측 블록(1500)과 제2 예측 블록(1550)은 동일한 공간적 머징 후보 블록으로부터 공간적 머징 후보를 산출하여 공간적 머징 후보를 공유할 수 있다. 제1 예측 블록(1500)과 제2 예측 블록(1550)에 대한 공간적 머징 후보 블록은 부호화 블록을 기준으로 결정된 블록으로서 A0 블록(1505), A1 블록(1510), B0 블록(1515), B1 블록(1520), B2 블록(1525)이 공간적 머징 후보 블록으로 사용될 수 있다.
각각의 공간적 머징 후보 블록의 위치는 부호화 블록의 좌측 상단 위치(xC, yC)와 nCS(부호화 블록의 크기)를 기준으로 도면에 표시된 픽셀을 포함한 위치가 될 수 있다.
A0 블록(1505)은 (xC-1, yC+nCS)에 존재하는 픽셀을 포함하는 블록, A1 블록(1510)은 (xC-1, yC+nCS-1)에 존재하는 픽셀을 포함하는 블록, B0 블록(1515)은 (xC+nCS, yC-1)에 위치하는 픽셀을 포함하는 블록, B1 블록(1520)은 (xC+nCS-1, yC-1)에 위치하는 픽셀을 포함하는 블록, B2 블록(1525)은 (xC-1, yC-1)에 위치하는 픽셀을 포함하는 블록이 될 수 있다.
또한 제1 예측 블록(1500)과 제2 예측 블록(1550)은 시간적 머징 후보를 공유할 수 있다. 제1 예측 블록(1500) 및 제2 예측 블록(1550)에서 공유되는 시간적 머징 후보를 유도하는 시간적 머징 후보 블록(1560, 1570) 역시 부호화 블록의 좌측 상단 위치(xC, yC)와 부호화 블록의 크기(nCS)를 기준으로 산출된 위치에 존재하는 블록으로 유도될 수 있다.
시간적 머징 후보의 참조 픽쳐 인덱스는 상기 전술한 방법들을 사용하여 유도될 수 있다.
예를 들어, 시간적 머징 후보 블록(1560, 1570)은 예측 블록을 포함하는 픽쳐 내의 픽셀 위치 (xC, yC)를 기준으로 현재 예측 블록의 콜 픽쳐(Colocated Picture)에서 (xC+nCS, yC+nCS) 위치의 픽셀을 포함하는 예측 블록(1560)이거나 (xC+nCS, yC+nCS) 위치의 픽셀을 포함하는 예측 블록이 가용하지 않은 경우, (xC+(nCS>>1), yC+(nCS>>1)) 위치의 픽셀을 포함하는 예측 블록(1570)이 될 수 있다.
시간적 머징 후보를 공유하지 않는 경우, 제1 예측 블록(1500) 및 제2 예측 블록(1550)에 대한 각각의 시간적 머징 후보가 유도될 수 있다.
단일 머징 후보 리스트를 유도하는 방법을 사용함으로 각각의 예측 블록에 대해서 병렬적 머지 프로세싱을 실시하여 화면 간 예측을 수행할 수 있고 또한 예측 블록 각각에 대해 머징 후보 리스트를 별도로 유도하지 않아도 된다. 따라서, 본 발명의 실시예에 따른 단일 머징 후보 리스트를 사용함으로써 높은 데이터 처리량을 요구하는 UHDTV(ultra-high definition television)와 같은 장치에서 영상의 처리 속도를 향상시킬 수 있다.
도 15에서는 Nx2N 형태로 분할된 제1 Nx2N 예측 블록(1500)과 제2 Nx2N 예측 블록(1550)에 대해서만 개시하였으나, 이러한 방법은 다른 분할 형태를 가지는 블록(예를 들어, 2NxN, 2NxnU, 2NxnD, nLx2N, nRx2N 또는 NxN과 같은 다양한 형태로 분할된 예측 블록에 대해서도 적용될 수 있다.
또한 이러한 방법은 블록의 크기(size) 또는 분할 깊이(depth)에 따라 단일 머징 후보 리스트의 적용 여부를 다르게 결정할 수 있다. 예를 들어, 머지 프로세스를 병렬적으로 실시할 수 있는 블록의 크기와 및 부호화 블록의 크기 정보 등을 기초로 특정 블록이 단일 머징 후보 리스트가 사용되는 블록인지에 대한 정보를 유도할 수 있다. 예를 들어, 특정 블록이 단일 머징 후보 리스트가 사용되는 블록인지에 대한 정보는 플래그 정보로 표현할 수 있다. 특정 블록이 단일 머징 후보 리스트가 사용되는 블록인지에 대한 플래그는 singleMCLflag(single merge candidate list flag)로 정의될 수 있다. 예를 들어, singleMCLflag가 0인 경우 블록이 단일 머지 후보 리스트를 사용하지 않는다는 것을 나타내고 singleMCLflag가 1인 경우 블록이 단일 머지 후보 리스트를 사용한다는 것을 나타낸다. singleMCLflag의 값을 기초로 예측 블록에 대한 공간적 머징 후보는 부호화 블록을 기준으로 유도될 수 있다.
예를 들어, 머지 프로세스를 병렬적으로 실시할 수 있는 블록의 크기는 4x4 크기보다 큰 값이라는 정보와 현재 블록 크기가 8x8라는 정보를 기초로 8x8 부호화 블록에서 분할되는 예측 블록이 단일 머징 후보 리스트를 사용함을 나타내는 플래그 정보를 유도할 수 있다. 유도된 플래그는 추후 예측 블록의 공간적 머징 후보 및 시간적 머징 후보를 부호화 블록을 기준으로 유도하기 위해 사용될 수 있다.
다시 도 14를 참조하면, 단계 S 1410의 시간적 머징 후보를 유도하기 위해 유도된 시간적 머징 후보의 참조 픽쳐 인덱스 정보를 기초로 시간적 머징 후보의 가용성 정보 및 시간적 움직임 벡터를 산출할 수 있다.
시간적 머징 후보의 가용성 정보는 시간적 머징 후보 블록을 기초로 시간적 머징 후보가 산출될 수 있는지 여부를 지시하기 위한 정보로서 사용될 수 있다. 시간적 움직임 벡터는 시간적 머징 후보가 가용할 경우 산출될 수 있다.
다시 도 4를 참조하면, 시간적 움직임 벡터(mvLXCol)는 시간적 머징 후보가 포함된 픽쳐(430)의 인덱스와 콜 픽쳐가 참조하는 참조 픽쳐(440)의 인덱스 정보를 기초로 산출된 두 픽쳐 사이의 거리와 현재 블록(440)이 포함된 픽쳐(410)의 인덱스와 시간적 머징 후보의 참조 픽쳐 인덱스(현재 블록이 화면 간 예측에서 참조하는 픽쳐 인덱스, 460) 정보를 기초로 산출된 픽쳐 사이의 거리를 기초로 스케일링되어 산출될 수 있다.
시간적 머징 후보가 가용한 경우 시간적 머징 후보를 머징 후보 리스트에 포함시킨다(단계 S1420).
머징 후보 리스트를 구성 시 단계 S1410에서 산출된 시간적 머징 후보 가용성 정보를 기초로 시간적 머징 후보가 가용한 경우 해당 블록을 머징 후보 리스트에 포함시킬 수 있다.
이하, 도 16에서는 블록의 크기가 특정 크기 이하인 경우 또는 특정 크기인 경우에만 동일 부호화 블록 내의 예측 블록들이 공간적 머징 후보 및 시간적 머징 후보를 공유하는 방법에 대해 개시한다.
도 16은 본 발명의 실시예에 따른 단일 후보 리스트를 생성하는 방법을 나타낸 개념도이다.
도 16에서는 머지를 이용한 화면 간 예측에서 부호화 블록의 크기가 특정 크기 이하인 경우 또는 특정 크기인 경우에만 동일 부호화 블록 내의 예측 블록들이 공간적 머징 후보 및 시간적 머징 후보를 공유하는 방법을 나타낸 것이다.
특정 조건을 만족하는 블록에서만 단일 머징 후보 리스트를 공유하는 방법을 사용하기 위해서는 여러 가지 정보가 사용될 수 있다. 예를 들어, 병렬적 머지 프로세싱이 실시 가능한 블록의 크기에 대한 정보와 현재 부호화 블록의 크기 정보를 기초로 현재 블록이 단일 머지 후보 리스트를 사용하는지에 대한 정보를 유도할 수 있다. 유도된 정보를 기초로 예측 블록에 대한 공간적 머징 후보 및 시간적 머징 후보가 특정 조건을 만족하는 부호화 블록을 기준으로 산출될 수 있다.
도 16의 (A)를 참조하면, 예를 들어, 병렬적 머지 프로세싱이 실시 가능한 블록의 크기가 8x8 이상이고, 부호화 블록의 크기가 8x8이라는 조건을 만족하는 경우에만 부호화 블록에서 분할된 예측 블록이 단일 머징 후보 리스트를 공유할 수 있다.
제1 부호화 블록(CU0, 1600)은 32x32, 제2 부호화 블록(CU1, 1610)은 16x16, 제3 부호화 블록(CU2, 1620)은 32x32, 제4 부호화 블록(CU3, 1630)은 16x16, 제5 부호화 블록(CU4, 1640)는 8x8의 크기를 가진 블록이라고 가정한다.
도 16의 (B)는 일부의 부호화 블록에 대한 공간적 머징 후보 블록만을 표시한 개념도이다.
도 16의 (B)를 참조하면, 제2 부호화 블록(1610)은 nLx2N 형태의 두 개의 예측 블록(1615, 1618)으로 분할되고, 제5 부호화 블록(1640)은 Nx2N 형태의 두 개의 예측 블록(1645, 1650)으로 분할될 수 있다. 도 16의 (B)는 8x8 크기의 부호화 블록(1640)에 대해서만 단일 머징 후보 리스트가 생성되는 경우를 가정한 것이다.
제2 부호화 블록(1610)의 제1 예측 블록(1615) 및 제2 예측 블록(1618)은 각각의 예측 블록에 대해 공간적 머징 후보를 개별적으로 유도하여 예측 블록 별로 머징 후보 리스트를 생성할 수 있다.
제 5 부호화 블록(1640)의 크기는 8x8로서 병렬적 머지 프로세싱이 실시 가능한 블록의 크기에 대한 조건과 현재 부호화 블록의 크기에 대한 조건을 만족할 수 있다. 이러한 경우, 제5 부호화 블록(1640)에 포함된 제3 예측 블록(1645) 및 제4 예측 블록(1650)이 부호화 블록의 위치 및 크기를 기준으로 산출된 공간적 머징 후보 및 시간적 머징 후보를 기초로 단일 머징 후보 리스트를 생성할 수 있다. 따라서 시간적 머징 후보의 참조 픽쳐 인덱스도 하나의 값으로 산출될 수 있다.
시간적 머징 후보의 참조 픽쳐 인덱스는 상기 전술한 방법들을 사용하여 유도될 수 있다.
이상에서 설명한 영상 부호화 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 각 영상 부호화기 및 영상 복호화기 장치의 각 구성부에서 구현될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (3)

  1. 영상 복호화 방법에 있어서,
    현재 블록의 위치 및 상기 현재 블록의 크기를 기준으로 제1 서브 블록에 대한 적어도 하나의 움직임 후보 블록들을 결정하는 단계; 여기서, 상기 현재 블록은 복수의 서브 블록들을 포함하고, 상기 제1 서브 블록은 상기 복수의 서브 블록들 중 어느 하나임,
    상기 적어도 하나의 움직임 후보를 기초로, 상기 제1 서브 블록에 대한 움직임 후보 리스트를 생성하는 단계; 및
    상기 움직임 후보 리스트를 이용하여, 상기 현재 블록에 대한 예측 샘플을 획득하는 단계를 포함하되,
    상기 현재 블록은 블록의 크기에 대한 조건을 만족하고,
    상기 적어도 하나의 움직임 후보 블록들은, 공간적 후보 블록 및 시간적 후보 블록 중 적어도 하나를 포함하고,
    상기 제1 서브 블록에 대한 움직임 후보 리스트는, 상기 복수의 서브 블록들 중 상기 제1 서브 블록을 제외한 잔여 서브 블록의 움직임 후보 리스트와 동일하게 유도되는 것을 특징으로 하는, 영상 복호화 방법.
  2. 영상 부호화 방법에 있어서,
    현재 블록에 대한 움직임 정보를 결정하는 단계; 여기서, 상기 현재 블록은 복수의 서브 블록들을 포함하고, 제1 서브 블록은 상기 복수의 서브 블록들 중 어느 하나임,
    상기 현재 블록의 위치 및 상기 현재 블록의 크기를 기준으로 상기 제1 서브 블록에 대한 적어도 하나의 움직임 후보 블록들을 결정하는 단계; 및
    상기 적어도 하나의 움직임 후보를 기초로, 상기 제1 서브 블록에 대한 움직임 후보 리스트를 생성하는 단계를 포함하되,
    상기 현재 블록은 블록의 크기에 대한 조건을 만족하고,
    상기 적어도 하나의 움직임 후보 블록들은, 공간적 후보 블록 및 시간적 후보 블록 중 적어도 하나를 포함하고, 상기 제1 서브 블록에 대한 움직임 후보 리스트는, 상기 복수의 서브 블록들 중 상기 제1 서브 블록을 제외한 잔여 서브 블록의 움직임 후보 리스트와 동일하게 유도되는 것을 특징으로 하는, 영상 부호화 방법.
  3. 영상 복호화 장치에 수신되고 현재 픽처에 포함된 현재 블록을 복원하는데 이용되는 비트스트림을 저장한 컴퓨터 판독가능한 기록매체에 있어서,
    현재 블록에 대한 움직임 정보를 결정하는 단계; 여기서, 상기 현재 블록은 복수의 서브 블록들을 포함하고, 제1 서브 블록은 상기 복수의 서브 블록들 중 어느 하나임,
    상기 현재 블록의 위치 및 상기 현재 블록의 크기를 기준으로 상기 제1 서브 블록에 대한 적어도 하나의 움직임 후보 블록들을 결정하는 단계; 및
    상기 적어도 하나의 움직임 후보를 기초로, 상기 제1 서브 블록에 대한 움직임 후보 리스트를 생성하는 단계를 포함하되,
    상기 현재 블록은 블록의 크기에 대한 조건을 만족하고,
    상기 적어도 하나의 움직임 후보 블록들은, 공간적 후보 블록 및 시간적 후보 블록 중 적어도 하나를 포함하고, 상기 제1 서브 블록에 대한 움직임 후보 리스트는, 상기 복수의 서브 블록들 중 상기 제1 서브 블록을 제외한 잔여 서브 블록의 움직임 후보 리스트와 동일하게 유도되는 것을 특징으로 하는, 영상 부호화 방법으로 생성된 비트스트림을 저장하는, 컴퓨터 판독가능한 기록매체.
KR1020230093233A 2011-12-23 2023-07-18 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체 KR102620625B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020110140861 2011-12-23
KR20110140861 2011-12-23
KR1020120003617 2012-01-11
KR20120003617 2012-01-11
KR1020220119594A KR102558514B1 (ko) 2011-12-23 2022-09-21 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220119594A Division KR102558514B1 (ko) 2011-12-23 2022-09-21 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Publications (2)

Publication Number Publication Date
KR20230110712A KR20230110712A (ko) 2023-07-25
KR102620625B1 true KR102620625B1 (ko) 2024-01-03

Family

ID=48988171

Family Applications (16)

Application Number Title Priority Date Filing Date
KR1020120147996A KR20130073826A (ko) 2011-12-23 2012-12-18 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법 및 장치
KR1020140087743A KR101917262B1 (ko) 2011-12-23 2014-07-11 영상 복호화 방법 및 장치
KR1020140087744A KR101917263B1 (ko) 2011-12-23 2014-07-11 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180134366A KR101977857B1 (ko) 2011-12-23 2018-11-05 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180134365A KR101949818B1 (ko) 2011-12-23 2018-11-05 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180134364A KR101949817B1 (ko) 2011-12-23 2018-11-05 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020190053029A KR102044250B1 (ko) 2011-12-23 2019-05-07 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020190141499A KR102085174B1 (ko) 2011-12-23 2019-11-07 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020200025142A KR102130821B1 (ko) 2011-12-23 2020-02-28 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020200080574A KR20200083962A (ko) 2011-12-23 2020-06-30 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020210138365A KR102447543B1 (ko) 2011-12-23 2021-10-18 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020220119593A KR102558513B1 (ko) 2011-12-23 2022-09-21 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020220119594A KR102558514B1 (ko) 2011-12-23 2022-09-21 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020230093232A KR102620624B1 (ko) 2011-12-23 2023-07-18 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020230093233A KR102620625B1 (ko) 2011-12-23 2023-07-18 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020230194542A KR20240006484A (ko) 2011-12-23 2023-12-28 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Family Applications Before (14)

Application Number Title Priority Date Filing Date
KR1020120147996A KR20130073826A (ko) 2011-12-23 2012-12-18 시간적 머징 후보의 참조 픽쳐 인덱스 설정 방법 및 장치
KR1020140087743A KR101917262B1 (ko) 2011-12-23 2014-07-11 영상 복호화 방법 및 장치
KR1020140087744A KR101917263B1 (ko) 2011-12-23 2014-07-11 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180134366A KR101977857B1 (ko) 2011-12-23 2018-11-05 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180134365A KR101949818B1 (ko) 2011-12-23 2018-11-05 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020180134364A KR101949817B1 (ko) 2011-12-23 2018-11-05 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020190053029A KR102044250B1 (ko) 2011-12-23 2019-05-07 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020190141499A KR102085174B1 (ko) 2011-12-23 2019-11-07 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020200025142A KR102130821B1 (ko) 2011-12-23 2020-02-28 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020200080574A KR20200083962A (ko) 2011-12-23 2020-06-30 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020210138365A KR102447543B1 (ko) 2011-12-23 2021-10-18 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020220119593A KR102558513B1 (ko) 2011-12-23 2022-09-21 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020220119594A KR102558514B1 (ko) 2011-12-23 2022-09-21 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR1020230093232A KR102620624B1 (ko) 2011-12-23 2023-07-18 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230194542A KR20240006484A (ko) 2011-12-23 2023-12-28 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Country Status (6)

Country Link
US (12) US9596466B2 (ko)
EP (2) EP2797325A4 (ko)
KR (16) KR20130073826A (ko)
CN (6) CN107566835B (ko)
CA (1) CA2855777C (ko)
WO (1) WO2013094960A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819963B2 (en) * 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
WO2013042888A2 (ko) 2011-09-23 2013-03-28 주식회사 케이티 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
CN107396100B (zh) * 2011-11-08 2020-05-05 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN108989815B9 (zh) 2014-03-19 2021-06-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN107005696B (zh) * 2014-11-27 2020-06-26 株式会社Kt 视频信号处理方法和设备
CN115002458A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
CN116567262A (zh) 2016-05-24 2023-08-08 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
CN116600109A (zh) * 2016-08-11 2023-08-15 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
CN117221575A (zh) 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
CN116866570A (zh) 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置
US10484703B2 (en) * 2017-02-07 2019-11-19 Mediatek Inc. Adapting merge candidate positions and numbers according to size and/or shape of prediction block
CN110870319B (zh) * 2017-05-31 2022-12-06 交互数字麦迪逊专利控股公司 画面编码和解码的方法和设备
CN118075454A (zh) * 2017-09-29 2024-05-24 Lx 半导体科技有限公司 图像编码/解码方法、存储介质及图像数据的发送方法
WO2019118097A1 (en) 2017-12-14 2019-06-20 Interdigital Vc Holdings, Inc. Method and apparatus for encoding a picture block
KR20200112945A (ko) 2018-01-29 2020-10-05 인터디지털 브이씨 홀딩스 인코포레이티드 재구성된 픽처의 정제를 갖는 인코딩 및 디코딩
US10839564B2 (en) * 2018-02-08 2020-11-17 Uber Technologies, Inc. Leveraging JPEG discrete cosine transform coefficients in neural networks
KR20190110044A (ko) 2018-03-19 2019-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112204966B (zh) * 2018-03-27 2024-10-18 株式会社Kt 对图像进行解码、编码的方法和用于传送比特流的装置
WO2019191218A1 (en) 2018-03-30 2019-10-03 Interdigital Vc Holdings, Inc. Chroma quantization parameter adjustment in video encoding and decoding
CN117061738A (zh) 2018-04-02 2023-11-14 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
US10397603B1 (en) * 2018-05-08 2019-08-27 Tencent America LLC Method and apparatus for video coding
KR20190133629A (ko) * 2018-05-23 2019-12-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
CA3100970A1 (en) 2018-05-24 2019-11-28 Kt Corporation Method and apparatus for processing video signal
CN110662075B (zh) * 2018-06-29 2023-04-25 北京字节跳动网络技术有限公司 改进的时域运动矢量预测推导
CN112204982B (zh) 2018-06-29 2024-09-17 株式会社Kt 用于处理视频信号的方法和设备
CN112703731B (zh) * 2018-07-27 2024-07-30 三星电子株式会社 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
KR20230087621A (ko) 2018-08-10 2023-06-16 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 처리 방법, 비디오 처리 장치, 인코더, 디코더, 매체 및 컴퓨터 프로그램
CN113455001B (zh) * 2018-12-27 2024-04-09 英迪股份有限公司 视频编码/解码方法和装置
CN118694934A (zh) 2018-12-28 2024-09-24 三星电子株式会社 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备
US20220086475A1 (en) * 2019-01-09 2022-03-17 Lg Electronics Inc. Method and device for signaling whether tmvp candidate is available
US11611742B2 (en) * 2019-01-28 2023-03-21 Apple Inc. Image signal encoding/decoding method and device therefor
EP3939285A1 (en) * 2019-03-12 2022-01-19 InterDigital VC Holdings, Inc. Flexible allocation of regular bins in residual coding for video coding
US10972749B2 (en) 2019-08-29 2021-04-06 Disney Enterprises, Inc. Systems and methods for reconstructing frames
US11012718B2 (en) * 2019-08-30 2021-05-18 Disney Enterprises, Inc. Systems and methods for generating a latent space residual
US11778169B2 (en) 2019-12-27 2023-10-03 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using reference picture
KR102627232B1 (ko) * 2019-12-27 2024-01-23 한국전자통신연구원 참조 픽처를 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
IL302832A (en) 2020-12-25 2023-07-01 Xebec Tech Co Ltd Method for controlling a polishing tool holder, polishing tool holder and polishing device
US20220295075A1 (en) * 2021-03-10 2022-09-15 Lemon Inc. Resource constrained video encoding

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
CN100553339C (zh) * 2002-07-15 2009-10-21 株式会社日立制作所 动态图像解码方法
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
JP4699460B2 (ja) * 2004-07-20 2011-06-08 クゥアルコム・インコーポレイテッド 時間的なビデオ圧縮における運動ベクトル予測のための方法および装置
JP2006108932A (ja) * 2004-10-01 2006-04-20 Ntt Docomo Inc 複数参照画像を用いた動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
US7660354B2 (en) * 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
CN100576919C (zh) * 2006-08-08 2009-12-30 佳能株式会社 运动矢量检测设备及运动矢量检测方法
CN104023242B (zh) * 2007-04-09 2017-07-07 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
US20100061697A1 (en) * 2007-04-13 2010-03-11 Makoto Yasuda Motion picture decoding method, motion picture decoding device, and electronic apparatus
EP2101504B1 (en) * 2008-03-09 2012-07-25 LG Electronics Inc. Video coding using template matching
KR20090096659A (ko) 2008-03-09 2009-09-14 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩에 관한 방법과 장치
ES2744316T3 (es) * 2009-07-01 2020-02-24 Interdigital Vc Holdings Inc Métodos y aparato para señalización de predicción intra para grandes bloques para codificadores y decodificadores de vídeo
KR20110067648A (ko) * 2009-12-15 2011-06-22 (주)휴맥스 영상 부호화/복호화 방법 및 이를 수행하는 장치
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
CN102131094A (zh) * 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
KR102219985B1 (ko) * 2010-05-04 2021-02-25 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
JP5805991B2 (ja) * 2010-05-07 2015-11-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム
CN103039073B (zh) 2010-06-07 2016-09-14 数码士有限公司 编码/解码高分辨率图像的方法和执行该方法的装置
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
EP2654301A4 (en) * 2010-12-14 2016-02-17 M&K Holdings Inc METHOD FOR INTER-PREDICTIVE DECODING OF ENCODED FILMS
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
EP3139611A1 (en) * 2011-03-14 2017-03-08 HFI Innovation Inc. Method and apparatus for deriving temporal motion vector prediction
US9143795B2 (en) * 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US11245912B2 (en) * 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US9621888B2 (en) * 2011-09-09 2017-04-11 Lg Electronics Inc. Inter prediction method and apparatus therefor
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
JP6563781B2 (ja) 2014-12-08 2019-08-21 東日本旅客鉄道株式会社 脚柱構造体及び脚柱構造体の施工方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
B. Bross, et al. WD4: Working Draft 4 of High-Efficiency Video Coding. JCT-VC of ITU-T and ISO/IEC. JCTVC-F803 (Ver.8), Nov. 20, 2011, pp.1-216
H. Y. Kim, et al. CU-based Merge Candidate List Construction. JCT-VC of ITU-T and ISO/IEC. JCTVC-G416 Ver.2, Nov. 21, 2011, pp.1-15
M. Zhou. Parallelized merge/skip mode for HEVC. JCT-VC of ITU-T and ISO/IEC. JCTVC-F069 (Ver.2), Jul. 22, 2011, pp.1-13
Y. Jeon, et al. Non-CE9: simplification of merge/skip TMVP ref_idx derivation. JCT-VC of ITU-T and ISO/IEC. JCTVC-G163 (Ver.5), Nov. 27, 2011, pp.1-12

Also Published As

Publication number Publication date
CN107682704A (zh) 2018-02-09
CN104012089B (zh) 2017-11-28
EP2797325A4 (en) 2015-09-16
US20170237979A1 (en) 2017-08-17
CN107566835A (zh) 2018-01-09
KR20200024817A (ko) 2020-03-09
US20170237993A1 (en) 2017-08-17
CN104012089A (zh) 2014-08-27
US20170237978A1 (en) 2017-08-17
EP3965425A3 (en) 2022-06-08
KR102044250B1 (ko) 2019-12-03
KR20220132513A (ko) 2022-09-30
CN107566836B (zh) 2020-04-07
US10264252B2 (en) 2019-04-16
US20220159244A1 (en) 2022-05-19
KR101949818B1 (ko) 2019-02-20
EP3965425A2 (en) 2022-03-09
CN108093254B (zh) 2020-04-17
US11843768B2 (en) 2023-12-12
CN107659813B (zh) 2020-04-17
US20140307789A1 (en) 2014-10-16
US11843769B2 (en) 2023-12-12
KR20140102636A (ko) 2014-08-22
US20190200010A1 (en) 2019-06-27
CA2855777C (en) 2017-10-24
US9832474B2 (en) 2017-11-28
KR20230113251A (ko) 2023-07-28
US20220159243A1 (en) 2022-05-19
KR102085174B1 (ko) 2020-03-05
KR20200083962A (ko) 2020-07-09
KR20180122579A (ko) 2018-11-13
CN107659813A (zh) 2018-02-02
KR20230110712A (ko) 2023-07-25
US11284067B2 (en) 2022-03-22
KR20180123456A (ko) 2018-11-16
KR102620624B1 (ko) 2024-01-03
KR20240006484A (ko) 2024-01-15
KR102130821B1 (ko) 2020-07-07
KR102558513B1 (ko) 2023-07-24
US20210037239A1 (en) 2021-02-04
US9832462B2 (en) 2017-11-28
US9848190B2 (en) 2017-12-19
US20240064290A1 (en) 2024-02-22
CN107682704B (zh) 2020-04-17
KR102558514B1 (ko) 2023-07-24
KR20190052665A (ko) 2019-05-16
CN107566836A (zh) 2018-01-09
KR20180122580A (ko) 2018-11-13
KR101977857B1 (ko) 2019-08-29
KR20210129622A (ko) 2021-10-28
US20180109786A1 (en) 2018-04-19
US20170127059A1 (en) 2017-05-04
EP2797325A1 (en) 2014-10-29
KR101949817B1 (ko) 2019-05-22
KR20130073826A (ko) 2013-07-03
KR101917263B1 (ko) 2018-11-12
WO2013094960A1 (ko) 2013-06-27
KR20140102635A (ko) 2014-08-22
KR102447543B1 (ko) 2022-09-27
US20240064291A1 (en) 2024-02-22
KR20220133158A (ko) 2022-10-04
US10848757B2 (en) 2020-11-24
KR20190128611A (ko) 2019-11-18
CA2855777A1 (en) 2013-06-27
KR101917262B1 (ko) 2018-11-13
US9596466B2 (en) 2017-03-14
CN108093254A (zh) 2018-05-29
CN107566835B (zh) 2020-02-28
US9883182B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
KR102620625B1 (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP7358573B2 (ja) 候補リスト共有方法及びこのような方法を使用する装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant