KR20180026702A - 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 - Google Patents

템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20180026702A
KR20180026702A KR1020180025655A KR20180025655A KR20180026702A KR 20180026702 A KR20180026702 A KR 20180026702A KR 1020180025655 A KR1020180025655 A KR 1020180025655A KR 20180025655 A KR20180025655 A KR 20180025655A KR 20180026702 A KR20180026702 A KR 20180026702A
Authority
KR
South Korea
Prior art keywords
block
template
image
prediction block
matching search
Prior art date
Application number
KR1020180025655A
Other languages
English (en)
Other versions
KR101950014B1 (ko
Inventor
이하현
임성창
김휘용
정세윤
김종호
이진호
조숙희
최진수
김진웅
안치득
고성제
정승원
윤여진
Original Assignee
한국전자통신연구원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 고려대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20180026702A publication Critical patent/KR20180026702A/ko
Application granted granted Critical
Publication of KR101950014B1 publication Critical patent/KR101950014B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

템플릿 매칭을 이용하여 영상을 부호화하는 방법 및 장치, 그리고 영상 복호화방법 및 장치가 제공된다. 영상 부호화 방법은, 부호화 대상 블록의 템플릿을 결정하고, 복원된 참조 영상들 중에서 결정된 템플릿과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정할 수 있다. 그리고, 결정된 정합 탐색 대상 영상과 부호화 대상 블록의 템플릿에 기초하여 최적 예측 블록을 결정할 수 있다.

Description

템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING TO IMAGE USING TEMPLATE MATCHING}
본 발명은 복원된 참조 영상에서 템플릿 매칭을 이용하여 영상을 부호화 및 복호화하는 기술에 관한 것이다.
일반적으로, 템플릿을 이용하는 영상 부호화 및 복호화 장치는 복원된 모든 참조 영상들과 부호화 대상 블록의 템플릿을 매칭하여 부호화 대상 블록에 대한 예측 블록을 결정한다.
특히, 예측 블록 결정시 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡만을 이용하여 정합 대상 영역을 결정하고, 결정된 정합 대상 영역에 기초하여 부호화 대상 블록의 예측 블록을 결정한다.
그러나, 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡만을 이용하는 경우, 왜곡이 최소인 정합 대상 영역에 해당하는 예측 블록과 부호화 대상 블록 간의 오차가 작지 않은 경우가 발생한다.
더욱이, 복원된 모든 참조 영상들을 이용하여 템플릿 매칭을 수행함에 따라 영상 부호화 및 복호화 장치의 계산 복잡도가 증가한다.
따라서, 계산 복잡도를 감소시키면서, 예측 블록과 부호화 대상 블록 간의 오차를 감소시킬 수 있는 영상 부호화 및 복호화 기술이 필요하다.
본 발명은 부호화 대상 블록의 템플릿 및 복호화 대상 블록의 템플릿을 이용하여 정합 대상 영역을 결정하는 과정을 단순화하여 계산 복잡도를 감소시킬 수 있는 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치를 제공한다.
또한, 템플릿과 예측 블록 간의 유사도, 그리고 템플릿과 정합 대상 영역 간의 왜곡을 이용하여 최적 예측 블록을 결정할 수 있는 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치를 제공한다.
또한, 최적 예측 블록에 오프셋 또는 필터링을 이용하여 잔여 블록을 생성할 수 있는 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 영상 부호화 방법은, 부호화 대상 블록의 템플릿(template)을 결정하는 단계, 부호화 대상 블록이 속해 있는 영상의 부호화 정보 및 주변 블록의 부호화 정보, 정합 탐색 대상 영상에 대한 사용자 정의 정보 중 적어도 하나를 이용하여 상기 결정된 템플릿과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정하는 단계, 상기 결정된 정합 탐색 대상 영상 및 상기 템플릿을 이용하여 최적 예측 블록을 결정하는 단계, 및 상기 최적 예측 블록 및 부호화 대상 블록을 이용하여 잔여 블록을 생성하는 단계를 포함할 수 있다.
또한, 상기 정합 탐색 대상 영상을 결정하는 단계는, 복원된 참조 영상들 중에서 상기 부호화 대상 블록이 속해 있는 영상의 영상 타입에 해당하는 하나 이상의 참조 영상을 상기 정합 탐색 대상 영상으로 결정할 수 있다.
또한, 상기 정합 탐색 대상 영상을 결정하는 단계는, 복원된 참조 영상들 중에서 상기 주변 블록의 참조 픽쳐 타입에 해당하는 하나 이상의 참조 영상을 상기 정합 탐색 대상 영상으로 결정할 수 있다.
또한, 상기 정합 탐색 대상 영상을 결정하는 단계는, 복원된 참조 영상들 중에서 사용자 정의에 의해 정해진 참조 영상을 상기 정합 탐색 대상 영상으로 결정할 수 있다. 이 때, 정합 탐색 대상 영상 정보는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set)를 이용하여 영상 복호화 장치로 전송될 수 있다.
또한, 상기 최적 예측 블록을 결정하는 단계는, 상기 템플릿과 정합 대상 영역 간의 왜곡 및 상기 템플릿과 예측 블록 간의 유사도 중 적어도 하나를 이용하여 상기 최적 예측 블록을 결정할 수 있다.
또한, 상기 최적 예측 블록을 결정하는 단계는, 상기 템플릿과 상기 정합 탐색 대상 영상에 포함된 정합 대상 영역 간의 왜곡을 계산하는 단계, 상기 계산된 왜곡이 작은 순서부터 복수개의 예측 블록을 선택하는 단계, 상기 선택된 복수개의 예측 블록과 상기 템플릿 간의 유사도를 각각 판단하는 단계, 및 상기 선택된 복수개의 예측 블록 중에서 상기 유사도가 가장 높은 예측 블록을 상기 최적 예측 블록으로 결정하는 단계를 포함할 수 있다.
또한, 상기 최적 예측 블록을 결정하는 단계는, 상기 템플릿과 상기 결정된 정합 탐색 대상 영상에 포함된 예측 블록 간의 유사도를 각각 판단하는 단계, 상기 계산된 유사도가 높은 순서부터 복수개의 예측 블록을 선택하는 단계, 상기 선택된 복수개의 예측 블록에 해당하는 정합 대상 영역과 상기 템플릿 간의 왜곡을 각각 계산하는 단계, 및 상기 계산된 왜곡이 최소인 예측 블록을 상기 최적 예측 블록으로 결정하는 단계를 포함할 수 있다.
또한, 상기 템플릿을 결정하는 단계는, 복원된 주변 블록을 구성하는 화소 집합 및 상기 부호화 대상 블록에 대한 예측 화소 집합 중 적어도 하나를 이용하여 상기 템플릿을 결정할 수 있다. 여기서, 상기 복원된 주변 블록은, 상기 부호화 대상 블록과 이웃하는 블록들 중 이미 복원된 블록일 수 있다. 여기서, 상기 각 경우에 있어 템플릿의 모양 및 크기는 적응적으로 선택 가능하다.
또한, 상기 잔여 블록을 생성하는 단계는, 상기 최적 예측 블록을 필터링하는 단계, 상기 필터링된 최적 예측 블록과 상기 부호화 대상 블록을 감산하여 상기 잔여 블록을 생성하는 단계를 포함할 수 있다..
또한, 본 발명의 일실시예에 따른 영상 부호화 장치는, 부호화 대상 블록이 속해 있는 영상의 부호화 정보, 주변 블록의 부호화 정보 및 사용자 정보 중 적어도 하나를 이용하여 복원된 참조 영상들 중에서 정합 탐색 대상 영상을 결정하는 정합 탐색 대상 영상 결정부, 상기 결정된 정합 탐색 대상 영상 및 부호화 대상 블록의 템플릿(template)을 이용하여 최적 예측 블록을 결정하는 최적 예측 블록 결정부, 및 상기 최적 예측 블록 및 상기 부호화 대상 블록을 이용하여 잔여 블록을 생성하는 잔여 블록 생성부를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 복호화 방법은, 복호화 대상 블록의 템플릿(template)을 결정하는 단계, 복호화 대상 블록이 속해 있는 영상의 복호화 정보, 주변 블록의 복호화 정보, 및 SPS, PPS 등에 정의된 정합 탐색 대상 영상 정보 중 적어도 하나를 이용하여 상기 결정된 템플릿과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정하는 단계, 상기 결정된 정합 탐색 대상 영상 및 상기 템플릿을 이용하여 최적 예측 블록을 결정하는 단계, 및 상기 최적 예측 블록과 복원된 잔여 블록에 기초하여 복원 블록을 생성하는 단계를 포함할 수 있다.
또한, 상기 정합 탐색 대상 영상을 결정하는 단계는, 상기 부호화 대상 블록이 속해 있는 영상의 영상 타입, 또는 상기 주변 블록의 참조 픽쳐 타입, SPS, PPS 등에 부호화되어 전송된 정합 탐색 대상 영상 정보에 기초하여 복원된 참조 영상들 중에서 하나 이상의 참조 영상을 상기 정합 탐색 대상 영상으로 결정할 수 있다.
또한, 상기 최적 예측 블록을 결정하는 단계는, 상기 템플릿과 정합 대상 영역 간의 왜곡 및 상기 템플릿과 예측 블록 간의 유사도 중 적어도 하나를 이용하여 상기 최적 예측 블록을 결정할 수 있다.,
또한, 상기 템플릿을 결정하는 단계는, 복원된 주변 블록을 구성하는 화소 집합 및 상기 복호화 대상 블록에 대한 예측 화소 집합 중 적어도 하나를 이용하여 상기 템플릿을 결정할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 복호화 장치는, 복호화 대상 블록이 속해 있는 영상의 복호화 정보, 주변 블록의 복호화 정보, 및 SPS, PPS 등의 정합 탐색 대상 영상 정보 중 적어도 하나를 이용하여 복호화 대상 블록의 템플릿(template)과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정하는 정합 탐색 대상 영상 결정부, 상기 결정된 정합 탐색 대상 영상 및 상기 템플릿을 이용하여 최적 예측 블록을 결정하는 최적 예측 블록 결정부, 및 상기 최적 예측 블록과 복원된 잔여 블록에 기초하여 복원 블록을 생성하는 복원 블록 생성부를 포함할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 방법을 설명하기 위해 제공되는 흐름도이다.
도 2 내지 도 4는 부호화 대상 블록의 템플릿을 결정하는 구성을 설명하기 위해 제공되는 도면이다.
도 5 내지 도 7은 정합 탐색 대상 영상을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 8 내지 도 14는 최적 예측 블록을 결정하는 구성을 설명하기 위해 제공되는 도면이다.
도 12 및 도 13은 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도에 기초하여 최적 예측 블록을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 15 내지 도 17은 잔여 블록을 생성하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 18은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 도시한 블록도이다.
도 19는 본 발명의 일실시예에 따른 영상 복호화 방법을 설명하기 위해 제공되는 흐름도이다.
도 20은 본 발명의 일실시예에 따른 영상 복호화 장치의 구성을 도시한 블록도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 110 단계에서, 영상 부호화 장치는 부호화 대상 블록의 템플릿(template)을 결정할 수 있다.
이때, 영상 부호화 장치는 복원된 주변 블록을 구성하는 화소 집합 및 부호화 대상 블록에 대한 예측 화소 집합 중 적어도 하나를 이용하여 템플릿을 결정할 수 있다. 여기서, 복원된 주변 블록은 부호화 대상 블록과 이웃하는 블록들 중 이미 복원된 블록이될 수 있다. 여기서, 결정하고자 하는 템플릿의 모양 및 크기는 적응적으로 선택 가능하다.
일례로, 복원된 주변 블록을 구성하는 화소 집합을 이용하여 템플릿을 결정하는 경우, 도 2와 같이, 영상 부호화 장치는, 복원된 주변 블록들 각각을 구성하는 화소들을 이용하여 부호화 대상 블록의 템플릿(210)을 결정할 수 있다.
다른 예로, 부호화 대상 블록에 대한 예측 화소 집합을 이용하여 템플릿을 결정하는 경우, 도 3과 같이, 영상 부호화 장치는, 부호화 대상 블록을 화면내 예측하여 생성된 예측 화소 집합을 이용하여 부호화 대상 블록의 템플릿(310)을 결정할 수 있다..
또 다른 예로, 복원된 주변 블록을 구성하는 화소 집합 및 부호화 대상 블록에 대한 예측 화소 집합을 모두 이용하여 템플릿을 결정하는 경우, 도 4와 같이, 현재 부호화 대상 블록이 4개의 서브 블록으로 분할되어 각 서브 블록에 대한 예측을 수행한 후, 부호화 대상 블록에 대해 변환 부호화를 수행할 경우, 영상 부호화 장치는, 이용 가능한 주변 복원 블록이 없을 경우, 예측이 완료된 서브 블록을 구성하는 예측 화소 집합(432)과 복원된 주벽 블록을 구성하는 화소 집합(431)을 이용하여 부호화 대상 블록의 템플릿(430)을 결정할 수 있다. 이때, 도 4에서, 부호화 대상 블록은 복수의 서브 블록으로 분할될 수 있으며, 분할된 서브 블록 중 하나 이상에 대한 예측 화소 집합이 생성될 수 있다.
이어, 120 단계에서, 영상 부호화 장치는 복원된 참조 영상들 중에서 결정된 템플릿에 대한 정합 탐색 대상 영상을 결정할 수 있다.
이때, 영상 부호화 장치는 부호화 대상 블록이 속해 있는 영상의 부호화 정보 , 주변 블록의 부호화 정보 및 사용자 정의 정보 중 적어도 하나를 이용하여 정합 탐색 대상 영상을 결정할 수 있다. 그러면, 영상 부호화 장치는 결정된 정합 탐색 대상 영상을 대상으로 부호화 대상 블록의 템플릿과 정합 탐색을 수행할 수 있다. 이때, 정합 탐색 대상 영상을 결정하는 자세한 설명은 도 5 내지 도 7을 참조하여 후술하기로 한다.
그리고, 130 단계에서, 영상 부호화 장치는, 부호화 대상 블록의 템플릿을 이용하여 정합 탐색 대상 영상 내에서 최적 예측 블록을 결정할 수 있다.
이때, 영상 부호화 장치는, 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, 그리고 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도에 기초하여 최적 예측 블록을 결정할 수 있다. 최적 예측 블록을 결정하는 자세한 설명은 도 8 내지 도 14를 참조하여 후술하기로 한다.
이어, 140 단계에서, 영상 부호화 장치는, 최적 예측 블록과 부호화 대상 블록에 기초하여 잔여 블록(residual block)을 생성할 수 있다.
이때, 영상 부호화 장치는, 최적 예측 블록과 부호화 대상 블록의 차, 오프셋, 및 최적 예측 블록 필터링 중 적어도 하나를 이용하여 잔여 블록을 생성할 수 있다. 여기서, 잔여 블록을 생성하는 자세한 설명은 도 15 내지 도 17을 참조하여 후술하기로 한다.
이하에서는 도 5 내지 도 7을 참조하여, 복원된 참조 영상들 중에서 부호화 대상 블록의 템플릿과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정하는 과정에 대해 설명하기로 한다.
도 5는 부호화 대상 블록의 부호화 정보에 기초하여 정합 탐색 대상 영상을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 5에 따르면, 510 단계에서, 영상 부호화 장치는 부호화 대상 블록의 부호화 정보에 기초하여 복원된 참조 영상들 중에서 하나 이상의 정합 탐색 대상 영상을 결정할 수 있다..
이때, 부호화 대상 블록의 부호화 정보 중 영상 타입을 이용하는 경우, 영상 부호화 장치는 복원된 참조 영상들 중에서 부호화 대상 블록이 속해 있는 영상의 영상 타입과 동일한 영상 타입을 갖는 하나 이상의 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
일례로, 부호화 대상 블록이 속해 있는 영상의 영상 타입이 P타입인 경우, 영상 부호화 장치는, 복원된 참조 영상들 중에서 영상 타입이 P 타입인 영상들을 추출할 수 있다. 그리고, 영상 부호화 장치는 추출된 하나 이상의 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
다른 예로, 부호화 대상 블록이 속해 있는 영상의 영상 타입이 B타입인 경우, 영상 부호화 장치는, 복원된 참조 영상들 중에서 영상 타입이 B 타입인 영상들을 추출하여 정합 탐색 대상 영상으로 결정할 수 있다.
도 6은 주변 블록의 부호화 정보에 기초하여 정합 탐색 대상 영상을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 6에 따르면, 610 단계에서, 영상 부호화 장치는 부호화 대상 블록과 이웃하는 주변 블록의 부호화 정보에 기초하여 복원된 참조 영상들 중에서 하나 이상의 정합 탐색 대상 영상을 결정할 수 있다..
이때, 주변 블록의 참조 픽쳐 타입을 이용하는 경우, 영상 부호화 장치는 복원된 참조 영상들 중에서 주변 블록의 참조 픽쳐 타입과 동일한 참조 픽쳐 타입을 갖는 하나 이상의 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
일례로, 주변 블록의 참조 픽쳐 타입이 단기 참조 영상을 참조하는 타입인 경우, 영상 부호화 장치는 복원된 참조 영상들 중에서 하나 이상의 단기 참조 영상을 추출할 수 있다. 그리고, 영상 부호화 장치는 추출된 하나 이상의 단기 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
다른 예로, 주변 블록의 참조 픽쳐 타입이 장기 참조 영상을 참조하는 타입인 경우, 영상 부호화 장치는 복원된 참조 영상들 중에서 하나 이상의 장기 참조 영상을 추출할 수 있다. 그리고, 영상 부호화 장치는 추출된 하나 이상의 장기 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
다른 예로, 사용자 정의에 의해 정합 탐색 대상 영상으로 사용할 수 있는 복원된 참조 영상의 수가 제한될 수 있다. 이 경우, 사용자에 의해 정의된 복원된 참조 영상만을 정합 탐색 대상 영상으로 결정할 수 있다. 그러면, 영상 부호화 장치는, 결정된 정합 탐색 대상 영상을 식별하는 데 이용되는 정합 탐색 대상 영상 정보를 SPS(Sequence Parameter Set), PPS(Picture Parameter Set)등을 통해 영상 복호화 장치로 전송할 수 있다.
또 다른 예로, 부호화 대상 블록에 이웃하는 복수의 주변 블록들이 모두 동일한 참조 영상을 참조한 경우, 영상 부호화 장치는 복원된 참조 영상들 중에서 주변 블록들이 참조한 참조 영상을 추출하고, 추출한 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
또한, 도 7과 같이, 710 단계에서, 영상 부호화 장치는 부호화 대상 블록의 부호화 정보와 주변 블록의 부호화 정보를 모두 이용하여 정합 탐색 대상 영상을 결정할 수도 있다.
이하에서는 도 8 내지 도 14를 참조하여, 결정된 정합 탐색 대상 영상을 대상으로 부호화 대상 블록의 템플릿과 정합 탐색을 수행하여 최적의 예측 블록을 결정하는 과정에 대해 설명하기로 한다.
도 8은 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡에 기초하여 최적 예측 블록을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 8에 따르면, 810 단계에서, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡을 계산할 수 있다. 여기서, 정합 대상 영역은, 정합 탐색 대상 영상 내에서 부호화 대상 블록의 템플릿과 동일한 기하학적 모양을 갖는 영역이다.
이때, 영상 부호화 장치는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference) 등을 이용하여 상기 왜곡을 계산할 수 있다.
이어, 820 단계에서, 영상 부호화 장치는 계산된 왜곡에 기초하여 최적 예측 블록을 결정할 수 있다.
일례로, 도 9를 참조하면, 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 각 대응되는 픽셀의 차의 합(Sum of Absolute Difference)을 계산하고, 계산된 픽셀의 차의 합이 최소인 위치에 해당하는 정합 대상 영역과의 기하학적 위치 관계가 템플릿과 부호화 대상 블록간의 기하학적 위치 관계와 동일한 예측 블록을 최적 예측 블록으로 결정할 수 있다. 이때, 영상 부호화 장치는, 아래의 수학식 1을 이용하여 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 각 대응되는 픽셀의 차의 합, 즉, 왜곡을 계산할 수 있다.
Figure pat00001
수학식 1에서, Ti : 템플릿의 화소 집합, Ci : 정합대상영역의 화소 집합이다.
도 10은 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도에 기초하여 최적 예측 블록을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
도 10에 따르면, 1010 단계에서, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도를 판단할 수 있다. 여기서, 예측 블록은, 정합 탐색 대상 영상 내에서 부호화 대상 블록과 동일한 기하학적 모양을 갖는 블록이다.
일례로, 도 11과 같이, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 예측 블록 경계에 위치하는 화소들 간의 SAD, SATD, 및 SSD 등을 이용하여 템플릿과 예측 블록 간의 유사도를 판단할 수 있다. 이때, 아래의 수학식 2와 같이, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 예측 블록 경계에 위치하는 화소들 간의 차이값을 이용하여 유사도를 판단할 수 있다.
Figure pat00002
수학식 2에서, Tbi는 템플릿 블록 경계 화소 집합, Pbi는: 예측 화소 집합의 블록 경계 화소 집합이다.
이때, 영상 부호화 장치는, 수학식 2에 따라 계산된 차이값이 작을수록 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도가 높은 것으로 판단할 수 있다. 그리고, 영상 부호화 장치는, 차이값이 클수록 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도가 낮은 것으로 판단할 수 있다.
다른 예로, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 예측 블록 경계에 위치하는 화소들 간의 차이값(X)의 분산(variance)을 이용하여 템플릿과 예측 블록 간의 유사도를 판단할 수 있다. 이때, 계산된 차이값의 분산은 아래의 수학식 3과 같다.
Figure pat00003
또 다른 예로, 영상 부호화 장치는, 템플릿을 구성하는 화소들과 예측 블록 경계에 위치하는 화소들 간의 상관값을 이용하여 템플릿과 예측 블록 간의 유사도를 판단할 수 있다. 이때, 영상 부호화 장치는, 아래의 수학식 4를 이용하여 상기 상관값을 계산할 수 있다. 그러면, 영상 부호화 장치는 계산된 상관값이 높을수록 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도가 높은 것으로 판단할 수 있다. 그리고, 영상 부호화 장치는 계산된 상관값이 낮을수록 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도가 낮은 것으로 판단할 수 있다.
Figure pat00004
수학식 4에서, Tbi는 템플릿 블록 경계 화소 집합, Pbi는 예측 화소 집합의 블록 경계 화소 집합, E[Tb]는 템플릿 블록 경계 화소 집합의 평균, E[Pb]는 예측 화소 집합의 블록 경계 화소 집합의 평균, STb는 템플릿 블록 경계 화소 집합의 표준편차, SPb는 예측 화소 집합의 블록 경계 화소 집합의 표준편차이다.
이어, 1020 단계에서, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도에 기초하여 최적 예측 블록을 결정할 수 있다. 일례로, 영상 부호화 장치는 정합 탐색 대상 영상 내에 포함된 예측 블록들 중 유사도가 가장 높은 예측 블록을 최적 예측 블록을 결정할 수 있다.
도 12 및 도 13은 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도를 동시에 고려하여 최적 예측 블록을 결정하는 구성을 설명하기 위해 제공되는 흐름도이다.
먼저, 1210 단계에서, 도 14를 참조하면, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡(DTPL)을 계산할 수 있다. 일례로, 정합 탐색 대상 영상이 복수개인 경우, 영상 부호화 장치는, 부호화 대상 블록의 템플릿과 복수의 정합 탐색 대상 영상 내에 포함된 정합 대상 영역 간의 왜곡을 각각 계산할 수 있다.
그리고, 1220 단계에서, 영상 부호화 장치는 계산된 왜곡이 작은 순서부터 N개의 예측 블록을 선택할 수 있다. 다시 말해, 영상 부호화 장치는, 복수의 정합 탐색 대상 영상 각각에 포함된 예측 블록 중에서 왜곡이 작은 순서부터 N개의 예측 블록을 선택할 수 있다.
이어, 1230 단계에서, 영상 부호화 장치는, 선택된 N개의 예측 블록과 부호화 대상 블록의 템플릿 간의 유사도를 계산할 수 있다.
그리고, 1240 단계에서, 영상 부호화 장치는 계산된 유사도에 기초하여 선택된 N개의 예측 블록 중에서 최적 예측 블록을 결정할 수 있다. 일례로, 영상 부호화 장치는 N개의 예측 블록 중 부호화 대상 블록의 템플릿과 유사도가 가장 높은 예측 블록을 최적 예측 블록으로 결정할 수 있다.
먼저, 1310 단계에서, 도 14를 참조하면, 영상 부호화 장치는, 영상 부호화 장치는 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도(DSM)를 판단하고, 복수의 정합 탐색 대상 영상 각각에 포함된 예측 블록 중에서 유사도가 높은 순서부터 N개의 예측 블록을 선택할 수 있다.
이때, 영상 부호화 장치는, 부호화 대상 블록의 템플릿과 예측 블록 경계에 위치하는 화소들 간의 차이값, 부호화 대상 블록의 템플릿과 예측 블록 경계에 위치하는 화소들 간의 차이값(X)의 분산(variance), 및 템플릿을 구성하는 화소들과 예측 블록 경계에 위치하는 화소들 간의 상관값, 또는 템플릿을 구성하는 화소들과 예측 블록 경계에 위치하는 화소들 간의 상관값을 이용하여 유사도를 판단할 수 있다.
이어, 1320 단계에서, 영상 부호화 장치는, N개의 예측 블록에 해당하는 정합 대상 영역과 템플릿 간의 왜곡을 계산할 수 있다. 이때, 선택된 N개의 예측 블록은 결정된 정합 탐색 대상 영상에 각각 포함된다. 이에 따라, 영상 부호화 장치는 결정된 정합 탐색 대상 영상에 포함된 N개의 정합 탐색 대상 영역과 템플릿 간의 왜곡을 각각 계산할 수 있다.
그리고, 1330 단계에서, 영상 부호화 장치는, 계산된 왜곡에 기초하여 선택된 N개의 예측 블록 중에서 최적 예측 블록을 결정할 수 있다. 일례로, 영상 부호화 장치는 계산된 왜곡이 최소인 정합 대상 영역에 해당하는 예측 블록을 최적 예측 블록으로 결정할 수 있다.
이외에, 본 발명의 일실시예에 따른 영상 부호화 장치는 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, 그리고 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도를 가중 평균한 값을 이용하여 최적 예측 블록을 결정할 수 있다. 일례로, 영상 부호화 장치는, 아래의 수학식 5를 이용하여 최적 예측 블록을 결정할 수 있다.
Figure pat00005
수학식 5에서, Ti는 템플릿의 화소 집합, Ci는 정합대상영역의 화소 집합, Tbi는 템플릿 블록 경계 화소 집합, Pbi는 예측 화소 집합의 블록 경계 화소 집합, α는 가중치, DTPL은 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, DSM은 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도이다.
지금까지, 도 8 내지 도 14를 참조하여 최적 예측 블록을 결정하는 과정에 대해 설명하였다..
이하에서는 도 15 내지 도 17을 참조하여 잔여 블록을 생성하는 구성에 대해 상세히 설명하기로 한다.
도 15에 따르면, 1510 단계에서, 영상 부호화 장치는 최적 예측 블록과 부호화 대상 블록의 차를 통해 잔여 블록을 생성할 수 있다. 다시 말해, 영상 부호화 장치는, 아래의 수학식 6과 같이, 부호화 대상 블록을 구성하는 화소들과 최적 예측 블록을 구성하는 화소들 중 서로 대응하는 위치에 해당하는 화소 간의 화소값 차이를 이용하여 잔여 블록을 생성할 수 있다.
Figure pat00006
수학식 6에서, R_Block은 잔여 블록 의 화소값, O_Block은 부호화 대상 블록의 화소값, P_Block은 최적 예측 블록의 화소값이다.
도 16은 오프셋을 이용하여 잔여 블록을 생성하는 과정을 설명하기 위해 제공되는 흐름도이다.
먼저, 1610 단계에서, 영상 부호화 장치는, 최적 예측 블록에 더할 오프셋을 계산할 수 있다.
일례로, 영상 부호화 장치는, 부호화 대상 블록의 템플릿을 구성하는 화소들의 평균값과 정합 대상 영역을 구성하는 화소들의 평균값의 차이값을 계산할 수 있다. 그리고, 영상 부호화 장치는 계산된 차이값을 오프셋으로 이용할 수 있다. 이때, 영상 복호화 장치는 부호화 장치와 동일한 방법으로 오프셋을 계산할 수 있으므로, 영상 부호화 장치는 오프셋을 영상 복호화 장치로 별도로 전송할 필요가 없다.
다른 예로, 영상 부호화 장치는, 부호화 대상 블록을 구성하는 화소들의 평균값과 최적 예측 블록을 구성하는 화소들의 평균값의 차이를 계산하여 오프셋으로 이용할 수 있다. 이때, 영상 부호화 장치는 계산된 오프셋을 포함하는 오프셋 정보를 부호화하여 영상 복호화 장치로 전송할 수 있다.
또 다른 예로, 영상 부호화 장치는, 일정 범위의 값들 중 율-왜곡 방법을 이용하여 오프셋을 계산할 수 있다. 그러면, 영상 부호화 장치는 계산된 오프셋을 포함하는 오프셋 정보를 부호화하여 영상 복호화 장치로 전송할 수 있다.
이어, 1620 단계에서, 영상 부호화 장치는, 최적 예측 블록에 계산된 오프셋을 가산할 수 있다.
그리고, 1630 단계에서, 영상 부호화 장치는 오프셋이 가산된 최적 예측 블록과 부호화 대상 블록을 감산함에 따라 잔여 블록을 생성할 수 있다. 일례로, 영상 부호화 장치는 아래의 수학식 7을 이용하여 잔여 블록을 생성할 수 있다.
Figure pat00007
수학식 7에서, R_Block은 잔여 블록, O_Block은 부호화 대상 블록, P_Block은 최적 예측 블록, offset은 오프셋이다.
도 17은 최적 예측 블록을 필터링하여 잔여 블록을 생성하는 과정을 설명하기 위해 제공되는 흐름도이다.
*먼저, 1710 단계에서, 영상 부호화 장치는, 최적 예측 블록을 필터링할 수 있다.
일례로, 영상 부호화 장치는 저역 통과 필터를 이용하여 최적 예측 블록을 필터링할 수 있다. 여기서, 저역 통과 필터는, 고정형 필터 계수를 가질 수 있다.
다른 예로, 영상 부호화 장치는 적응형 필터를 이용하여 최적 예측 블록을 필터링할 수 있다. 여기서, 적응형 필터는 적응형 필터 계수를 가질 수 있다.
이때, 영상 부호화 장치는 아래의 수학식 8과 같이, 부호화 대상 블록의 템플릿과 정합 대상 영역 간의 관계에 기초하여 적응형 필터 계수를 결정할 수 있다. 마찬가지로, 영상 복호화 장치에서도 복호화 대상 블록의 템플릿과 정합 대상 영역 간의 관계에 기초하여 적응형 필터 계수를 결정할 수 있다.
Figure pat00008
Figure pat00009
수학식 8에서, tk는 템플릿의 화소값, yi는 정합대상영역의 화소값, ci는 필터 계수이다.
또한, 영상 부호화 장치는 아래의 수학식 9와 같이, 부호화 대상 블록의 템플릿과 예측 블록 간의 관계에 기초하여 적응형 필터 계수를 결정할 수 있다. 이때, 영상 부호화 장치는 결정된 필터 계수를 부호화하여 영상 복호화 장치로 전송할 수 있다.
Figure pat00010
Figure pat00011
수학식 9에서, ok는 부호화 대상 블록의 화소값, pi는 최적 예측 블록의 화소값, ci는 필터 계수이다.
이어, 1720 단계에서, 영상 부호화 장치는, 필터링된 최적 예측 블록과 부호화 대상 블록을 감산하여 잔여 블록을 생성할 수 있다. 일례로, 영상 부호화 장치는 아래의 수학식 10을 이용하여 잔여 블록을 생성할 수 있다.
Figure pat00012
수학식 10에서, R_Block은 잔여 블록, O_Block은 부호화 대상 블록, filtered_ P_Block은 필터링된 최적 예측 블록이다.
그리고, 영상 부호화 장치는, 도 12 내지 도 16에 따라 생성된 잔여 블록을 부호화한 후, 비트스트림을 영상 복호화 장치로 전송할 수 있다.
도 18은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 도시한 블록도이다.
도 18에 따르면, 영상 부호화 장치(1800)는 템플릿 결정부(1810), 정합 탐색 대상 영상 결정부(1820), 최적 예측 블록 결정부(1830), 잔여 블록 생성부(1840), 및 부호화부(1850)를 포함할 수 있다.
템플릿 결정부(1810)는, 복원된 주변 블록을 구성하는 화소 집합 및 부호화 대상 블록에 대한 예측 화소 집합 중 적어도 하나를 이용하여 부호화 대상 블록의 템플릿을 결정할 수 있다. 여기서, 복원된 주변 블록은 부호화 대상 블록과 이웃하는 블록들 중 이미 복원된 블록을 의미한다.
정합 탐색 대상 영상 결정부(1820)는 부호화 대상 블록이 속해 있는 영상의 부호화 정보, 주변 블록의 부호화 정보 및 사용자 정의 정보 중 적어도 하나를 이용하여 정합 탐색 대상 영상을 결정할 수 있다. 이때, 사용자 정의 정보는 SPS, PPS 등을 이용하여 영상 복호화 장치로부터 전송될 수 있다. 일례로, 정합 탐색 대상 영상 결정부(1820)는 복원된 참조 영상들 중에서 부호화 대상 블록이 속해 있는 영상의 영상 타입과 동일한 영상 타입을 갖는 하나 이상의 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
다른 예로, 정합 탐색 대상 영상 결정부(1820)는 복원된 참조 영상들 중에서 주변 블록의 참조 타입과 동일한 참조 타입을 갖는 하나 이상의 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
다른 예로, 정합 탐색 대상 영상 결정부(1820)는 사용자 정의 정보에 의해 정해진 참조 영상을 상기 정합 탐색 대상 영상으로 결정할 수 있다.
최적 예측 블록 결정부(1830)는 결정된 정합 탐색 대상 영상 및 부호화 대상 블록의 템플릿을 이용하여 최적 예측 블록을 결정할 수 있다. 일례로, 최적 예측 블록 결정부(1830)는 부호화 대상 블록의 템플릿과 하나 이상의 정합 대상 영역 간의 왜곡을 각각 계산하고, 계산된 왜곡이 최소인 정합 대상 영역에 해당하는 예측 블록을 최적 예측 블록으로 결정할 수 있다. 즉, 최적 예측 블록 결정부(1830)는 왜곡이 최소인 정합 대상 영역을 포함하는 정합 탐색 대상 영상을 선택하고, 선택된 정합 탐색 대상 영상에 포함된 예측 블록을 최적 예측 블록으로 결정할 수 있다.
다른 예로, 최적 예측 블록 결정부(1830)는 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도를 이용하여 최적 예측 블록을 결정할 수도 있다.
또 다른 예로, 예측 블록 결정부(1830)는 부호화 대상 블록의 템플릿과 예측 블록 간의 유사도를 모두 이용하여 최적 예측 블록을 결정할 수도 있다.
잔여 블록 생성부(1840)는 결정된 최적 예측 블록과 부호화 대상 블록을 이용하여 잔여 블록을 생성할 수 있다.
일례로, 잔여 블록 생성부(1840)는 부호화 대상 블록에서 최적 예측 블록을 감산하여 잔여 블록을 생성할 수 있다.
다른 예로, 잔여 블록 생성부(1840)는 오프셋을 이용하여 잔여 블록을 생성할 수도 있다. 이때, 잔여 블록 생성부(1840)는 최적 예측 블록에 오프셋을 가산하고, 오프셋이 가산된 최적 예측 블록과 부호화 대상 블록을 감산함에 따라 잔여 블록을 생성할 수 있다.
또 다른 예로, 잔여 블록 생성부(1840)는 최적 예측 블록을 필터링하고, 필터링된 최적 예측 블록과 부호화 대상 블록을 감산하여 잔여 블록을 생성할 수도 있다. 이때, 잔여 블록 생성부(1840)는 저역 통과 필터 또는 적응형 필터를 이용하여 최적 예측 블록을 필터링할 수 있다.
부호화부(1850)는 생성된 잔여 블록을 부호화한 후, 비트스트림을 영상 복호화 장치로 전송할 수 있다.
도 19는 본 발명의 일실시예에 따른 영상 복호화 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 1910 단계에서, 영상 복호화 장치는, 복호화 대상 블록의 템플릿을 결정할 수 있다.
이때, 영상 복호화 장치는, 복원된 주변 블록의 화소 집합 및 복호화 대상 블록에 대한 예측 화소 집합 중 적어도 하나를 이용하여 템플릿을 결정할 수 있다. 여기서, 복원된 주변 블록은, 복호화 대상 블록과 이웃하는 블록들 중에서 이미 복원된 블록이다.
이어, 1920 단계에서, 영상 복호화 장치는, 결정된 템플릿에 대한 정합 탐색 대상 영상을 결정할 수 있다.
이때, 영상 복호화 장치는, 복호화 대상 블록이 속해 있는 영상의 복호화 정보, 주변 블록의 복호화 정보, 및 SPS, PPS에 정의된 정합 탐색 대상 영상 정보 중 적어도 하나를 이용하여 결정된 템플릿과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정할 수 있다. 여기서, 복호화 대상 블록이 속해 있는 영상의 복호화 정보와 주변 블록의 복호화 정보를 이용하여 복원된 참조 영상들 중에서 정합 탐색 대상 영상을 결정하는 과정은 영상 부호화 장치와 동일하므로 중복되는 설명은 생략하기로 한다.
일례로, 정합 탐색 대상 영상 정보를 이용하는 경우, 영상 복호화 장치는, 정합 탐색 대상 영상 정보에 포함된 식별 정보에 기초하여 복원된 참조 영상들 중에서 식별 정보에 해당하는 하나 이상의 참조 영상을 선택할 수 있다. 그리고, 영상 복호화 장치는, 선택된 참조 영상을 정합 탐색 대상 영상으로 결정할 수 있다.
그리고, 1930 단계에서, 영상 복호화 장치는, 정합 탐색 대상 영상을 대상으로 복호화 대상 블록의 템플릿에 대한 정합 탐색을 수행하여 최적 예측 블록을 결정할 수 있다.
*이때, 영상 복호화 장치는, 복호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, 그리고 복호화 대상 블록의 템플릿과 예측 블록 간의 유사도 중 적어도 하나를 이용하여 최적 예측 블록을 결정할 수 있다. 여기서, 복호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, 복호화 대상 블록의 템플릿과 예측 블록 간의 유사도를 이용하여 최적 예측 블록을 결정하는 과정은 영상 부호화 장치와 동일하므로 중복되는 설명은 생략하기로 한다.
이어, 1940 단계에서, 영상 복호화 장치는, 최적 예측 블록 및 복원된 잔여 블록에 기초하여 복원 블록을 생성할 수 있다.
일례로, 영상 복호화 장치는, 영상 부호화 장치로부터 수신된 비트스트림을 역다중화하여 부호화된 잔여 블록을 추출할 수 있다. 그리고, 영상 복호화 장치는, 부호화된 잔여 블록을 복호화하여 잔여 블록을 복원할 수 있다. 그리고, 영상 복호화 장치는 복원된 잔여 블록과 복호화 대상 블록을 가산하여 복원 블록을 생성할 수 있다.
다른 예로, 영상 복호화 장치는, 최적 예측 블록에 오프셋을 더하고, 오프셋이 가산된 최적 예측 블록에 복원된 잔여 블록을 가산하여 복원 블록을 생성할 수 있다.
또 다른 예로, 영상 복호화 장치는, 최적 예측 블록을 필터링하고, 필터링된 최적 예측 블록에 복원된 잔여 블록을 가산함에 따라 복원 블록을 생성할 수 있다. 이때, 영상 복호화 장치는, 적응형 필터 또는 저역 통과 필터를 이용하여 최적 예측 블록을 필터링할 수 있다. 그리고, 영상 부호화 장치로부터 부호화된 필터 계수가 수신된 경우, 영상 복호화 장치는 부호화된 필터 계수를 복호화하고, 복호된 필터 계수를 이용하여 최적 예측 블록을 필터링할 수 있다.
도 20은 본 발명의 일실시예에 따른 영상 복호화 장치의 구성을 도시한 블록도이다.
도 20에 따르면, 영상 복호화 장치(2000)는 템플릿 결정부(2010), 정합 탐색 대상 영상 결정부(2020), 최적 예측 블록 결정부(2030), 및 복원 블록 생성부(2040)를 포함할 수 있다.
템플릿 결정부(2010)는 복원된 주변 블록의 화소 집합 및 복호화 대상 블록에 대한 예측 화소 집합 중 적어도 하나를 이용하여 템플릿을 결정할 수 있다.
정합 탐색 대상 영상 결정부(2020)는 복원된 참조 영상들 중에서 결정된 템플릿에 대한 정합 탐색 대상 영상을 결정할 수 있다.
이때, 정합 탐색 대상 영상 결정부(2020)는, 복호화 대상 블록이 속해 있는 영상의 복호화 정보, 주변 블록의 복호화 정보, 및 SPS, PPS 등에 정의된 정합 탐색 대상 영상 정보 중 적어도 하나를 이용하여 결정된 템플릿과 정합 탐색을 수행하는 정합 탐색 대상 영상을 결정할 수 있다. 이때, 정합 탐색 대상 영상 정보는 사용자의 의해 SPS, PPS 등에 정의될 수 있다.
최적 예측 블록 결정부(2030)는 결정된 정합 탐색 대상 영상을 대상으로 복호화 대상 블록의 템플릿에 대한 정합 탐색을 수행하여 최적 예측 블록을 결정할 수 있다.
이때, 최적 예측 블록 결정부(2030)는 복호화 대상 블록의 템플릿과 정합 대상 영역 간의 왜곡, 그리고 복호화 대상 블록의 템플릿과 예측 블록 간의 유사도 중 적어도 하나를 이용하여 최적 예측 블록을 결정할 수 있다.
복원 블록 생성부(2040)는 최적 예측 블록 및 복원된 잔여 블록에 기초하여 복원 블록을 생성할 수 있다.
이때, 복원 블록 생성부(2040)는 최적 예측 블록과 복원된 잔여 블록을 가산하여 복원 블록을 생성할 수 있다.
또한, 복원 블록 생성부(2040)는 최적 예측 블록에 오프셋을 가산하고, 오프셋이 가산된 최적 예측 블록과 복원된 잔여 블록을 더하여 복원 블록을 생성할 수 있다. 여기서, 오프셋은 영상 부호화 장치와 동일한 방법을 이용하여 계산될 수 있으므로 자세한 설명은 생략하기로 한다.
또한, 복원 블록 생성부(2040)는 최적 예측 블록을 필터링하고, 필터링된 최적 예측 블록과 복원된 잔여 블록을 더하여 복원 블록을 생성할 수 있다.
상기 기술된 블록은 영상 부호화 및 복호화의 단위를 의미한다. 이때, 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위라 함은, 하나의 영상을 세분화 된 블록으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 의미한다. 이에 따라, 부호화 혹은 복호화 단위는, 블록, 매크로 블록, 부호화 유닛 (coding unit) 또는 예측 유닛 (prediction unit) 등을 포함할 수 있다. 이때, 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.
본 명세서에서 사용되는 용어들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1800: 영상 부호화 장치
1810: 템플릿 결정부
1820: 정합 탐색 대상 영상 결정부
1830: 최적 예측 블록 결정부
1840: 잔여 블록 생성부
1850: 부호화부
2000: 영상 복호화 장치
2010: 템플릿 결정부
2020: 정합 탐색 대상 영상 결정부
2030: 최적 예측 블록 결정부
2040: 복원 블록 생성부

Claims (1)

  1. 복호화 대상 블록 이전에 복원된 영상을 기반으로, 상기 복호화 대상 블록의 예측 블록을 생성하는 단계;
    상기 복호화 대상 블록의 템플릿을 기초로 상기 예측 블록에 가산되는 오프셋을 산출하는 단계; 여기서, 상기 복호화 대상 블록의 템플릿은 상기 복호화 대상 블록의 좌측에 인접한 복원된 주변 블록들로 구성된 복수의 화소들을 이용하여 결정됨,
    상기 산출된 오프셋을 상기 예측 블록에 가산하는 단계; 및
    상기 오프셋이 가산된 예측 블록에 상기 복호화 대상 블록의 잔여 블록을 가산하여 상기 복호화 대상 블록을 복원하는 단계를 포함하는 영상 복호화 방법.
KR1020180025655A 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 KR101950014B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100066326 2010-07-09
KR20100066326 2010-07-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132961A Division KR101836981B1 (ko) 2010-07-09 2010-12-23 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016895A Division KR102011491B1 (ko) 2010-07-09 2019-02-13 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180026702A true KR20180026702A (ko) 2018-03-13
KR101950014B1 KR101950014B1 (ko) 2019-02-19

Family

ID=45611869

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020100132961A KR101836981B1 (ko) 2010-07-09 2010-12-23 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020180025656A KR101928851B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020180025655A KR101950014B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020180025657A KR101950015B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020180025654A KR101928850B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020190016895A KR102011491B1 (ko) 2010-07-09 2019-02-13 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020100132961A KR101836981B1 (ko) 2010-07-09 2010-12-23 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020180025656A KR101928851B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020180025657A KR101950015B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020180025654A KR101928850B1 (ko) 2010-07-09 2018-03-05 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR1020190016895A KR102011491B1 (ko) 2010-07-09 2019-02-13 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Country Status (2)

Country Link
US (1) US9025893B2 (ko)
KR (6) KR101836981B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102319384B1 (ko) * 2014-03-31 2021-10-29 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치
US11263646B1 (en) * 2014-03-31 2022-03-01 Groupon, Inc. Systems, apparatus, and methods of programmatically determining unique contacts
KR101912769B1 (ko) * 2014-10-24 2018-10-29 엘지전자 주식회사 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
WO2018174618A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 참조 블록을 사용하는 예측 방법 및 장치
US11956460B2 (en) 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
WO2024076220A1 (ko) * 2022-10-07 2024-04-11 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090116759A1 (en) * 2005-07-05 2009-05-07 Ntt Docomo, Inc. Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR20090095012A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
KR20100079037A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 비디오 영상 부호화 방법 및 장치
JP5869493B2 (ja) * 2009-12-08 2016-02-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US9516341B2 (en) * 2010-01-19 2016-12-06 Thomson Licensing Methods and apparatus for reduced complexity template matching prediction for video encoding and decoding
KR101885258B1 (ko) * 2010-05-14 2018-08-06 삼성전자주식회사 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090116759A1 (en) * 2005-07-05 2009-05-07 Ntt Docomo, Inc. Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
KR101836981B1 (ko) 2018-03-09
KR20180026703A (ko) 2018-03-13
KR20180026704A (ko) 2018-03-13
KR102011491B1 (ko) 2019-08-16
KR101950015B1 (ko) 2019-02-19
KR20190017858A (ko) 2019-02-20
KR101928850B1 (ko) 2018-12-13
US20130108184A1 (en) 2013-05-02
KR20180026701A (ko) 2018-03-13
KR101950014B1 (ko) 2019-02-19
KR101928851B1 (ko) 2018-12-13
US9025893B2 (en) 2015-05-05
KR20120005927A (ko) 2012-01-17

Similar Documents

Publication Publication Date Title
KR101928850B1 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR101590511B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR101869459B1 (ko) 블록-기반의 혼합된-해상도 데이터 프루닝을 이용하는 비디오 디코딩
US20120269268A1 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
KR101857755B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US20090238283A1 (en) Method and apparatus for encoding and decoding image
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9838709B2 (en) Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
KR20130105855A (ko) 예제 기반 데이터 프루닝을 이용한 비디오 부호화
US9888248B2 (en) Method and apparatus for generating encoded motion information /recovering motion information using motion information integration, and image encoding/decoding method and apparatus using same
KR20080069069A (ko) 인트라/인터 예측 방법 및 장치
US20120320985A1 (en) Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
US20230291931A1 (en) Method and device for deriving inter-view motion merging candidate
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
KR101582495B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101582493B1 (ko) 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
WO2012005537A2 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
JP2008017304A (ja) 画像符号化装置、画像復号装置、画像符号化方法、及び画像符号化するプログラム
KR20120079561A (ko) 선택적 다중 예측을 통한 적응적 인트라 예측 부호화/복호화 장치 및 방법
KR20130097958A (ko) 움직임 정보 부호화/복호화 장치 및 움직임 정보를 부호화/복호화하는 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant