WO2013025065A2 - 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법 - Google Patents

정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
WO2013025065A2
WO2013025065A2 PCT/KR2012/006528 KR2012006528W WO2013025065A2 WO 2013025065 A2 WO2013025065 A2 WO 2013025065A2 KR 2012006528 W KR2012006528 W KR 2012006528W WO 2013025065 A2 WO2013025065 A2 WO 2013025065A2
Authority
WO
WIPO (PCT)
Prior art keywords
filter
unit
prediction
block
information
Prior art date
Application number
PCT/KR2012/006528
Other languages
English (en)
French (fr)
Other versions
WO2013025065A3 (ko
Inventor
이충구
김민성
이을호
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Priority to EP12824324.3A priority Critical patent/EP2747426A4/en
Priority to CN201280040241.8A priority patent/CN103733624A/zh
Priority to US14/238,197 priority patent/US20140192876A1/en
Publication of WO2013025065A2 publication Critical patent/WO2013025065A2/ko
Publication of WO2013025065A3 publication Critical patent/WO2013025065A3/ko
Priority to US14/523,047 priority patent/US20150043650A1/en
Priority to US14/523,001 priority patent/US20150043649A1/en
Priority to US14/522,964 priority patent/US20150043647A1/en
Priority to US14/522,981 priority patent/US20150043648A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

영상의 부호화/복호화 방법은 움직임 보상 화면간 예측에 사용되는 보간 필터를 픽춰 단위 보다 정밀한 단위-상기 정밀한 단위는 슬라이스(slice) 단위 및 파티션 단위 중 적어도 하나를 포함함-별로 선택하여 서브-픽셀값을 산출한다. 따라서, HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상에서의 부호화 정밀도를 향상시킬 수 있다.

Description

정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
본 발명은 영상의 부호화/ 복호화 방법 및 장치에 관한 것이다.
일반적으로 영상 압축 방법에서는 압축 효율을 높이기 위해 픽쳐들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.
화면간 예측을 이용해 영상을 부호화하는 방법은 픽춰들 사이의 시간적인 중복성(spatial redundancy)을 제거하여 영상을 압축하는 방법으로서 대표적으로 움직임 보상 예측 부호화 방법이 있다.
움직임 보상 예측 부호화는 현재 부호화되는 픽춰의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽춰에서 현재 부호화되는 블록과 유사한 영역을 검색하여 움직임 벡터(MV: Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록과 현재 블록의 잔여값(residue)을 DCT(Discrete Cosine Transform) 변환하고 양자화한 후 엔트로피 부호화하여 전송한다.
움직임 보상 화면간 예측의 경우, 하나의 픽춰를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 움직임 벡터(MV)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행한다. 움직임 보상을 수행하여 얻어지는 각각의 예측 블록에 대한 개별적인 움직임 파라미터는 디코더로 전송된다.
움직임 벡터들은 비-정수 값들을 가질 수 있기 때문에, 움직임 보상 화면간 예측은 비-정수 위치들에서 참조 픽춰의 화소값들을 평가하는 것을 필요로 한다. 비-정수 위치에서의 화소값은 서브-픽셀 값으로 지칭되고 이러한 값을 결정하는 과정을 보간(interpolation)이라고 한다. 서브-픽셀값의 계산은 참조 픽춰의 정수 픽셀의 주위 픽셀들에 대해 필터 계수를 적용하여 필터링함으로써 행해진다. 예를 들어, H.264/AVC의 경우 P 픽춰의 경우 필터 계수들((1, -5, 20, 20, -5, 1)/32)을 지닌 6-탭 보간 필터를 사용하여 예측된다. 일반적으로 더 높은 차수의 필터들을 사용할 경우 더 나은 움직임 예측 성능을 가져오지만, 그 만큼 디코더로 전송할 보간 필터의 필터 계수의 전송량이 증가하게 되는 단점이 있다.
움직임 보상 예측 부호화시 적응적 보간 필터(Adaptive Interpolation Filter; AIF)에 관련된 선행 문헌으로는 "학습 기반 초 고해상도 기법을 이용한 매크로블록 단위 적응적 보간 필터"(대한전자공학회 2010년 하계종합학술대회, 조재현, 이태환, 송병철 저, 2010년 6월 발표) 및 한국공개특허 제10-2010-0045549호(발명의 명칭 "적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치")가 있다.
본 발명의 제1 목적은 HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상에서의 부호화 정밀도를 향상시키기 위한 영상 부호화 방법 및 부호화 장치를 제공하는 것이다.
본 발명의 제2 목적은 HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상에서의 부호화 정밀도를 향상시키기 위한 영상 복호화 방법 및 복호화 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 부호화 방법은 입력 영상에 대해 화면간 예측을 위한 예측 유닛을 생성하는 단계와, 상기 예측 유닛에 대한 움직임 보상 화면간 예측을 수행하는 단계를 포함하되, 상기 예측 유닛에 대한 움직임 보상 화면간 예측을 수행하는 단계는 상기 움직임 보상 화면간 예측에 사용되는 필터를 픽춰 단위 보다 정밀한 단위-상기 정밀한 단위는 슬라이스(slice) 단위 및 티션 단위 중 적어도 하나를 포함함-별로 선택하여 서브-픽셀값을 산출하는 단계를 포함한다. 상기 예측 유닛에 대한 움직임 보상 화면간 예측을 수행하는 단계는 상기 예측 유닛에 대한 파티션 분할후 현재 블록의 주변 샘플들을 포함하는 병합 가능 블록 집합에 속하는 샘플들을 상기 현재 블록과 병합하는 블록 병합을 수행하는 단계와, 상기 움직임 보상 화면간 예측에 사용되는 필터의 필터 정보-상기 필터 정보는 필터 인덱스 및 필터 계수 중 적어도 하나를 포함함-를 상기 정밀한 단위별로 선택하여 서브-픽셀값을 산출하는 단계를 포함할 수 있다. 상기 병합된 블록에 대해서는 동일한 필터 정보를 할당하여 복호화기로 전송할 수 있다. 상기 병합 가능 블록 집합은 비대칭(asymmetric) 파티션닝(partitioning)에 의해 생성된 블록 및 기하학적(geometrical) 파티션닝(partitioning)에 의해 생성된 블록 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 복호화 방법은 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화 및 역변환하여 잔여값을 복원하는 단계와, 예측 유닛 정보 및 움직임 파라미터를 이용하여 예측 유닛을 생성하는 단계와, 픽춰 단위 보다 정밀한 단위-상기 정밀한 단위는 슬라이스(slice) 단위 및 파티션 단위 중 적어도 하나를 포함함-별로 선택하여 부호화된 필터 정보-상기 필터 정보는 필터 인덱스 및 필터 계수 중 적어도 하나를 포함함-를 이용하여 상기 예측 유닛에 대해 화면간 예측을 수행하는 단계와, 상기 화면간 예측이 수행된 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함한다. 상기 예측 유닛에 대한 파티션 분할후 병합 가능 블록 집합에 속하는 블록들 중 현재 블록과 병합된 블록에 대해서는 동일한 필터 정보를 가질 수 있다. 상기 필터 정보는 움직임 보상 화면간 예측에 사용되는 필터의 필터 정보가 될 수 있다. 상기 병합 가능 블록 집합은 비대칭(asymmetric) 파티션닝(partitioning)에 의해 생성된 블록 및 기하학적(geometrical) 파티션닝(partitioning)에 의해 생성된 블록 중 적어도 하나를 포함할 수 있다. 상기 엔트로피 복호화를 통해 복호화된 헤더 정보에는 예측 유닛 정보, 움직임 보상 및 예측을 위한 움직임 파라미터 및 필터 정보를 포함할 수 있다.
또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상의 복호화 장치는 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하는 역양자화 및 역변환부와, 예측 유닛 정보 및 움직임 파라미터를 이용하여 예측 유닛을 생성하는 움직임 보상부와, 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 가산부를 포함하되, 상기 움직임 보상부는 픽춰 단위 보다 정밀한 단위-상기 정밀한 단위는 슬라이스(slice) 단위 및 파티션 단위 중 적어도 하나를 포함함-별로 선택하여 부호화된 필터 정보-상기 필터 정보는 필터 인덱스 및 필터 계수 중 적어도 하나를 포함함-를 이용하여 상기 예측 유닛에 대해 화면간 예측을 수행한다.
상술한 바와 같은 영역 병합 또는 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법에 따르면, HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상에서의 움직임 보상 화면간 예측에 사용되는 보간 필터 또는 디블록킹 필터이후에 사용되는 적응적 루프 필터(Adaptive Loop Filter; ALF)를 픽춰 단위 보다 더 정밀한 단위-예를 들어 슬라이스(slice) 단위 또는 파티션 단위(상기 파티션 단위는 확장 매크로 블록, 매크로 블록, 또는 블록을 포함할 수 있음)-별로 선택함으로써 부호화 정밀도를 향상시킬 수 있다. 그 결과, 픽셀 단위로 필터의 필터 정보를 디코더로 전송하는 경우에 비하여 전송할 부가 정보의 양을 줄여 부호화 효율을 향상시킬 수 있고 디코더 복잡도도 감소할 수 있다.
또한, 움직임 보상 화면간 예측에 사용되는 보간 필터 또는 적응적 루프 필터(ALF)의 필터 정보-필터 인덱스 또는 필터 계수-의 전송 단위로 영역 단위 또는 파티션 단위를 사용할 경우 영역 병합 또는 블록 병합을 이용하여 병합된 블록 전체 또는 병합된 영역 전체를 필터 정보의 전송 단위로 사용함으로써 디코더로 전송할 부가 정보의 양을 줄임으로써 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다.
또한, 움직임 보상 화면간 예측에 사용되는 보간 필터 또는 적응적 루프 필터(ALF)의 필터 정보-필터 인덱스 또는 필터 계수-를 픽취 단위보다 더 작은 영역(region) 단위별로 부호화하여 전송할 경우 기존의 하나의 픽춰당 단일의 필터(single filter)를 사용하는 경우에 비하여 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 순환적 코딩 유닛 구조를 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 필터를 슬라이스 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 3은 본 발명의 다른 실시예에 따른 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 다른 실시예에 따른 필터를 비대칭적 파티션(asymmetric partitioning) 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 5는 예측 유닛(PU)에 대해 정사각형이외의 모양을 가지는 기하학적 파티션(geometric partition) 분할을 하는 경우의 일실시예를 나타낸 것이다.
도 6은 본 발명의 다른 실시예에 따른 필터를 정사각형이외의 모양을 가지는 기하학적 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 필터를 정사각형이외의 모양을 가지는 기하학적 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 8은 본 발명의 다른 실시예에 따른 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning)의 경우 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 11은 본 발명의 다른 실시예에 따른 기하학적 파티션 분할(geometrical partitioning)의 경우 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 12 및 도 13은 본 발명의 다른 실시예에 따른 기하학적 파티션 분할(geometrical partitioning)의 경우 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 14는 본 발명의 일 실시예에 따른 슬라이스 또는 파티션 단위로 필터를 선택하여 부호화하기 위한 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 15는 본 발명의 일 실시예에 따른 슬라이스 또는 파티션 단위로 필터를 선택하여 부호화하기 위한 영상 부호화 방법을 나타내는 흐름도이다.
도 16는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 17은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 일실시예에서는 HD(High Definition)급 이상의 해상도를 가지는 고해상도에 적용하기 위하여 32x32 픽셀 크기 이상의 확장 매크로블록(Extended Macroblock) 크기를 이용하여 화면간/화면내 예측, 변환, 양자화, 엔트로피 부호화등의 부호화와 복호화를 수행할 수도 있고, 하기 설명하는 순환적(recursive) 코딩 유닛(Coding Unit; CU) 구조를 사용하여 부호화 및 복호화를 수행할 수도 있다.
이하에서, 서브-픽셀값 보간은 화상의 휘도(luma) 및 색(chroma) 성분들 양자에 적용될 수 있다. 여기에서는 설명의 단순화를 위하여 휘도 성분의 서브-픽셀값들의 보간만을 예로 들어 설명한다.
도 1은 본 발명의 일 실시예에 따른 순환적 코딩 유닛 구조를 나타낸 개념도이다.
도 1을 참조하면, 각 코딩 유닛(CU)은 정사각형 모양을 가지며, 각 코딩 유닛(CU)은 2N X 2N(단위 pixel) 크기의 가변적인 크기를 가질 수 있다. 화면간 예측, 화면내 예측, 변환, 양자화 및 엔트로피 부호화는 코딩 유닛(CU) 단위로 이루어질 수 있다. 코딩 유닛(CU)은 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)를 포함할 수 있으며, 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)의 크기는 8이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다.
본 발명의 일 실시예에 따른 코딩 유닛(CU)은 순환적인 트리 구조를 가질 수 있다. 도 1은 최대 코딩 유닛(LCU)인 CU0의 한변의 크기(2N0)가 128(N0=64)이고, 최대 계층 레벨(level) 또는 계층 깊이(depth)가 5인 경우를 나타낸다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그(flag)값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩(coding)은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk+1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk+1 X Nk+1가 된다. 이 경우 코딩 유닛(CUk+1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달할 때까지 코딩 유닛(CUk+1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk+1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)-도 2에서는 4인 경우를 예로 들었음-과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.
최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)는 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)를 포함할 수 있다. 예를 들어, 도 1의 경우는 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위 pixel)인 경우, 128 X 128(LCU), 64 X 64, 32 X 32, 16 X 16 및 8 X 8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.
상기와 같은 본 발명의 일 실시예에 따른 순환적 코딩 유닛 구조를 사용할 경우의 장점은 다음과 같다.
첫째, 기존의 16 X 16 매크로블록보다 큰 사이즈를 지원할 수 있다. 만약 관심 이미지 영역이 균일(homogeneous)하다면, 큰 코딩 유닛(LCU)은 여러 개의 작은 블록들을 사용하는 경우보다 관심 이미지 영역을 더 적은 개수의 심볼들로 표시할 수 있다.
둘째, 고정된 크기의 매크로블록을 사용하는 경우에 비하여 임의의 다양한 크기를 가지는 최대 코딩 유닛(LCU)을 지원함으로써 코덱은 다양한 콘텐츠, 애플리케이션 및 장치에 용이하게 최적화될 수 있다. 즉, 최대 코딩 유닛(LCU) 크기 및 최대 계층 레벨(level) 또는 최대 계층 깊이(depth)를 적절히 선택함으로써, 상기 계층적 블록 구조는 목표로 하는 애플리케이션에 보다 더 최적화 될 수 있다.
셋째, 매크로블록, 서브-매크로블록, 확장 매크로 블록을 구분하지 않고 코딩 유닛(LCU)이라는 한 개의 단일 유닛 형태를 사용함으로써, 멀티레벨 계층적 구조를 최대 코딩 유닛(LCU) 크기, 최대 계층 레벨(level)(또는 최대 계층 깊이(depth)) 및 일련의 플래그를 이용하여 매우 간단하게 나타낼 수 있다. 크기 독립적(size-independent)인 신택스 표현(syntax representation)과 함께 사용될 경우 나머지 코딩 툴들에 대한 하나의 일반화된 크기의 신택스 아이템을 명시하는데 충분하게 되며, 이러한 일관성이 실제 파싱 과정등을 단순화 시킬 수 있다. 계층 레벨(level)(또는 최대 계층 깊이(depth))의 최대값은 임의값을 가질 수 있으며 기존의 H.264/AVC 부호화 방식에서 혀용된 값보다 더 큰 값을 가질 수 있다. 크기 독립적 신택스 표현을 사용하여 코딩 유닛(CU)의 크기에 독립적으로 일관된 방식으로 모든 신택스 엘리먼트(syntax elements)를 명시할 수 있다. 코딩 유닛(CU)에 대한 분할 과정(splitting process)은 순환적으로 명시될 수 있고, 말단 코딩 유닛(leaf coding unit)-계층 레벨의 마지막 코딩 유닛-에 대한 다른 신택스 엘리먼트들은 코딩 유닛 크기에 무관하게 동일한 크기로 정의될 수 있다. 상기와 같은 표현법은 파싱 복잡도를 줄이는 데 매우 효과적이며, 큰 계층 레벨 또는 계층 깊이가 허용되는 경우 표현의 명료성이 향상될 수 있다.
상기와 같은 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 노드에 대해 화면간 예측 또는 화면내 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 화면간 예측 또는 화면내 예측의 기본 단위인 예측 유닛(Prediction Unit; PU)으로 사용된다.
즉, 화면간 예측 또는 화면내 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행 된다. 파티션 분할은 예측 유닛(PU)에 대해 수행된다. 여기서, 에측 유닛(PU)는 화면간 예측 또는 화면내 예측을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위가 될 수도 있다.
예측과 관련된 정보(움직임 벡터, 움직임 벡터의 차이값등)는 화면간 예측의 기본 단위인 예측 유닛별로 디코더로 전송된다.
상기 화면간 예측 또는 화면내 예측을 위한 파티션 분할은 비대칭적 파티션 분할(asymmetric partitioning) 방식으로 이루어질 수도 있고, 정사각형이외의 임의의 모양을 가지는 기하학적 파티션 분할(geometrical partitioning) 방식으로 이루어질 수도 있고, 에지 방향에 따른 파티션 분할 방식으로 이루어질 수도 있다.
움직임 보상 화면간 예측의 경우, 하나의 픽춰를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 움직임 벡터(MV)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행한다. 움직임 벡터들은 비-정수 값들을 가질 수 있기 때문에, 움직임 보상 화면간 예측은 비-정수 위치들에서 참조 픽춰의 서브-픽셀값들을 계산하기 위하여 보간 필터(Interpolation Filter)를 사용한다. 즉, 서브-픽셀값의 계산은 참조 픽춰의 정수 픽셀의 주위 픽셀들에 대해 필터 계수를 적용하여 필터링함으로써 행해진다. 더 높은 차수의 필터들을 사용할 경우 더 나은 움직임 예측 성능을 가져오지만, 그 만큼 디코더로 전송할 보간 필터의 필터 계수의 전송량이 증가하게 된다.
따라서, 본 발명의 실시예들에 따른 보간 필터의 적응적 사용 방법은 하나의 픽춰내에서 최적의 보간 필터는 픽춰내의 영역에 따라 다를 수 있다는 실험 결과에 근거하여 보간 필터를 픽춰 단위 보다 더 정밀한 단위- 예를 들어 슬라이스(slice) 단위 또는 파티션 단위(상기 파티션 단위는 확장 매크로 블록, 매크로 블록, 또는 블록을 포함할 수 있음)로 선택하여 사용함으로써 부호화/복호화를 수행한다.
이하, 본 발명의 실시예들에 따른 움직임 보상 화면간 예측에 사용되는 보간 필터를 픽춰 단위 보다 더 정밀한 단위-예를 들어 슬라이스(slice) 단위 또는 파티션 단위(상기 파티션 단위는 확장 매크로 블록, 매크로 블록, 또는 블록을 포함할 수 있음)-로 선택하여 사용함으로써 부호화/복호화하는 방법에 대해 구체적으로 설명한다. 여기서, 상기 픽춰 단위 보다 더 정밀한 단위는 픽춰 단위 보다 더 작은 영역(region) 단위가 될 수 있다. 상기 영역(region)은 픽춰(picture) 단위 보다 더 작고 화소(pixel)보다는 더 큰 단위가 될 수 있다. 픽춰(picture) 단위 보다 더 작고 화소(pixel)보다는 더 큰 영역(region) 단위는, 예를 들어, 적어도 하나의 블록(block), 서브 블록(sub block), 매크로 블록, 확장 매크로 블록, 슬라이스(slice), 코딩 유닛(Coding Unit), 최대 코딩 유닛(Largest Coding Unit; LCU), 최소 코딩 유닛(Smallest Coding Unit; SCU), 예측 유닛(Prediction Unit), 파티션(partition), 또는 그룹(group)으로 이루어진 기본 유닛 또는 상기 기본 유닛이 복수개로 이루어진 기본 유닛들의 집합(set)으로 이루어진 기본 유닛 집합이 될 수 있다. 하나의 픽춰는, 예를 들어, 16 x 16 픽셀로 이루어진 균등한 크기를 가진 영역(region) 단위로 분할 될 수 있다.
상기 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 정보는 상기와 같이 픽춰 단위 보다 더 정밀한 영역(region) 단위로 선택하여 사용되어 디코더로 전송될 수 있으며, 상기 영역 단위는 전체 픽춰 또는 하나의 픽춰내에서 균등한 크기를 가질 수도 있지만, 각 픽춰별로 서로 다른 크기를 가질 수도 있으며, 동일한 픽춰내에서도 서로 다른 크기를 가지도록 적응적으로 조절될 수도 있다.
상기 영역(region)의 크기 정보는 슬라이스 헤더 또는 PPS(Picture Parameter Set)에 포함되어 디코더로 전송될 수 있다. 상기 보간 필터의 필터 정보는 슬라이스 헤더 또는 PPS(Picture Parameter Set)에 포함되어 디코더로 전송될 수 있다. 상기 보간 필터의 온-오프 정보는 슬라이스 헤더 또는 PPS(Picture Parameter Set)에 포함되어 디코더로 전송될 수 있다. 예를 들어, 상기 보간 필터의 필터 정보는 PPS에 포함되어 디코더로 전송되고 상기 보간 필터의 온-오프 정보는 각각의 슬라이스 헤더에 포함되어 디코더로 전송될 수 있다.
상기 영역의 형태는 정사각형 형태의 대칭적인 모양을 가질 수도 있고, 직사각형과 같은 비대칭적(asymmetric) 모양, ㄱ자 모양, 삼각형 모양등과 같은 다양한 기하학적 모양을 가질 수도 있다.
하나의 픽춰에서 분할된 복수의 영역들(regions)은 디코더로 전송할 부가 정보-예를 들어, 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 정보, 상기 보간 필터의 온-오프 정보-의 양을 줄이기 위해서 적어도 2개의 영역들이 병합되어 병합된 영역들 전체를 상기 부가정보의 전송 단위로 사용함으로써 디코더로 전송할 부가 정보의 양을 줄임으로써 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다. 상기 병합되는 적어도 2개의 영역들은 특정 영역에 대하여 상단(top) 주변 영역 및/또는 좌측(left) 주변 영역이 될 수도 있고, 상기 특정 영역을 둘러싼 적어도 2개의 주변 영역들이 될 수도 있고, 하나의 픽춰내에서 수직방향으로 배열된 적어도 2개의 열(column)들에 속하는 영역들이 될수도 있고, 하나의 픽춰내에서 수평방향으로 배열된 적어도 2개의 행(row)들에 속하는 영역들이 될수도 있다.
도 2는 본 발명의 일 실시예에 따른 필터를 슬라이스 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 2를 참조하면, 시간 t에 대한 현재 픽처(Pt)는 시간 t에서의 후보 필터 집합(CFSt)에 속하는 후보 필터들- 예를들어 F1, F2, F3 세개의 필터- 중에서 최적의 하나의 필터를 선택하여 사용한다. 복수의 필터들은 필터 인덱스(filter index)로 서로 구분될 수 있다. 필터 인덱스는 선택된 필터들을 구분하기 위한 식별자이다. 필터 인덱스는 선택된 필터에 대한 필터 정보에 포함되어 복호화기로 전송될 수 있다. 이하, 상기 필터는 예를 들어 움직임 보상 화면간 예측시에 사용되는 보간 필터가 될 수 있다.
또한, 시간 t에 대한 현재 픽처(Pt) 내에서 슬라이스 단위로 시간 t에서의 후보 필터 집합(CFSt)에 속하는 후보 필터들- 예를들어 F1, F2, F3 세개의 필터- 중에서 최적의 하나의 필터를 선택하여 사용할 수 있다. 즉, 현재 픽처(Pt)의 슬라이스 별로 최적의 필터를 선택할 수 있으며, 따라서 선택된 최적의 필터는 현재 픽처(Pt)의 슬라이스(slice #0, slice #1, slice #2, ...slice #N) 별로 서로 다른 필터가 될 수 있다. 예를 들어, 현재 픽처(Pt)의 슬라이스 번호 0(slice #0)에 대해서는 후보 필터 집합(CFSt)에 속하는 후보 필터들 중에서 F1 필터를 선택하고, 현재 픽처(Pt)의 슬라이스 번호 1(slice #1)에 대해서는 후보 필터 집합(CFSt)에 속하는 후보 필터들 중에서 F2 필터를 선택할 수 있다. 또는, 선택된 최적의 필터는 현재 픽처(Pt)의 슬라이스별로 동일한 필터가 될 수도 있다. 예를 들어, 현재 픽처(Pt)의 슬라이스 번호 0에 대해서는 후보 필터 집합(CFSt)에 속하는 후보 필터들 중에서 F1 필터를 선택하고, 현재 픽처(Pt)의 슬라이스 번호 1에 대해서도 후보 필터 집합(CFSt)에 속하는 후보 필터들 중에서 F1 필터가 선택될 수 있다.
현재 픽처(Pt)의 슬라이스 별 최적의 필터 선택은 율-왜곡 최적화 기준(Rate-distortion optimization criterion)에 따라서 후보 필터 집합(Candidate Filter Set; CFS)에 속하는 필터들 중에서 필터를 선택할 수 있다.
시간 t에 대한 현재 픽처(Pt) 내에서 슬라이스 단위로 시간 t에서의 후보 필터 집합(CFSt)에 속하는 후보 필터들- 예를들어 F1, F2, F3 세개의 필터- 중에서 최적의 하나의 필터를 선택함으로써 픽처 단위보다 더 정밀한 슬라이스 단위로 필터 정보-필터 인덱스 또는 필터 계수-를 전송할 수 있게 되어 부호화 정밀도를 향상시킬 수 있다.
도 3은 본 발명의 다른 실시예에 따른 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
여기서, 파티션(partition)은 확장 매크로 블록(EMB), 매크로 블록(MB), 또는 블록을 포함할 수 있다. 확장 매크로 블록 크기는 32 X 32 픽셀 크기 이상을 의미하며, 예를 들어, 32 X 32 픽셀, 64 X 64 픽셀, 또는 128 X 128 픽셀 크기를 포함할 수 있다. 매크로 블록 크기는 예를 들어 16 X 16 픽셀이 될 수 있다.
도 3에서는 파티션이 64 X 64 픽셀, 32 X 32 픽셀, 16 X 16 픽셀로 이루어진 경우를 예로 들어 파티션과 필터 인덱스(filter indices)간의 관계를 도시한 것이다. 도 3의 좌측 64 X 64 파티션은 64 X 64 파티션이 64 X 64 픽셀 크기의 확장 매크로 블록인 경우를 나타내며, 도 3의 가운데 그림은 64 X 64 파티션이 4개의 32 X 32 픽셀 크기의 파티션으로 분할된 경우로서, 32 X 32 픽셀 크기의 파티션이 32 X 32 픽셀 크기의 확장 매크로 블록인 경우를 나타낸다. 도 3의 우측 그림은 64 X 64 파티션이 4개의 32 X 32 픽셀 크기의 파티션으로 분할되고, 다시 좌측 하단의 32 X 32 파티션이 4개의 16 X 16 파티션으로 분할된 경우로서, 32 X 32 픽셀 크기의 파티션이 32 X 32 픽셀 크기의 확장 매크로 블록이고 16 X 16 픽셀 크기의 파티션이 16 X 16 픽셀 크기의 매크로 블록인 경우를 나타낸다.
예를 들어, 도 3의 좌측 64 X 64 파티션은 율-왜곡 최적화를 통해 64 X 64 파티션이 한 개의 64 X 64 블록으로 선택되는 경우로서, 64 X 64 파티션에 대해 한 개의 필터 인덱스 Ix가 복호화기로 전송된다.
예를 들어, 도 3의 가운데 64 X 64 파티션은 4개의 32 X 32 파티션 각각에 대해 한 개의 필터 인덱스가 복호화기로 전송된다. 여기서, 4개의 32 X 32 파티션 각각에 대해 도 3의 가운데 그림과 같이 율-왜곡 최적화를 통해 서로 다른 필터 인덱스가 선택될 수도 있고(Ix0, Ix1, Ix2, Ix3), 4개의 32 X 32 파티션에 대해 율-왜곡 최적화를 통해 일부 동일하거나 전부 동일한 필터 인덱스가 선택될 수도 있다.
예를 들어, 도 3의 우측 64 X 64 파티션은 3개의 32 X 32 파티션 각각에 대해 한 개의 필터 인덱스가 복호화기로 전송되고, 4개의 32 X 32 파티션 각각에 대해 한 개의 필터 인덱스가 복호화기로 전송되어 최대 7개의 필터 인덱스가 사용될 수 있다. 여기서, 4개의 32 X 32 파티션 각각에 대해 도 3의 가운데 그림과 같이 율-왜곡 최적화를 통해 서로 다른 필터 인덱스가 선택될 수도 있고(Ix0, Ix1, Ix2, Ix3), 4개의 32 X 32 파티션에 대해 율-왜곡 최적화를 통해 일부 동일하거나 전부 동일한 필터 인덱스가 선택될 수도 있다.
64 X 64 파티션은 16개의 16 X 16 파티션으로 분할될 경우 최대 16개의 필터 인덱스가 사용될 수 있다.
도 4는 본 발명의 다른 실시예에 따른 필터를 비대칭적 파티션(asymmetric partitioning) 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
화면간 예측 또는 화면내 예측을 위한 예측 유닛(PU)의 크기가 M X M(M은 자연수로서 단위는 pixel)인 경우 코딩 유닛의 수평방향으로 비대칭적 파티션 분할을 하거나 또는 수직방향으로 비대칭적 파티션 분할을 할 수 있다. 도 4에서는 예측 유닛(PU)의 크기가 예를 들어 64 X 64인 경우에 대해 도시하였다.
도 4를 참조하면, 수평 방향으로 비대칭적 파티션 분할을 하여 64 X 16 픽셀 크기의 파티션 P11a와 64 X 48 픽셀 크기의 P21a로 분할하거나, 64 X 48 픽셀 크기의 파티션 P12a와 64 X 16 픽셀 크기의 P22a로 분할할 수 있다. 또한, 수직 방향으로 비대칭적 파티션 분할을 하여 16 X 64 픽셀 크기의 파티션 P13a와 48 X 64 픽셀 크기의 P23a로 분할하거나, 48 X 64 픽셀 크기의 파티션 P14a와 16 X 64 픽셀 크기의 P24a로 분할할 수 있다.
도 4의 64 X 16 파티션, 64 X 48 파티션, 16 X 64 파티션, 48 X 64 파티션 각각에 대해서 한 개의 필터 인덱스가 복호화기로 전송된다. 여기서, 64 X 64 파티션 내의 64 X 16 파티션, 64 X 48 파티션, 16 X 64 파티션, 48 X 64 파티션 각각에 대해 율-왜곡 최적화를 통해 서로 다른 필터 인덱스가 선택될 수도 있고, 전부 동일한 필터 인덱스가 선택될 수도 있다.
도 5는 예측 유닛(PU)에 대해 정사각형이외의 모양을 가지는 기하학적 파티션(geometric partition) 분할을 하는 경우의 일실시예를 나타낸 것이다.
도 5를 참조하면, 예측 유닛(PU)에 대해 기하학적 파티션의 경계선 L은 다음과 같이 정의할 수 있다. 예측 유닛(PU)의 중심(O)을 X, Y 축을 이용하여 4개 사분면으로 등분하여 예측 유닛(PU)의 중심(O)으로부터 경계선 L에 수선을 그리면, 예측 유닛(PU)의 중심(O)으로부터 경계선 L까지의 수직 거리 ρ, X축으로부터 반시계 방향으로 상기 수선까지의 회전각도 θ에 의해 임의 방향의 모든 경계선을 특정할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 필터를 정사각형이외의 모양을 가지는 기하학적 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 6을 참조하면, 화면간 예측 또는 화면내 예측을 위한 예측 유닛(PU)을 중심을 기준으로 4개 사분면으로 등분한 후, 2사분면의 좌상단 블록을 파티션 P11b, 나머지 1, 3, 4분면으로 이루어진 '』' 모양의 블록을 파티션 P21b로 분할 할 수 있다. 또는, 3사분면의 좌하단 블록을 파티션 P12b, 나머지 1, 2, 4분면으로 이루어진 블록을 파티션 P22b로 분할 할 수 있다. 또는, 1사분면의 우상단 블록을 파티션 P13b, 나머지 2, 3, 4분면으로 이루어진 블록을 파티션 P23b로 분할 할 수 있다. 또는, 4사분면의 우하단 블록을 파티션 P14b, 나머지 1, 2, 3분면으로 이루어진 블록을 파티션 P24b로 분할 할 수 있다.
상기와 같이 'ㄱ' 자 모양으로 파티션을 분할함으로써 파티션 분할시 에지 블록, 즉 좌상단, 좌하단, 우상단, 우하단 블록에 움직이는 객체(object)가 존재하는 경우 4개 블록으로 파티션 분할하는 경우보다 효과적으로 부호화를 할 수 있다. 상기 4가지 파티션 중에 움직이는 객체(object)가 어느 에지 블록에 위치하느냐에 따라서 해당되는 파티션이 선택되어 사용될 수 있다.
도 6을 참조하면, 각각의 기하학적 파티션 각각에 대해서 한 개의 필터 인덱스가 복호화기로 전송될 수 있다. 여기서, 기하학적 파티션 각각에 대해 율-왜곡 최적화를 통해 서로 다른 필터 인덱스가 선택될 수도 있고, 전부 동일한 필터 인덱스가 선택될 수도 있다.
도 7은 본 발명의 또 다른 실시예에 따른 필터를 정사각형이외의 모양을 가지는 기하학적 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 7을 참조하면, 화면간 예측 또는 화면내 예측을 위한 예측 유닛(PU)을 두개의 서로 다른 불규칙 영역으로 분할하거나(모드 0, 1) 또는 서로 다른 사이즈의 직사각형 영역으로 분할(모드 2, 3) 할 수 있다.
여기서, 파라미터 'pos'는 파티션 경계의 위치를 나타내는데 사용된다. 모드 0, 1의 경우 'pos'는 예측 유닛(PU)의 대각선으로부터 파티션 경계까지의 수평방향으로의 거리를 나타내며, 모드 2, 3의 경우 'pos'는 예측 유닛(PU)의 수직이등분선 또는 수평이등분선으로부터 파티션 경계까지의 수평방향으로의 거리를 나타낸다. 도 4c의 경우 모드 정보가 디코더로 전송될 수 있다. 상기 4가지 모드 중에 RD(Rate Distortion) 관점에서 최소 RD 비용(cost)를 가지는 모드가 화면간 예측을 위해 사용될 수 있다.
도 7을 참조하면, 각각의 기하학적 파티션 각각에 대해서 한 개의 필터 인덱스가 복호화기로 전송될 수 있다. 여기서, 기하학적 파티션 각각에 대해 율-왜곡 최적화를 통해 서로 다른 필터 인덱스가 선택될 수도 있고, 전부 동일한 필터 인덱스가 선택될 수도 있다.
상기와 같은 파티션 분할후의 블록의 크기는 가변될 수 있다. 또한, 상기와 같은 파티션 분할후의 블록의 모양은 전술한 비대칭 파티션 분할, 기하학적 파티션 분할을 적용할 경우 기존의 정사각형 모양뿐만 아니라 도 4 내지 도 7에 도시한 바와 같이 직사각형과 같은 비대칭적 모양, 'ㄱ'자 모양, 삼각형 모양등과 같은 다양한 기하학적 모양을 가질 수 있다.
HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상의 경우 움직임 보상 화면간 예측시 예측 성능을 높여 코딩 효율을 높이기 위하여 상기 보간 필터의 필터 정보-필터 인덱스 또는 필터 계수-를 보내는 단위를 픽춰 단위가 아닌 보다 정밀한 단위- 슬라이스(slice) 단위, (확장) 매크로 블록 단위, 파티션 단위-로 적응적으로 조절할 수 있다.
HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상의 경우 하나의 픽춰당 블록의 개수가 증가하게 되므로 각각의 파티션 마다 필터 계수를 디코더로 전송할 경우 전송되는 필터 정보의 양이 매우 많아지게 되어 코딩 효율 측면에서 바람직하지 못할 수 있다. 따라서, 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 정보의 전송 단위로 상기 파티션 단위를 사용할 경우, 블록 병합을 이용하여 병합된 블록 전체를 전송 단위로 사용함으로써 디코더로 전송할 부가 정보의 양을 줄임으로써 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다.
도 8은 본 발명의 다른 실시예에 따른 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 8을 참조하면, 하나의 픽춰가 계층적으로 말단 코딩 유닛까지 분할된 후 현재 블록 X는 이전에 부호화된 Ao블록, Bo블록과 병합되어 블록 Ao, Bo, X는 동일한 움직임 파라미터 및/또는 필터 정보를 적용하여 디코더로 전송된다. 여기서, 움직임 파라미터는 예를 들어, 움직임 벡터, 움직임 벡터 차이값 등을 포함할 수 있다. 필터 정보는 필터 인덱스 및/또는 필터 계수를 포함할 수 있다.
이 경우 블록 병합이 적용되었는지 여부를 나타내는 병합 플래그(merging flag)가 디코더로 전송될 수 있다.
이하, 화면간 예측의 경우 모든 예측 블록들의 집합을 '임시블록'이라고 하고, 특정 블록과의 병합이 허용되는 블록들의 집합을 '병합 가능 블록'이라고 정의한다. 상기 임시 블록은 현재 블록 이전까지 부호화된 블록들을 포함한다. 상기 병합 가능 블록들의 기준은 예를 들어 현재 블록의 상단(top) 주변 샘플들 및 좌측(left) 주변 샘플들, 또는 현재 블록의 상단(top) 주변 블록 및 좌측(left) 주변 블록의 2개 블록으로 미리 정해둘 수 있다. 또는, 상기 병합 가능 블록들의 기준은 2개 블록 이상, 예를 들어 현재 블록의 상단(top) 주변 블록들 전부 및 좌측(left) 주변 블록들 전부로 미리 정해둘 수도 있다.
상기 병합 가능 블록들의 기준은 인코더 및 디코더간에 서로 약속에 따라 미리 정해질 수 있다. 예를 들어, 디폴트(default) 값으로 상기와 같이 현재 블록의 상단(top) 주변 샘플들 및 좌측(left) 주변 샘플들로 정해놓고 별도로 병합 가능 블록들의 기준을 알려주는 정보를 디코더로 전송하지 않을 수도 있다. 또는 병합 가능 블록들의 기준을 나타내는 정보를 디코더로 보낼 수도 있다.
만약 특정 블록이 부호화되고, 병합 가능 블록이 비어 있지 않은 경우에는 이번 병합 가능 블록이 병합될 것인지 여부의 정보가 디코더로 전송될 수 있다.
병합 가능 블록들의 집합은 예를 들어 최대 두개의 요소(상기 두개의 샘플 위치들, 즉 좌측 주변 샘플 위치 및 상단 주변 샘플 위치)를 가질 수 있다. 그러나, 병합 가능 블록들의 집합은 반드시 2개의 후보 샘플 위치 또는 2개의 후보 블록만을 가지는 것으로 한정되는 것은 아니며 2개 이상의 후보 샘플 위치 또는 후보 블록을 가질 수도 있다. 이하 병합 가능 블록들의 집합이 2개의 후보 블록들을 가지는 경우를 도 8을 예로 들어 설명한다.
도 8은 하나의 픽춰를 쿼드트리 기반 분할(quadtree-based division) 방식으로 예측 블록들(prediction blocks)로 분할한 경우를 나타낸다. 도 8의 상단의 가장 큰 크기의 2개의 블록(P1, P2)은 매크로 블록으로서 가장 큰 크기의 예측 블록이다. 도 8의 나머지 블록들은 해당 매크로블록의 부분 분할(subdivision)에 의해 얻어진다. 현재 블록은 'X'로 표시하였다. 도 8 내지 도 13에서 점선으로 표시된 영역은 현재 블록 X 이전에 부호화된 블록들을 나타낸 것이며, 전술한 '임시 블록'이 될 수 있다.
병합 가능 블록은 다음과 같이 생성될 수 있다.
현재 블록의 상단-좌측(top-left) 샘플 위치로부터 시작하면, 현재 블록의 좌측 주변 샘플 위치 및 현재 블록의 상단 주변 샘플 위치가 블록 병합을 위한 후보 블록 위치가 된다. 병합 가능 블록들의 집합이 비어 있지 않은 경우(not empty)에는, 현재 블록이 병합 가능 블록과 병합됨을 나타내는 병합 플래그가 디코더로 전송된다. 그렇지 않은 경우, 즉, 병합 플래그가 '0'(false)인 경우, 병합 가능한 블록이 존재하지 않는 경우로서 임시블록들 중 어느 하나의 블록과도 블록 병합이 이루어지지 않은 채 움직임 파라미터들이 디코더로 전송된다.
만약 병합 플래그가 '1'(true)인 경우 하기의 동작이 이루어진다. 만약 병합 가능 블록 집합이 단지 한 개 블록만을 포함하는 경우에는, 이러한 병합 가능 블록 집합에 포함된 한 개의 블록은 블록 병합에 사용된다. 병합 가능 블록 집합이 두개의 블록을 포함하고 만약 이러한 두개의 블록의 움직임 파라미터들이 동일하다면, 이러한 병합 가능 블록에 속하는 2개 블록의 움직임 파라미터들은 현재 블록에 대해서도 사용된다. 예를 들어 merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 현재 블록 X에 대한 상단-좌측 샘플 위치 중 좌측 주변 샘플 위치가 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 병합 가능 블록 집합 중에서 현재 블록 X에 대한 상단-좌측 샘플 위치 중 나머지인 상단 주변 샘플 위치가 선택될 수 있다. 상기와 같이 선택된 블록들에 대한 움직임 파라미터들은 현재 블록에 대해서도 사용된다.
다시 도 8을 참조하면, 상단-좌측 샘플 위치 중 직접(상단 또는 좌측) 주변 샘플들을 포함하는 블록들('Ao', 'B0' 블록)이 병합 가능 블록 집합내에 포함될 수 있다. 따라서, 현재 블록 X는 블록 Ao 또는 블록 Bo와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 블록 X는 블록 Ao 및 블록 Bo 어느것과도 병합되지 않는다. 만약 블록 Ao 및 블록 Bo가 동일한 움직임 파라미터 및/또는 필터 정보를 가진다면 블록 Ao 및 블록 Bo 2개 블록들 중 어느 하나와 병합하더라도 동일한 결과가 얻어지므로 두개의 블록 Ao 및 블록 Bo를 구분할 필요는 없다. 따라서, 이 경우에는 merge_left_flag는 전송될 필요가 없다. 그렇지 않은 경우, 즉 만약 블록 Ao 및 블록 Bo가 서로 다른 움직임 파라미터들 및/또는 필터 정보를 가진다면, merge_left_flag가 1이면 현재 블록 X는 블록 Bo와 병합되고, merge_left_flag가 0이면 현재 블록 X는 블록 Ao와 병합된다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning)의 경우 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 9 및 도 10은 화면간 예측시 도 4의 비대칭적 파티션 분할을 사용하는 경우의 블록 병합을 2개의 예를 들어 설명한 것으로서 도 9 및 도 10에 도시된 경우로만 한정되는 것은 아니며, 도 4에 도시된 다양한 파티션 분할의 경우들의 조합에 대해서도 본 발명의 다른 실시예에 따른 블록 병합을 적용할 수 있음은 물론이다.
도 9를 참조하면, 현재 블록 X는 병합 가능 블록 집합에 속하는 블록 A1b 또는 블록 B1b와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 블록 X는 블록 A1b 및 블록 B1b 어느것과도 병합되지 않는다. merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 블록 B1b가 현재 블록 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 블록 A1b가 현재 블록 X와 병합하기 위하여 선택될 수 있다.
도 10을 참조하면, 현재 블록 X는 병합 가능 블록 집합에 속하는 블록 A1c 또는 블록 B1c와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 블록 X는 블록 A1c 및 블록 B1c 어느 것과도 병합되지 않는다. merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 블록 B1c가 현재 블록 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 블록 A1c가 현재 블록 X와 병합하기 위하여 선택될 수 있다.
도 9 및 도 10을 참조하면, 블록 병합된 비대칭 파티션들에 대해서 동일한 필터가 선택되어 동일한 필터 정보가 복호화기로 전송될 수 있다. 예를 들어 도 9의 경우 병합된 비대칭 파티션 A1b 및 B1b에 대해 동일한 필터 인덱스 Ix2가 복호기로 전송될 수 있다. 도 10의 경우 병합된 비대칭 파티션 A1c 및 B1c에 대해 동일한 필터 인덱스 Ix2가 복호기로 전송될 수 있다.
도 11은 본 발명의 다른 실시예에 따른 기하학적 파티션 분할(geometrical partitioning)의 경우 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 11은 화면간 예측시 도 6의 기하학적 파티션 분할을 사용하는 경우의 블록 병합을 예를 들어 설명한 것으로서 도 11에 도시된 경우로만 한정되는 것은 아니며, 도 6에 도시된 다양한 파티션 분할의 경우들의 조합에 대해서도 본 발명의 다른 실시예에 따른 블록 병합을 적용할 수 있음은 물론이다.
도 11을 참조하면, 현재 블록 X의 상단-좌측 샘플 위치 중 상단 또는 좌측 주변 샘플들을 포함하는 블록들('A2', 'B2' 블록)이 병합 가능 블록 집합내에 포함될 수 있다. 따라서, 현재 블록 X는 블록 A2a 또는 블록 B2a와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 블록 X는 블록 A2a 및 블록 B2a 어느 것과도 병합되지 않는다. 예를 들어 merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 현재 블록 X에 대한 상단-좌측 샘플 위치 중 좌측 주변 샘플들을 포함하는 블록 B2a가 현재 블록 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 병합 가능 블록 집합 중에서 현재 블록 X에 대한 상단-좌측 샘플 위치 중 나머지인 상단 주변 샘플들을 포함하는 블록 A2a가 현재 블록 X와 병합하기 위하여 선택될 수 있다.
도 11을 참조하면, 블록 병합된 기하학적 파티션들에 대해서 동일한 필터가 선택되어 동일한 필터 정보가 복호화기로 전송될 수 있다. 예를 들어 도 11의 경우 병합된 기하학적 파티션 A2a 및 B2a에 대해 동일한 필터 인덱스 Ix1이 복호기로 전송될 수 있다.
도 12 및 도 13은 본 발명의 다른 실시예에 따른 기하학적 파티션 분할(geometrical partitioning)의 경우 블록 병합(block merging)을 이용하여 필터를 파티션 단위로 선택하여 사용하는 과정을 설명하기 위한 개념도이다.
도 12 및 도 13은 화면간 예측시 도 5 및 도 7의 기하학적 파티션 분할을 사용하는 경우의 블록 병합을 2개의 예를 들어 설명한 것으로서 도 12 및 도 13에 도시된 경우로만 한정되는 것은 아니며, 도 5 및 도 7에 도시된 다양한 기하학적 파티션 분할의 경우들의 조합에 대해서도 본 발명의 또 다른 실시예에 따른 블록 병합을 적용할 수 있음은 물론이다.
도 12를 참조하면, 현재 블록 X의 상단-좌측 샘플 위치 중 상단 또는 좌측 주변 샘플들을 포함하는 블록들('A3a', 'B3a' 블록)이 병합 가능 블록 집합내에 포함될 수 있다. 따라서, 현재 블록 X는 블록 A3a 또는 블록 B3a와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 블록 X는 블록 A3a 및 블록 B3a 어느것과도 병합되지 않는다. 예를 들어 merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 현재 블록 X에 대한 상단-좌측 샘플 위치 중 좌측 주변 샘플들을 포함하는 블록 B3a가 현재 블록 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 병합 가능 블록 집합 중에서 현재 블록 X에 대한 상단-좌측 샘플 위치 중 나머지인 상단 주변 샘플들을 포함하는 블록 A3a가 현재 블록 X와 병합하기 위하여 선택될 수 있다.
도 13을 참조하면, 현재 블록 X는 병합 가능 블록 집합에 속하는 블록 A3b 또는 블록 B3b와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 블록 X는 블록 A3b 및 블록 B3b 어느것과도 병합되지 않는다. merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 블록 B3b가 현재 블록 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 블록 A3b가 현재 블록 X와 병합하기 위하여 선택될 수 있다.
도 12 및 도 13을 참조하면, 블록 병합된 기하학적 파티션들에 대해서 동일한 필터가 선택되어 동일한 필터 정보가 복호화기로 전송될 수 있다. 예를 들어 도 12의 경우 병합된 기하학적 파티션 A3a 및 B3a에 대해 동일한 필터 인덱스 Ix2가 복호기로 전송될 수 있다. 예를 들어 도 13의 경우 병합된 기하학적 파티션 A3b 및 B3b에 대해 동일한 필터 인덱스 Ix1이 복호기로 전송될 수 있다.
도 14는 본 발명의 일 실시예에 따른 슬라이스 또는 파티션 단위로 필터를 선택하여 부호화하기 위한 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 14를 참조하면, 영상 부호화 장치는 부호화기(630)를 포함하며, 부호화기(630)는 화면간 예측부(632), 인트라 예측부(635), 감산기(637), 변환부(639), 양자화부(641), 엔트로피 부호화부(643), 역양자화부(645), 역변환부(647), 가산기(649) 및 프레임 버퍼(651)를 포함할 수 있다. 화면간 예측부(632)는 움직임 예측부(631)와 움직임 보상부(633)를 포함한다.
부호화기(630)는 입력된 영상에 대해 부호화를 수행한다. 상기 입력된 영상은 예측 유닛(PU) 단위로 화면간 예측부(632)에서의 화면간 예측 또는 인트라 예측부(635)에서의 화면내 예측을 위해 사용될 수 있다.
상기 화면간 예측 또는 화면내 예측에 적용되는 예측 유닛의 크기는 입력된 영상을 부호화기 내부에 마련된 버퍼(미도시)에 저장한 후 저장된 프레임(또는 픽춰)의 시간적 주파수 특성에 따라 결정될 수 있다. 예를 들어, 예측 유닛 결정부(610)는 n-1번째 프레임(또는 픽춰)과 n번째 프레임(또는 픽춰)의 시간 주파수 특성을 분석하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 미만인 경우에는 예측 유닛의 크기를 64x64 픽셀로 결정하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 이상 제2 임계값 미만인 경우에는 예측 유닛의 크기를 32x32 픽셀로 결정하며, 분석된 시간 주파수 특성값이 미리 설정된 제2 임계값 이상인 경우에는 예측 유닛의 크기를 16x16 픽셀 이하의 크기로 결정할 수 있다. 여기서, 제1 임계값은 제2 임계값보다 프레임(또는 픽춰)간의 변화량이 작은 경우의 시간 주파수 특성값을 나타낼 수 있다.
상기 화면간 예측 또는 화면내 예측에 적용되는 예측 유닛의 크기는 입력된 영상을 부호화기 내부에 마련된 버퍼(미도시)에 저장한 후 저장된 프레임(또는 픽춰)의 공간 주파수 특성에 따라 결정될 수 있다. 예를 들어 입력되는 프레임(또는 픽춰)의 영상 평탄도 또는 균일도가 높은 경우에는 예측 유닛의 크기를 32x32 픽셀 이상으로 크게 설정하고, 프레임(또는 픽춰)의 영상 평탄도 또는 균일도가 낮은 경우(즉, 공간 주파수가 높은 경우)에는 예측 유닛의 크기를 16x16 픽셀 이하로 작게 설정할 수 있다.
도 8에서는 도시하지 않았으나, 예측 유닛의 크기를 결정하는 동작은 상기 입력 영상을 입력받아 부호화 제어부(미도시)에서 수행되거나 또는 상기 입력 영상을 입력받아 별도의 예측 유닛 결정부(미도시)에서 수행될 수도 있다. 예를 들어, 예측 유닛의 크기는 16x16 픽셀 이하의 크기, 32x32 픽셀 크기, 64x64 픽셀 크기를 가질 수 있다.
전술한 바와 같이 화면간 예측 또는 화면내 예측을 위해 결정된 예측 유닛 크기를 포함하는 예측 유닛 정보를 엔트로피 부호화부(643)에 제공하고, 결정된 크기를 가지는 예측 유닛 단위로 부호화기(630)에 제공한다. 구체적으로, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 경우에는 예측 블록 정보는 매크로 블록 크기 정보 또는 확장 매크로 블록 크기 정보를 포함할 수 있다. 여기서, 확장 매크로 블록 크기는 32x32 픽셀 크기 이상을 의미하며, 예를 들어, 32x32 픽셀, 64x64 픽셀, 또는 128x128 픽셀 크기를 포함할 수 있다. 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 예측 유닛 정보는 상기 마크로 블록의 크기 정보 대신 화면간 예측 또는 화면내 예측을 위해 사용될 말단 코딩 유닛(LCU)의 크기 정보, 즉 예측 유닛의 크기 정보를 포함할 수 있으며, 더 나아가 예측 유닛 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 더 포함할 수 있다.
부호화기(630)는 상기 결정된 크기를 가지는 예측 유닛에 대해 부호화를 수행한다.
화면간 예측부(632)는 제공된 현재 부호화될 예측 유닛을 전술한 비대칭 파티션 분할, 기하학적 파티션 분할등의 파티션 분할 방법을 사용하여 분할하고, 상기 파티션 분할된 블록 단위로 움직임을 추정하여 움직임 벡터를 생성한다.
움직임 예측부(631)는 제공된 현재 예측 유닛을 전술한 다양한 파티션 분할 방법을 사용하여 분할하고, 상기 파티션 분할된 블록 별로 현재 부호화되는 픽춰의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽춰(프레임 버퍼(651)에 부호화가 완료되어 저장됨)에서 현재 부호화되는 파티션 분할된 블록과 유사한 영역을 검색하여 블록 단위로 움직임 벡터를 생성한다. 여기서, 상기 움직임 추정에 사용되는 블록의 크기는 가변될 수 있으며, 또한, 본 발명의 실시예들에 따른 비대칭 파티션 분할, 기하학적 파티션 분할을 적용할 경우 상기 블록의 모양도 기존의 정사각형 모양뿐만 아니라 도 2 내지 도 3c에 도시한 바와 같이 직사각형과 같은 비대칭적 모양, 'ㄱ'자 모양, 삼각형 모양등과 같은 기하학적 모양을 가질 수 있다.
움직임 보상부(633)는 움직임 예측부(631)로부터 생성된 움직임 벡터와 참조 픽춰를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록(또는 예측된 예측 유닛)을 생성한다.
화면간 예측부(632)는 전술한 바와 같이 움직임 보상 화면간 예측에 사용되는 보간 필터를 픽춰 단위 보다 더 정밀한 단위-예를 들어 슬라이스(slice) 단위 또는 파티션 단위(상기 파티션 단위는 확장 매크로 블록, 매크로 블록, 또는 블록을 포함할 수 있음)-별로 선택하여 서브-픽셀값을 계산한다.
화면간 예측부(632)는 보간 필터의 필터 정보-필터 인덱스 또는 필터 계수-의 전송 단위로 파티션 단위를 사용할 경우 전술한 블록 병합을 이용하여 병합된 블록 전체를 움직임 파라미터 및/또는 필터 정보의 전송 단위로 사용한다.
또한, 화면간 예측부(632)는 확장 매크로 블록에 대하여 모션 벡터 정밀도(motion vector precision) 또는 화소 정밀도를 1/2 pel, 1/4-pel, 1/8 pel 중에서 적응적으로 선택하여 사용함으로써 확장 매크로 블록을 사용하는 경우 부호화 효율을 높일 수 있다. 예를 들어, 1/2 pel 모션 벡터 정밀도 또는 화소 정밀도를 적용하는 경우 P 픽춰의 경우 필터 계수들((1, -5, 20, 20, -5, 1)/32)을 지닌 6-탭 보간 필터를 사용하여 1/2 pel 화소 정밀도 신호를 생성할 수 있다. 상기에서는 6개의 필터 계수의 경우를 예로 들었지만, 필터 개수는 이에 한정되는 것은 아니며 4개, 8개, 10개, 12개등의 짝수개수를 가질 수 있다. 1/4 pel 모션 벡터 정밀도 또는 화소 정밀도를 적용하는 경우 1/2 pel 화소 정밀도 신호의 값을 생성한 후 평균치 필터를 적용하여 1/4 pel 화소 정밀도 신호를 생성할 수 있다. 1/8 pel 모션 벡터 정밀도 또는 화소 정밀도를 적용하는 경우 1/4 pel 화소 정밀도 신호의 값을 생성한 후 평균치 필터를 적용하여 1/8 pel 화소 정밀도 신호를 생성할 수 있다.
필터 계수는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode), 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 달라질 수 있다. 디코더에서는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode) 또는 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 적절한 필터 계수를 선택할 수 있다. 상기 필터 계수는 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 계수 또는 디블록킹 필터의 필터 계수 또는 ALF 필터 계수가 될 수 있다.
인트라 예측부(635)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행한다. 인트라 예측부(635)는 현재 예측 유닛의 예측 블록을 현재 프레임(또는 픽춰)내의 블록의 이미 부호화된 화소값으로부터 화소값을 예측하여 구하는 인트라 예측(Intra Prediction)을 수행한다.
감산기(637)는 움직임 보상부(633)에서 제공된 예측 블록(또는 예측된 예측 유닛)과 현재 블록(또는 현재 예측 유닛)을 감산하여 잔여값을 생성하고, 변환부(639) 및 양자화부(641)는 상기 잔여값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한다. 여기서, 변환부(639)는 예측 유닛 크기 정보에 기초하여 변환을 수행할 수 있고, 예를 들어, 32x32 또는 64x64 픽셀 크기로 변환을 수행할 수 있다. 또는 변환부(639)는 예측 유닛 결정부(610)로부터 제공된 예측 유닛 크기 정보와 독립적으로 별도의 변환 유닛(Transform Unit; TU) 단위로 변환을 수행할 수 있다. 예를 들어, 변환 유닛(TU) 크기는 최소 4 X 4 픽셀 크기부터 최대 64x64 픽셀 크기를 가질 수 있다. 또는 변환 유닛(TU)의 최대 크기는 64x64 픽셀 크기 이상- 예를 들어 128 X 128 픽셀 크기-를 가질수도 있다. 상기 변환 유닛 크기 정보는 변환 유닛 정보에 포함되어 디코더로 전송될 수 있다.
엔트로피 부호화부(643)는 양자화된 DCT 계수들과 움직임 벡터, 결정된 예측 유닛 정보, 파티션 정보, 필터 정보, 변환 유닛 정보 등의 헤더 정보를 엔트로피 부호화하여 비트 스트림을 생성한다.
역양자화부(645) 및 역변환부(647)는 양자화부(641)를 통해 양자화된 데이터를 역양자화하고 역변환한다. 가산기(649)는 역변환된 데이터와 움직임 보상부(633)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(651)에 제공하고, 프레임 버퍼(651)는 복원된 영상이 저장된다.
도 15는 본 발명의 일 실시예에 따른 슬라이스 또는 파티션 단위로 필터를 선택하여 부호화하기 위한 영상 부호화 방법을 나타내는 흐름도이다.
도 15를 참조하면, 먼저 부호화 장치에 입력 영상이 입력되면(단계 901), 상기 입력 영상에 대해 화면간 예측 또는 화면내 예측을 위한 예측 유닛을 전술한 다양한 파티션 분할 방법을 사용하여 분할하고, 상기 파티션 분할된 블록 별로 현재 부호화되는 픽춰의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽춰(프레임 버퍼(651)에 부호화가 완료되어 저장됨)에서 현재 부호화되는 파티션 분할된 블록과 유사한 영역을 검색하여 블록 단위로 움직임 벡터를 생성하고, 생성된 움직임 벡터와 픽춰를 이용하여 움직임 보상을 수행함으로써 예측 블록(또는 예측된 예측 유닛)을 생성한다(단계 903).
그 다음, 부호화 장치는 움직임 보상 화면간 예측에 사용되는 보간 필터를 픽춰 단위 보다 더 정밀한 단위-예를 들어 슬라이스(slice) 단위 또는 파티션 단위(상기 파티션 단위는 확장 매크로 블록, 매크로 블록, 또는 블록을 포함할 수 있음)-별로 선택하여 서브-픽셀값을 계산한다(단계 905). 구체적으로, 부호화 장치는 전술한 바와 같이 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 정보-필터 인덱스 또는 필터 계수-를 픽춰 단위 보다 더 정밀한 단위-예를 들어 슬라이스(slice) 단위 또는 파티션 단위-별로 선택하여 서브-픽셀값을 계산하여 부호화한다.
부호화 장치는 보간 필터의 필터 정보-필터 인덱스 또는 필터 계수-의 전송 단위로 파티션 단위를 사용할 경우 전술한 블록 병합을 이용하여 병합된 블록 전체를 움직임 파라미터 및/또는 필터 정보의 전송 단위로 사용한다.
또한, 부호화 장치는 확장 매크로 블록에 대하여 모션 벡터 정밀도(motion vector precision) 또는 화소 정밀도를 1/2 pel, 1/4-pel, 1/8 pel 중에서 적응적으로 선택하여 사용함으로써 확장 매크로 블록을 사용하는 경우 부호화 효율을 높일 수 있다. 예를 들어, 1/2 pel 모션 벡터 정밀도 또는 화소 정밀도를 적용하는 경우 P 픽춰의 경우 필터 계수들((1, -5, 20, 20, -5, 1)/32)을 지닌 6-탭 보간 필터를 사용하여 1/2 pel 화소 정밀도 신호를 생성할 수 있다. 1/4 pel 모션 벡터 정밀도 또는 화소 정밀도를 적용하는 경우 1/2 pel 화소 정밀도 신호의 값을 생성한 후 평균치 필터를 적용하여 1/4 pel 화소 정밀도 신호를 생성할 수 있다. 1/8 pel 모션 벡터 정밀도 또는 화소 정밀도를 적용하는 경우 1/4 pel 화소 정밀도 신호의 값을 생성한 후 평균치 필터를 적용하여 1/8 pel 화소 정밀도 신호를 생성할 수 있다.
필터 계수는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode), 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 달라질 수 있다. 디코더에서는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode) 또는 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 적절한 필터 계수를 선택할 수 있다. 상기 필터 계수는 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 계수 또는 디블록킹 필터의 필터 계수 또는 ALF 필터 계수가 될 수 있다.
부호화 장치는 현재 예측 유닛과 상기 예측된 예측 유닛 사이의 차이를 구하여 잔여값(residue)을 생성하여 변환 및 양자화한 후(단계 907), 양자화된 DCT 계수들과 움직임 파라미터, 필터 정보 등의 헤더 정보들(또는 구문 요소(syntax element))을 엔트로피 부호화하여 비트 스트림을 생성한다(단계 909).
엔트로피 부호화는 구문 요소들의 표현에 필요한 비트수를 감소시킨다. 즉, 엔트로피 부호화는 어떤 심볼들은 다른 심볼들보다 더 자주 발생한다는 구문 요소들의 분포 특성을 이용하여 전송되거나 저장된 심볼들을 나타내는데 필요한 비트들의 수를 최소화하는 것을 목표로하는 무손실 동작이다.
본 발명의 실시예들에 따른 영상 부호화 장치 및 부호화 방법에서는 각각의 예측 블록에 대해 필터 정보를 전송하지 않고 블록 병합을 이용하여 병합된 블록 전체에 대해 한번만 필터 정보를 전송하여 필터 정보의 전송량을 줄임으로써 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다.
도 16는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 16을 참조하면, 본 발명의 일 실시예에 따른 복호화 장치는 엔트로피 복호화부(731), 역양자화부(733), 역변환부(735), 움직임 보상부(737), 인트라 예측부(739), 프레임 버퍼(741) 및 가산부(743)을 포함한다.
엔트로피 복호화부(731)는 압축된 비트 스트림을 수신하고 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(733) 및 역변환부(735)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 잔여값을 복원한다.
엔트로피 복호화부(731)에 의해 복호화된 헤더 정보에는 예측 유닛 크기 정보가 포함될 수 있고, 상기 예측 유닛 크기는 예를 들어, 16x16 픽셀 크기 또는 32x32 픽셀, 64x64 픽셀, 128x128 픽셀 크기의 확장 매크로 블록 크기가 될 수 있다. 또한, 상기 복호화된 헤더 정보는 움직임 보상 및 예측을 위한 움직임 파라미터 및 필터 정보-필터 인덱스 또는 필터 계수-를 포함할 수 있다. 상기 필터 정보는 본 발명의 실시예들에 따른 블록 병합 방법들에 의해 병합된 블록별로 전송된 필터 정보를 포함할 수 있다.
움직임 보상부(737)는 엔트로피 복호화부(731)에 의해 비트 스트림으로부터 복호화된 헤더 정보를 이용하여 부호화된 예측 유닛의 크기와 동일한 크기의 예측 유닛에 대해 상기 움직임 파라미터 및/또는 필터 정보를 이용하여 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다. 움직임 보상부(737)는 본 발명의 실시예들에 따른 블록 병합 방법들에 의해 병합된 블록별로 전송된 움직임 파라미터 및/또는 필터 정보를 이용하여 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다.
또한, 움직임 보상부(737)는 모션 벡터 정밀도(motion vector precision) 또는 화소 정밀도를 1/2 pel, 1/4-pel, 1/8 pel 중에서 적응적으로 선택하여 부호화된 확장 매크로 블록에 대하여, 선택된 화소 정밀도 정보를 기초로 1/2 pel, 1/4-pel, 1/8 pel 중에서 적응적으로 선택하여 확장 매크로 블록에 대하여 움직임 보상을 수행 한다.
필터 계수는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode), 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 달라질 수 있다. 디코더에서는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode) 또는 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 적절한 필터 계수를 선택할 수 있다. 상기 필터 계수는 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 계수 또는 디블록킹 필터의 필터 계수 또는 ALF 필터 계수가 될 수 있다.
인트라 예측부(739)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행한다. 인트라 예측부(739)는 현재 예측 유닛의 예측 블록을 현재 프레임(또는 픽춰)내의 블록의 이미 부호화된 화소값으로부터 화소값을 예측하여 구하는 인트라 예측(Intra Prediction)을 수행한다.
가산부(743)는 역변환부(735)에서 제공된 잔여값과, 움직임 보상부(737)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(741)에 제공하고, 프레임 버퍼(741)는 복원된 영상을 저장한다. 즉, 복호화기에서는 예측 유닛에 압축된 예측 오차(역변환부에서 제공된 잔여값)를 가산하여 복호화 동작을 수행한다.
도 17은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 17을 참조하면, 먼저 복호화 장치는 부호화 장치로부터 비트 스트림을 수신한다(단계 1101).
이후, 복호화 장치는 수신된 비트 스트림에 대한 엔트로피 복호화를 수행한다(단계 1103). 엔트로피 복호화를 통해 복호화된 데이터에는 현재 예측 유닛과 예측된 예측 유닛 사이의 차이를 나타내는 잔여값(residue)을 포함된다. 엔트로피 복호화를 통해 복호화된 헤더 정보에는 예측 유닛 정보, 움직임 보상 및 예측을 위한 움직임 파라미터 및/또는 필터 정보-필터 인덱스 또는 필터 계수-와 같은 부가 정보가 포함될 수 있다. 상기 예측 유닛 정보는 예측 유닛 크기 정보를 포함할 수 있다. 상기 움직임 파라미터 및/또는 필터 정보는 본 발명의 실시예들에 따른 블록 병합 방법들에 의해 병합된 블록별로 전송된 움직임 파라미터 및/또는 필터 정보를 포함할 수 있다.
여기서, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 방식대신 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 상기 예측 유닛(PU) 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 포함할 수 있다.
복호화 제어부(미도시)에서는 부호화 장치에서 적용한 예측 유닛(PU)의 크기에 대한 정보를 부호화 장치로부터 전송받아 부호화 장치에서 적용한 예측 유닛(PU)의 크기에 따라 후술할 움직임 보상 복호화 또는 역변환 또는 역양자화를 수행할 수 있다.
복호화 장치는 상기 엔트로피 복호화된 잔여값을 역양자화하고 역변환한다(단계 1105). 상기 역변환과정은 예측 유닛 크기(예를 들면, 32x32 또는 64x64 픽셀) 단위로 수행될 수 있다.
복호화 장치는 예측 유닛 크기 정보, 움직임 보상 및 예측을 위한 움직임 파라미터, 필터 정보, 이전에 복원된 픽춰를 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측된 예측 유닛을 생성한다(단계 1107). 복호화 장치는 예측 유닛 크기 정보, 본 발명의 실시예들에 따른 블록 병합 방법들에 의해 병합된 블록별로 전송된 움직임 파라미터 및/또는 필터 정보를 이용하여 화면간 예측 또는 화면내 예측을 수행한다.
또한, 복호화기는 모션 벡터 정밀도(motion vector precision) 또는 화소 정밀도를 1/2 pel, 1/4-pel, 1/8 pel 중에서 적응적으로 선택하여 부호화된 확장 매크로 블록에 대하여, 선택된 화소 정밀도 정보를 기초로 1/2 pel, 1/4-pel, 1/8 pel 중에서 적응적으로 선택하여 확장 매크로 블록에 대하여 움직임 보상을 수행 한다.
필터 계수는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode), 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 달라질 수 있다. 디코더에서는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode) 또는 화소 정밀도-예를 들어 1/2 pel 화소 정밀도, 1/4 pel 화소 정밀도 또는 1/8 pel 화소 정밀도-등에 따라 적절한 필터 계수를 선택할 수 있다. 상기 필터 계수는 움직임 보상 화면간 예측에 사용되는 보간 필터의 필터 계수 또는 디블록킹 필터의 필터 계수 또는 ALF 필터 계수가 될 수 있다.
복호화기는 역양자화하고 역변환된 잔여값과 상기 화면간 예측 또는 화면내 예측을 통하여 예측된 예측 유닛을 더하여 영상을 복원한다(단계 1109).
전술한 움직임 보상 화면간 예측에 사용되는 보간 필터를 픽춰 단위 보다 더 정밀한 단위로 선택하여 부호화/복호화하는 방법들에 대한 실시예들, 블록 병합 또는 영역 병합하여 부가 정보를 전송하는 방식은 휘도(luma) 성분에 대한 부호화/복호화에 적용할 수 있으며, 또한, 색차(chroma) 성분에 대해서도 전술한 움직임 보상 화면간 예측에 사용되는 보간 필터를 상기 휘도 성분에 적용된 단위와 동일한 단위-즉, 픽춰 단위 보다 더 정밀한 단위-를 선택하여 부호화/복호화에 적용할 수 있다.
전술한 움직임 보상 화면간 예측에 사용되는 보간 필터를 픽춰 단위 보다 더 정밀한 단위-예를 들어 영역(region)-로 부호화/복호화하는 방법은 디블록킹 필터이후의 적응적 루프 필터(Adaptive Loop Filter; 이하 ALF)에도 적용될 수 있다. 즉, 픽춰 단위 보다 더 정밀한 단위-예를 들어 영역(region)-로 ALF 필터 정보를 부호화/복호화할 수 있다. 여기서, 상기 영역(region)은 픽춰(picture) 단위 보다 더 작고 화소(pixel)보다는 더 큰 단위가 될 수 있다. 픽춰(picture) 단위 보다 더 작고 화소(pixel)보다는 더 큰 영역(region) 단위는, 예를 들어, 적어도 하나의 블록(block), 서브 블록(sub block), 매크로 블록, 확장 매크로 블록, 슬라이스(slice), 코딩 유닛(Coding Unit), 최대 코딩 유닛(Largest Coding Unit; LCU), 최소 코딩 유닛(Smallest Coding Unit; SCU), 예측 유닛(Prediction Unit), 파티션(partition), 또는 그룹(group)으로 이루어진 기본 유닛 또는 상기 기본 유닛이 복수개로 이루어진 기본 유닛들의 집합(set)으로 이루어진 기본 유닛 집합이 될 수 있다. 하나의 픽춰는, 예를 들어, 16 x 16 픽셀로 이루어진 균등한 크기를 가진 영역(region) 단위로 분할 될 수 있다.
상기 ALF 필터 계수는 상기와 같이 픽춰 단위 보다 더 정밀한 영역(region) 단위로 선택하여 사용되어 디코더로 전송될 수 있으며, 상기 영역 단위는 전체 픽춰 또는 하나의 픽춰내에서 균등한 크기를 가질 수도 있지만, 각 픽춰별로 서로 다른 크기를 가질 수도 있으며, 동일한 픽춰내에서도 서로 다른 크기를 가지도록 적응적으로 조절될 수도 있다.
상기 영역(region)의 크기 정보는 슬라이스 헤더 또는 PPS(Picture Parameter Set)에 포함되어 디코더로 전송될 수 있다. 상기 ALF 필터의 필터 정보는 슬라이스 헤더 또는 PPS(Picture Parameter Set)에 포함되어 디코더로 전송될 수 있다. 상기 ALF 필터의 온-오프 정보는 슬라이스 헤더 또는 PPS(Picture Parameter Set)에 포함되어 디코더로 전송될 수 있다. 예를 들어, 상기 ALF 필터의 필터 정보는 PPS에 포함되어 디코더로 전송되고 상기 ALF 필터의 온-오프 정보는 각각의 슬라이스 헤더에 포함되어 디코더로 전송될 수 있다.
상기 영역의 형태는 정사각형 형태의 대칭적인 모양을 가질 수도 있고, 직사각형과 같은 비대칭적(asymmetric) 모양, ㄱ자 모양, 삼각형 모양등과 같은 다양한 기하학적 모양을 가질 수도 있다.
하나의 픽춰에서 분할된 복수의 영역들(regions)은 디코더로 전송할 부가 정보-예를 들어, ALF 필터의 필터 정보, 상기 ALF 필터의 온-오프 정보-의 양을 줄이기 위해서 적어도 2개의 영역들이 병합되어 병합된 영역들 전체를 상기 부가정보의 전송 단위로 사용함으로써 디코더로 전송할 부가 정보의 양을 줄임으로써 HD급 또는 울트라 HD(Ultra High Definition)급 이상의 고해상도를 가지는 영상의 부호화 효율을 향상시킬 수 있다. 상기 병합되는 적어도 2개의 영역들은 특정 영역에 대하여 상단(top) 주변 영역 및/또는 좌측(left) 주변 영역이 될 수도 있고, 상기 특정 영역을 둘러싼 적어도 2개의 주변 영역들이 될 수도 있고, 하나의 픽춰내에서 수직방향으로 배열된 적어도 2개의 열(column)들에 속하는 영역들이 될수도 있고, 하나의 픽춰내에서 수평방향으로 배열된 적어도 2개의 행(row)들에 속하는 영역들이 될수도 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 영상의 부호화 방법에 있어서,
    입력 영상에 대해 화면간 예측을 위한 예측 유닛을 생성하는 단계; 및
    상기 예측 유닛에 대한 움직임 보상 화면간 예측을 수행하는 단계를 포함하되, 디블록킹 필터 이후의 적응적 루프 필터(Adaptive Loop Filter; ALF) 및 상기 움직임 보상 화면간 예측에 사용되는 필터 중 적어도 하나의 필터를 픽춰 단위 보다 정밀한 단위 -별로 선택하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제1항에 있어서, 상기 픽춰 단위 보다 정밀한 단위는 상기 픽춰 단위 보다 작은 영역(region) 단위인 것을 특징으로 하는 영상 부호화 방법.
  3. 제1항에 있어서, 상기 예측 유닛에 대한 움직임 보상 화면간 예측을 수행하는 단계는
    상기 예측 유닛에 대한 파티션 분할후 현재 블록의 주변 샘플들을 포함하는 병합 가능 블록 집합에 속하는 샘플들을 상기 현재 블록과 병합하는 블록 병합을 수행하는 단계; 및
    상기 움직임 보상 화면간 예측에 사용되는 필터의 필터 정보-상기 필터 정보는 필터 인덱스 및 필터 계수 중 적어도 하나를 포함함-를 상기 정밀한 단위별로 선택하여 서브-픽셀값을 산출하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제3항에 있어서, 상기 병합된 블록에 대해서는 동일한 필터 정보를 할당하여 복호화기로 전송하고, 상기 병합 가능 블록 집합은 비대칭(asymmetric) 파티션닝(partitioning)에 의해 생성된 블록 및 기하학적(geometrical) 파티션닝(partitioning)에 의해 생성된 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제1항에 있어서, 상기 적응적 루프 필터의 필터 정보는 픽춰 파라미터 셋(Picture Parameter Set)에 포함되고 상기 적응적 루프 필터의 온-오프 정보는 각각의 슬라이스 헤더에 포함되는 것을 특징으로 하는 영상 부호화 방법.
  6. 영상의 복호화 방법에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화 및 역변환하여 잔여값을 복원하는 단계;
    예측 유닛 정보 및 움직임 파라미터를 이용하여 예측 유닛을 생성하는 단계;
    픽춰 단위 보다 정밀한 단위 별로 선택하여 부호화된 필터 정보-상기 필터 정보는 필터 인덱스 및 필터 계수 중 적어도 하나를 포함함-를 추출하는 단계; 및
    상기 예측 유닛에 대해 화면간 예측을 수행하여 상기 화면간 예측이 수행된 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함하는 영상 복호화 방법.
  7. 제6항에 있어서, 상기 픽춰 단위 보다 정밀한 단위는 픽춰 단위 보다 작은 영역(region) 단위인 것을 특징으로 하는 영상 복호화 방법.
  8. 제6항에 있어서, 상기 추출된 필터 정보는 디블록킹 필터 이후의 적응적 루프 필터(Adaptive Loop Filter; ALF)의 필터 정보이며, 상기 필터 정보는 픽춰 파라미터 셋(Picture Parameter Set)에 포함되고 상기 적응적 루프 필터의 온-오프 정보는 각각의 슬라이스 헤더에 포함되는 것을 특징으로 하는 영상 복호화 방법.
  9. 제6항에 있어서, 상기 필터 계수는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode) 및 화소 정밀도 중 적어도 하나에 기초하여 선택되는 것을 특징으로 하는 영상 복호화 방법.
  10. 제6항에 있어서, 상기 예측 유닛에 대한 파티션 분할후 병합 가능 블록 집합에 속하는 블록들 중 현재 블록과 병합된 블록에 대해서는 동일한 필터 정보를 가지는 것을 특징으로 하는 영상 복호화 방법.
  11. 제6항에 있어서,상기 필터 정보는 움직임 보상 화면간 예측에 사용되는 필터의 필터 정보인 것을 특징으로 하는 영상 복호화 방법.
  12. 제6항에 있어서, 상기 병합 가능 블록 집합은 비대칭(asymmetric) 파티션닝(partitioning)에 의해 생성된 블록 및 기하학적(geometrical) 파티션닝(partitioning)에 의해 생성된 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제6항에 있어서, 상기 엔트로피 복호화를 통해 복호화된 헤더 정보에는 예측 유닛 정보, 움직임 보상 및 예측을 위한 움직임 파라미터 및 필터 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 영상의 복호화 장치에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하는 역양자화 및 역변환부;
    예측 유닛 정보 및 움직임 파라미터를 이용하여 예측 유닛을 생성하는 움직임 보상부; 및
    예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 가산부를 포함하되, 상기 영상의 복호화 장치는 픽춰 단위 보다 정밀한 단위 별로 선택하여 부호화된 필터 정보-상기 필터 정보는 필터 인덱스 및 필터 계수 중 적어도 하나를 포함함-를 추출하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제14항에 있어서, 상기 픽춰 단위 보다 정밀한 단위는 픽춰 단위 보다 작은 영역(region) 단위인 것을 특징으로 하는 영상 복호화 장치.
  16. 제14항에 있어서, 상기 추출된 필터 정보는 디블록킹 필터 이후의 적응적 루프 필터(Adaptive Loop Filter; ALF)의 필터 정보이며, 상기 필터 정보는 픽춰 파라미터 셋(Picture Parameter Set)에 포함되고 상기 적응적 루프 필터의 온-오프 정보는 각각의 슬라이스 헤더에 포함되는 것을 특징으로 하는 영상 복호화 장치.
  17. 제14항에 있어서, 상기 필터 계수는 양방향 예측 모드(bi-directional prediction mode), 단방향 예측 모드(single directional prediction mode) 및 화소 정밀도 중 적어도 하나에 기초하여 선택되는 것을 특징으로 하는 영상 복호화 장치.
  18. 제14항에 있어서, 상기 예측 유닛에 대한 파티션 분할후 병합 가능 블록 집합에 속하는 블록들 중 현재 블록과 병합된 블록에 대해서는 동일한 필터 정보를 가지는 것을 특징으로 하는 영상 복호화 장치.
  19. 제14항에 있어서, 상기 병합 가능 블록 집합은 비대칭(asymmetric) 파티션닝(partitioning)에 의해 생성된 블록 및 기하학적(geometrical) 파티션닝(partitioning)에 의해 생성된 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  20. 제14항에 있어서, 상기 엔트로피 복호화를 통해 복호화된 헤더 정보에는 예측 유닛 정보, 움직임 보상 및 예측을 위한 움직임 파라미터 및 필터 정보를 포함하는 것을 특징으로 하는 영상 복호화 장치.
PCT/KR2012/006528 2011-08-18 2012-08-16 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법 WO2013025065A2 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP12824324.3A EP2747426A4 (en) 2011-08-18 2012-08-16 PICTURE CODING / DECODING DEVICE AND METHOD WITH PRECISE FILTER SELECTION
CN201280040241.8A CN103733624A (zh) 2011-08-18 2012-08-16 应用通过精确单元的滤波器选择的图像编码/解码装置和方法
US14/238,197 US20140192876A1 (en) 2011-08-18 2012-08-16 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/523,047 US20150043650A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/523,001 US20150043649A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/522,964 US20150043647A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/522,981 US20150043648A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110082386A KR20120090740A (ko) 2011-02-07 2011-08-18 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
KR10-2011-0082386 2011-08-18

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US14/238,197 A-371-Of-International US20140192876A1 (en) 2011-08-18 2012-08-16 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/522,981 Continuation US20150043648A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/523,047 Continuation US20150043650A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/523,001 Continuation US20150043649A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied
US14/522,964 Continuation US20150043647A1 (en) 2011-08-18 2014-10-24 Image encoding/decoding apparatus and method to which filter selection by precise units is applied

Publications (2)

Publication Number Publication Date
WO2013025065A2 true WO2013025065A2 (ko) 2013-02-21
WO2013025065A3 WO2013025065A3 (ko) 2013-04-18

Family

ID=47715761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/006528 WO2013025065A2 (ko) 2011-08-18 2012-08-16 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법

Country Status (5)

Country Link
US (5) US20140192876A1 (ko)
EP (1) EP2747426A4 (ko)
KR (1) KR20120090740A (ko)
CN (1) CN103733624A (ko)
WO (1) WO2013025065A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140369426A1 (en) * 2013-06-17 2014-12-18 Qualcomm Incorporated Inter-component filtering

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013321333B2 (en) * 2012-09-28 2017-07-27 Sony Corporation Image processing device and method
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN106710514B (zh) * 2015-07-24 2018-10-26 西安诺瓦电子科技有限公司 可编程逻辑器件、接收卡和led显示屏控制系统
EP3358848B1 (en) * 2015-09-29 2021-04-21 LG Electronics Inc. Method of filtering image in image coding system
CN116489349A (zh) * 2015-11-20 2023-07-25 韩国电子通信研究院 对图像进行编/解码的方法和装置
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
EP3435673A4 (en) 2016-03-24 2019-12-25 Intellectual Discovery Co., Ltd. VIDEO SIGNAL ENCODING / DECODING METHOD AND APPARATUS
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
WO2018012933A1 (ko) 2016-07-14 2018-01-18 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
CN116320498A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
US10277897B1 (en) * 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
WO2019083394A1 (en) * 2017-10-27 2019-05-02 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR IMAGE CODING WITH ASYMMETRICAL PARTITIONING
CN110198440B (zh) * 2018-03-29 2022-11-18 腾讯科技（深圳）有限公司 编码预测信息的确定及视频编码的方法、装置及可读介质
US11695967B2 (en) * 2018-06-22 2023-07-04 Op Solutions, Llc Block level geometric partitioning
CN117834908A (zh) * 2018-07-02 2024-04-05 英迪股份有限公司 对视频进行解码的方法和对视频进行编码的方法
CN112740669A (zh) * 2018-09-20 2021-04-30 韩国电子通信研究院 用于图像编码/解码的方法和设备、以及存储比特流的记录介质
CN112219400B (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
KR20200075775A (ko) * 2018-12-18 2020-06-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3884667B1 (en) * 2018-12-25 2024-04-17 Beijing Dajia Internet Information Technology Co., Ltd. Video coding with triangular shape prediction units
CN112565785B (zh) * 2018-12-28 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
SG11202108103WA (en) * 2019-01-28 2021-08-30 Op Solutions Llc Inter prediction in geometric partitioning with an adaptive number of regions
KR20210134038A (ko) * 2019-03-13 2021-11-08 에스지 디제이아이 테크놀러지 코., 엘티디 비디오 처리 방법 및 기기
KR20200144070A (ko) * 2019-06-17 2020-12-28 한국전자통신연구원 서브 블록 분할 기반 영상 부호화/복호화 방법 및 장치
US20220286689A1 (en) * 2019-08-05 2022-09-08 Lg Electronics Inc. Video encoding/decoding method and apparatus using motion information candidate, and method for transmitting bitstream
CN114303382A (zh) 2019-09-01 2022-04-08 北京字节跳动网络技术有限公司 视频编解码中预测权重的对准
US20220295057A1 (en) * 2019-09-04 2022-09-15 Interdigital Vc Holdings France, Sas Switchable interpolation filters
CN114556926A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 几何分割模式中的运动矢量处理
CN115053522A (zh) * 2019-12-12 2022-09-13 Lg电子株式会社 采用自适应环路滤波器的视频或图像编码
US11240501B2 (en) * 2020-01-08 2022-02-01 Tencent America LLC L-type partitioning tree
WO2021145725A1 (ko) * 2020-01-15 2021-07-22 엘지전자 주식회사 필터링 관련 정보 시그널링 기반 영상 코딩 장치 및 방법
US11523112B2 (en) * 2020-04-09 2022-12-06 Tencent America LLC Intra coding with L-type partitioning tree
US11463691B2 (en) * 2020-06-03 2022-10-04 Tencent America LLC Region adaptive loop filter for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100045549A (ko) 2008-10-24 2010-05-04 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20110001990A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
WO2011003326A1 (en) * 2009-07-06 2011-01-13 Mediatek Singapore Pte. Ltd. Single pass adaptive interpolation filter
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101484280B1 (ko) * 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101432779B1 (ko) * 2009-12-11 2014-08-25 에스케이텔레콤 주식회사 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
DK3457689T3 (da) * 2010-05-25 2020-10-12 Lg Electronics Inc Ny planar forudsigelsestilstand
US20110293004A1 (en) * 2010-05-26 2011-12-01 Jicheng An Method for processing motion partitions in tree-based motion compensation and related binarization processing circuit thereof
US8855205B2 (en) * 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
SI2924995T1 (sl) * 2010-07-09 2018-10-30 Samsung Electronics Co., Ltd. Postopek za dekodiranje videa z uporabo združevanja blokov
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
EP2724534A2 (en) * 2011-06-24 2014-04-30 Motorola Mobility LLC Selection of phase offsets for interpolation filters for motion compensation
EP2705667B1 (en) * 2011-06-30 2016-09-21 Huawei Technologies Co., Ltd. Lossless coding and associated signaling methods for compound video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100045549A (ko) 2008-10-24 2010-05-04 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAEHYUN CHO; TAEHWAN LEE; BYUNGCHUL SONG: "2010 summer comprehensive symposium contest", June 2010, KOREAN ELECTRONIC ENGINEERING ACADEMY, article "Adaptive interpolation filter of a macroblock unit using ultra high resolution technique based on study"
See also references of EP2747426A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140369426A1 (en) * 2013-06-17 2014-12-18 Qualcomm Incorporated Inter-component filtering
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering

Also Published As

Publication number Publication date
US20150043648A1 (en) 2015-02-12
CN103733624A (zh) 2014-04-16
EP2747426A4 (en) 2016-04-27
WO2013025065A3 (ko) 2013-04-18
US20150043650A1 (en) 2015-02-12
KR20120090740A (ko) 2012-08-17
US20140192876A1 (en) 2014-07-10
EP2747426A2 (en) 2014-06-25
US20150043647A1 (en) 2015-02-12
US20150043649A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
WO2013025065A2 (ko) 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
WO2012002785A2 (ko) 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법
WO2018044088A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017057953A1 (ko) 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
WO2017188652A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2013100635A1 (ko) 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2017069419A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017034331A1 (ko) 영상 코딩 시스템에서 크로마 샘플 인트라 예측 방법 및 장치
WO2017069590A1 (ko) 영상 코딩 시스템에서 모델링 기반 영상 디코딩 방법 및 장치
WO2018056603A1 (ko) 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
WO2017039256A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2011155758A2 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2011096770A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2018044087A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2012018197A2 (ko) 인트라 예측 복호화 장치
WO2017160117A1 (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
WO2011129619A2 (ko) 트리 구조 부호화 단위에 기반한 디블록킹 필터링을 수행하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
WO2012023762A2 (ko) 인트라 예측 복호화 방법
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2011099792A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2016204531A1 (ko) 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치
WO2019240448A1 (ko) 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
WO2012023763A2 (ko) 인터 예측 부호화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12824324

Country of ref document: EP

Kind code of ref document: A2

REEP Request for entry into the european phase

Ref document number: 2012824324

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012824324

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14238197

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE