KR100772390B1 - 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치 - Google Patents

방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치 Download PDF

Info

Publication number
KR100772390B1
KR100772390B1 KR1020060006804A KR20060006804A KR100772390B1 KR 100772390 B1 KR100772390 B1 KR 100772390B1 KR 1020060006804 A KR1020060006804 A KR 1020060006804A KR 20060006804 A KR20060006804 A KR 20060006804A KR 100772390 B1 KR100772390 B1 KR 100772390B1
Authority
KR
South Korea
Prior art keywords
direction interpolation
interpolation
mode
pixel
predetermined size
Prior art date
Application number
KR1020060006804A
Other languages
English (en)
Other versions
KR20070077312A (ko
Inventor
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060006804A priority Critical patent/KR100772390B1/ko
Priority to US11/593,024 priority patent/US7840096B2/en
Priority to EP07100173A priority patent/EP1811789A3/en
Priority to CNA200710002308XA priority patent/CN101009832A/zh
Publication of KR20070077312A publication Critical patent/KR20070077312A/ko
Application granted granted Critical
Publication of KR100772390B1 publication Critical patent/KR100772390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B7/00—Special arrangements or measures in connection with doors or windows
    • E06B7/14—Measures for draining-off condensed water or water leaking-in frame members for draining off condensation water, throats at the bottom of a sash
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2800/00—Details, accessories and auxiliary operations not otherwise provided for
    • E05Y2800/40—Protection
    • E05Y2800/428—Protection against water

Abstract

본 발명은 동영상 부호화 및 복호화 장치의 움직임 보상 장치에 적용될 수 있는 방향 보간 방법에 관한 것으로서, 본 발명에 따른 방향 보간 방법은 입력 영상의 특성을 고려하여, 소정의 크기의 블록 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하고, 선택된 방향 보간 모드에 기초하여, 소정 크기의 블록에 속하는 화소들 각각에 대해, 선택된 방향 보간 모드로 보간을 수행하고, 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하여 이를 복호화 장치로 전송하도록 하여, 보간 및 움직임 보상이 보다 정확히 이루어질 수 있도록 하여, 부호화 효율이 보다 높아진다.

Description

방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된 부호화 및 복호화 방법과 그 장치 및 복호화 장치{Directional interpolation method and apparatus thereof and method for encoding and decoding based on the directional interpolation method}
도 1은 반 화소 단위의 보간의 개념을 설명하기 위한 도면
도 2는 휘도 성분의 움직임 보상을 위해 사용되는 보간 방법을 설명하기 위한 도면
도 3은 색차 성분의 보간 방법을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 보간 방법이 적용된 부호화 장치를 도시하는 블록도,
도 5는 본 실시예에 적용되는 보간 방법을 설명하기 위한 도면
도 6(a) 내지 (e)는 도 5에 도시된 화소들 중 화소 A의 보간 방법을 도시하는 도면
도 7은 본 발명에 따른 보간부의 구성을 도시하는 도면
도 8(a) 내지 (e)는 도 5에 도시된 화소들 중 화소 B의 보간 방법을 도시하는 도면
도 9(a) 내지 (c)는 도 5에 도시된 화소들 중 화소 C의 보간 방법을 도시하 는 도면
도 10은 도 4의 영상 부호화 장치의 보간부에서 수행되는 보간 방법을 설명하기 위한 흐름도
도 11은 본 발명에 따른 보간 방법이 적용된 복호화 장치를 도시하는 블록도
도 12는 도 11의 영상 복호화 장치의 보간부에서 수행되는 보간 방법을 설명하기 위한 흐름도
본 발명은 움직임 보상에 관한 것으로, 보다 상세하게는 움직임 보상의 정확도(motion compensation accuracy)를 향상시키기 위한 보간(interpolation) 장치를 구비한 부호화 장치 및 복호화 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4, H,264 부호화 표준에 따르면, 현재의 픽처를 부호화함에 있어 과거의 픽처를 참조하는 P-픽춰 부호화 방법과 과거와 미래의 픽처 두 개를 모두 참조하는 B-픽춰 부호화 방법을 채용하고 이를 기반으로 움직임 보상을 수행한다. 특히, MPEG-4 또는 H.264 부호화 표준에 따르면 움직임 보상은 매크로 블록 단위는 물론 매크로 블록을 복수개의 블록으로 분할한 다음 분할된 블록 단위로 수행된다. 움직임 보상은 정수 화소(integer pel)로 구성된 블록에 대해 반 화소(half pel), 사분 화소(quarter pel), 또는 팔분 화소(one eighth pel)를 구하는 보간(interpolation)을 행하여 데이터의 정밀도를 높인 다음 수행된다.
도 1은 반화소 단위의 보간의 개념을 설명하기 위한 참고도이다.
도 1을 참조하면, 회색 상자는 원 화소(original pel)를 나타내고, 흰색 상자는 보간 화소(interpolation pel)를 나타낸다. 원 화소는 정수 화소(integer pel)를 의미한다. 보간 화소 중 흰색 상자 5, 6, 7, 8, 9는 반 화소를 나타낸다. 반 화소들은 수직 방향 또는 수평 방향으로 인접한 정수 화소들 또는 반 화소들을 기초로 얻어진다. 예를 들어, 반 화소 5는 정수 화소 1 및 2를 기초로 얻어지며, 반 화소 8은 정수 화소 3 및 4를 기초로 얻어진다. 반 화소 6은 정수 화소 1 및 3을 기초로 얻어지고, 반 화소 7은 정수 화소 2 및 4를 기초로 얻어진다. 한편, 반화소 9는 반 화소 5 및 8을 기초로 얻어지거나 반 화소 6 및 7을 기초로 얻어진다. 설명의 편의를 위해 정수 화소의 개수를 4 개로 한정하였으나, 보간에 참여하는 화소의 범위는 적절히 가감할 수 있다. 가령, 반 화소 5를 구함에 있어 정수 화소 1 및 2 뿐 아니라 수평 방향으로 인접한 정수 화소들을 더 참여시킬 수 있다. 보간 화소 또한 원 화소와 동일한 범위 내의 정수값으로 표시된다. 가령, 원 화소가 0-255의 정수값으로 표시된다면 보간 화소 또한 0-255의 정수값으로 표현된다.
도 2는 H.264에서의 휘도(luma) 성분의 사분 화소(quater-pel) 움직임 보상을 위해 사용되는 보간 방법을 설명하기 위한 참고도로서, 소정 움직임 보상 블록을 구성하는 화소들의 일부를 보여준다. 회색 상자는 정수 화소를 나타내고 흰색 상자는 보간 화소를 나타낸다.
도 2에 도시된 보간 방법은 하나의 보간 화소를 구하는데 복수개의 화소, 즉 6개의 화소들이 참여한다. 또한, 보간에 참여하는 각 화소들은 가중치가 부여된 다. 이를 위해, 본 실시예에서는 6-탭 필터를 사용한다. 6-탭 필터는 6개의 탭 값(tap values)을 가진다. 탭 값은 보간에 참여하는 화소값들에 부여되는 가중치를 의미한다. 예를 들어, 사용되는 탭 값은 (1, -5, 20, 20, -5, 1)이다. 보간에 참여하는 화소들의 개수 및 이들에 부여되는 가중치, 즉 탭 값은 다양하게 결정될 수 있다.
<반화소 b>
반 화소 b를 구하기 위해서는 반 화소 b의 수평 방향으로 가까이 위치하는 순서대로 6개의 정수 화소들 E, F, G, H, I, J가 참여한다. 정수 화소들 E, F, G, H, I, J에 전술한 6-탭 필터를 적용하면 다음 수학식 1과 같은 수평 합 b1이 얻어진다.
b1 = (E - 5*F + 20*G + 20*H - 5*I + J)
다음으로, 수학식 2과 같이, 수평 합 b1에 16을 더한 다음 32로 나누고, 정수화한 다음, 범위 조정을 하여 최종적으로 반 화소 b를 구한다.
b = Clip1Y((b1 + 16) >> 5)
여기서, 수평 합 b1에 16을 더함으로써 정수값을 구함에 있어 반올림이 수행된다. 「>> 5」는 수학적으로 32(=25)로 나눈 다음 소수점 이하의 숫자는 버리는 것을 뜻한다. 6-탭 필터의 탭 값의 합이 32이기 때문에(즉, 32개의 화소값들이 더해진 셈이 되므로) 평균값을 구하려면 다시 32로 나누어야 하기 때문이다. Clip1Y()은 구해진 정수값, 즉 (b1 + 16) >> 5가 원 화소(정수 화소)가 표현되는 범위 중 어느 하나로 표현되도록 매핑시켜주는 역할을 한다. 예를 들어, 정수 화소가 0-255의 값들 중 어느 하나로 표시될 때, 구해진 평균값이 그 범위 밖의 값을 갖게 되면 Clip1Y()은 범위 내의 소정 값으로 매핑시켜준다.
<반 화소 h>
반 화소 h를 구하기 위해서는 반 화소 h의 수직 방향으로 가까이 위치하는 순서대로 6개의 정수 화소들 A, C, G, M, R, T가 참여한다. 정수 화소들 A, C, G, M, R, T에 전술한 6-탭 필터를 적용하면 수학식 3과 같은 수직 합 h1이 얻어진다.
h1 = (A - 5*C + 20*G + 20*M - 5*R + T)
다음으로, 수직 합 h1에 16을 더한 다음 32로 나누고, 반올림하여 평균값을 구하고, 범위 조정을 하여 수학식 4와 같이, 최종적으로 반 화소 h를 구한다.
h = Clip1Y((h1 + 16) >> 5)
<반 화소 j>
반 화소 j은 반 화소 h와 마찬가지 방법으로 구할 수 있다. 즉, 반화소 j는 수학식 5 및 수학식 6에 의해 구해진다.
j1 = (cc - 5*dd + 20*h1 + 20*m1 - 5*ee + ff)
또는
j1 = (aa - 5*bb + 20*b1 + 20*s1 - 5*gg + hh)
j = Clip1 Y((j1 + 512) >> 10)
<사분 화소 a>
사분 화소 a를 구하기 위해서는 사분 화소 a에 인접한 반 화소와 정수 화소의 수평 방향 평균치 필터를 사용하여 생성한다. 예를 들어, 사분 화소 a는 수학식 7에 따라 구해진다.
a = (G + b +1) >> 1
여기에서, (G + b +1) >> 1는 G + b에 1을 더한 다음, 2로 나누고 소숫점 이하의 수는 버림으로써 정수화함을 의미한다. 또한, 나머지 사분 화소들 a, c, d, n, f, j, k q도 또한 아래 수학식 8 내지 14에 의해 얻어진다.
c = (H + b +1) >> 1
d = (G + h +1) >> 1
n = (M + h +1) >> 1
f = (b + j +1) >> 1
i = (h + j +1) >> 1
k = (j + m +1) >> 1
q = (j + s +1) >> 1
도 3은 색차(chroma) 성분의 보간 방법을 설명하기 위한 도면이다. H.264의 보간 방법에서는 휘도 성분과 색차 성분이 다르게 처리된다. 한편, 색차 신호의 예측 보간 영상 값은 정수 화소값을 1/8 화소 정밀도로 선형 보간해서 얻어진다. 채도 프레임의 움직임 벡터는 휘도 프레임 움직임 벡터의 1/2이다. 움직임 벡터가 결정되면, 예측 보간 영상값 v는 아래 수학식 15에 따라 결정된다.
v = ((8-dx)(8-dy)*A + dx(8-dy)*B +(8-dx)*dy*C + dx*dy*D+32) >> 6
여기에서, dx, dy는 채도 프레임에서의 움직임 벡터를 나타내는 값이다.
도 2 및 도 3에서 알 수 있듯이, 기존의 서브 펠 보간은 가로 혹은 세로 방향으로만 보간을 수행하며, 영상의 특성은 전혀 고려되지 않기 때문에, 보간 및 이를 이용한 움직임 보상의 정확성이 떨어지는 문제점이 있었다.
따라서, 본 발명의 목적은 보다 정확성을 갖는 보간 방법 및 이를 적용한 부호화 장치 및 복호화 장치를 제공하는 것이다.
상기 목적은, 본 발명에 따른 방향 보간 방법에 있어서, 입력 영상의 특성을 고려하여, 소정의 크기의 블록 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 선택된 방향 보간 모드에 기초하여, 상기 소정 크기의 블록에 대해, 방향 보간을 수행하는 단계와; 상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법에 의해 달성된다.
바람직하게는, 상기 입력 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드를 선택하는 단계는, 상기 소정 크기의 블록에 속하는 화소들에 대해 복수개의 방향 별로 경사도를 계산하는 단계를 더 포함한다.
바람직하게는, 상기 방향 보간 모드를 선택하는 단계는 경사도가 최소인 방향을 선택하고, 상기 선택된 방향에 해당하는 방향 보간 모드를 선택한다.
또한, 상기 목적은 본 발명에 따른 방향 보간 방법에 있어서, 입력 영상의 특성을 고려하여, 소정의 화소 단위로, 복수개의 방향 보간 모드 들 중 하나를 선 택하는 단계와; 상기 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법에 의해서도 달성된다.
또한, 상기 목적은 본 발명에 따른 방향 보간 방법에 있어서, 수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 단계와, 상기 추출된 모드 정보에 기초하여, 소정 크기의 블록 단위로, 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법에 의해서도 달성된다.
또한, 상기 목적은 입력 영상의 특성을 고려하여, 소정의 크기의 블록 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 선택된 방향 보간 모드에 기초하여, 상기 소정 크기의 블록에 대해, 방향 보간을 수행하는 단계와; 상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법을 사용하는 움직임 보상 방법에 의해서도 달성된다.
또한, 상기 목적은 입력 영상의 특성을 고려하여, 소정의 화소 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법을 사용하는 움직임 보상 방법에 의해서도 달성된다.
또한, 상기 목적은 수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 단계와, 상기 추출된 모드 정보에 기초하여, 소정 크기의 블록 단위로, 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법을 사용하는 움직임 보상 방법에 의해서도 달성된다.
또한, 상기 목적은 입력 영상의 특성을 고려하여, 소정의 크기의 블록 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 선택된 방향 보간 모드에 기초하여, 상기 소정 크기의 블록에 대해, 방향 보간을 수행하는 단계와; 상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법이 적용된 움직임 보상 방법을 사용하는 동영상 부호화 방법에 의해서도 달성된다.
또한, 상기 목적은 입력 영상의 특성을 고려하여, 소정의 화소 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법이 적용된 움직임 보상 방법을 사용하는 동영상 부호화 방법 또는 복호화 방법에 의해서도 달성된다.
또한, 상기 목적은 수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 단계와, 상기 추출된 모드 정보에 기초하여, 소정 크기의 블록 단위로, 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법이 적용된 움직임 보상 방법을 사용하는 동영상 복호화 방법에 의해서도 달성된다.
또한, 입력 영상의 특성을 고려하여, 소정의 크기의 블록 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 방향 보간 모드 선택부와; 상기 선택된 방 향 보간 모드에 기초하여, 상기 소정 크기의 블록에 대해, 방향 보간을 수행하는 방향 보간 생성부와; 상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하는 모드 정보 생성부를 포함하는 것을 특징으로 하는 방향 보간 장치에 의해서도 달성된다.
또한, 상기 목적은, 입력 영상의 특성을 고려하여, 소정의 화소 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 방향 보간 모드 선택부와; 상기 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 방향 보간 수행부를 포함하는 것을 특징으로 하는 방향 보간 장치에 의해서도 달성된다.
또한, 상기 목적은 수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 모드 정보 추출부와, 상기 추출된 모드 정보에 기초하여, 소정 크기의 블록 단위로, 방향 보간을 수행하는 방향 보간 수행부를 포함하는 것을 특징으로 하는 방향 보간 장치에 의해서도 달성된다.
또한, 상기 목적은 입력 영상의 특성을 고려하여, 소정의 크기의 블록 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 선택된 방향 보간 모드에 기초하여, 상기 소정 크기의 블록에 대해, 방향 보간을 수행하는 단계와; 상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 의해서도 달성된다.
또한, 상기 목적은 입력 영상의 특성을 고려하여, 소정의 화소 단위로, 복수 개의 방향 보간 모드 들 중 하나를 선택하는 단계와; 상기 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
또한, 상기 목적은 수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 단계와, 상기 추출된 모드 정보에 기초하여, 소정 크기의 블록 단위로, 방향 보간을 수행하는 단계를 포함하는 것을 특징으로 하는 방향 보간 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록 매체에 의해서도 달성된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 보간 방법이 적용된 부호화 장치의 블록도이다. 도 4에 도시된 동영상 부호화 시스템의 예로는 MPEG 2, MPEG 4, 및 H.264 부호기 등이 있다.
먼저, 입력되는 영상 데이터는 16×16 매크로 블록 단위로 분할된다.
부호화기 제어부(410)는 비트율 조절기로서 원하는 시퀀스 전체의 비트율 및 각각의 픽쳐별로 타겟 비트를 만족하도록 각 블록의 양자화 계수를 결정하는 기능을 수행한다.
변환 및 양자화부(420)는 영상 데이터의 공간 중복성(spatial redundancy)을 없애기 위해, 입력된 영상 데이터를 변환(transform) 한다. 또한, 변환 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 영상 변환의 예로는 DCT(Discrete Cosine Transform) 또는 정수 변환(integer transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.
역변환 및 역양자화부(430)는 변환 및 양자화부(420)에서 양자화된 영상 데이터를 역양자화하고, 역양자화된 영상 데이터를 역 영상 변환, 예를 들어 역 DCT한다.
프레임 메모리부(450)는 역변환 및 역양자화부(430)에서 역양자화 및 역변환된 영상 데이터를 프레임 단위로 저장한다.
움직임 예측 및 보상부(ME/MC: 470)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(450)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 SAD를 추정한다.
엔트로피 부호화부(480)는 변환 및 양자화부(420)로부터 출력되는 양자화된 변환 계수들과 움직임 예측 및 보상부(470)로부터 출력된 움직임 벡터에 관한 정보를 입력받으며, 부호화기 제어부(410)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 엔트로피 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.
또한, 선택적으로 디-블록킹 필터(440)와 인트라 프레임 예측부(460)을 더 포함한다.
디-블록킹 필터(de-blocking filter)(440)는 움직임 보상된 영상에서 양자화로 인해 발생한 블록킹 현상을 제거하기 위해 필터링을 수행하고, 그 결과를 프레임 메모리(450)로 출력한다.
인트라 프레임 예측부(460)는 인트라 매크로블록의 경우 공간 영역에서 블록 별 또는 매크로블록 별 예측자(predictor)를 구하고, 인트라 매크로블록에서 예측자를 뺀 후 그 차분을 변환부로 보내는 기능을 수행한다.
움직임 예측 및 보상부(470)에서는 본 발명에 따른 보간부 (도시되지 않음)를 포함한다. 본 발명에 따른 보간부에서는 움직임 보상값을 생성하기 위해 필요한 영상 데이터의 해상도를 높이기 위한 보간을 수행한다.
이하에서는, 보간부에 의해 수행되는 보간 방법(보간 알고리즘)을 도 5 내지 8을 참조하여 설명한다.
도 5에서 회색 부분은 정수 단위 화소를 의미하며, 흰색은 보간을 필요로 하는 화소들이다. 본 실시예에서는 예시적으로 A, B, 및 C 화소에서의 보간을 설명한다.
도 6은 도 5에 도시된 화소들 중 화소 A의 보간을 나타내는 도면이다. 도 6(a) 내지 (e)는 각각 90도, 22.5도, 157.5도, 45도, 및 135도에서의 방향 보간 값들을 도시하고 있다.
도 6(a)는 화소 A의 90도에서의 방향 보간 값 A_int90을, 아래 수학식 16에서와 같이, 화소 A에 인접한 정수 화소 P13 및 P23의 평균치 필터를 사용하여 생성 하는 것을 나타낸다. 본 실시예에서는, 정수 화소 P13 및 P23는 복원된 정수 화소들이다.
A_int90 = (P13 + P23)/2
도 6(b)는 화소 A의 22.5에서의 방향 보간 값 A_int22.5를, 아래 수학식 17에서와 같이, 화소 A에 인접한 정수 화소 P14 및 P22의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
A_int22.5 = (P14 + P22)/2
도 6(c)는 화소 A의 157.5도에서의 방향 보간 값 A_int157.5을, 아래 수학식 18에서와 같이, 화소 A에 인접한 정수 화소 P12 및 P24의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
A_int157.5 = (P12 + P24)/2
도 6(d)는 화소 A의 45도에서의 방향 보간 값 A_int45을, 아래 수학식 19에서와 같이, 화소 A에 인접한 정수 화소 P13, P14, P22, P23의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
A_int45 = (P13 + P14 + P22 + P23)/4
도 6(e)는 화소 A의 135도에서의 방향 보간 값 A_int135를, 화소 A에 인접한 정수 화소 P12, P13, P23, 및 P24의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
A_int135 = (P12 + P13 + P23 + P24)/4
도 6에서 예를 들어 도시된 각도 이외의 다른 다양한 각도에 대해서도 동일한 방식으로 보간을 수행하는 것이 가능하다.
본 실시예에서는, 각 화소들에 대해 가능한 다양한 방향 보간 방식들 중 하나를 선택하여 선택된 방향으로 방향 보간을 수행하고, 선택된 방향 보간에 대한 정보를 복호화부로 전송한다.
본원의 일 실시예에 따른 움직임 예측 및 보상부(470)의 보간부는 서브 블록 단위로 영상 특성을 고려하여 복수개의 방향 들 중 하나를 선택하고, 선택된 방향에 대해 서브 블록내의 화소들에 대해 방향 보간을 수행하고, 선택된 방향 보간을 나타내는 모드 정보를 생성하여 엔트로피 부호화부(480)로 전송한다.
도 7은 움직임 예측 및 보상부(470)의 보간부를 보다 구체적으로 나타내는 도면이다.
방향 보간 모드 결정부(720)는 소정 크기의 서브 블록에 대해 적용될 방향 보간을 결정한다. 복수개의 방향 보간 모드들 중 하나를 선택하는 기준은, 서브 블록에 대응하는 영상의 특성, 예를 들어 영상의 에지 정보이다. 영상의 에지는 각 방향 별로 경사도(gradient)를 계산하고, 그 결과 값을 이용하여 최종 방향을 선택한다.
예를 들어, 도 6에서, 90도에서의 경사도를 D_90이라고 하면, D_90은 (|P12-P22| + |P13-P23| + |P14-P24|)/3에 의해 구해진다. 동일한 방식으로, 22.5도에서의 경사도, D_22.5은 (|P13-P21| + |P14-P22| + |P15-P23|)/3에 의해 구해진다. 또한, 157.5도에서의 경사도, D_157.5는 (|P11-P23| + |P12-P24| + |P13-P25|)/3에 의해 구해진다. 또한, 45도에서의 경사도, D_45는 (|P13-P22| + |P14-P23|)/2에 의해 구해진다. 또한, 135도에서의 경사도, D_135는 (|P12-P23| + |P13-P24|)/2에 의해 구해진다.
방향 보간 모드 결정부(720)는 서브 블록을 구성하는 화소들에 대해, 이와 같은 방식으로, 복수개의 방향에서의 경사도를 구하여, 이를 평균한 값을 비교하여 최종 방향을 선택한다. 예를 들어, 45도에서의 경사도가 가장 작은 값을 갖는다면, 45도 방향을 보간 방향으로 선택한다.
방향 보간 수행부(740)는 서브 블록을 형성하는 모든 화소들에 대해, 45도 방향으로 방향 보간을 수행한다.
모드 정보 생성부(760)는 45도 방향의 방향 보간 모드를 나타내는 모드 정보를 생성하여, 도 4의 엔트로피 부호화부(480)로 전송한다.
본 실시예에서 사용되는 서브 블록은 8×8 블록, 8×16 블록, 16×8 블록, 16×16 블록, 또는 다양한 크기 및 모양을 갖는 서브 블록일 수 있다. 특히, 입력 영상의 특정 패턴을 갖는 경우, 해당 패턴에 대응하는 형태를 갖는 블록 단위로 최적의 방향 보간을 탐색하고, 탐색 결과에 따라 선택된 방향으로 방향 보간을 수행 하는 것도 가능하다.
한편, 본 발명의 또 다른 실시예에서는, 화소 단위로, 소정의 기준에 따라 복수개의 방향 모드들 중 하나를 선택하고, 선택된 방향에 대해 방향 보간을 수행한다. 예를 들어, 화소 단위로, 각 방향별 경사도(gradient)를 계산하고, 그 결과 값에 따라 결정되는 방향 보간을 수행한다.
예를 들어, 도 6에서, 복수개의 방향에서의 경사도 D_90 = (|P12-P22| + |P13-P23| + |P14-P24|)/3, D_22.5 = (|P13-P21| + |P14-P22| + |P15-P23|)/3, D_157.5 = (|P11-P23| + |P12-P24| + |P13-P25|)/3, D_45 = (|P13-P22| + |P14-P23|)/2, D_135= (|P12-P23| + |P13-P24|)/2를 구한 후, 최소값을 갖는 방향으로 최종 방향을 선택한다. 본 실시예에서는 부호기 및 복호기에서 동일한 기준에 따라 방향 보간을 선택하기 때문에 별도의 방향 정보를 복호화부로 전송할 필요가 없다. 따라서, 본 실시예에서는 도 7의 모드 정보 생성부(760)는 필요하지 않다.
도 8은 도 5에 도시된 화소들 중 화소 B의 보간을 나타내는 도면이다. 도 8(a) 내지 (e)는 각각 0도, 112.5도, 67.5도, 135도, 및 45도에서의 방향 보간 값들을 도시하고 있다.
도 8(a)는 화소 B의 0도에서의 방향 보간 값 B_int0을, 아래 수학식 21에서와 같이, 화소 B에 인접한 정수 화소 P22 및 P23의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
B_int0 = (P22 + P23)/2
도 8(b)는 화소 B의 112.5도에서의 방향 보간 값 B_int112.5을, 아래 수학식 22에서와 같이, 화소 B에 인접한 정수 화소 P12 및 P33의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
B_int112.5 = (P12 + P33)/2
도 8(c)는 화소 B의 67.5도에서의 방향 보간 값 B_int67.5을, 아래 수학식 23에서와 같이, 화소 B에 인접한 정수 화소 P13 및 P32의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
B_int67.5 = (P13 + P32)/2
도 8(d)는 화소 B의 135도에서의 방향 보간 값 B_int135를, 아래 수학식 24에서와 같이, 화소 B에 인접한 정수 화소 P11, P22, P33, P12, P23, 및 P34의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
B_int135 = (P11+P22+P33+P12+P23+P34)/6
도 8(e)는 화소 B의 45도에서의 방향 보간 값 B_int45를, 아래 수학식 25에서와 같이, 화소 B에 인접한 정수 화소 P13, P22, P31, P14, P23, 및 P32의 평균치 필터를 사용하여 생성하는 것을 나타낸다.
B_int45 = (P13+P22+P31+P14+P23+P32)/6
도 8은 0도, 112.5도, 67.5도, 135도, 및 45도에서의 방향 보간 값들을 도시하고 있지만, 이러한 방향 외에 보다 더 다양한 각도에서의 보간 값들도 유추가 가능하다.
또한, 화소별로 복수개의 방향 보간 모드들 중 하나를 선택하는 경우, 화소 B도 화소 A에서와 마찬가지로, 방향별 경사도 값을 구하여, 이에 따라 최종 방향을 선택한다.
도 9는 화소 도 5에 도시된 화소들 중 화소 C의 보간을 나타내는 도면이다. 도 9(a) 내지 (c)는 각각 0도, 135도, 및 45도에서의 방향 보간 값들을 도시하고 있다.
도 9(a)는 화소 C의 0도에서의 방향 보간 값 C_int0을, 아래 수학식 26에서와 같이, 화소 C에 인접한 정수 화소 P12, P13, P22, 및 P23의 값에 대해 평균치 필터를 사용하여 생성하는 것을 나타낸다.
C_int0 = (P12 + P13 + P22 + P23)/4
도 9(b)는 화소 C의 135도에서의 방향 보간 값 C_int135을, 아래 수학식 27에서와 같이, 화소 C에 인접한 정수 화소 P12 및 P23의 값에 대해 평균치 필터를 사용하여 생성하는 것을 나타낸다.
C_int135 = (P12 + P23)/2
도 9(c)는 화소 C의 45도에서의 방향 보간 값 C_int45을, 아래 수학식 28에 서와 같이, 화소 C에 인접한 정수 화소 P13 및 P22의 값에 대해 평균치 필터를 사용하여 생성하는 것을 나타낸다.
C_int45 = (P13 + P22)/2
또한, 보간부의 방향 보간 모드 결정부(720)에서는 H.264의 보간 방법과 적응적으로 선택하여 적용하는 것도 가능하다. 즉, 복수개의 방향 모드들 중 하나로서, H.264 보간을 사용하는 것도 가능하다. 예를 들어, 소정의 서브 블록에 대해, 다수의 방향에 대해, 경사도를 측정한 결과, 그 분포가 평탄한 경우, 특정 방향을 선택하지 않고, H.264 보간 방법에 따라 보간을 수행하도록 하는 것도 가능하다.
또한, 본 실시예에서는 보간하고자 하는 화소의 인접 화소들 만을 사용하였는데, H.264의 경우와 같이 보다 넓은 범위의 화소들을 이용한 보간도 가능하다.
또한, 본 실시예에서는, 반 화소 움직임 보상을 고려하였는데, 사분 화소 단위 움직임 보상에도 본 발명의 개념이 적용될 수 있다.
도 10은 도 4의 영상 부호화 장치의 보간부에서 수행되는 보간 방법을 설명하기 위한 흐름도이다.
단계 1020에서는 입력 영상의 특성을 고려하여, 복수개의 방향 보간 모드들 중 하나를 선택한다. 예를 들어, 소정 크기의 블록을 구성하는 화소들에 대해, 복수개의 방향에서의 경사도를 구하여, 이를 평균한 값을 비교하여 보간 방향을 선택한다. 예를 들어, 45도에서의 경사도가 가장 작은 값을 갖는다면, 45도 방향을 최종 방향으로 선택한다.
단계 1040에서는 단계 1020에서 선택된 방향, 예를 들어 45도 방향으로, 블록 내의 보간 될 모든 화소들에 대해 방향 보간을 수행한다.
단계 1060에서는 블록 단위로 선택된 방향을 나타내는 모드 정보를 생성하여, 복호화부로 전송한다.
선택적으로, 단계 1020에서 다수의 방향에 대해, 경사도를 측정한 결과, 그 분포가 평탄한 경우, 특정 방향을 선택하지 않고, H.264 보간 방법에 따라 보간을 수행하도록 결정하는 것도 가능하다. 이때, 단계 940에서는, H.264 보간 방법에 따라 보간을 수행하고, 단계 1060에서는 이를 나타내는 모드 정보를 생성한다.
또한, 선택적으로, 화소 단위로, 소정의 기준에 따라 선택된 방향에 대해 방향 보간을 수행한다. 예를 들어, 화소 단위로, 각 방향별 경사도(gradient)를 계산하고, 그 결과 값에 따라 결정되는 방향 보간을 수행한다. 이 경우, 별도의 모드 정보를 생성하지 않는다.
도 11은 본 발명에 따른 보간 방법이 적용된 복호화 장치를 도시하는 블록도이다.
본 발명에 따른 복호화 장치는 엔트로피 복호화부(1110), 역양자화부(1120), 역변환부(1130), 프레임 메모리부(1140), 움직임 보상부(1150), 및 가산부(1160)를 포함한다.
엔트로피 복호화부(1110)는 부호화된 입력 스트림을 엔트로피 복호화하여 영상 데이터, 움직임 벡터, 보간 방향을 나타내는 모드 정보 등을 추출한다. 가변 길이 복호화된 영상 데이터는 역양자화부(1120)으로 입력되고, 움직임 벡터 정보 및 모드 정보는 움직임 보상부(1150)으로 입력된다.
역양자화부(1120)는 입력된 가변 길이 복호화된 영상 데이터에 대해 역양자화를 수행한다.
역변환부(1130)는 역양자화가 수행된 영상 데이터에 대해 역변환을 수행한다.
움직임 보상부(1150)는 종래의 동영상 복호화 장치에서 수행되는 움직임 보상을 수행함과 동시에, 보간이 필요한 화소들에 대해서는, 입력된 모드 정보를 이용하여 소정의 크기의 블록, 예를 들어 서브 블록 단위로 보간 방향을 결정한 후, 결정된 보간 방향으로, 서브 블록내의 보간되어야 하는 화소들에 대해 보간을 수행한다.
가산부(1160)는 역변환부(1130) 및 움직임 보상부(1150)로부터의 입력값을 가산하여 디스플레이부 (도시되지 않음) 및 프레임 메모리(1140)로 출력한다.
한편, 본 발명에 따른 또 다른 실시예에서는, 별도의 모드 정보를 사용하지 않고, 부호화 장치에서 보간 방향을 결정하는 방식을 동일하게 사용하여 보간을 수행한다. 이 경우, 입력 비트 스트림에 보간 방향을 특정하는 모드 정보가 삽입되어 있지 않으므로, 엔트로피 복호화부(1110)에서의 모드 정보의 추출 및 움직임 보상부(1150)로의 모드 정보의 출력은 필요하지 않다.
도 12는 도 11에 도시된 영상 복호화 장치에서 수행되는 보간 방법을 설명하기 위한 흐름도이다.
단계 1220에서는 입력된 비트 스트림에 대해 엔트로피 복호화를 수행하여 복 수개의 방향 보간 모드들 중 하나의 방향 보간 모드를 나타내는 모드 정보를 추출한다. 여기에서, 모드 정보가 나타내는 방향 보간 모드는 입력 영상의 특성을 고려하여 선택된 방향 보간 모드이다.
단계 1240에서는 추출된 모드 정보를 이용하여 소정 크기의 블록, 예를 들어 서브 블록 단위로 보간 방향을 결정한다.
단계 1260에서는 소정 크기의 블록의 보간될 화소들에 대해 결정된 보간 방향으로 보간을 수행한다.
한편, 본 발명에 따른 또 다른 실시예에서는, 별도의 모드 정보를 사용하지 않고, 부호화 장치에서 보간 방향을 결정하는 방식을 동일하게 사용하여 보간을 수행한다. 예를 들어, 화소 단위로, 각 방향별 경사도(gradient)를 계산하고, 그 결과 값에 따라 결정되는 방향 보간을 수행한다. 이 경우, 입력 비트 스트림에 보간 방향을 특정하는 모드 정보가 삽입되어 있지 않으므로, 모드 정보의 추출 단계는 필요하지 않다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같이, 본 발명에 따르면 움직임 보상에 있어서 영상의 특성을 고려한 적응적인 방향 보간을 수행함으로써, 움직임 보상의 효율이 보다 높아지고, 이에 따라 부호화 효율이 향상되는 효과가 있다.

Claims (27)

  1. 동영상 부호화 방법에 있어서,
    부호화하고자 하는 현재 블록에 대응하는 소정 크기의 참조 블록 영상의 특성을 고려하여, 복수개의 방향 보간 모드들 중 하나를 선택하는 단계와;
    상기 선택된 방향 보간 모드에 기초하여, 상기 소정 크기의 참조 블록 영상에 대해, 방향 보간을 수행하는 단계와;
    상기 방향 보간이 수행된 참조 블록 영상을 예측 블록으로 하여 정수 화소 이하 단위의 움직임 보상을 수행하는 단계와;
    상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성 및 전송하는 단계를 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  2. 제1항에 있어서, 상기 참조 블록 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드를 선택하는 단계는, 상기 참조 블록 영상에 속하는 화소들에 대해 복수개의 방향 별로 경사도를 계산하는 단계를 더 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  3. 제2항에 있어서, 상기 방향 보간 모드를 선택하는 단계는 경사도가 최소인 방향을 선택하고, 상기 선택된 방향에 해당하는 방향 보간 모드를 선택하는 것을 특징으로 하는 동영상 부호화 방법.
  4. 제1항에 있어서, 상기 모드 정보를 복호화부로 전송하는 단계를 더 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  5. 동영상 부호화 방법에 있어서,,
    부호화하고자 하는 현재 블록에 대응하는 소정의 크기의 참조 블록 영상의 특성을 고려하여, 화소 단위로, 복수개의 방향 보간 모드 들 중 하나를 선택하는 단계와;
    상기 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 단계와;
    상기 방향 보간이 수행된 블록을 예측 블록으로 하여 정수 화소 이하 단위로 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  6. 제5항에 있어서, 상기 참조 블록 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드를 선택하는 단계는, 상기 화소에 대해 복수개의 방향 별로 경사도를 계산하는 단계를 더 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  7. 제6항에 있어서, 상기 방향 보간 모드를 선택하는 단계는 경사도가 최소인 방향을 선택하고, 선택된 방향에 해당하는 방향 보간 모드를 선택하는 것을 특징으로 하는 동영상 부호화 방법.
  8. 동영상 복호화 방법에 있어서,
    수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 단계와,
    상기 추출된 모드 정보에 기초하여, 소정 크기의 블록 단위로, 방향 보간을 수행하는 단계와;
    상기 방향 보간으로 생성된 블록을 예측 블록으로 하여 정수 화소 이하 단위로 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
  9. 제8항에 있어서, 상기 방향 보간 모드는 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택되며, 상기 입력 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드의 선택은, 상기 소정 크기의 블록에 속하는 화소들에 대해 복수개의 방향 별로 계산된 경사도에 기초하여 이루어지는 것을 특징으로 하는 동영상 복호화 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 동영상 부호화 장치에 있어서,
    부호화하고자 하는 현재 블록에 대응하는 소정의 크기의 참조 블록 영상의 특성을 고려하여, 복수개의 방향 보간 모드 들 중 하나를 선택하는 방향 보간 모드 선택부와;
    상기 선택된 방향 보간 모드에 기초하여, 상기 소정 크기의 참조 블록 영상에 대해, 방향 보간을 수행하는 방향 보간 생성부와;
    상기 선택된 방향 보간 모드를 특정하는 모드 정보를 생성하는 모드 정보 생성부와;
    상기 방향 보간으로 생성된 참조 블록 영상을 예측 블록으로 하여 정수 화소 이하 단위로 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 동영상 부호화 장치.
  14. 제13항에 있어서, 상기 참조 블록 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드 선택부는, 상기 소정 크기의 블록에 속하는 화소들에 대해 복수개의 방향 별로 경사도를 계산하는 것을 특징으로 하는 동영상 부호화 장치.
  15. 제14항에 있어서, 상기 방향 보간 모드를 선택부는 경사도가 최소인 방향을 선택하고, 선택된 방향에 해당하는 방향 보간 모드를 선택하는 것을 특징으로 하는 동영상 부호화 장치.
  16. 동영상 부호화 장치에 있어서,
    부호화하고자하는 현재 블록에 대응하는 소정의 크기의 참조 블록 영상의 특성을 고려하여, 화소 단위로 복수개의 방향 보간 모드 들 중 하나를 선택하는 방향 보간 모드 선택부와;
    상기 참조 블록 영상의 화소에 대해, 상기 선택된 방향 보간 모드로 방향 보간을 수행하는 방향 보간 수행부와;
    상기 방향 보간이 수행된 블록을 예측 블록으로 하여 정수 화소 단위 이하로 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 동영상 부호화 장치.
  17. 제16항에 있어서, 상기 참조 블록 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드 선택부는, 상기 화소에 대해 복수개의 방향 별로 경사도를 계산하는 것을 특징으로 하는 동영상 부호화 장치.
  18. 제17항에 있어서, 상기 방향 보간 모드 선택부는 경사도가 최소인 방향을 결정하고, 상기 결정된 방향에 해당하는 방향 보간 모드를 선택하는 것을 특징으로 하는 동영상 부호화 장치.
  19. 동영상 복호화 장치에 있어서,
    수신된 비트 스트림으로부터 복수개의 방향 보간 모드들 중 선택된 방향 보간 모드를 나타내는 모드 정보를 추출하는 모드 정보 추출부와,
    상기 추출된 모드 정보에 기초하여, 상기 소정 크기의 블록 단위로, 방향 보간을 수행하는 방향 보간 수행부와;
    상기 방향 보간이 수행된 블록을 예측 블록으로 하여 정수 화소 이하 단위로 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 동영상 복호화 장치.
  20. 제19항에 있어서, 상기 방향 보간 모드는 복수개의 방향 보간 모드들 중 입력 영상의 특성을 고려하여 선택되며, 상기 입력 영상의 특성은, 에지 정보이며, 상기 방향 보간 모드의 선택은, 상기 소정 크기의 블록에 속하는 화소들에 대해 복수개의 방향 별로 계산된 경사도에 기초하여 이루어지는 것을 특징으로 하는 동영상 복호화 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 제1항 내지 제9항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독가능한 기록 매체.
  25. 삭제
  26. 삭제
  27. 삭제
KR1020060006804A 2006-01-23 2006-01-23 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치 KR100772390B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060006804A KR100772390B1 (ko) 2006-01-23 2006-01-23 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
US11/593,024 US7840096B2 (en) 2006-01-23 2006-11-06 Directional interpolation method and video encoding/decoding apparatus and method using the directional interpolation method
EP07100173A EP1811789A3 (en) 2006-01-23 2007-01-05 Video coding using directional interpolation
CNA200710002308XA CN101009832A (zh) 2006-01-23 2007-01-11 方向内插方法和使用该方法的视频编码/解码设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060006804A KR100772390B1 (ko) 2006-01-23 2006-01-23 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치

Publications (2)

Publication Number Publication Date
KR20070077312A KR20070077312A (ko) 2007-07-26
KR100772390B1 true KR100772390B1 (ko) 2007-11-01

Family

ID=37964099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060006804A KR100772390B1 (ko) 2006-01-23 2006-01-23 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치

Country Status (4)

Country Link
US (1) US7840096B2 (ko)
EP (1) EP1811789A3 (ko)
KR (1) KR100772390B1 (ko)
CN (1) CN101009832A (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008122956A2 (en) * 2007-04-09 2008-10-16 Nokia Corporation High accuracy motion vectors for video coding with low encoder and decoder complexity
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US10045046B2 (en) 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
PL3367686T3 (pl) * 2011-06-24 2021-06-28 Ntt Docomo, Inc. Urządzenie i sposób predykcji z kompensacją ruchu
CN103918263A (zh) * 2011-07-22 2014-07-09 摩托罗拉移动有限责任公司 用于扫描视频编译中的矩形变换的设备和方法
TWI455063B (zh) * 2011-08-12 2014-10-01 Univ Nat Cheng Kung Color interpolation device and method thereof
KR101829923B1 (ko) 2011-10-13 2018-02-22 삼성전자주식회사 데이터 통신 시스템에서 부호화 장치 및 방법
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
US20130215970A1 (en) 2011-12-20 2013-08-22 General Instrument Corporation Method and apparatus for last coefficient group position coding
GB2516426B (en) * 2013-07-17 2015-10-07 Gurulogic Microsystems Oy Encoder, decoder and method of operation using interpolation
CN106101731B (zh) * 2016-07-21 2019-06-21 北京奇艺世纪科技有限公司 图像无损压缩方法及装置
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
CN113128521B (zh) * 2021-04-30 2023-07-18 西安微电子技术研究所 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153668A (ja) * 2002-10-31 2004-05-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
KR20040062297A (ko) * 2003-01-02 2004-07-07 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
KR20050023983A (ko) * 2003-09-04 2005-03-10 삼성전자주식회사 에지 기반의 공간적 상관성을 이용한 영상 적응형디인터레이싱 방법
KR20050032512A (ko) * 2002-08-19 2005-04-07 소니 가부시끼 가이샤 화상 처리 장치 및 방법, 영상 표시 장치와 기록 정보재생 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US5991463A (en) * 1995-11-08 1999-11-23 Genesis Microchip Inc. Source data interpolation method and apparatus
DE60024389T2 (de) 1999-04-26 2006-08-03 Koninklijke Philips Electronics N.V. Subpixelgenaue bewegungsvektorschätzung und bewegungskompensierte interpolation
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
AUPQ377899A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Phase three kernel selection
WO2001041451A1 (en) 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
KR100493292B1 (ko) 2002-10-26 2005-06-02 엘지전자 주식회사 디스플레이 기기의 스플릿 줌 제어장치
AU2003248913A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
MXPA05007444A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Ocultamiento de error espacial con base en los modos de intra-prediccion transmitidos en una corriente codificada.
CN1791890A (zh) * 2003-05-20 2006-06-21 皇家飞利浦电子股份有限公司 估算边缘取向
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US7831088B2 (en) * 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
US7576783B2 (en) * 2005-02-04 2009-08-18 Hau Hwang Confidence based weighting for color interpolation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050032512A (ko) * 2002-08-19 2005-04-07 소니 가부시끼 가이샤 화상 처리 장치 및 방법, 영상 표시 장치와 기록 정보재생 장치
JP2004153668A (ja) * 2002-10-31 2004-05-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
KR20040062297A (ko) * 2003-01-02 2004-07-07 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
KR20050023983A (ko) * 2003-09-04 2005-03-10 삼성전자주식회사 에지 기반의 공간적 상관성을 이용한 영상 적응형디인터레이싱 방법

Also Published As

Publication number Publication date
EP1811789A3 (en) 2012-07-11
US7840096B2 (en) 2010-11-23
US20070172153A1 (en) 2007-07-26
KR20070077312A (ko) 2007-07-26
EP1811789A2 (en) 2007-07-25
CN101009832A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
KR100772390B1 (ko) 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
US9451279B2 (en) Method for decoding a moving picture
KR101678351B1 (ko) 기억 매체
KR101641474B1 (ko) 부호화 장치 및 방법
US8165195B2 (en) Method of and apparatus for video intraprediction encoding/decoding
KR101403343B1 (ko) 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
US20160191942A1 (en) Apparatus for decoding a moving picture
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR100688382B1 (ko) 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치
KR101462959B1 (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
KR100728032B1 (ko) 워핑 기반의 인트라 예측 방법
KR102585178B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
KR102585179B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
AU2015255215A1 (en) Image processing apparatus and method
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR102038818B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee