KR101456487B1 - 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치 - Google Patents

부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치 Download PDF

Info

Publication number
KR101456487B1
KR101456487B1 KR1020080020072A KR20080020072A KR101456487B1 KR 101456487 B1 KR101456487 B1 KR 101456487B1 KR 1020080020072 A KR1020080020072 A KR 1020080020072A KR 20080020072 A KR20080020072 A KR 20080020072A KR 101456487 B1 KR101456487 B1 KR 101456487B1
Authority
KR
South Korea
Prior art keywords
precision
sub
low
pixel
pixels
Prior art date
Application number
KR1020080020072A
Other languages
English (en)
Other versions
KR20090095013A (ko
Inventor
이태미
한우진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080020072A priority Critical patent/KR101456487B1/ko
Priority to US12/397,484 priority patent/US8451889B2/en
Publication of KR20090095013A publication Critical patent/KR20090095013A/ko
Application granted granted Critical
Publication of KR101456487B1 publication Critical patent/KR101456487B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 부화소 단위의 움직임 예측을 이용한 영상 부호화 방법 및 그 장치, 그리고 움직임 예측을 이용한 영상 복호화 방법 및 그 장치에 관한 것이다.
본 발명의 일 실시예에 따른 영상 부호화 방법은 저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치를 결정하고, 저정밀 부화소들 사이의 고정밀 부화소의 위치에 기초하여 저정밀 부화소들에 대한 보간 방향을 결정하고, 저정밀 부화소들에 가중치를 적용한 보간을 통해 결정된 고정밀 부화소 단위로 움직임 예측을 수행함으로써, 고정밀 화소 단위의 움직임 예측에 의한 영상 부호화가 효율적으로 가능하며, 복호화단에서는 고정밀 화소 단위의 움직임 예측 및 보상에 의한 영상 복원이 가능하다.
움직임 예측, 움직임 보상, 부화소, H.264

Description

부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화 방법 및 그 장치{Method and apparatus for encoding and decoding using sub-pixel motion prediction}
본 발명은 영상 부호화 방법 및 그 장치, 그리고 영상 복호화 방법 및 그 장치에 관한 것으로, 더 상세하게는 부화소 단위의 움직임 예측을 이용한 영상 부호화 방법 및 그 장치, 그리고 영상 복호화 방법 및 그 장치에 관한 것이다.
움직임 예측을 이용한 영상 부복호화 방법(예를 들어, H.264 등)은 인트라 예측과 인터 예측을 통해 움직임 예측이 수행된다. 인트라 예측은 프레임 내에서 공간 중복성을 줄이는 과정이며, H.264는 주파수 변환 이전 단계에서 움직임 예측 과정을 거치게 하여 인트라 예측의 압축효율을 높일 수 있도록 설계되었다. 이는 인접한 매크로블록들이 유사한 특성을 가지고 있다는데 그 아이디어의 기초를 두고 있다.
인터 예측은 연속된 프레임 간의 중복성을 제거할 수 있도록 하는 움직임 추정 및 보상 개념을 기본으로 하여 이루어진다. H.264 인터 예측에서 보이는 이전 비디오 압축 표준들과의 차이는 1/4 화소 단위의 정밀도의 움직임 예측이 지원된다 는 점에 있다. 부화소 단위의 움직임 예측은 정수 화소 단위의 움직임 예측보다 나은 압축 효율을 제공하고, 1/4 화소의 정밀도는 정수 화소 단위의 정밀도보다 더 나은 성능을 보인다.
도 1 는 H.264 의 정수 화소 및 부화소의 위치 관계를 도시한다.
정수 화소들은 알파벳 대문자로 표시되어 있으며, 부화소들은 알파벳 소문자로 표시되어 있다. 즉, A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U 화소들은 정수 화소들이며, b, h, j, m, s, aa, bb, cc, dd, ee, ff, gg, hh 화소들은 1/2 화소들이고, a, c, d, e, f, g, i, k, n, p, q, r 화소들은 1/4 화소들이다.
정수 화소들들에 대한 6 탭 FIR 필터(Finite Impulse Response Filter)를 이용해서 최초 1/2 화소를 샘플링하게 된다. 이어서 구해진 1/2 화소와 정수 화소와의 보간법을 통해 1/4 화소를 구하게 되면 움직임 예측에서는 이 부화소들을 이용하게 된다.
도 2 은 움직임 예측을 이용한 영상 부호화기의 블록도를 도시한다.
전술한 바와 같이 1/2 화소는 6 탭 FIR 필터링에 의해 생성되므로 움직임 예측을 이용한 영상 부호화기(200)는 부화소 전 보간부(210)에서 1/2 화소를 미리 생성하여, 1/2 화소 단위의 프레임을 저장(220)해 놓는다. 1/4 화소는 프레임 저장부(220)에 저장된 프레임에 대한 겹선형 필터링에 의해 비교적 단순한 연산으로 생성되므로, 1/4 화소 단위의 프레임은 부화소 후 보간부(230)에서 생성된다. 1/4 화소 단위의 데이터는 움직임 추정부(240) 및 움직임 보상된 예측부(250)에서 움직임 예측을 하는데 사용된다. 움직임 정보는 각각의 부화소에 대한 움직임 벡터 등의 형태로 전송된다.
본 발명이 해결하고자 하는 과제는, 움직임 예측을 이용한 영상 부호화 또는 복호화에 있어서 보다 고정밀도의 부화소를 이용하여 정밀한 움직임 예측을 수행하는데 있다. 또한, 고정밀의 부화소 정보를 부호화는데 필요한 오버헤드를 최소화하는 방안이 제안된다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 방법은, 저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치를 결정하는 단계; 상기 저정밀 부화소들 사이의 고정밀 부화소의 위치에 기초하여 상기 저정밀 부화소들에 대한 보간 방향을 결정하는 단계; 및 상기 저정밀 부화소들에 상기 보간 방향 및 상기 가중치를 적용한 보간을 통해 결정된 고정밀 부화소 단위로 움직임 예측을 수행하는 단계를 포함한다.
일 실시예의 상기 영상 부호화 방법은, 상기 고정밀 부화소에 대한 움직임 예측 정보로써, 상기 가중치에 대한 정보 및 상기 소정 정밀도의 부화소에 대한 움직임 벡터를 부호화하는 단계를 더 포함할 수 있다.
일 실시예의 상기 보간 방향 결정 단계는, 상기 소정 정밀도가 상기 저정밀 부화소의 정밀도보다 높거나 같고, 상기 고정밀 부화소의 정밀도보다 낮거나 같을 수 있다.
일 실시예의 상기 보간 방향 결정 단계는, 상기 보간 방향을 적어도 하나의 데이터 단위 별로 결정하고, 상기 데이터 단위는 프레임, 픽처, 슬라이스 및 블록 중 적어도 한 단위를 포함할 수 있다.
일 실시예의 상기 보간 방향 결정 단계는, 상기 고정밀 부화소의 위치에 따라, 상기 보간 방향을 수직 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 수평 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 오른쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 및 왼쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 중 하나로 결정하는 단계를 포함할 수 있다.
일 실시예의 상기 가중치 결정 단계는, 상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하여 가중치를 결정할 수 있다.
일 실시예의 상기 가중치 결정 단계는, 상기 보간될 저정밀 부화소들에 대한 각각 1/3 및 2/3의 가중치; 상기 보간될 저정밀 부화소들에 대한 각각 1/2 및 1/2의 가중치; 및 상기 보간될 저정밀 부화소들에 대한 각각 2/3 및 1/3의 가중치 중 하나를 포함하도록 결정할 수 있다.
일 실시예의 상기 부호화 단계는, 하나의 고정밀 부화소를 위해 상기 하나의 저정밀 부화소의 움직임 벡터 및 상기 가중치에 대한 정보를 부호화할 수 있다.
일 실시예의 상기 부호화 단계는, 상기 가중치에 대한 정보로써 상기 저정밀 부화소들에 대한 가중치에 대해 설정된 소정 인덱스를 부호화할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 복호화 방법은, 수신된 데이터스트림으로부터 영상 데이터, 소정 정밀도의 부화소에 대한 움직임 벡터 및 가중치 정보를 추출하는 단계; 상기 추출된 영상 데이터 및 상기 추출된 소정 정밀도의 움직임 벡터를 이용하여 저정밀 부화소들을 결정하는 단계; 상기 결정된 저정밀 부화소들 및 상기 가중치 정보를 이용하여 고정밀 부화소들을 결정하는 단계; 및 상기 추출된 영상 데이터에 대한 상기 고정밀 부화소들을 이용한 움직임 예측을 통해 영상 데이터를 복원하는 단계를 포함한다.
일 실시예의 상기 고정밀 부화소 결정 단계는, 상기 가중치 정보가 인덱스 형태라면, 상기 가중치 정보가 인덱스 형태라면, 상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소에 대해, 상기 인덱스에 대응되는 가중치를 결정하는 단계; 및 소정 보간 방향 상에 위치한 저정밀 부화소들에 대해 각각 대응되는 가중치를 적용하여 고정밀 부화소를 결정하는 단계를 포함할 수 있다.
일 실시예의 상기 고정밀 부화소 결정 단계는, 상기 가중치는 상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하며, 상기 보간될 저정밀 부화소들에 대한 각각 1/3 및 2/3의 가중치; 상기 보간될 저정밀 부화소들에 대한 각각 1/2 및 1/2의 가중치; 및 상기 보간될 저정밀 부화소들에 대한 각각 2/3 및 1/3의 가중치 중 하나를 포함할 수 있다.
일 실시예에서, 상기 보간 방향은 적어도 하나의 데이터 단위 별로 설정되어 있고, 상기 데이터 단위는 프레임, 픽처, 슬라이스 및 블록 중 적어도 한 단위를 포함할 수 있다.
일 실시예에서 상기 고정밀 부화소 결정 단계는, 상기 추출된 소정 정밀도의 움직임 벡터에 기초하여 상기 소정 정밀도의 부화소를 결정하는 단계; 및 상기 소정 정밀도의 부화소의 위치에 따라, 상기 보간 방향을 수직 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향; 수평 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향; 오른쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향; 및 왼쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 중 하나로 결정할 수 있다.
일 실시예에서 상기 소정 정밀도는 상기 저정밀 부화소의 정밀도보다 높거나 같으며, 상기 고정밀 부화소의 정밀도보다 낮거나 같을 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 장치는, 저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치를 결정하는 가중치 결정부; 상기 저정밀 부화소들 사이의 고정밀 부화소의 위치에 기초하여 상기 저정밀 부화소들에 대한 보간 방향을 결정하는 보간 방향 결정부; 및 상기 저정밀 부화소들에 상기 가중치를 적용한 보간을 통해 결정된 고정밀 부화소 단위로 움직임 예측을 수행하는 움직임 예측부를 포함한다.
일 실시예의 상기 영상 부호화 장치는, 상기 고정밀 부화소에 대한 움직임 예측 정보로써, 상기 가중치에 대한 정보 및 소정 정밀도의 부화소에 대한 움직임 벡터를 부호화하는 부호화부를 더 포함할 수 있다.
상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 복호화 장치는, 수신된 데이터스트림으로부터 영상 데이터, 소정 정밀도의 부화소에 대한 움직임 벡터 및 가중치 정보를 추출하는 데이터 추출부; 상기 추출된 영상 데이터 및 상기 추출된 소정 정밀도의 움직임 벡터를 이용하여 저정밀 부화소들을 결정하는 저정밀 부화소 결정부; 상기 저정밀 부화소들 및 상기 가중치 정보를 이용하여 고정밀 부화소들을 결정하는 고정밀 부화소 결정부; 및 상기 추출된 영상 데이터에 대한 상기 고정밀 부화소들을 이용한 움직임 예측을 통해 영상 데이터를 복원하는 영상 복원부를 포함한다.
본 발명은, 본 발명의 일 실시예에 따른 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
또한 본 발명은, 본 발명의 일 실시예에 따른 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
본 발명에 따른 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화 방법 및 장치는 저정밀 부화소의 정보를 이용하여 고정밀 부화소를 쉽게 생성하고 보다 정밀하고 정확한 움직임 예측 및 보상할 수 있게 한다. 움직임 예측에 사용될 확률이 높은 고정밀 부화소만을 이용함으로써 연산량이 감소될 수 있다.
또한, 고정밀 부화소에 대한 정보를 나타내기 위해 고정밀 부화소에 각각에 대한 2차원 움직임 벡터 정보 대신 소정 정밀도의 부화소에 대한 2차원 움직임 벡터 및 1차원 방향 정보를 이용함으로써, 고정밀 부화소를 위한 오버헤드가 감소될 수 있다.
도 3 은 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 장치(300)는 가중치 결정부(310), 보간 방향 결정부(315), 움직임 예측부(320) 및 부호화부(330)를 포함한다. 영상 부호화 장치(300)는 움직임 예측을 이용하는 영상 부호화 방식에 기초한다.
가중치 결정부(310)는 저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치를 결정하고, 결정된 가중치를 움직임 예측부(320) 및 부호화부(330)로 출력한다. 움직임 예측을 위한 저정밀 부화소는 현재 블록 또는 현재 픽처에 대한 참조 블록, 참조 픽처 등에 위치할 수 있다.
저정밀 부화소에 대한 가중치는 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하도록 결정될 수 있다.
보간 방향 결정부(315)는 저정밀 부화소들 사이에 위치하는 고정밀 부화소의 위치에 기초하여 저정밀 부화소들에 대한 보간 방향을 결정하고, 움직임 예측부(320)로 출력한다.
저정밀 부화소들에 대한 보간을 통해 고정밀 부화소를 결정함에 있어서, 보간될 저정밀 부화소들을 결정하는 보간의 방향은 미리 설정되어 있을 수 있다. 즉, 고정밀 부화소의 위치에 따라 보간을 위한 저정밀 부화소의 위치 및 보간을 위한 방향이 미리 결정될 수 있다.
보간 방향은 적어도 하나의 데이터 단위 별로 결정될 수 있다. 여기서 데이터 단위는 데이터 프레임, 픽처, 슬라이스 및 블록 등의 데이터 처리 단위 중 적어도 하나를 포함하는 개념이다.
고정밀 부화소의 위치에 따라, 보간 방향은 수직 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 수평 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 오른쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 및 왼쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 중 하나로 결정될 수 있다.
움직임 예측부(320)는 가중치 결정부(310)에서 결정된 가중치 및 보간 방향 결정부(315)에서 결정된 보간 방향을 저정밀 부화소들 사이의 보간에 적용하여 고정밀 부화소를 결정하고, 고정밀 부화소 단위로 움직임 예측을 수행한다. 움직임 예측부(320)에서 수행된 움직임 벡터 또는 움직임 예측 정보는 부호화부(330)로 출력된다.
부호화부(330)는 가중치 결정부(310) 및 움직임 예측부(320)로부터 각각 입력된 가중치에 대한 정보 및 소정 정밀도의 부화소에 대한 움직임 벡터 등의 움직임 예측 정보를 부호화한다.
소정 정밀도는 저정밀 부화소의 정밀도보다는 높거나 같을 수 있으며, 고정밀 부화소의 정밀도보다는 낮거나 같을 수 있다. 예를 들어, 저정밀 부화소가 1/2 화소 단위이고 고정밀 부화소의 정밀도가 1/4 화소 단위 또는 1/8 화소 단위라면, 소정 정밀도는 1/2 화소 단위 또는 1/4 화소 단위일 수 있다.
부호화부(330)는 하나의 고정밀 부화소를 위해 하나의 저정밀 부화소만의 움직임 벡터 및 가중치 정보를 부호화할 수도 있다. 가중치에 대한 정보는 저정밀 부화소들에 대한 가중치에 대해 설정된 인덱스 형태로 부호화될 수도 있다.
도 4 는 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 복호화 장치의 블록도를 도시한다.
본 발명의 일 실시예에 따름 움직임 예측을 이용한 영상 복호화 장치(400)는 데이터 추출부(410), 저정밀 부화소 결정부(420), 고정밀 부화소 결정부(430) 및 영상 복원부(440)를 포함한다.
데이터 추출부(410)는 부호화된 영상의 데이터스트림을 입력받아, 데이터스트림으로부터 영상 데이터, 소정 정밀도 단위의 부화소에 대한 움직임 벡터 및 가중치 정보를 추출한다. 추출된 영상 데이터 및 움직임 벡터는 저정밀 부화소 결정부(420)로 출력되고, 추출된 가중치 정보는 고정밀 부화소 결정부(430)로 출력된다.
저정밀 부화소 결정부(420)는 데이터 추출부(410)로부터 입력된 움직임 벡터 및 영상 데이터를 이용하여 참조 블록 또는 참조 픽처로부터 저정밀 부화소를 결정하고, 저정밀 부화소에 대한 결과는 고정밀 부화소 결정부(430)로 출력된다.
고정밀 부화소 결정부(430)는 데이터 추출부(410)로부터 가중치 정보를 입력받고, 저정밀 부화소 결정부(420)로부터 저정밀 부화소에 대한 정보를 입력받아, 저정밀 부화소들 및 가중치 정보를 이용하여 고정밀 부화소를 결정한다. 결정된 고정밀 부화소에 대한 결과는 영상 복원부(440)로 출력된다.
고정밀 부화소 결정부(430)는 입력된 가중치 정보가 인덱스 형태라면, 움직임 예측을 위해 보간될 저정밀 부화소들 중 각각의 저정밀 부화소에 대한 가중치를 결정할 수 있다. 또한, 고정밀 부화소 결정부(430)는 소정 방향 상에 위치한 저정밀 부화소들에 대해 각각 대응되는 가중치를 적용하여 고정밀 부화소를 결정할 수 있다.
고정밀 부화소 결정부(430)는 상기 추출된 소정 정밀도의 움직임 벡터에 기초하여 상기 소정 정밀도의 부화소를 결정하고, 소정 정밀도의 부화소의 위치에 따라 저정밀 부화소에 대한 보간 방향을 결정한다. 소정 정밀도는 저정밀 부화소의 정밀도보다는 높거나 같으며, 고정밀 부화소의 정밀도보다는 낮거나 같을 수 있다.
영상 부호화 장치(300)와 마찬가지로 영상 복호화 장치(400)의 가중치 정보도 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례할 수 있으며, 적어도 하나의 데이터 단위 별로 개별적으로 설정되어 있을 수도 있다.
이렇게 결정된 보간 방향 및 가중치를 이용하여 저정밀 부화소에 대해 보간을 수행함으로써 고정밀 부화소가 결정될 수 있다.
영상 복원부(440)는 데이터 추출부(410)로부터 입력된 영상 데이터 및 고정밀 부화소 결정부(430)로부터 입력된 고정밀 부화소 단위의 참조 정보를 이용하여 움직임 예측을 수행하고, 영상 데이터를 복원한다.
본 발명의 일 실시예에 따른 영상 부호화 장치(300) 및 영상 복호화 장치(400)에서의 저정밀 부화소는 1/2 화소 단위의 부화소이고, 이에 따른 고정밀 부화소는 1/4 화소 단위 및 1/8 화소 중 적어도 한 단위의 부화소일 수 있다.
도 5 는 1/4 화소 단위를 생성하기 위한 보간 방향을 도시한다. 영상 부호화 장치(300)의 보간 방향 결정부(315) 및 영상 복호화 장치(400)의 저정밀 부화소 결정부(420) 및 고정밀 부화소 결정부(430)의 보간 방향이 사용되는 방법이 상술된다.
도 5 는 정수 화소 단위의 화소들(510, 511, 512, 513, 514, 515, 516, 517, 518), 1/2 화소 단위의 화소들(520, 521, 522, 523, 524, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535) 및 1/4 화소 단위의 화소들(540, 541, 542, 543, 544, 545, 546, 547, 548, 549, 550, 551, 552, 553, 554, 555, 556, 557, 558, 559, 560, 561, 562, 563, 564, 565, 566, 567, 568, 569, 570, 571, 572, 573, 574, 575, 576, 577, 578, 579, 580, 581, 582, 583, 584, 585, 586, 587, 589, 590, 591, 592, 593, 594, 595)이 도시되어 있다.
1/4 화소 단위를 생성하기 위해 주위 화소들이 참조될 수 있다. 즉, 1/4 화소 단위를 생성하기 위해 1/2 화소 단위( 또는 정수 화소 단위)의 화소들이 보간된다. 또한, 보간 방향은 생성될 1/4 화소 단위의 위치에 따라 결정된다.
정수 화소 단위의 화소들이 배열된 선에 위치하는 1/4 화소 단위의 화소는 동일선 상의 이웃 정수 단위 화소 및 1/2 화소 단위 화소 사이의 겹선형 보간을 통해 결정된다. 도 5 를 참고하면, 1/4 화소 단위의 화소(540)는 정수 화소 단위의 화소(510) 및 1/2 화소 단위의 화소(520) 사이의 겹선형 보간에 의해 결정된다. 또한, 1/4 화소 단위의 화소(561)는 정수 화소 단위의 화소(514) 및 1/2 화소 단위의 화소(524) 사이의 겹선형 보간에 의해 결정된다. 즉, 1/4 화소가 정수 화소 단위의 화소들이 배열되는 선상에 위치한다면 보간에 이용될 동일선 상의 이웃 정수 화소 단위의 화소 및 1/2 화소 단위의 화소는 결정될 수 있다.
또한, 1/2 화소 단위의 화소들만 배열된 선에 위치하는 1/4 화소 단위의 화소는 동일선 상의 이웃 1/2 화소 단위 화소들 사이의 겹선형 보간을 통해 결정된다. 도 5 를 참고하면, 1/4 화소 단위의 화소(554)는 1/2 화소 단위의 화소(523) 및 1/2 화소 단위의 화소(524) 사이의 겹선형 보간에 의해 결정된다. 또한, 1/4 화소 단위의 화소(576)는 1/2 화소 단위의 화소(528) 및 1/2 화소 단위의 화소(532) 사이의 겹선형 보간에 의해 결정된다. 마찬가지로, 1/4 화소가 1/2 화소 단위의 화소들만이 배열되는 선상에 위치한다면 보간에 이용될 동일선 상의 이웃 1/2 화소 단위의 화소들은 결정될 수 있다.
또한, 1/4 화소 단위의 화소들만 배열된 선에 위치하는 1/4 화소 단위의 화소는 대각 방향의 이웃 1/2 화소 단위 화소들 사이의 겹선형 보간을 통해 결정된다. 도 5 를 참고하면, 1/4 화소 단위의 화소(558)는 대각 방향의 이웃하는 1/2 화소 단위의 화소(522) 및 1/2 화소 단위의 화소(527) 사이의 겹선형 보간에 의해 결정된다. 또한, 1/4 화소 단위의 화소(575)는 대각 방향의 이웃하는 1/2 화소 단위의 화소(528) 및 1/2 화소 단위의 화소(531) 사이의 겹선형 보간에 의해 결정된다. 1/4 화소 단위의 화소의 대각 방향에 이웃하는 화소가 모두 1/2 화소 단위의 화소인 경우는 한 경우 뿐이므로, 1/4 화소 단위의 화소의 위치에 따라 보간 방향이 결정될 수 있다.
따라서, 1/4 화소 단위 또는 1/8 화소 단위의 고정밀 화소가 (i)정수 화소 단위의 화소들이 배열된 선에 위치하는 경우, (ii) 1/2 화소 단위의 화소들만 배열된 선에 위치하는 경우, (iii) 1/4 화소 단위의 화소들만 배열된 선에 위치하는 경우에 따라, 저정밀 화소에 대한 보간 방향은 미리 결정되어 있다.
도 6 는 본 발명의 일 실시예에 따른 가중치 및 인덱스를 도시한다. 영상 부호화 장치(300)의 부호화부(330) 및 영상 복호화 장치(400)의 고정밀 부화소 결정부(430)에서 가중치 및 인덱스가 이용되는 방법이 후술된다.
본 발명의 일 실시예에 따라 저정밀 부화소를 이용해 고정밀 부화소를 결정하는 경우, 두 개의 저정밀 부화소들에 대해 가중치 결정부(310)에서 결정한 여러 가지 가중치를 적용한 보간을 통해 다양한 고정밀 부화소를 생성하는 효과가 있다. 가중치는, 보간될 각각의 저정밀 부화소로부터 고정밀 부화소까지의 거리에 비례하여 결정될 수 있다.
예를 들어, 1/2 화소 단위의 부화소들(610, 620)에 대해 각각 1/2, 1/2의 가중치를 적용하여 보간하면 1/4 화소 단위의 고정밀 부화소(630)가 생성된다. 이는 일반적으로 H.264 부복호화 방식에서 1/2 화소 단위를 이용하여 1/4 화소 단위를 생성하는 방식과 유사하다.
나아가, 1/2 화소 단위의 부화소들(610, 620)에 대해 각각 2/3, 1/3의 가중치를 적용하여 보간하면 1/8 화소 단위의 부화소(640)가 생성된다. 또한, 1/2 화소 단위의 부화소들(610, 620)에 대해 각각 1/3, 2/3의 가중치를 적용하여 보간하면 1/8 화소 단위의 부화소(650)가 생성된다. 따라서, 1/2 화소 단위의 부화소에 대한 보간에 있어서 가중치를 조절함으로써 1/4 화소 단위의 고정밀 부화소 뿐만 아니라 1/8 화소 단위의 고정밀 부화소가 생성될 수 있다.
또한, 일 실시예에 따른 영상 부호화 장치(300)는 저정밀 부화소에 대한 보간에서 사용될 가중치를 효율적으로 부호화하기 위해 가중치를 표현하는 인덱스를 정의할 수 있다. 예를 들어, 1/2 화소 단위의 저정밀 부화소들(610, 620)을 이용하여 1/4 화소 단위 및 1/8 화소 단위의 고정밀 부화소를 결정하기 위해서는 전술한바와 같이 3 종류의 가중치 세트가 필요한데 이 가중치 세트가 3 가지의 인덱스로 정의된다. 즉, 1/4 화소 단위의 부화소를 생성하기 위한 (1/2, 1/2) 가중치 세트는 인덱스 0 로, (2/3, 1/3) 가중치 세트는 인덱스 1 로, (1/3, 2/3) 가중치 세트는 인덱스 2 로 정의될 수 있다.
일 실시예에 따른 영상 부호화 장치(300)의 부호화부(330)는 가중치에 대한 인덱스를 부호화할 수 있다. 반대로 영상 복호화 장치(400)에서는, 가중치에 인덱스가 수신된 경우 고정밀 부화소 결정부(430)는 각각의 인덱스에 해당하는 가중치를 판독하여 저정밀 부화소에 대한 보간에 적용한다.
도 7a 는 기존의 고정밀 부화소 표현 방법을 도시한다.
기존의 고정밀 부화소를 표현하기 위해서는 고정밀 부화소를 나타내는 움직임 벡터가 필요하다. 즉, 1/8 화소 단위의 부화소(730)가 결정되기 위해 1/2 화소 단위의 화소들(710, 711, 712, 713) 및 1/4 화소 단위의 화소들(720, 721, 722, 723, 724)이 이용됐다 하더라도, 1/8 화소 단위의 부화소(730)에 대한 움직임 예측 정보는 1/8 화소 단위의 부화소(730)에 대한 움직임 벡터(MV730)로 표현된다.
도 7b 는 본 발명의 일 실시예에 따른 고정밀 부화소 표현 방법을 도시한다.
이하, 영상 부호화 장치(300)의 부호화부(330)가 움직임 벡터 및 가중치를 부호화하는 방법 및 영상 복호화 장치(400)의 저정밀 부화소 결정부(420) 및 고정밀 부화소 결정부(430)에서 움직임 벡터 및 가중치 정보를 이용하는 방법이 상술된다.
본 발명의 일 실시예에 따른 1/8 화소 단위인 고정밀 부화소(730)는 고정밀 부화소(730)를 결정하기 위해 소정 정밀도의 부화소(722, 711)에 대한 움직임 예측 정보만이 필요하다. 이 때, 소정 정밀도는 1/2 화소 단위(711의 경우) 또는 1/4 화소 단위(722의 경우)이다.
소정 정밀도가 1/2 화소 단위인지 1/4 화소 단위인지의 차이는 보간되는 저정밀 부화소를 결정하는 방법에 영향을 미친다. 즉, 소정 정밀도가 1/2 화소 단위인 경우(711), 소정 정밀도의 부화소가 보간되는 저정밀 부화소 그 자체가 될 수 있다. 그러나, 소정 정밀도가 1/4 화소 단위인 경우(722)는 저정밀 부화소의 위치를 정확히 나타내는 것이 아니라, 1/4 화소 단위의 위치에 따라 보간되는 이웃 저정밀 부화소의 위치가 결정될 수 있다. 즉, 도 5 를 참고하여 설명된 1/4 화소 단위의 위치에 따라 결정되는 보간 방향에 위치하는 이웃 저정밀 부화소들을 이용하여 보간을 수행하면 고정밀 부화소가 결정될 수 있다.
또한, 소정 정밀도의 부화소들(722, 711)에 대한 보간 방향(750)은 고정밀 부화소(730)의 위치에 의해 미리 설정되어 있다고 가정하면 고정밀 부화소(730)의 위치에 따라 보간될 이웃 저정밀 부화소들도 결정되므로, 하나의 소정 정밀도의 부화소(722)에 대한 움직임 예측 정보로서 움직임 벡터(MV722)만이 주어지더라도 고정밀 부화소(730)의 위치가 표현될 수 있다.
이 때 고정밀 부화소(730)의 정확한 위치, 또는 1/4 화소 단위인지 1/8 화소 단위인지 여부를 나타내는 고정밀도는 저정밀 부화소들(711, 712)의 보간을 위한 가중치(W730)에 의해 결정된다. 움직임 벡터는 가로축 및 세로축 방향의 값을 나타내므로 2차원 신호로, 보간을 위한 가중치에 대한 정보는 1차원 신호로 표현될 수 있다.
따라서, 2차원 정보인 소정 정밀도의 부화소(722)에 대한 움직임 벡터(MV722) (또는 부화소(711)에 대한 움직임 벡터) 및 1차원 정보인 가중치(W730)만으로 고정밀 부화소(730)가 표현될 수 있다. 고정밀 부화소(730)에 대해 자신의 움직임 벡터(MV730)로 표현되는 것과는 데이터량에 있어서 차이점이 있다. 1/8 고정밀 화소 단위의 부화소(730)에 대한 움직임 벡터는 1/4 화소 단위의 부화소(722)에 비해 움직임 벡터를 나타내는 데이터량이 약 4배 많다. 따라서, 고정밀 부화소(730)에 대해 2차원 신호이며 많은 데이터량이 필요한 움직임 벡터보다는, 소정 정밀도의 부화소(722)에 대한 2차원 신호인 움직엠 벡터(MV722) 및 1차원 신호인 가중치 정보(W730)로 고정밀 부화소(730)를 더 적은 데이터 량으로 표현할 수 있다.
도 8a 는 기존의 고정밀 부화소 생성 과정을 도시한다.
영상 부복호화에서의 기존의 움직임 예측은 정수 단위 화소에 대한 6 탭 필 터링을 통해 1/2 화소 단위의 화소들이 생성(800)되고, 1/2 화소 단위의 화소들을 이용하여 1/4 화소 단위의 픽셀들이 생성(810)되며, 1/8 화소 단위의 화소들은 1/2 화소 단위 및 1/4 화소 단위의 화소들에 대한 결정 과정과는 별개로 결정(820)된다.
도 8b 는 본 발명의 일 실시예에 따른 고정밀 부화소 생성 과정을 도시한다.
본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 장치(300) 및 영상 복호화 장치(400)는, 6 탭 필터를 이용하여 결정된 1/2 화소 단위의 화소들(800)에 대해 적응적인 가중치(830) 및 고정밀 부화소의 위치에 따른 보간 방향(835)을 고려한 보간을 수행함으로써, 1/4 화소 단위의 화소들 및 1/8 화소 단위의 화소들이 모두 생성될 수 있으므로(840), 고정밀 부화소 결정 과정이 단순화될 수 있다.
이하 도 9a, 9b, 9c 및 9d 를 참고하여 고정밀 부화소를 생성하기 위한 저정밀 부화소의 보간 방향이 상술된다. 고정밀 부화소를 생성하기 위한 저정밀 부화소의 보간 방향은 고정밀 부화소의 위치에 따라 결정되어 있으므로, 영상 부호화 장치(300)의 저정밀 부화소의 미리 설정된 보간 방향대로 저정밀 부화소를 생성하여 움직임 예측을 수행한다. 영상 복호화 장치(400)도 미리 설정된 보간 방향 상의 저정밀 부화소를 보간하여 고정밀 부화소를 생성하여 움직임 예측 보상을 수행하여 영상을 복호화할 수 있다. 따라서, 보간 방향이 미리 설정되어 있다면, 보간 방향을 알리기 위한 정보를 부호화할 필요 없으므로 데이터를 절약할 수 있다
도 9a 는 고정밀 부화소 생성을 위한 수평 방향의 보간을 도시한다.
1/4 화소 단위 또는 1/8 화소 단위의 고정밀 부화소들을 생성하기 위해 수평 방향으로 이웃하는 정수 화소 단위 및 1/2 화소 단위의 화소들을 보간한다. 즉, (i) 고정밀 부화소(902)를 위해 정수 화소 단위의 화소(910) 및 1/2 화소 단위의 화소(950)를, (ii) 고정밀 부화소(904)를 위해 정수 화소 단위의 화소(920) 및 1/2 화소 단위의 화소(950)를, (iii) 고정밀 부화소(912)를 위해 정수 화소 단위의 화소(930) 및 1/2 화소 단위의 화소(990)를, (iv) 고정밀 부화소(914)를 위해 정수 화소 단위의 화소(940) 및 1/2 화소 단위의 화소(990)를 보간한다. 또한, (v) 고정밀 부화소(906)를 위해 1/2 화소 단위의 화소들(960, 970)을, (vi) 고정밀 부화소(908)를 위해 1/2 화소 단위의 화소들(970, 980)을 보간한다.
도 9b 는 고정밀 부화소 생성을 위한 수직 방향의 보간을 도시한다.
1/4 화소 단위 또는 1/8 화소 단위의 고정밀 부화소들을 생성하기 위해 수직 방향으로 이웃하는 정수 화소 단위 및 1/2 화소 단위의 화소들을 보간한다. 즉, (i) 고정밀 부화소(922)를 위해 정수 화소 단위의 화소(910) 및 1/2 화소 단위의 화소(960)를, (ii) 고정밀 부화소(928)를 위해 정수 화소 단위의 화소(930) 및 1/2 화소 단위의 화소(960)를, (iii) 고정밀 부화소(926)를 위해 정수 화소 단위의 화소(920) 및 1/2 화소 단위의 화소(980)를, (iv) 고정밀 부화소(934)를 위해 정수 화소 단위의 화소(940) 및 1/2 화소 단위의 화소(980)를 보간한다. 또한, (v) 고정밀 부화소(924)를 위해 1/2 화소 단위의 화소들(950, 970)을, (vi) 고정밀 부화소(932)를 위해 1/2 화소 단위의 화소들(970, 990)을 보간한다.
도 9c 는 고정밀 부화소 생성을 위한 왼쪽 대각 방향의 보간을 도시한다.
1/4 화소 단위 또는 1/8 화소 단위의 고정밀 부화소들을 생성하기 위해 왼쪽 대각 방향으로 이웃하는 1/2 화소 단위의 화소들을 보간한다. (i) 고정밀 부화소(942)를 위해 1/2 화소 단위의 화소들(950, 960)을, (ii) 고정밀 부화소(944)를 위해 1/2 화소 단위의 화소들(980, 990)을 보간한다.
도 9d 는 고정밀 부화소 생성을 위한 오른쪽 대각 방향의 보간을 도시한다.
1/4 화소 단위 또는 1/8 화소 단위의 고정밀 부화소들을 생성하기 위해 오른쪽 대각 방향으로 이웃하는 1/2 화소 단위의 화소들을 보간한다. (i) 고정밀 부화소(952)를 위해 1/2 화소 단위의 화소들(960, 990)을, (ii) 고정밀 부화소(954)를 위해 1/2 화소 단위의 화소들(950, 980)을 보간한다.
본 발명은 일 실시예에 따른 영상 부호화 장치(300) 및 영상 복호화 장치(400)는 정수 화소 단위 및 1/2 화소 단위에 대한 보간 방향을 이용하여 발생할 확률이 높은 위치의 1/8 화소 단위의 화소들만을 생성하여 움직임 예측에 이용하므로, 1/4 화소 단위에 대한 겹선형 필터링에 의해 1/8 화소 단위의 화소를 따로 생성하는 것보다 효과적인 움직임 예측이 가능하다.
일 실시예에 따른 영상 부호화 장치(300) 및 영상 복호화 장치(400)는 프레임, 픽처, 슬라이스, 블록 등의 데이터 처리 단위 별로 보간 방향이 다르게 설정될 수도 있다. 영상 부호화 장치(300)는 데이터 처리 단위 별로 보간 방향이 가변적인 경우, 보간 방향 정보를 부호화할 수 있다. 또한, 영상 복호화 장치(400)는 보간 방향 정보가 수신된 경우 그에 따라 움직임 예측 보상을 수행하며 영상을 복원할 수 있다.
도 10 은 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 방법의 흐름도를 도시한다.
단계 1010 에서, 저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치가 결정된다. 가중치는, 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하도록 결정될 수 있다.
단계 1020 에서, 저정밀 부화소들 사이의 고정밀 부화소의 위치에 기초하여 저정밀 부호화소에 대한 보간 방향이 결정된다. 보간 방향은 적어도 하나의 데이터 단위 별로 결정하고, 데이터 단위는 프레임, 픽처, 슬라이스, 블록일 수 있다. 소정 정밀도는 저정밀 부화소의 정밀도보다 높거나 같고, 고정밀 부화소의 정밀도보다 낮거나 같을 수 있다.
단계 1030 에서, 저정밀 부화소들에 상기 보간 방향 및 상기 가중치를 적용한 보간을 통해 결정된 고정밀 부화소 단위로 움직임 예측이 수행된다.
단계 1040에서, 고정밀 부화소에 대한 움직임 예측 정보로써, 가중치에 대한 정보 및 소정 정밀도의 부화소에 대한 움직임 벡터가 부호화될 수 있다. 보간 방향이 설정되어 있으므로, 보간 방향에 대응되는 저정밀 부화소들 중 하나의 저정밀 부화소에 대한 움직임 예측 정보만이 부호화될 수 있다. 또한, 가중치 정보는 인덱스 형태로 정의될 수 있다.
도 11 은 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 복호화 방법의 흐름도를 도시한다.
단계 1110에서, 수신된 데이터스트림으로부터 영상 데이터, 소정 정밀도의 부화소에 대한 움직임 벡터 및 가중치 정보가 추출된다. 가중치 정보가 인덱스 형태로 수신되었다면 인덱스에 대응되는 가중치가 결정되고, 결정된 가중치를 대응되는 저정밀 부화소에 적용하여 보간함으로써 고정밀 부화소가 결정된다. 가중치는 보간 방향 상에 위치하는 각각의 저정밀 부화소로부터의 거리에 비례하도록 적용될 수 있다.
단계 1120에서, 추출된 영상 데이터 및 추출된 소정 정밀도의 움직임 벡터를 이용하여 저정밀 부화소들이 결정된다. 소정 정밀도는 저정밀 부화소의 정밀도보다 높거나 같고, 고정밀 부화소의 정밀도보다 낮거나 같을 수 있다.
단계 1130에서, 저정밀 부화소들 및 가중치 정보를 이용하여 고정밀 부화소들이 결정된다. 저정밀 부화소는 1/2 화소 단위의 부화소이고, 상기 고정밀 부화소는 1/4 화소 단위 및 1/8 화소 단위 중 적어도 한 단위의 부화소일 수 있다. 이때 소정 정밀도는 1/2 화소 단위 및 1/4 화소 단위 중 적어도 하나일 수 있다.
단계 1140에서, 추출된 영상 데이터에 대한 고정밀 부화소들을 이용한 움직임 예측을 통해 영상 데이터가 복원된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1 은 움직임 예측을 이용한 영상 부호화기의 블록도를 도시한다.
도 2 는 H.264 의 정수 화소 및 부화소의 위치 관계를 도시한다.
도 3 은 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 장치의 블록도를 도시한다.
도 4 는 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 복호화 장치의 블록도를 도시한다.
도 5 는 1/4 화소 단위를 생성하기 위한 보간 방향을 도시한다.
도 6 는 본 발명의 일 실시예에 따른 가중치 및 인덱스를 도시한다.
도 7a 는 기존의 고정밀 부화소 표현 방법을 도시한다.
도 7b 는 본 발명의 일 실시예에 따른 고정밀 부화소 표현 방법을 도시한다.
도 8a 는 기존의 고정밀 부화소 생성 과정을 도시한다.
도 8b 는 본 발명의 일 실시예에 따른 고정밀 부화소 생성 과정을 도시한다.
도 9a 는 고정밀 부화소 생성을 위한 수평 방향의 보간을 도시한다.
도 9b 는 고정밀 부화소 생성을 위한 수직 방향의 보간을 도시한다.
도 9c 는 고정밀 부화소 생성을 위한 왼쪽 대각 방향의 보간을 도시한다.
도 9d 는 고정밀 부화소 생성을 위한 오른쪽 대각 방향의 보간을 도시한다.
도 10 은 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 부호화 방법의 흐름도를 도시한다. 도 11 은 본 발명의 일 실시예에 따른 움직임 예측을 이용한 영상 복호화 방법의 흐름도를 도시한다.

Claims (25)

  1. 움직임 예측을 이용한 영상 부호화 방법에 있어서,
    저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치를 결정하는 단계;
    상기 저정밀 부화소들 사이의 고정밀 부화소의 위치에 기초하여 상기 저정밀 부화소들에 대한 보간 방향을 결정하는 단계;
    상기 저정밀 부화소들에 상기 보간 방향 및 상기 가중치를 적용한 보간을 통해 결정된 고정밀 부화소 단위로 움직임 예측을 수행하는 단계; 및
    상기 고정밀 부화소에 대한 움직임 예측 정보로써, 상기 가중치에 대한 정보 및 소정 정밀도의 부화소에 대한 움직임 벡터를 부호화하는 단계를 포함하고
    상기 소정 정밀도는 상기 저정밀 부화소의 정밀도보다 높거나 같고, 상기 고정밀 부화소의 정밀도보다 낮거나 같은 것을 특징으로 하는 영상 부호화 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 보간 방향 결정 단계는,
    상기 보간 방향을 적어도 하나의 데이터 단위 별로 결정하고, 상기 데이터 단위는 프레임, 픽처, 슬라이스 및 블록 중 적어도 한 단위를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1 항에 있어서, 상기 보간 방향 결정 단계는,
    상기 고정밀 부화소의 위치에 따라, 상기 보간 방향을 수직 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 수평 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 오른쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 및 왼쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 중 하나로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 1 항에 있어서, 상기 가중치 결정 단계는,
    상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하여 가중치를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 6 항에 있어서, 상기 가중치 결정 단계는,
    상기 보간될 저정밀 부화소들에 대한 각각 1/3 및 2/3의 가중치;
    상기 보간될 저정밀 부화소들에 대한 각각 1/2 및 1/2의 가중치; 및
    상기 보간될 저정밀 부화소들에 대한 각각 2/3 및 1/3의 가중치 중 하나를 포함하도록 결정하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 1 항에 있어서, 상기 부호화 단계는,
    상기 가중치에 대한 정보로써 상기 저정밀 부화소들에 대한 가중치에 대해 설정된 소정 인덱스를 부호화하는 것을 특징으로 영상 부호화 방법.
  9. 움직임 예측을 이용한 영상 복호화 방법에 있어서,
    수신된 데이터스트림으로부터 영상 데이터, 소정 정밀도의 부화소에 대한 움직임 벡터 및 가중치 정보를 추출하는 단계;
    상기 추출된 영상 데이터 및 상기 추출된 소정 정밀도의 부화소 단위의 움직임 벡터를 이용하여 저정밀 부화소들을 결정하는 단계;
    상기 결정된 저정밀 부화소들 및 상기 추출된 가중치 정보를 이용하여 고정밀 부화소들을 결정하는 단계; 및
    상기 추출된 영상 데이터에 대한 상기 고정밀 부화소들을 이용한 움직임 예측을 통해 영상 데이터를 복원하는 단계를 포함하고
    상기 소정 정밀도는 상기 저정밀 부화소의 정밀도보다 높거나 같고, 상기 고정밀 부화소의 정밀도보다 낮거나 같은 것을 특징으로 하는 영상 복호화 방법.
  10. 제 9 항에 있어서, 상기 고정밀 부화소 결정 단계는,
    상기 가중치 정보가 인덱스 형태라면, 상기 보간될 저정밀 부화소들 중 각각 의 저정밀 부화소에 대해, 상기 인덱스에 대응되는 가중치를 결정하는 단계; 및
    소정 보간 방향 상에 위치한 저정밀 부화소들에 대해 각각 대응되는 가중치를 적용하여 고정밀 부화소를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제 9 항에 있어서, 상기 고정밀 부화소 결정 단계는,
    상기 가중치는, 상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하며,
    상기 보간될 저정밀 부화소들에 대한 각각 1/3 및 2/3의 가중치;
    상기 보간될 저정밀 부화소들에 대한 각각 1/2 및 1/2의 가중치; 및
    상기 보간될 저정밀 부화소들에 대한 각각 2/3 및 1/3의 가중치 중 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제 10 항에 있어서, 상기 고정밀 부화소 결정 단계는,
    상기 보간 방향은 적어도 하나의 데이터 단위 별로 설정되어 있고, 상기 데이터 단위는 프레임, 픽처, 슬라이스 및 블록 중 적어도 한 단위를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제 10 항에 있어서, 상기 고정밀 부화소 결정 단계는,
    상기 추출된 소정 정밀도의 움직임 벡터에 기초하여 상기 소정 정밀도의 부 화소를 결정하는 단계; 및
    상기 소정 정밀도의 부화소의 위치에 따라, 상기 보간 방향을 수직 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 수평 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향, 오른쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 및 왼쪽 대각선 방향으로 배열된 이웃 저정밀 부화소들 사이의 보간 방향 중 하나로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제 9 항에 있어서,
    상기 소정 정밀도는 상기 저정밀 부화소의 정밀도보다 높거나 같으며, 상기 고정밀 부화소의 정밀도보다 낮거나 같은 것을 특징으로 하는 영상 복호화 방법.
  15. 움직임 예측을 이용한 영상 부호화 장치에 있어서,
    저정밀 부화소들 사이의 보간을 위해 각각의 저정밀 부화소에 대한 가중치를 결정하는 가중치 결정부;
    상기 저정밀 부화소들 사이의 고정밀 부화소의 위치에 기초하여 상기 저정밀 부화소들에 대한 보간 방향을 결정하는 보간 방향 결정부;
    상기 저정밀 부화소들에 상기 보간 방향 및 상기 가중치를 적용한 보간을 통해 결정된 고정밀 부화소 단위로 움직임 예측을 수행하는 움직임 예측부; 및
    상기 고정밀 부화소에 대한 움직임 예측 정보로써, 상기 가중치에 대한 정보 및 소정 정밀도의 부화소에 대한 움직임 벡터를 부호화하는 부호화부를 포함하고,
    상기 소정 정밀도는 상기 저정밀 부화소의 정밀도보다 높거나 같고, 상기 고정밀 부화소의 정밀도보다 낮거나 같은 것을 특징으로 하는 영상 부호화 장치.
  16. 삭제
  17. 제 15 항에 있어서, 상기 보간 방향 결정부는,
    상기 보간 방향을 적어도 하나의 데이터 단위 별로 결정하고, 상기 데이터 단위는 프레임, 픽처, 슬라이스 및 블록 중 적어도 한 단위를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  18. 제 15 항에 있어서, 상기 가중치 결정부는,
    상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하여 가중치를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 15 항에 있어서, 상기 부호화부는,
    상기 가중치에 대한 정보로써 상기 저정밀 부화소들에 대한 가중치에 대해 설정된 소정 인덱스를 부호화하는 것을 특징으로 영상 부호화 장치.
  20. 움직임 예측을 이용한 영상 복호화 장치에 있어서,
    수신된 데이터스트림으로부터 영상 데이터, 소정 정밀도의 부화소에 대한 움직임 벡터 및 가중치 정보를 추출하는 데이터 추출부;
    상기 추출된 영상 데이터 및 상기 추출된 소정 정밀도의 움직임 벡터를 이용하여 저정밀 부화소들을 결정하는 저정밀 부화소 결정부;
    상기 결정된 저정밀 부화소들 및 상기 가중치 정보를 이용하여 고정밀 부화소들을 결정하는 고정밀 부화소 결정부; 및
    상기 추출된 영상 데이터에 대한 상기 고정밀 부화소들을 이용한 움직임 예측을 통해 영상 데이터를 복원하는 영상 복원부를 포함하고
    상기 소정 정밀도는 상기 저정밀 부화소의 정밀도보다 높거나 같고, 상기 고정밀 부화소의 정밀도보다 낮거나 같은 것을 특징으로 하는 영상 복호화 장치.
  21. 제 20 항에 있어서, 상기 고정밀 부화소 결정부는,
    상기 가중치 정보가 인덱스 형태라면, 상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소에 대해, 상기 인덱스에 대응되는 가중치를 결정하고, 소정 보간 방향 상에 위치한 저정밀 부화소들에 대해 각각 대응되는 가중치를 적용하여 고정밀 부화소를 결정하는 것을 특징으로 하는 영상 복호화 장치.
  22. 제 21 항에 있어서, 상기 고정밀 부화소 결정부는,
    상기 추출된 소정 정밀도의 움직임 벡터에 기초하여 결정된 상기 소정 정밀 도의 부화소의 위치에 따라 상기 보간 방향을 결정하는 것을 특징으로 하는 영상 복호화 장치.
  23. 제 21 항에 있어서, 상기 고정밀 부화소 결정부는,
    상기 가중치는 상기 보간될 저정밀 부화소들 중 각각의 저정밀 부화소로부터의 거리에 비례하는 것을 특징으로 하는 영상 복호화 장치.
  24. 제 1 항 및 제 4 항 내지 제 8 항 중 어느 하나의 영상 부호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
  25. 제 9 항 내지 제 14 항 중 어느 하나의 영상 복호화 방법을 구현하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체.
KR1020080020072A 2008-03-04 2008-03-04 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치 KR101456487B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080020072A KR101456487B1 (ko) 2008-03-04 2008-03-04 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치
US12/397,484 US8451889B2 (en) 2008-03-04 2009-03-04 Method and apparatus for encoding and decoding image by using sub-pixel-based motion prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080020072A KR101456487B1 (ko) 2008-03-04 2008-03-04 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20090095013A KR20090095013A (ko) 2009-09-09
KR101456487B1 true KR101456487B1 (ko) 2014-10-31

Family

ID=41295373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080020072A KR101456487B1 (ko) 2008-03-04 2008-03-04 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치

Country Status (2)

Country Link
US (1) US8451889B2 (ko)
KR (1) KR101456487B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101601848B1 (ko) * 2009-12-01 2016-03-10 에스케이 텔레콤주식회사 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US8862769B2 (en) 2010-11-23 2014-10-14 Qualcomm Incorporated Object-based transport protocol
US8437581B2 (en) * 2011-03-04 2013-05-07 General Instrument Corporation Method and system for interpolating fractional video pixels
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
US9264725B2 (en) * 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
EP2727358A1 (en) 2011-07-01 2014-05-07 Motorola Mobility LLC Joint sub-pixel interpolation filter for temporal prediction
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503734A (ja) * 2001-09-17 2005-02-03 ノキア コーポレイション サブピクセル値補間方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401880B2 (ja) 1993-11-25 2003-04-28 ソニー株式会社 ディジタル画像信号の適応生成装置および生成方法
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
JP4414195B2 (ja) 2003-11-06 2010-02-10 富士フイルム株式会社 画像補間方法および装置並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503734A (ja) * 2001-09-17 2005-02-03 ノキア コーポレイション サブピクセル値補間方法

Also Published As

Publication number Publication date
US20100226434A1 (en) 2010-09-09
US8451889B2 (en) 2013-05-28
KR20090095013A (ko) 2009-09-09

Similar Documents

Publication Publication Date Title
KR101456487B1 (ko) 부화소 단위의 움직임 예측을 이용한 영상 부호화, 복호화방법 및 그 장치
AU2020236452B2 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
US9674546B2 (en) Method and apparatus for interpolating reference picture and method and apparatus for encoding/decoding image using same
KR101403343B1 (ko) 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
US20110116546A1 (en) Single pass adaptive interpolation filter
CN104041041B (zh) 用于非均匀运动向量栅格的运动向量缩放
TWI575932B (zh) 混成視訊解碼器、混成視訊編碼器及資料串流
EP1758401A2 (en) Preprocessing for using a single motion compensated interpolation scheme for different video coding standards
KR20200026998A (ko) 이미지 처리 방법, 디바이스, 및 시스템
US9118927B2 (en) Sub-pixel interpolation and its application in motion compensated encoding of a video signal
WO2020184348A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP2012142886A (ja) 画像符号化装置及び画像復号装置
US20130177081A1 (en) Method and apparatus for encoding and decoding video using expanded block filtering
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
JP2022503990A (ja) ビデオ画像成分予測方法および装置、コンピュータ記憶媒体
KR101462959B1 (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
KR102435316B1 (ko) 이미지 처리 장치 및 방법
KR20210006304A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
KR101601848B1 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
WO2022077495A1 (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
WO2022061680A1 (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN114598877A (zh) 帧间预测方法及相关设备
WO2021003671A1 (en) Resolution-adaptive video coding
JP7061737B1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2021046692A1 (en) Resolution-adaptive video coding with conditional interpolation filters

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080304

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130304

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080304

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140307

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140922

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141024

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141027

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180804