KR20080088299A - 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 - Google Patents

움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 Download PDF

Info

Publication number
KR20080088299A
KR20080088299A KR1020070031135A KR20070031135A KR20080088299A KR 20080088299 A KR20080088299 A KR 20080088299A KR 1020070031135 A KR1020070031135 A KR 1020070031135A KR 20070031135 A KR20070031135 A KR 20070031135A KR 20080088299 A KR20080088299 A KR 20080088299A
Authority
KR
South Korea
Prior art keywords
block
motion
motion model
image frame
reference picture
Prior art date
Application number
KR1020070031135A
Other languages
English (en)
Other versions
KR101366242B1 (ko
Inventor
이상래
이교혁
매튜 마누
이태미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070031135A priority Critical patent/KR101366242B1/ko
Priority to PCT/KR2008/000546 priority patent/WO2008120867A1/en
Priority to US12/028,846 priority patent/US20080240247A1/en
Publication of KR20080088299A publication Critical patent/KR20080088299A/ko
Application granted granted Critical
Publication of KR101366242B1 publication Critical patent/KR101366242B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 프레임들 사이의 시간적 상관 관계를 이용하여 움직임 모델 파라메터를 효율적으로 전송하는 방법 및 움직임 모델 파라메터를 이용한 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치가 개시된다. 본 발명에 따르면 움직임 모델 파라메터를 표현하는 대표점들의 움직임 벡터들의 시간적 상관 관계를 고려하여 움직임 모델 파라메터를 부호화하며, 또한 움직임 모델 파라메터를 이용하여 이전 참조 영상 프레임에 대한 전역움직임 보상을 수행하여 복수 개의 변환 참조 픽처를 생성하고 이를 이용하여 현재 영상 프레임을 부호화하는 것을 특징으로 한다.

Description

움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임 모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및 장치{Method for encoding and decoding motion model parameter, and method and apparatus for video encoding and decoding using motion model parameter}
도 1은 어파인(affine) 움직임 모델을 설명하기 위한 참조도이다.
도 2는 본 발명에 따라서 영상 시퀀스를 구성하는 각 영상 프레임들의 전역 움직임을 기술하는 움직임 모델 파라메터를 부호화하는 방법을 나타낸 플로우 차트이다.
도 3은 본 발명에 따른 움직임 모델 파라메터의 부호화 방법을 설명하기 위한 참조도이다.
도 4는 본 발명에 따른 움직임 모델 파라메터의 복호화 방법을 나타낸 플로우 차트이다.
도 5는 본 발명에 따른 움직임 모델 파라메터를 이용한 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 6은 도 5의 움직임 모델 파라메터 생성부(510)에서 움직임 모델 파라메터 정보를 추출하는 방식을 설명하기 위한 도면이다.
도 7은 도 6의 이전 영상 프레임과 현재 영상 프레임으로부터 검출된 움직임 모델 파라메터들을 이용하여 도 6의 이전 영상 프레임에 대한 움직임 보상을 수행함으로써 생성된 변환 참조 픽처들을 나타낸 도면이다.
도 8은 본 발명에 따라서 참조 픽처 리스트를 생성하는 과정을 설명하기 위한 도면이다.
도 9은 본 발명에 따라서 주변 블록의 참조 인덱스를 이용하여 현재 블록의 참조 인덱스를 예측하는 과정을 설명하기 위한 도면이다
도 10은 본 발명에 따른 움직임 모델 파라메터를 이용한 영상 부호화 방법을 나타낸 플로우 차트이다.
도 11은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 12는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 비디오 코딩에 관한 것으로, 구체적으로는 영상 프레임들 사이의 시간적 상관 관계를 이용하여 움직임 모델 파라메터를 효율적으로 전송하는 방법 및 움직임 모델 파라메터를 이용하여 움직임 보상된 복수 개의 참조 픽처를 생성하여 움직임 예측 및 보상을 수행하는 영상 부호화 방법 및 장치, 그 복호화 방법 및 장치에 관한 것이다.
움직임 예측 및 보상은 비디오 데이터 압축에 있어 중요한 역할을 하고 있으며, 양질의 압축 효율을 위해 비디오 시퀀스에서 연속하는 프레임들간에 높은 시간 적 중복(temporal redundancy)를 이용하고 있다. 블록 매칭은 연속하는 시간적 중복을 제거하기 위해서 가장 널리 사용되는 움직임 보상 방식이다. 그러나, 전체 화상이 확대, 축소, 회전하고 있는 경우 등에는 모든 블록의 움직임 벡터가 전송되어야 하기 때문에 부호화 효율이 저하될 수 있다. 따라서, 이러한 문제를 해결하기 위하여 많은 파라메터를 사용하지 않고도 전체 영상 프레임의 움직임 벡터 필드를 나타낼 수 어파인(affine) 움직임 모델, 트랜슬레이션(Translation) 움직임 모델, 퍼스펙티브(perspective) 움직임 모델, 이소트로픽(isotropic) 움직임 모델 및 프로젝티브(Projective) 모델 등의 다양한 움직임 모델이 제안되었다.
도 1은 어파인(affine) 움직임 모델을 설명하기 위한 참조도이다.
어파인 움직임 모델은 다음의 수학식 1과 같이 원좌표 (x,y)와 변환된 좌표(x',y') 사이의 변환 관계를 규정하는 소정의 파라메터들(a11, a12, a21, a22, Δx, Δy)로 표현된다.
Figure 112007024796548-PAT00001
이 때, 각 영상 프레임 별로 어파인 움직임 모델의 6개의 파라메터들(a11, a12, a21, a22, Δx, Δy)을 일일히 전송한다면 부호화되어야 하는 비트량이 증가될 수 있다. 도 1을 참조하면 참조 프레임의 4개의 화소(a,b,c,d)과 현재 프레임의 대응되는 화소들(a', b', c', d')의 좌표 정보를 수학식 1에 대입하면, 어파인 움직임 모델의 6개의 파라메터들(a11, a12, a21, a22, Δx, Δy)을 계산할 수 있다. 따라서, 종래 기술에 따르면 움직임 모델의 파라메터들을 별도로 전송하는 대신에, 참조 프레임의 각 대표점에서 움직임 벡터를 전송함으로써 복호화단에서 움직임 모델의 파라메터들을 생성할 수 있도록 한다. 또한, 종래 기술에 따르면 발생되는 비트량을 줄이기 위하여 대표점의 움직임 벡터들 사이의 공간적 상관 관계를 고려하여 움직임 벡터를 차분 부호화한다. 예를 들어, 도 1에서 화소 a의 움직임 벡터를 MV1, 화소 b의 움직임 벡터를 MV2, 화소 c의 움직임 벡터를 MV3, 화소 d의 움직임 벡터를 MV4라고 하면, 화소 a의 움직임 벡터(MV1)는 그대로 부호화하고 화소 b의 움직임 벡터(MV2)와 화소 c의 움직임 벡터(MV3)는 화소 a의 움직임 벡터(MV1)와의 차분값을 부호화하고, 화소 d의 움직임 벡터(MV4)는 화소 a 내지 화소 c의 움직임 벡터(MV1, MV2, MV3)와의 차분값을 부호화하여 전송한다.
그러나, 제한된 대역폭의 한계를 극복하고 보다 고화질의 영상을 제공하기 위해서 보다 효율적으로 영상을 압축할 수 있는 방안에 대한 요구는 끊임없이 계속되고 있다.
본 발명이 이루고자 하는 기술적 과제는 영상 프레임들 사이의 시간적 상관 관계를 고려하여 각 영상 프레임의 움직임 모델 파라메터를 효율적으로 부호화하는 방법을 제공하는 것이다.
또한, 본 발명은 현재 영상 프레임과 이전 영상 프레임으로부터 추출된 복수 개의 움직임 모델 파라메터를 이용하여 현재 영상 프레임에 구비된 영역들의 움직 임 정보를 반영하는 복수 개의 참조 픽처를 생성하고 이를 이용하여 현재 영상 프레임을 부호화함으로써 영상의 압축 효율을 향상시키는 것을 목적으로 한다.
또한, 본 발명은 참조 픽처 리스트의 생성시 효율적으로 참조 인덱스를 부여함으로써 발생되는 비트량을 감소시킬 수 있는 영상 부호화 방법을 제공한다.
전술한 기술적 과제를 해결하기 위하여 본 발명에 따른 움직임 모델 파라메터를 부호화하는 방법은 각 영상 프레임에서 상기 움직임 모델의 파라메터를 결정하기 위한 복수 개의 대표점들을 선택하고, 상기 각 영상 프레임의 대표점들의 움직임 벡터를 생성하는 단계; 이전 영상 프레임의 대표점들의 움직임 벡터와 대응되는 현재 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 계산하는 단계; 및 상기 차분 움직임 벡터를 상기 현재 영상 프레임의 움직임 모델 파라메터 정보로서 부호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 움직임 모델 파라메터를 복호화하는 방법은 수신된 비트스트림으로부터 이전에 복호화된 영상 프레임의 대표점들의 움직임 벡터와 현재 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 추출하는 단계; 상기 추출된 차분 움직임 벡터와 상기 이전 영상 프레임의 대표점들의 움직임 벡터를 더하여 상기 현재 영상 프레임의 대표점들의 움직임 벡터를 복원하는 단계; 및 상기 복원된 현재 영상 프레임의 대표점들의 움직임 벡터를 이용하여 상기 움직임 모델 파라메터를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 움직임 모델 파라메터를 이용한 영상 부호화 방법은 현재 영 상 프레임과 이전 영상 프레임을 비교하여 복수 개의 움직임 모델 파라메터 정보를 추출하는 단계; 상기 추출된 움직임 모델 파라메터 정보를 이용하여 상기 이전 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 단계; 상기 변환 참조 픽처들을 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 예측 및 보상을 수행하여 상기 각 블록들이 참조하는 변환 참조 픽처를 결정하는 단계; 및 상기 블록들을 결합한 소정 부호화 단위로 상기 부호화 단위 내에 구비된 각 블록들이 참조하는 횟수가 높은 변환 참조 픽처에 보다 작은 참조 인덱스를 할당함으로써 참조 픽처 리스트를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 움직임 모델 파라메터를 이용한 영상 부호화 장치는 현재 영상 프레임과 이전 영상 프레임을 비교하여 복수 개의 움직임 모델 파라메터 정보를 추출하는 움직임 모델 파라메터 생성부; 상기 추출된 움직임 모델 파라메터 정보를 이용하여 상기 이전 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 다중 참조 픽처 생성부; 상기 변환 참조 픽처들을 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 예측 및 보상을 수행하여 상기 각 블록들이 참조하는 변환 참조 픽처를 결정하는 움직임 예측 및 보상부; 및 상기 블록들을 결합한 소정 부호화 단위로 상기 부호화 단위 내에 구비된 각 블록들이 참조하는 횟수가 높은 변환 참조 픽처에 보다 작은 참조 인덱스를 할당함으로써 참조 픽처 리스트를 생성하는 참조픽처 정보 생성부를 포함하는 것을 특징으로 한다.
본 발명에 따른 움직임 모델 파라메터를 이용한 영상 복호화 방법은 수신된 비트스트림으로부터 추출된 움직임 모델 파라메터 정보를 이용하여 복호화되는 현재 영상 프레임 이전의 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 단계; 상기 비트스트림에 구비된 참조 픽처 리스트로부터 상기 현재 영상 프레임의 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 추출하는 단계; 상기 추출된 참조 인덱스가 가리키는 상기 변환 참조 픽처를 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 보상을 수행하여 예측 블록을 생성하는 단계; 및 상기 예측 블록과 상기 비트스트림에 구비된 레지듀얼을 더하여 상기 블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 움직임 모델 파라메터를 이용한 영상 복호화 장치는 수신된 비트스트림으로부터 추출된 움직임 모델 파라메터 정보를 이용하여 복호화되는 현재 영상 프레임 이전의 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 다중 참조 픽처 생성부; 상기 비트스트림에 구비된 참조 픽처 리스트로부터 상기 현재 영상 프레임의 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 추출하는 참조 픽처 결정부; 상기 추출된 참조 인덱스가 가리키는 상기 변환 참조 픽처를 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 보상을 수행하여 예측 블록을 생성하는 움직임 보상부; 및 상기 예측 블록과 상기 비트스트림에 구비된 레지듀얼을 더하여 상기 블록을 복원하는 가산부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 대하여 상세히 설명한다.
도 2는 본 발명에 따라서 영상 시퀀스를 구성하는 각 영상 프레임들의 전역 움직임을 기술하는 움직임 모델 파라메터를 부호화하는 방법을 나타낸 플로우 차트이다.
본 발명에 따른 움직임 모델 파라메터 부호화 방법은 영상 프레임들 사이에 존재하는 시간적 상관 관계를 함께 고려하여 움직임 모델 파라메터의 생성을 위한 대표점의 움직임 벡터를 효율적으로 부호화하는 것을 특징으로 한다. 이하의 설명에서는 여러가지 움직임 모델들 중 어파인 움직임 모델을 중심으로 설명하지만, 본 발명에 따른 사상은 어파인(affine) 움직임 모델, 트랜슬레이션(Translation) 움직임 모델, 퍼스펙티브(perspective) 움직임 모델, 이소트로픽(isotropic) 움직임 모델 및 프로젝티브(Projective) 모델 등 다른 움직임 모델 등에도 유사하게 적용될 수 있을 것이다.
도 2를 참조하면, 단계 210에서 영상 시퀀스를 구성하는 각 영상 프레임에서 움직임 모델의 파라메터를 결정하기 위한 복수 개의 대표점을 선택하고, 각 영상 프레임의 대표점들에서의 움직임을 나타내는 움직임 벡터를 생성한다.
단계 220에서, 이전 영상 프레임의 대표점들의 움직임 벡터와 대응되는 현재 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 계산한다.
단계 230에서, 차분 움직임 벡터를 현재 영상 프레임의 움직임 모델 파라메터 정보로서 부호화한다.
본 발명에 따른 움직임 모델 파라메터의 부호화 방법은 시간적으로 인접한 영상 프레임들 사이의 대표점의 움직임 벡터 사이에는 소정의 상관 관계가 있으므로, 이러한 시간적 상관 관계를 이용하여 현재 영상 프레임의 대표점의 움직임 벡터를 그 이전 영상 프레임의 대응되는 대표점의 움직임 벡터로부터 예측한 후, 예측된 움직임 벡터와 현재 영상 프레임의 대표점의 실제 움직임 벡터와의 차분값만을 부호화하는 것이다.
도 3은 본 발명에 따른 움직임 모델 파라메터의 부호화 방법을 설명하기 위한 참조도이다. 도 3에서는 영상 시퀀스 내에서 임의의 시간 t, t+1, t+2에서의 영상 프레임들을 나타낸다. 또한, 도 3에서 도면 부호 a, a' 및 a''는 각각 t 영상 프레임, t+1 영상 프레임, t+2 영상 프레임의 대응되는 제 1 대표점들을 나타내며, 도면 부호 b, b' 및 b''는 각각 t 영상 프레임, t+1 영상 프레임, t+2 영상 프레임의 대응되는 제 2 대표점들을 나타내며, 도면 부호 c, c' 및 c''는 각각 t 영상 프레임, t+1 영상 프레임, t+2 영상 프레임의 대응되는 제 3 대표점들을 나타내며, 도면 부호 d, d' 및 d''는 각각 t 영상 프레임, t+1 영상 프레임, t+2 영상 프레임의 대응되는 제 4 대표점들을 나타낸다.
도 3을 참조하면, (Ux ,y, Vx ,y)(x=t, t+1, t+2, y=0,1,2,3)는 시간 x 영상 프레임에서의 y+1번째 대표점의 움직임 벡터를 나타내는 것으로, (Ux ,y, Vx ,y)는 시간 x 영상 프레임에서의 y+1번째 대표점과 시간 (x+1) 영상 프레임에서의 y+1번째 대표점의 공간적인 위치 변화를 통해 계산된다. 예를 들어 (Ut ,0, Vt ,0)은 t 영상 프레임 에서의 제 1 대표점(a)과 (t+1) 영상 프레임의 제 1 대표점(a')의 위치 차이에 해당하는 벡터이다.
본 발명에 따르면, 시간적으로 인접한 두 영상 프레임에서, 이전 영상 프레임의 대표점들의 움직임 벡터와 대응되는 다음 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 계산하고 이를 움직임 모델 파라메터 정보로서 전송한다. 즉 도 3을 참조하면, t 영상 프레임의 제 1 대표점(a)의 움직임 벡터(Ut ,0, Vt ,0)와 (t+1) 영상 프레임의 제 1 대표점(a')의 움직임 벡터(Ut +1,0, Vt +1,0)의 차분값인 (Ut +1,0-Ut ,0, Vt +1,0-Vt ,0)을 (t+1) 영상 프레임의 제 1 대표점(a)의 움직임 벡터 정보로서 전송한다. 그러면, 복호화단에서는 이전 t 영상 프레임의 제 1 대표점(a)의 움직임 벡터(Ut,0, Vt,0)을 (t+1) 영상 프레임의 제 1 대표점(a')의 예측 움직임 벡터로 예측한 후, 상기 차분값을 더하여 (t+1) 영상 프레임의 제 1 대표점(a')의 움직임 벡터(Ut +1,0, Vt +1,0)를 복원할 수 있다. 유사하게, (t+1) 영상 프레임의 제 2 대표점(b)의 움직임 벡터(Ut +1,1, Vt +1,1)의 정보로서, t 영상 프레임의 제 2 대표점(b)의 움직임 벡터(Ut ,1, Vt ,1)와 (t+1) 영상 프레임의 제 2 대표점(b')의 움직임 벡터(Ut+1,1, Vt +1,1)의 차분값인 (Ut +1,1-Ut ,1, Vt +1,1-Vt ,1)을 부호화하여 전송하면, 복호화단에서는 이전 t 영상 프레임의 제 2 대표점(b)의 움직임 벡터(Ut,1, Vt,1)을 (t+1) 영상 프레임의 제 2 대표점(b')의 예측 움직임 벡터로 예측한 후, 상기 차분값을 더하여 (t+1) 영상 프레임의 제 2 대표점(b')의 움직임 벡터(Ut +1,1, Vt +1,1)를 복원할 수 있다.
도 4는 본 발명에 따른 움직임 모델 파라메터의 복호화 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 단계 410에서 수신된 비트스트림으로부터 이전에 복호화된 영상 프레임의 대표점들의 움직임 벡터와 현재 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 추출한다.
단계 420에서 추출된 차분 움직임 벡터와 상기 이전 영상 프레임의 대표점들의 움직임 벡터를 더하여 현재 영상 프레임의 대표점들의 움직임 벡터를 복원한다.
단계 430에서, 복원된 현재 영상 프레임의 대표점들의 움직임 벡터를 이용하여 움직임 모델 파라메터를 생성한다. 예를 들어, 수학식 1에 표현된 어파인 움직임 모델을 적용하는 경우, 복원된 현재 영상 프레임의 대표점들의 움직임 벡터를 대입함으로써 어파인 움직임 모델을 구성하는 6개의 움직임 모델 파라메터들을 결정할 수 있다.
도 5는 본 발명에 따른 움직임 모델 파라메터를 이용한 영상 부호화 장치의 구성을 나타낸 블록도이다.
본 발명에 따른 영상 부호화 장치는 현재 영상 프레임과 이전 영상 프레임을 비교하여 복수 개의 움직임 모델 파라메터 정보를 추출하고, 추출된 움직임 모델 파라메터를 이용하여 이전 영상 프레임에 대한 전역 움직임 보상을 수행하여 복수 개의 변화 참조 픽처를 생성한 후, 생성된 변환 참조 픽처를 이용하여 현재 영상 프레임에 대한 예측 부호화를 수행하는 것을 특징으로 한다.
도 5를 참조하면, 본 발명에 따른 영상 부호화 장치(500)는 움직임 모델 파라메터 생성부(510), 다중 참조 픽처 생성부(520), 움직임 예측 및 보상부(530), 감산부(540), 변환부(550), 양자화부(560), 엔트로피 부호화부(570), 역양자화부(580), 역변환부(590), 가산부(595)를 포함한다.
움직임 모델 파라메터 생성부(510)는 부호화되는 현재 영상 프레임과 이전 영상 프레임을 비교하여 현재 영상 프레임의 각 영역 또는 객체가 이전 영상 프레임의 각 영역 또는 객체와 일치하도록 하는 복수 개의 움직임 모델 파라메터 정보를 추출한다.
도 6은 도 5의 움직임 모델 파라메터 생성부(510)에서 움직임 모델 파라메터 정보를 추출하는 방식을 설명하기 위한 도면이다.
도 6을 참조하면, 움직임 모델 파라메터 생성부(510)는 이전 영상 프레임(610)과 현재 영상 프레임(600)을 비교하여, 이전 영상 프레임(610)과 현재 영상 프레임(600)에서 차이가 나는 영상 영역을 검출하고 검출된 영상 영역의 움직임을 검출하고, 검출된 영상 영역의 특징점을 중심으로 어파인 움직임 모델 등을 적용하여 움직임 모델 파라메터를 생성한다. 예를 들어, 움직임 모델 파라메터 생성부(510)는 이전 영상 프레임(610)과 현재 영상 프레임(600)에서 변화된 영역을 판별하기 위하여 상기 두 영상의 차이값을 계산하여, 소정 임계값 이상의 차이가 나는 영역을 판별하거나, 널리 알려진 다양한 객체 검출 알고리즘을 이용하여 이전 영상 프레임(610)내에 구비된 객체들(611,612)을 식별하고, 검출된 객체들(611,612)의 현재 영상 프레임(600)에서의 움직임 변화를 검출하여 검출된 움직임 변화를 나타내는 움직임 모델의 파라메터들을 생성할 수 있다. 즉, 움직임 모델 파라메터 생성부(510)는 현재 영상 프레임(600)과 이전 영상 프레임(610) 사이에서 제 1 객체(611)의 움직임 정보를 나타내는 제 1 움직임 모델 파라메터와, 제 2 객체(612)의 움직임 정보를 나타내는 제 2 움직임 모델 파라메터를 검출한다. 도 6에서 이전 영상 프레임(610)을 기준으로 제 1 움직임 모델 파라메터는 시계 방향으로 소정 각도의 회전 움직임을 나타내며, 제 2 움직임 모델 파라메터는 반시계 방향으로 소정 각도의 회전 움직임을 나타내는 것으로, 구체적인 값은 전술한 수학식 1에 이전 영상 프레임(610)과 현재 영상 프레임(600)의 대응되는 화소의 좌표를 대입함으로써 계산될 수 있다.
다시 도 5를 참조하면, 다중 참조 픽처 생성부(520)는 추출된 움직임 모델 파라메터 정보를 이용하여 이전 영상 프레임에 대한 전역 움직임 보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성한다.
도 7은 도 6의 이전 영상 프레임과 현재 영상 프레임으로부터 검출된 움직임 모델 파라메터들을 이용하여 도 6의 이전 영상 프레임에 대한 움직임 보상을 수행함으로써 생성된 변환 참조 픽처들을 나타낸 도면이다.
전술한 바와 같이, 도 6의 이전 영상 프레임과 현재 영상 프레임으로부터 검출된 움직임 모델 파라메터들은 시계 방향의 회전 움직임과 반시계 방향의 회전 움직임을 나타낸다고 가정한다. 이러한 경우 다중 참조 픽처 생성부(520)는 각 움직 임 모델 파라메터 각각을 이전 영상 프레임에 적용하는 전역 움직임 보상을 수행한다. 즉, 다중 참조 픽처 생성부(520)는 이전 영상 프레임(610)의 각 화소들에 대하여 제 1 움직임 모델 파라메터를 이용한 전역 움직임 보상을 수행하여 제 1 변환 참조 프레임(710)을 생성하고, 이전 영상 프레임(610)의 각 화소들에 대하여 제 2 움직임 모델 파라메터를 이용한 전역 움직임 보상을 수행하여 제 2 변환 참조 프레임(720)을 생성한다. 만약, 움직임 모델 파라메터 생성부(510)에서 n개(n은 양의 정수)의 움직임 모델 파라메터들이 생성되었다면, 다중 참조 픽처 생성부(520)는 n개의 움직임 모델 파라메터 각각을 이용하여 이전 영상 프레임에 대한 움직임 보상을 수행함으로써 n개의 변환 참조 프레임을 생성할 수 있다.
다시 도 5를 참조하면, 움직임 예측 및 보상부(530)는 변환 참조 픽처들을 이용하여 현재 영상 프레임을 구성하는 각 블록에 대한 움직임 예측 및 보상을 수행하여 예측 블록을 생성하는 한편, 각 블록이 참조하는 변환 참조 픽처를 결정한다. 도 6 및 도 7을 참조하면, 움직임 예측 및 보상부(530)는 현재 영상 프레임(600)의 제 1 객체(601)에 해당하는 블록 영역을 부호화할 때에는 제 1 변환 참조 프레임(710)을 참조 픽처로서 결정하고, 현재 영상 프레임(600)의 제 2 객체(602)에 해당하는 블록 영역을 부호화할 때에는 제 2 변환 참조 프레임(720)을 참조 픽처로서 결정한다.
움직임 예측 및 보상부(530)에서 변환 참조 픽처들을 이용하여 현재 블록의 예측 블록이 생성되면, 감산부(540)는 현재 블록과 예측 블록의 차이인 레지듀얼을 계산한다. 변환부(550) 및 양자화부(560)는 레지듀얼 데이터에 대한 DCT(Discrete Cosine Transform) 및 양자화를 수행하며, 엔트로피 부호화부(570)는 양자화된 변환 계수들에 대하여 엔트로피 부호화를 수행하여 압축을 수행한다.
한편, 본 발명에 따른 영상 부호화 방법에 따르면, 현재 영상 프레임 내의 각 블록들이 복수 개의 변환 참조 픽처들 중 어떤 변환 참조 픽처를 이용하여 예측되었는지에 대한 정보를 전송할 필요가 있다. 이러한 참조 픽처 정보는 엔트로피 부호화부에 구비된 참조 픽쳐 정보 생성부(미도시)에서 현재 영상 프레임 내의 블록들을 결합한 소정 부호화 단위, 예를 들어 슬라이스 단위로 슬라이스 내에 구비된 각 블록들이 참조하는 변환 참조 픽처의 참조 횟수를 산출하고, 슬라이스 내에 구비된 블록들에 의하여 많이 참조되는 변환 참조 픽처에는 보다 작은 참조 인덱스(RefIdx)를 할당함으로써 참조 픽처 리스트(Reference Picture List)를 생성하고 이를 비트스트림에 삽입하여 전송한다. 이와 같이 슬라이스 내의 블록들에 의하여 많이 참조되는 변환 참조 픽처를 보다 작은 참조 인덱스에 할당하는 경우, 참조 인덱스의 정보는 이전에 부호화된 블록의 참조 인덱스와의 차분값의 형태로 전송되기 때문에 참조 픽처 정보를 나타내기 위하여 소요되는 비트량을 감소시킬 수 있다.
도 8은 본 발명에 따라서 참조 픽처 리스트를 생성하는 과정을 설명하기 위한 도면이다. 도 8에서는 설명의 편의를 위해서 현재 프레임(800)이 크게 좌측 45도 방향으로 기울어진 제 1 영상 부분(A)와 나머지 제 2 영상 부분(B)의 두 부분으로 구성되어 있다고 가정한다.
도 8을 참조하면, 참조 픽처 정보 생성부는 제 1 영상 부분(A)에 구비된 블록들의 참조 픽처 리스트를 생성할 때, 제 1 영상 부분(A)과 유사한 움직임 방향으 로 변환된 변환 참조 픽처를 첫 번째 참조 인덱스에 할당함으로써 제 1 영상 부분(A)의 참조 픽처 리스트(810)를 생성하며, 제 2 영상 부분(B)에 구비된 블록들의 참조 픽처 리스트를 생성할 때, 제 2 영상 부분(B)과 유사한 움직임 방향으로 변환된 변환 참조 픽처를 첫 번째 참조 인덱스에 할당하게 된다.
한편, 부가적으로 참조 픽처 정보 생성부는 각 블록의 참조 인덱스를 생성할 때 주변 블록의 참조 인덱스와의 상관 관계를 고려하여 예측 참조 인덱스를 생성하고, 실제 참조 인덱스와 예측 참조 인덱스와의 차분값만을 전송함으로써 참조 인덱스의 정보량을 감소시킬 수 있다.
도 9은 본 발명에 따라서 주변 블록의 참조 인덱스를 이용하여 현재 블록의 참조 인덱스를 예측하는 과정을 설명하기 위한 도면이다. 도 9를 참조하면, 현재 블록의 참조 인덱스(RedIdx_Curr)의 예측 참조 인덱스를 RefIdx_Pred라고 하면, 현재 블록의 예측 참조 인덱스(RefIdx_Pred)는 좌측 블록의 참조 인덱스(RefIdx_A)와 상측 블록의 참조 인덱스(RefIdx_B)의 최소값으로 예측된다. 즉, (RefIdx_Pred)=Min(RefIdx_A, RefIdx_B)이다. 다음 참조 픽처 정보 생성부는 현재 블록의 참조 인덱스(RedIdx_Curr)와 예측 참조 인덱스(RefIdx_Pred)의 차분값을 전송하면, 복호화단에서는 동일한 과정을 통해 예측 참조 인덱스를 생성하고 비트스트림에 구비된 참조 인덱스 차이값과 더하여 현재 블록의 참조 인덱스를 복원할 수 있다.
도 10은 본 발명에 따른 움직임 모델 파라메터를 이용한 영상 부호화 방법을 나타낸 플로우 차트이다.
도 10을 참조하면, 단계 1010에서 현재 영상 프레임과 이전 영상 프레임을 비교하여 복수 개의 움직임 모델 파라메터 정보를 추출한다.
단계 1020에서, 추출된 움직임 모델 파라메터 정보를 이용하여 이전 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성한다.
단계 1030에서, 변환 참조 픽처들을 이용하여 현재 영상 프레임의 각 블록에 대한 움직임 예측 및 보상을 수행하여 현재 영상 프레임의 각 블록들이 참조하는 변환 참조 픽처를 결정한다.
단계 1040에서, 소정 부호화 단위, 예를 들어 슬라이스 내에 구비된 각 블록들이 참조하는 횟수가 높은 변환 참조 픽처에 보다 작은 참조 인덱스를 할당함으로써 참조 픽처 리스트를 생성하고 생성된 참조 픽처 리스트를 엔트로피 부호화하여 복호화단에 전송한다. 전술한 바와 같이 각 블록의 참조 인덱스는 그 주변 블록의 참조 인덱스를 통해 예측된 예측 참조 인덱스와의 차분값 형태로 부호화되어 전송될 수 있다.
도 11은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 11을 참조하면, 본 발명에 따른 영상 복호화 장치(1100)는 역다중화부(1110), 레지듀 복원부(1120), 가산부(1130), 다중 참조 픽처 생성부(1140), 참조 픽처 결정부(1150) 및 움직임 보상부(1160)를 포함한다.
역다중화부(1110)는 수신된 비트스트림에 구비된 현재 블록의 부호화에 이용된 다양한 예측 모드 정보, 예를 들어 본 발명에 따른 움직임 모델 파라메터 정보, 참조 픽처 리스트 정보 및 텍스쳐 데이터의 레지듀 정보를 추출하여 각각 다중참조 픽처 생성부(1140) 및 레지듀 복원부(1120)에 출력한다.
레지듀 복원부(1120)는 예측 블록과 현재 블록의 차이에 해당하는 레지듀얼 데이터에 대한 엔트로피 복호화, 역양자화 및 역변환을 수행하여 레지듀얼 데이터를 복원한다.
다중 참조 픽처 생성부(1140)는 수신된 비트스트림으로부터 추출된 움직임 모델 파라메터 정보를 이용하여 복호화되는 현재 영상 프레임 이전의 영상 프레임에 대한 전역 움직임 보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성한다.
참조 픽처 결정부(1150)는 참조 픽처 리스트로부터 현재 영상 프레임의 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 결정한다. 전술한 바와 같이, 현재 블록의 참조 인덱스가 주변 블록의 참조 인덱스로부터 예측된 예측 참조 인덱스와의 차분 형태로 부호화된 경우, 주변 블록의 참조 인덱스를 이용하여 예측 참조 인덱스를 생성한 후 비트스트림에 구비된 참조 인덱스의 차분값을 더함으로써 현재 블록의 참조 인덱스를 복원한다.
움직임 보상부(1160)는 참조 인덱스가 가리키는 변환 참조 픽처를 이용하여 현재 영상 프레임의 각 블록에 대한 움직임 보상을 수행하여 예측 블록을 생성한다.
가산부(1130)는 예측블록과 복원된 레지듀얼을 더하여 현재 블록을 복원한다.
도 12는 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 12를 참조하면, 단계 1210에서 수신된 비트스트림으로부터 추출된 움직임 모델 파라메터 정보를 이용하여 복호화되는 현재 영상 프레임 이전의 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성한다.
단계 1220에서 비트스트림에 구비된 참조 픽처 리스트로부터 현재 영상 프레임의 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 추출한다.
단계 1230에서, 추출된 참조 인덱스가 가리키는 변환 참조 픽처를 이용하여 현재 영상 프레임의 각 블록에 대한 움직임 보상을 수행하여 예측 블록을 생성한다.
단계 1240에서, 예측 블록과 상기 비트스트림에 구비된 레지듀얼을 더하여 현재 블록을 복원한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면, 영상 프레임들 사이의 시간적 상관 관계를 고려하여 움직임 모델 파라메터를 예측 부호화함으로써 전송되는 움직임 모델 파라메터의 비트량을 감소시킬 수 있다.
또한, 본 발명에 따르면 움직임 모델 파라메터를 이용하여 현재 영상 프레임 내의 다양한 움직임이 반영된 참조 픽처를 생성하고, 이를 이용하여 부호화를 수행함으로써 영상의 부호화 효율을 향상시킬 수 있다.

Claims (25)

  1. 영상 시퀀스를 구성하는 각 영상 프레임들의 전역 움직임을 기술하는 움직임 모델 파라메터를 부호화하는 방법에 있어서,
    상기 각 영상 프레임에서 상기 움직임 모델의 파라메터를 결정하기 위한 복수 개의 대표점들을 선택하고, 상기 각 영상 프레임의 대표점들의 움직임 벡터를 생성하는 단계;
    이전 영상 프레임의 대표점들의 움직임 벡터와 대응되는 현재 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 계산하는 단계; 및
    상기 차분 움직임 벡터를 상기 현재 영상 프레임의 움직임 모델 파라메터 정보로서 부호화하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서, 상기 움직임 모델의 파라메터는
    어파인(affine) 움직임 모델, 트랜슬레이션(Translation) 움직임 모델, 퍼스펙티브(perspective) 움직임 모델, 이소트로픽(isotropic) 움직임 모델 및 프로젝티브(Projective) 모델 중 어느 하나의 움직임 모델의 파라메터들인 것을 특징으로 하는 방법.
  3. 제 1항에 있어서, 상기 대표점들의 움직임 벡터를 생성하는 단계는
    상기 각 영상 프레임의 대표점을 시작점으로 하고, 상기 대표점에 대응되는 참조 프레임의 화소를 종착점으로 하는 움직임 벡터를 계산하는 것을 특징으로 하는 방법.
  4. 영상 시퀀스를 구성하는 각 영상 프레임들의 전역 움직임을 기술하는 움직임 모델 파라메터를 복호화하는 방법에 있어서,
    수신된 비트스트림으로부터 이전에 복호화된 영상 프레임의 대표점들의 움직임 벡터와 현재 영상 프레임의 대표점들의 움직임 벡터 사이의 차이값인 차분 움직임 벡터를 추출하는 단계;
    상기 추출된 차분 움직임 벡터와 상기 이전 영상 프레임의 대표점들의 움직임 벡터를 더하여 상기 현재 영상 프레임의 대표점들의 움직임 벡터를 복원하는 단계; 및
    상기 복원된 현재 영상 프레임의 대표점들의 움직임 벡터를 이용하여 상기 움직임 모델 파라메터를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서, 상기 움직임 모델의 파라메터는
    어파인(affine) 움직임 모델, 트랜슬레이션(Translation) 움직임 모델, 퍼스펙티브(perspective) 움직임 모델, 이소트로픽(isotropic) 움직임 모델 및 프로젝티브(Projective) 모델 중 어느 하나의 움직임 모델의 파라메터인 것을 특징으로 하는 방법.
  6. 움직임 모델 파라메터를 이용한 영상 부호화 방법에 있어서,
    현재 영상 프레임과 이전 영상 프레임을 비교하여 복수 개의 움직임 모델 파라메터 정보를 추출하는 단계;
    상기 추출된 움직임 모델 파라메터 정보를 이용하여 상기 이전 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 단계;
    상기 변환 참조 픽처들을 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 예측 및 보상을 수행하여 상기 각 블록들이 참조하는 변환 참조 픽처를 결정하는 단계; 및
    상기 블록들을 결합한 소정 부호화 단위로 상기 부호화 단위 내에 구비된 각 블록들이 참조하는 횟수가 높은 변환 참조 픽처에 보다 작은 참조 인덱스를 할당함으로써 참조 픽처 리스트를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서, 상기 움직임 모델의 파라메터는
    어파인(affine) 움직임 모델, 트랜슬레이션(Translation) 움직임 모델, 퍼스펙티브(perspective) 움직임 모델, 이소트로픽(isotropic) 움직임 모델 및 프로젝티브(Projective) 모델 중 어느 하나의 움직임 모델의 파라메터인 것을 특징으로 하는 방법.
  8. 제 6항에 있어서,
    상기 참조 픽처 리스트로부터 상기 부호화 단위 내에 구비된 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 결정하고, 상기 결정된 참조 인덱스를 이용하여 각 블록의 참조 픽처 정보를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 각 블록 중 부호화되는 현재 블록의 주변 블록들이 갖는 참조 인덱스를 이용하여 상기 현재 블록의 참조 인덱스를 예측하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 주변 블록은 상기 현재 블록의 상측 및 좌측에 인접한 블록이며,
    상기 상측 및 좌측에 인접한 블록의 참조 인덱스 중 최소값을 상기 현재 블록의 참조 인덱스로 예측하는 것을 특징으로 하는 방법.
  11. 제 9항에 있어서,
    상기 현재 블록의 참조 인덱스와 예측 참조 인덱스와의 차이값을 부호화하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 움직임 모델 파라메터를 이용한 영상 부호화 장치에 있어서,
    현재 영상 프레임과 이전 영상 프레임을 비교하여 복수 개의 움직임 모델 파라메터 정보를 추출하는 움직임 모델 파라메터 생성부;
    상기 추출된 움직임 모델 파라메터 정보를 이용하여 상기 이전 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 다중 참조 픽처 생성부;
    상기 변환 참조 픽처들을 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 예측 및 보상을 수행하여 상기 각 블록들이 참조하는 변환 참조 픽처를 결정하는 움직임 예측 및 보상부; 및
    상기 블록들을 결합한 소정 부호화 단위로 상기 부호화 단위 내에 구비된 각 블록들이 참조하는 횟수가 높은 변환 참조 픽처에 보다 작은 참조 인덱스를 할당함으로써 참조 픽처 리스트를 생성하는 참조픽처 정보 생성부를 포함하는 것을 특징으로 하는 장치.
  13. 제 12항에 있어서, 상기 움직임 모델의 파라메터는
    어파인(affine) 움직임 모델, 트랜슬레이션(Translation) 움직임 모델, 퍼스펙티브(perspective) 움직임 모델, 이소트로픽(isotropic) 움직임 모델 및 프로젝티브(Projective) 모델 중 어느 하나의 움직임 모델의 파라메터인 것을 특징으로 하는 장치.
  14. 제 12항에 있어서, 상기 참조픽처 정보 생성부는
    상기 참조 픽처 리스트로부터 상기 부호화 단위 내에 구비된 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 결정하고, 상기 결정된 참조 인덱스를 이용하여 각 블록의 참조 픽처 정보를 부호화하는 것을 특징으로 하는 장치.
  15. 제 12항에 있어서, 상기 참조픽처 정보 생성부는
    상기 각 블록 중 부호화되는 현재 블록의 주변 블록들이 갖는 참조 인덱스를 이용하여 상기 현재 블록의 참조 인덱스를 예측하는 것을 특징으로 하는 장치.
  16. 제 15항에 있어서,
    상기 주변 블록은 상기 현재 블록의 상측 및 좌측에 인접한 블록이며,
    상기 상측 및 좌측에 인접한 블록의 참조 인덱스 중 최소값을 상기 현재 블록의 참조 인덱스로 예측하는 것을 특징으로 하는 장치.
  17. 제 15항에 있어서, 상기 참조픽처 정보 생성부는
    상기 현재 블록의 참조 인덱스와 예측 참조 인덱스와의 차이값을 부호화하는 단계를 더 포함하는 것을 특징으로 하는 장치.
  18. 움직임 모델 파라메터를 이용한 영상 복호화 방법에 있어서,
    수신된 비트스트림으로부터 추출된 움직임 모델 파라메터 정보를 이용하여 복호화되는 현재 영상 프레임 이전의 영상 프레임에 대한 전역 움직임보상을 수행 함으로써 복수 개의 변환 참조 픽처들을 생성하는 단계;
    상기 비트스트림에 구비된 참조 픽처 리스트로부터 상기 현재 영상 프레임의 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 추출하는 단계;
    상기 추출된 참조 인덱스가 가리키는 상기 변환 참조 픽처를 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 보상을 수행하여 예측 블록을 생성하는 단계; 및
    상기 예측 블록과 상기 비트스트림에 구비된 레지듀얼을 더하여 상기 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 방법.
  19. 제 18항에 있어서, 상기 참조 인덱스를 추출하는 단계는
    상기 각 블록 중 복호화되는 현재 블록의 주변 블록들이 갖는 참조 인덱스를 이용하여 상기 현재 블록의 참조 인덱스를 예측하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  20. 제 19항에 있어서,
    상기 주변 블록은 상기 현재 블록의 상측 및 좌측에 인접한 블록이며,
    상기 상측 및 좌측에 인접한 블록의 참조 인덱스 중 최소값을 상기 현재 블록의 참조 인덱스로 예측하는 것을 특징으로 하는 방법.
  21. 제 18항에 있어서, 상기 참조 인덱스를 추출하는 단계는
    상기 비트스트림에 구비된 현재 블록의 참조 인덱스와 예측 인덱스와의 차이값을 상기 현재 블록의 예측 참조 인덱스에 더함으로써 상기 현재 블록의 참조 인덱스를 복원하는 것을 특징으로 하는 방법.
  22. 움직임 모델 파라메터를 이용한 영상 복호화 장치에 있어서,
    수신된 비트스트림으로부터 추출된 움직임 모델 파라메터 정보를 이용하여 복호화되는 현재 영상 프레임 이전의 영상 프레임에 대한 전역 움직임보상을 수행함으로써 복수 개의 변환 참조 픽처들을 생성하는 다중 참조 픽처 생성부;
    상기 비트스트림에 구비된 참조 픽처 리스트로부터 상기 현재 영상 프레임의 각 블록이 참조하는 변환 참조 픽처의 참조 인덱스를 추출하는 참조 픽처 결정부;
    상기 추출된 참조 인덱스가 가리키는 상기 변환 참조 픽처를 이용하여 상기 현재 영상 프레임의 각 블록에 대한 움직임 보상을 수행하여 예측 블록을 생성하는 움직임 보상부; 및
    상기 예측 블록과 상기 비트스트림에 구비된 레지듀얼을 더하여 상기 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 장치.
  23. 제 22항에 있어서, 상기 참조 픽처 결정부는
    상기 각 블록 중 복호화되는 현재 블록의 주변 블록들이 갖는 참조 인덱스를 이용하여 상기 현재 블록의 참조 인덱스를 예측하는 것을 특징으로 하는 장치.
  24. 제 23항에 있어서,
    상기 주변 블록은 상기 현재 블록의 상측 및 좌측에 인접한 블록이며,
    상기 참조 픽처 결정부는 상기 상측 및 좌측에 인접한 블록의 참조 인덱스 중 최소값을 상기 현재 블록의 참조 인덱스로 예측하는 것을 특징으로 하는 장치.
  25. 제 22항에 있어서, 상기 참조 픽처 결정부는
    상기 비트스트림에 구비된 현재 블록의 참조 인덱스와 예측 인덱스와의 차이값을 상기 현재 블록의 예측 참조 인덱스에 더함으로써 상기 현재 블록의 참조 인덱스를 복원하는 것을 특징으로 하는 장치.
KR1020070031135A 2007-03-29 2007-03-29 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 KR101366242B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070031135A KR101366242B1 (ko) 2007-03-29 2007-03-29 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
PCT/KR2008/000546 WO2008120867A1 (en) 2007-03-29 2008-01-30 Method of encoding and decoding motion model parameter and video encoding and decoding method and apparatus using motion model parameter
US12/028,846 US20080240247A1 (en) 2007-03-29 2008-02-11 Method of encoding and decoding motion model parameters and video encoding and decoding method and apparatus using motion model parameters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070031135A KR101366242B1 (ko) 2007-03-29 2007-03-29 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치

Publications (2)

Publication Number Publication Date
KR20080088299A true KR20080088299A (ko) 2008-10-02
KR101366242B1 KR101366242B1 (ko) 2014-02-20

Family

ID=39794283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070031135A KR101366242B1 (ko) 2007-03-29 2007-03-29 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치

Country Status (3)

Country Link
US (1) US20080240247A1 (ko)
KR (1) KR101366242B1 (ko)
WO (1) WO2008120867A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951301B1 (ko) * 2007-12-17 2010-04-02 한국과학기술원 비디오 부호화에서의 화면간/화면내 예측 부호화 방법
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
WO2017164441A1 (ko) * 2016-03-24 2017-09-28 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20190088557A (ko) * 2017-03-28 2019-07-26 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN112806013A (zh) * 2018-10-04 2021-05-14 交互数字Vc控股公司 仿射模式下基于块大小的运动矢量编码

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008091483A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
CN102685441A (zh) 2007-01-23 2012-09-19 欧几里得发现有限责任公司 用于提供个人视频服务的系统和方法
EP2106663A2 (en) 2007-01-23 2009-10-07 Euclid Discoveries, LLC Object archival systems and methods
EP2345256B1 (en) * 2008-10-07 2018-03-14 Euclid Discoveries, LLC Feature-based video compression
US8363721B2 (en) 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
FR2959376A1 (fr) * 2010-04-22 2011-10-28 France Telecom Procede de traitement d'une information de mouvement, procedes de codage et de decodage, dispositifs, signal et programme d'ordinateur correspondants
US9014271B2 (en) * 2010-07-12 2015-04-21 Texas Instruments Incorporated Method and apparatus for region-based weighted prediction with improved global brightness detection
US9300961B2 (en) 2010-11-24 2016-03-29 Panasonic Intellectual Property Corporation Of America Motion vector calculation method, picture coding method, picture decoding method, motion vector calculation apparatus, and picture coding and decoding apparatus
CN106878742B (zh) * 2011-01-12 2020-01-07 太阳专利托管公司 动态图像编解码装置
US10404998B2 (en) 2011-02-22 2019-09-03 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus
US8792549B2 (en) * 2011-02-28 2014-07-29 Sony Corporation Decoder-derived geometric transformations for motion compensated inter prediction
KR101878008B1 (ko) 2011-03-03 2018-07-13 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
EP2683165B1 (en) 2012-07-04 2015-10-14 Thomson Licensing Method for coding and decoding a block of pixels from a motion model
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN108965869B (zh) 2015-08-29 2023-09-12 华为技术有限公司 图像预测的方法及设备
WO2017201678A1 (zh) * 2016-05-24 2017-11-30 华为技术有限公司 图像预测方法和相关设备
US10110914B1 (en) 2016-09-15 2018-10-23 Google Llc Locally adaptive warped motion compensation in video coding
US10225573B1 (en) 2017-01-31 2019-03-05 Google Llc Video coding using parameterized motion models
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
US10681374B2 (en) 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
WO2019231256A1 (ko) * 2018-05-30 2019-12-05 엘지전자 주식회사 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2019235822A1 (ko) * 2018-06-04 2019-12-12 엘지전자 주식회사 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN114866777A (zh) * 2018-09-20 2022-08-05 杭州海康威视数字技术股份有限公司 一种解码、编码方法及其设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
US6084912A (en) * 1996-06-28 2000-07-04 Sarnoff Corporation Very low bit rate video coding/decoding method and apparatus
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
KR100510138B1 (ko) * 2003-05-01 2005-08-26 삼성전자주식회사 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
MXPA06000323A (es) * 2003-07-09 2006-05-31 Thomson Licensing Codificador de video con reduccion de ruido de baja complejidad.
US7646437B1 (en) * 2003-09-03 2010-01-12 Apple Inc. Look-ahead system and method for pan and zoom detection in video sequences
JP4702059B2 (ja) * 2003-12-22 2011-06-15 日本電気株式会社 動画像を符号化する方法及び装置
US7835542B2 (en) * 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951301B1 (ko) * 2007-12-17 2010-04-02 한국과학기술원 비디오 부호화에서의 화면간/화면내 예측 부호화 방법
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
WO2017164441A1 (ko) * 2016-03-24 2017-09-28 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN108886618A (zh) * 2016-03-24 2018-11-23 Lg 电子株式会社 视频编码系统中的帧间预测方法和装置
US10659801B2 (en) 2016-03-24 2020-05-19 Lg Electronics Inc. Method and apparatus for inter prediction in video coding system
US11303919B2 (en) 2016-03-24 2022-04-12 Lg Electronics Inc. Method and apparatus for inter prediction in video coding system
US11750834B2 (en) 2016-03-24 2023-09-05 Lg Electronics Inc Method and apparatus for inter prediction in video coding system
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10873744B2 (en) 2017-01-03 2020-12-22 Lg Electronics Inc. Method and device for processing video signal by means of affine prediction
KR20190088557A (ko) * 2017-03-28 2019-07-26 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN112806013A (zh) * 2018-10-04 2021-05-14 交互数字Vc控股公司 仿射模式下基于块大小的运动矢量编码

Also Published As

Publication number Publication date
WO2008120867A1 (en) 2008-10-09
KR101366242B1 (ko) 2014-02-20
US20080240247A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
KR101366242B1 (ko) 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
KR101365574B1 (ko) 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101512324B1 (ko) 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를 추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
JP5580453B2 (ja) 直接モード符号化及び復号化装置
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR101366093B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
KR101848228B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
US8306120B2 (en) Method and apparatus for predicting motion vector using global motion vector, encoder, decoder, and decoding method
KR100955396B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체
US8761254B2 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR20080088040A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101456491B1 (ko) 복수의 참조 픽처에 기초한 영상 부호화, 복호화 방법 및장치
JP2016154395A (ja) 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化／復号化方法及び装置
US8699576B2 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
JP5711514B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
KR100978465B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및 장치 및 기록매체
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
KR101315295B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
JP2012138947A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2014068361A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee