KR0156958B1 - 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치 - Google Patents

2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치 Download PDF

Info

Publication number
KR0156958B1
KR0156958B1 KR1019940026276A KR19940026276A KR0156958B1 KR 0156958 B1 KR0156958 B1 KR 0156958B1 KR 1019940026276 A KR1019940026276 A KR 1019940026276A KR 19940026276 A KR19940026276 A KR 19940026276A KR 0156958 B1 KR0156958 B1 KR 0156958B1
Authority
KR
South Korea
Prior art keywords
layer
motion
frame
wavelet
sub
Prior art date
Application number
KR1019940026276A
Other languages
English (en)
Other versions
KR960016537A (ko
Inventor
이흥규
이황석
전준현
박진수
Original Assignee
조백제
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조백제, 한국전기통신공사 filed Critical 조백제
Priority to KR1019940026276A priority Critical patent/KR0156958B1/ko
Publication of KR960016537A publication Critical patent/KR960016537A/ko
Application granted granted Critical
Publication of KR0156958B1 publication Critical patent/KR0156958B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 2차원 영상을 웨이브렛 변환을 통하여 다해상도로 표현한 후에 연속하는 두 프레임 사이에서 가변 크기 블록 단위로 움직임을 추정하는 움직임 추정 장치에 관한 것으로, 외부로부터 현재 프레임을 입력받아 웨이브렛 변환을 통하여 다해상도로 변환하는 웨이브렛 변환 수단; 외부로부터 웨이브렛 변환된 참조 프레임을 입력받아 저장하는 프레임 저장 수단; 상기 프레임 저장 수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환 수단으로부터 입력받은 다해상도로 변환된 저역통과 및 수평, 수직, 대각 방향의 현재 프레임 부영상 (W0 n, W1 n, W2 n, W3 n)에 대한 움직임을 추정하여 n계층의 W0 n, Wn움직임 벡터와 W0 n, Wn블록 분해 정보를 외부로 출력하고 n계층 수평, 수직, 대각 방향 부영상의 Wn움직임 벡터와 Wn블록 분해 정보를 다음 하위 계층으로 출력하는 n계층 움직임 측정 수단; 및 바로 상위 계층으로부터 블록 분해 정보와 움직임 벡터를 입력받으면, 상기 프레임 저장 수단으로부터 각각 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환 수단으로부터 각 해당 계층으로 입력받은 다해상도로 변환된 수평, 수직, 대각 방향의 제n-1 내지 제1 계층 현재 프레임 부영상 (W1 n-1, W2 n-1, W3 n-1....W1 1, W2 1, W3 1)에 대한 움직임을 추정하여 해당 계층의 움직임 벡터를 외부로 출력하는 제n-1 내지 제1 계층 움직임 추정 수단을 포함하여, 적은 정보량으로 움직임 정보의 표현이 가능하고, 탐색 범위를 줄일 수 있어 계산량을 줄일 수 있는 효과가 있다.

Description

2차원 영상의 웨이브렛(wavelet) 변환 영역에서 가변 블록 크기를 갖는 움직임 추정 장치
제1도는 입력 영상의 웨이브렛 변환을 통한 다해상도 분해도.
제2도는 본 발명에 따른 움직임 추정 장치의 구성도.
제3도는 한 계층내에서의 움직임 추정도.
제4도는 움직임 추정시 발생되는 블록 분해의 예시도.
제5도는 움직임 추정시 하위 계층의 움직임 백터 예측도.
제6도는 한 프레임 내에서 움직임 추정시 해상도간의 움직임 백터 예측 및 가변 블록의 분해에 대한 예시도.
본 발명은 2차원 영상을 웨이브렛(wavelet) 변환을 통하여 다해상도로 표현한 후에 연속하는 두 프레임 사이에서 가변 크기 블록 단위로 움직임을 추정하는 움직임 추정 장치에 관한 것으로, 영상 압축 시스템, 영상 통신 시스템, 특히 초저속 전송매체를 통한 영상 압축 분야 등 시간이 지남에 따라 변화하는(time varying) 영상을 압축하는데 기본적으로 사용되는 2차원 영상의 웨이브렛(wavelet) 변환 영역에서 가변 블록 크기를 갖는 움직임 추정 장치에 관한 것이다.
일반적으로 웨이브렛 변환 방법을 이용한 영상 압축 기법은 대부분 정지영상에 대하여 블록 대비 효과를 제거하는 것에 연구가 집중되었으며, 동영상이나 비디오 시퀀스 부호화 방법에 대한 연구는 아직 미흡하다.
종래의 움직임 추정 장치는 참조 프렘임(reference frame)과 움직임을 추정하고자 하는 프레임간에 공간(spatial) 영역에서 블록 단위로 정합하는 구성과 화소별로 경사법을 사용하여 움직임 백터를 찾는 화소 재귀적인(pel-recursive) 구성을 가진다.
구체적으로 장(Y.Q.Zhang)과 자파(S.Zafar)가 제안한 종래의 웨이브렛 변환 영역에서의 움직임 추정 장치는 먼저, 영상을 다해상도로 분해할 때 저역통과(lowpass) 필터링된 영상에 대하여 반복적으로 필터링을 적용하여 제1도와 같은 구조로 영상을 분해한다. W0 n은 n계층에서 저역통과된 부영상(subimage)이고, W1 i, W2 i, W3 i는 각각 i계층에서 수평, 수직, 대각 방향의 특성을 지니는 부영상이다. 웨이브렛 변환된 영상에서 고정 크기 블록을 사용하는 움직임 추정은 다음과 같이 수행된다.
먼저, n계층의 부영상 W0 n, W1 n, W2 n, W3 n을 고정 크기 블록으로 나누고 0변위를 초기 백터로 하여 설정된 탐색 영역(search area)내에서 움직임 벡터를 찾는다. n-1 계층에서는 각 수평, 수직, 대각 방향의 부영상 W1 n-1, W2 n-1, W3 n-1에서 움직임 추정을 위하여 n계층의 수평, 수직, 대각 방향의 부영상 W1 n, W2 n, W3 n에 대한 움직임 벡터들을 이용하여 초기 벡터를 예측하고 이로부터 정제하는 과정을 거친다. 이때, i계층 j방향의 움직임 벡터 MVj l는 i+1 계층의 움직임 벡터 MVj i+1로부터 MVj l=2·MVj i+1로 계산된다. 움직임 벡터 MVj l는 i방향 j방향 부영상에 있는 블록들의 움직임 벡터로서 가로, 세로 방향 탐색 영역내에서 가장 잘 정합이 이루어진 블록과의 변위 차이로 MVj l=(Xj i, Yj i,)T, i=1,...,n, j=1,2,3이다. n-1 계층의 움직임 벡터는 n-2 계층에서 강기 예측식에 의하여 예측 움직임 벡터로 사용되며, 이와 같은 과정을 거쳐 제1 계층까지 수행된다. n계층의 부영상 W0 n, W1 n, W2 n, W3 n에 대한 움직임 추정은 상위 계층의 움직임 벡터를 이용할 수 없기 때문에 0변위를 초기 움직임 벡터로 설정하고 정제하는 과정을 거친다.
따라서, 종래의 움직임 장치는 고정된 크기의 블록을 사용함으로써 고압축을 할 경우에 웨이브렛 변환을 통하여 변환된 다해상도 영상의 각 해상도가 원영상보다 비슷한 성질을 지니는 부분이 많고 동일 해상도내에서는 균진(homogeneous)한 영역이 많은 특성을 제대로 활용하지 못하며, 움직임 추정 후의 예측 오차에 대한 압축시 블록 기반 변환 알고리즘을 사용하므로써 블록 경계면에서 심한 화질 저하가 발생된다. 또한, 고정된 블록 크기를 체택하면 알고리즘은 간단하지만 블록 크기가 작은 경우에 많은 정보량을 지니고(많은 움직임 벡터 생성), 블록의 크기가 클 경우에 정확한 움직임을 추정하지 못하기 때문에 하위 계층에서는 큰 움직임 오차가 발생할 확률이 큰 문제점이 있었다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은, 웨이브렛(wavelet) 변환을 통한 다해상도 영상의 한 계층내 부영상간에는 서로 다른 움직임을 보이지만 계층간의 부영상 사이에는 매우 유사한 움직임 구조를 갖고 있으므로 상기 움직임 구조에 의한 가변 블록 크기를 이용하여 정보량을 줄이고, 예측을 통한 움직임을 정확히 추정하여 탐색 영역(search area)의 크기를 작게 하며, 움직임 벡터를 찾는데 필요한 계산량을 줄일 수 있는 2차원 영상의 웨이브렛 변환영역에서 가변 블록 크기를 갖는 움직임 추정 장치를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여 본 발명은, 외부로부터 현재 프레임(current frame)을 입력받아 웨이브렛 변환을 통하여 다해상도로 변환하는 웨이브렛 변환 수단; 외부로부터 웨이브렛 변환된 참조 프레임(wavelet transformed reference frame)을 입력받아 저장하는 프레임 저장 수단; 상기 프레임 저장 수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환 수단으로부터 입력받은 다해상도로 변환된 저역통과 및 수평, 수직, 대각 방향의 n계층의 현재 프레임 부영상(W0 n, W1 n, W2 n, W3 n)에 대한 움직임을 추정하여 n계층 W0 n, Wn움직임 벡터와 n계층 W0 n, Wn블록 분해 정보를 외부로 출력하고 n계층 nt평, 수직, 대각 방향 부영상의 Wn움직임 벡터와 Wn블록 분해 정보를 다음 하위 계층으로 출력하는 n계층 움직임 측정 수단; 및 바로 상위 계층으로부터 블록 분해 정보와 움직임 벡터를 입력받으면, 상기 프레임 저장 수단으로부터 각각 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환 수단으로부터 각 해당 계층으로 입력받은 다해상도로 변환된 수평, 수직, 대각 방향의 제n-1 내지 제1 계층 현재 프레임 부영상 (W1 n-1, W2 n-1, W3 n-1....W1 1, W2 1, W3 1)에 대한 움직임을 추정하여 해당 계층의 움직임 벡터를 외부로 출력하는 제n-1 내지 제1 계층 움직임 추정 수단을 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 일실시예를 상세히 설명한다.
제1도는 입력 영상의 웨이브렛 변환을 통한 다해상도 분해도로서, 도면에서 Wj i는 변환된 부영상을 나타내고, i는 계층, j는 방향을 각각 나타낸다.
도면에 도시된 바와 같이 입력영상에 대하여 웨이브렛 변환 계수로 필터링을 하는데, n계층으로 분해하는 경우에 원영상이 처음 분해되면 1/4 크기 부영상(W0 1, W1 1, W2 1, W3 1)으로 나누어진다.
여기서, W01은 저역통과 필터링된 원영상의 1/4 크기 부영상(subimage)이며 W1 1은 수평 방향을 지니는 부영상, W1 2은 수직 방향 성분을 지니는 부영상, 그리고 W1 3은 대각 방향 성분을 지니는 부영상이다.
이렇게 나누어진 영상에 대하여 두 번째 분해는 부영상 W0 1에 대하여 같은 방법으로 분해한다. 같은 방법으로 n번을 반복하면 도면에 도시된 바와 같이 웨이브렛 변환을 통한 다해사도 분해 영상을 얻을 수 있다.
제2도는 본 발명에 따른 움직임 추정 장치의 구성도로서, 도면에서 21은 웨이브렛 변환부, 22는 프레임 저장부, 23은 n계층 움직임 추정부, 24는 n-1 계층에서부터 제1 계층까지의 움직임 추정부, 25는 n계층의 저역 통과된 부영상, W0 n의 움직임 추정부, 26,27,28은 n계층의 각각 수평, 수직, 대각 방향 부영상 W1 n, W2 n, W3 n의 움직임 추정부, 29,30,31은 n-1 계층의 각각 수평, 수직, 대각 방향 부영상 W1 n-1, W2 n-1, W3 n-1의 움직임 추정부를 각각 나타낸다.
도면에서 움직임 추정 장치의 입력은 참조 프레임과 이에 대하여 움직임을 찾고자 하는 현재 프레임(current frame)이며, 결과는 각 해상도에서의 움직임 백터와 n계층에서 저역통과된 부영상, 수평, 수직, 대각 방향의 부영상에 대한 블록 정보이다. 현재 프레임은 참조 프레임에 대하여 움직임을 추정하기 위하여 먼저 웨이브렛 변환을 통하여 다해상도로 변환된다. 또한, 참조 프레임은 이미 웨이브렛 변환된 상태이며, 프레임 메모리에 저장되어 있어 다해상도로 변환된 현재 프레임과 각 해상도별로 정합된다.
이때, 정합은 가변 크기 블록 단위로 이루어지며, 제3도에서와 같이 현재 프레임의 블록과 참조 프레임의 탐색 영역내에서 가장 정합이 잘되는, 즉 두 블록 사이의 차이가 가장 적은 블록을 찾는다. 이때, 현재 프레임의 한 블록과 이전 프레임에서 가장 정합이 잘되는 블록간의 위치 차이를 움직임 벡터라 한다.
정합 알고리즘을 이용한 움직임 추정에 있어서 블록의 크기를 MxN, 움직임 벡터의 한계값(maximum displacement)을 p라고 하면 움직임 벡터를 아래와 같이 기술할 수 있다.
여기서,
여기서,는 정합에 사용된 정합 기준 Dist(·) 함수에 의하여 참조 블록과 후보 블록 사이에 계산된 왜곡의 합이며, I(z,t)는 시간 t에 해당하는 프레임에서 z(i,j)에 위치하는 화소의 밝기를 의미한다.는 2차원 벡터로서 현재 블록과 탐색 영역내의 정합 후보 블록들과의 위치 차이를 나타낸다. u는 여러 후보 블록들 중에서 현재 블록과 왜곡의 차이가 가장 작은 것이며, 이때 참조 블록과의 위치 차이가 움직임 벡터로서 x방향과 y방향의 값을 갖는다.
움직임 추정은 위와 같이 되며, 이때 움직임 추정 단위인 블록은 정보량과 정확성을 고려하여 가변 크기로 나누어진다. 하나의 해상도내에서 같은 크기의 블록 크기를 갖는 것이 아니라 영상의 특성에 따라 미리 결정되어 있는 가장 큰 블록과 작은 블록 사이의 크기를 가지고 움직임을 추정하며, 가변 블록에 대한 정보는 제4도와 같이 이진 트리 형태로 표현된다. 이때, 블록 분해 정보는 블록이 분해가 되면 0로 표현하고 더 이상 분해가 되지 않으면 1로 표현하여, 깊이 우선 탐색 방법에 의하여 저장된다. 제4도의 예에서는 블록 분해 정보가 0001011001110001111로 저장된다. 이러한 가변 블록 크기로 나누는 방법은 움직임 추정 후에 오차가 큰 경우에는 계속해서 블록을 분해하여 예측 오차를 줄이며, 정확한 움직임을 찾는 방법은 아래의 알고리즘과 같다.
먼저, 주어진 블록 NxM에 대하여 움직임 추정 후에 움직임 벡터가 (x,y)라 하고, 주어진 크기의 블록에서 정합 오차 즉, 현재 블록과 가장 정합이 잘된 블록의 정합 기준 함수에 의하여 발생한 오차를 SAD(x,y), 주어진 블록을 나눈 후에 각각의 블록에 대한 움지김 추정 후에 발생한 예측 오차를 SAD1(x',y'), SAD2(x,y)라고 하면,로 구해지며, 여기서 z는 (i,j)값을 가지는 블록내의 화소 위치이다. SAD1(x',y')와 SAD2(x,y)는 블록을 수평 방향으로 또는 수직 방향으로 나누었을 경우에 각각의 블록에 대하여 움직임 추정 후의 예측 오차의 합으로서, 다음의 식으로 구해진다. 즉,
로 되거나
로 계산된다.
그리고 블록 분해는 SAD(x,y)≥a×(SAD1(x',y')+SAD2(x,y))이면 블록을 분해하고, 그 밖의 경우에는 블록을 분해하지 않는다.
상기 알고리즘에서 I(z,t)는 위치 z=(i,j)에서의 밝기이며, ｜·｜는 절대치(absoulute operator), a는 상수로서 블록 분할에 영향을 미치는 인자이며, SAD는 절대값 차의 합을 각각 나타내고, 평균 절대값 오차(MAE : Mean Absolute Error)를 정합 기준(matching ctiteria)으로 한다.
도면에 도시된 바와 같이 본 발명의 움직임 추정 장치는, 외부로붜 현재 프레임(current frame)을 입력받아 웨이브렛 변환을 통하여 다해상도로 변환하는 웨이브렛 변화부(21)와, 외부로부터 웨이브렛 변환된 참조 프레임(wavelet transformed reference frame)을 입력받아 저장하는 프레임 저장부(22)와, 상기 웨이브렛 변환부(21)로부터 다해상도로 변환된 n계층 현재 프레임 부영상(W0 n, W1 n, W2 n, W3 n)을 입력받고 상기 프레임 저장부(22)로부터 웨이브렛 변환된 참조 프레임의 n계층의 해당 부영상을 입력받아 n계층 현재 프레임 부영상에 대한 움직임을 추정하여 저역통과된 부영상에 대한 W0 n움직임 벡터와 W0 n블록 분해 정보를 출력하고 수평, 수직, 대각 방향의 부영상 W1 n, W2 n, W3 n에 대한 Wn움직임 벡터와 Wn블록 분해 정보를 외부로 출력하고, n계층의 Wn움직임 벡터와 n계층의 Wn블록 분해 정보를 다음 하위 계층으로 출력하는 n계층 움직임 추정부(23) 및 바로 상위 계층으로부터 블록 분해 정보와 움직임 벡터를 입력받고, 상기 웨이브렛 변환부(21)로부터 다해상도로 변환된 제n-1 내지 제1 계층의 현재 프레임 부영상(W1 n-1, W2 n-1, W3 n-1....W1 1, W2 1, W3 1)을 각 해당 계층으로 입력받으며, 상기 프레임 저장부(22)로부터 참조 프레임을 각각 입력받아 참조 프레임에 대하여 다해상도로 변환된 수평, 수직, 대각 방향의 제n-1 내지 제1 계층 현재 프레임 부영상에 대한 움직임을 추정하여 해당 움직임 벡터를 외부로 출력하는 제n-1 내지 제1 계층 움직임 추정부(24)를 구비한다.
상기 n계층 움직임 추정부(23)는 상기 프레임 저장부(22)로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환부(21)로부터 입력받은 다해상도로 변환된 n계층의 현재 프레임의저역통과된 부영상(W0 n)에 대한 움직임을 추정하여 n계층 W0 n움직임 벡터와 n계층 W0 n블록 분해 정보를 외부로 출력하는 W0 n움직임 추정부(25)와 ,상기 프레임 저장부(22)로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변화부(21)로부터 입력받은 다해상도로 변환된 수평 방향의 n계층 현재 프레임의 수평 방향 부영상(W1 n)에 대한 움직임을 추정하여 수평 방향의 n계층 W1 n움직임 벡터와 수평 방향의 n계층 W0 n블록 분해 정보를 외부와 다음 하위 계층(29)으로 출력하는 W1 n움직임 추정부(26)와, 상기 프레임 저장부(22)로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환부(21)로부터 입력받은 다해상도로 변환된 수직 방향의 n계층 현재 프레임의 수평 방향 부영상(W2 n)에 대한 움직임을 추정하여 수직 방향의 n계층 W2 n움직임 벡터와 수직 방향의 n계층 W2 n블록 분해 정보를 외부와 다음 하위 계층(30)으로 출력하는 W2 n움직임 추정부(27)와, 상기 프레임 저장부(22)로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환부(21)로부터 입력받은 다해상도로 변환된 대각 방향의 n계층 현재 프레임의 수평 방향 부영상(W3 n)에 대한 움직임을 추정하여 대각 방향의 n계층 W3 n움직임 벡터와 대각 방향의 n계층 W3 n블록 분해 정보를 외부와 다음 하위 계층(31)으로 출력하는 W3 n움직임 추정부(28)를 구비한다.
이러한 움직임 추정 장치의 전체적인 동작은 다음과 같다.
먼저, 입력 현재 영상이 웨이브렛 변환을 통하여 n계층, 3방향을 가지는 다해상도로 분해된다. 그리고 참조 프레임이 메모리에 저장된다.
다음으로 n계층의 저역통과된 부영상(W0 n)간에 정합이 일어나는데, 먼저 가장 큰 블록 크기로 부영상을 나누어 정합을 하고, 예측 오차가 큰 경우에 블록 분해 알고리즘에 의하여 가로 또는 세로 방향으로 블록을 나누어 각각 정합을 한다. 이때 어떻게 블록이 나누어지는가에 대한 정보는 제4도와 같은 이진 트리 형태로 저장이 된다. 그리고, 블록 크기가 확정되면 그 블록에 대한 참조 프레임의 정합이 가장 잘되는 블록 사이에서 움직임 벡터를 계산한다. 부영상 W1 n, W2 n, W3 n에 대하여서도 같은 방법으로 움직임 벡터를 찾는다. n계층의 출력은 각 방향의 부영상별로 움직임 벡터와 블록이 나누어진 정보이다.
상기와 같은 방법으로 n-1계층에서는 3개의 부영상 W1 n-1, W2 n-1, W3 n-1에 대하여 정합을 하는데, 이때는 n계층에서 같은 방향을 가지는 부영상과 움직임 구조 및 특성이 비슷하기 때문에 블록 크기 정보를 그대로 이용하며, 초기 움직임 백터를 각각 같은 방향성을 갖는 n계층의 부영상에서 MVjn-1=2·MVj n의 식으로 예측하여 그곳을 기준으로 정제(refine)한다. 여기서 MVj l는 i계층 j방향 부영상에 있는 블록들의 움직임 벡터이다. 즉 한 계층 아래의 같은 위치에 있는 블록에 대한 초기 움직임 벡터 예측치는 상위 계층의 움직임 벡터를 가로/세로로 2배한 위치로 설정한다. 이 계층에서는 각 방향에 해당하는 움직임 벡터만 생성된다.
그리고, n-2 계층부터 제1 계층까지는 n-1 계층과 같은 방법으로 반복한다.
제5도는 움직임 추정시 하위 계층의 움직임 백터 예측도로서, 입력 영상의 2단계(n=2) 웨이브렛 변환을 통하여 입력 영상을 다해상도로 분해한 후에 저역통과 필터링된 부영상 W0 2와 수직 방향의 부영상 W2 i에 대하여 움직임 추정을 하는 과정을 보여준다. 부영상 W2 2에서 움직임 추정을 한 후에 부영상 W2 1에서 위 계층의 움직임 벡터를 이용하여 예측을 한 후에 정제(refine)하는 과정을 거쳐 최종 움직임 벡터를 계산한다.
제6도는 한 프레임 내에서 움직임 추정시 해상도간의 움직임 백터 예측 및 가변 블록의 분해에 대한 예시도로서, 각 동일 계층내에서는 가변 크기의 블록으로 분해되었으며, 방향성이 같은 부영상간의 블록 분해 형태는 같음을 보여준다. 또한, 각 계층별로 움직임 벡터의 예측을 보여준다.
따라서, 상기와 같은 본 발명은 가변 크기 블록으로 움직임 벡터를 찾는 경우에 고정된 크기 블록으로 움직임을 찾는 경우보다 적은 정보량을 움직임 정보의 표현이 가능하고, 움직임 구조를 이용하여 초기 벡터를 예측하므로써 탐색 범위를 줄일 수 있어 계산량을 줄일 수 있는 효과가 있다.

Claims (3)

  1. 외부로부터 현재 프레임(current frame)을 입력받아 웨이브렛 변환을 통하여 다해상도로 변환하는 웨이브렛 변환 수단; 외부로부터 웨이브렛 변환된 참조 프레임(wavelet transformed reference frame)을 입력받아 저장하는 프레임 저장 수단; 상기 프레임 저장 수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환 수단으로부터 입력받은 다해상도로 변환된 저역통과 및 수평, 수직, 대각 방향의 현재 프레임 부영상 (W0 n, W1 n, W2 n, W3 n)에 대한 움직임을 추정하여 n계층의 W0 n, Wn움직임 벡터와 W0 n, Wn블록 분해 정보를 외부로 출력하고 n계층 nt평, 수직, 대각 방향 부영상의 Wn움직임 벡터와 Wn블록 분해 정보를 다음 하위 계층으로 출력하는 n계층 움직임 측정 수단; 및 바로 상위 계층으로부터 블록 분해 정보와 움직임 벡터를 입력받으면, 상기 프레임 저장 수단으로부터 각각 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환 수단으로부터 각 해당 계층으로 입력받은 다해상도로 변환된 수평, 수직, 대각 방향의 제n-1 내지 제1 계층 현재 프레임 부영상 (W1 n-1, W2 n-1, W3 n-1....W1 1, W2 1, W3 1)에 대한 움직임을 추정하여 해당 계층의 움직임 벡터를 외부로 출력하는 제n-1 내지 제1 계층 움직임 추정 수단을 포함하는 2차원 영상의 웨이브렛(wavelet) 변환 영역에서 가변 블록 크기를 갖는 움직임 추정 장치.
  2. 제1항에 있어서, 상기 n계층 움직임 측정 수단은, 상기 프레임 저장수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환수단으로부터 입력받은 다해상도로 변환된 n계층의 현재 프레임의 저역통과된 부영상(W0 n)에 대한 움직임을 추정하여 n계층 W0 n움직임 벡터와 n계층 W0 n블록 분해 정보를 외부로 출력하는 제1 움직임 추정수단; 상기 프레임 저장수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환수단으로부터 입력받은 다해상도로 변환된 수평 방향의 n계층 현재 프레임의 수평 방향 부영상(W1 n)에 대한 움직임을 추정하여 수평 방향의 n계층 W1 n움직임 벡터와 수평방향의 n계층 W1 n블록 분해 정보를 외부와 다음 하위 계층으로 출력하는 제2 움직임 추정수단; 상기 프레임 저장수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환수단으로부터 입력받은 다해상도로 변환된 n계층의 현재 프레임의 저역통과된 부영상(W2 n)에 대한 움직임을 추정하여 수직 방향의 n계층 W2 n움직임 벡터와 수직방향의 n계층 W2 n블록 분해 정보를 외부와 다음 하위 계층으로 출력하는 제3 움직임 추정수단; 및 상기 프레임 저장수단으로부터 입력받은 참조 프레임에 대하여 상기 웨이브렛 변환수단으로부터 입력받은 다해상도로 변환된 대각방향의 n계층의 현재 프레임의 저대각 방향 부영상(W3 n)에 대한 움직임을 추정하여 대각 방향의 n계층 W3 n움직임 벡터와 수평방향의 n계층 W3 n블록 분해 정보를 외부와 다음 하위 계층으로 출력하는 제4움직임 추정수단을 포함하는 2차원 영상의 웨이브렛(wavelet) 변환 영역에서 가변 블록 크기를 갖는 움직임 추정 장치.
  3. 제1항에 있어서, 상기 움직임 추정 수단 각각은, 움직임 추정시 블록 크기가 영상의 특성에 따라 가변적으로 설정되도록 구성한 것을 특징으로 하는 2차원 영상의 웨이브렛(wavelet) 변환 영역에서 가변 블록 크기를 갖는 움직임 추정 장치.
KR1019940026276A 1994-10-13 1994-10-13 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치 KR0156958B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019940026276A KR0156958B1 (ko) 1994-10-13 1994-10-13 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940026276A KR0156958B1 (ko) 1994-10-13 1994-10-13 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치

Publications (2)

Publication Number Publication Date
KR960016537A KR960016537A (ko) 1996-05-22
KR0156958B1 true KR0156958B1 (ko) 1998-11-16

Family

ID=19395081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940026276A KR0156958B1 (ko) 1994-10-13 1994-10-13 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치

Country Status (1)

Country Link
KR (1) KR0156958B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332002B1 (en) 1997-11-01 2001-12-18 Lg Electronics Inc. Motion prediction apparatus and method
KR100262962B1 (ko) * 1997-11-01 2000-08-01 구자홍 움직임 추정방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program

Also Published As

Publication number Publication date
KR960016537A (ko) 1996-05-22

Similar Documents

Publication Publication Date Title
US6625216B1 (en) Motion estimation using orthogonal transform-domain block matching
US5477272A (en) Variable-block size multi-resolution motion estimation scheme for pyramid coding
EP0765087B1 (en) Video coding device
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
KR0171154B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
EP0637894B1 (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
KR950009699B1 (ko) 움직임벡터 검출방법 및 장치
EP0510972A2 (en) Image coding method and apparatus
US20070183504A1 (en) Motion estimation using prediction guided decimated search
EP1430724A1 (en) Motion estimation and/or compensation
US20020131500A1 (en) Method for determining a motion vector for a video signal
JPH08275179A (ja) 映像信号符号化装置
Cheng et al. Fast block matching algorithms for motion estimation
JPH0955943A (ja) 映像信号符号化装置
CN1145007A (zh) 用于检测最优运动矢量的方法和设备
US5579050A (en) Apparatus for encoding a video signal using a search grid
KR0156958B1 (ko) 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치
Zan et al. New techniques for multi-resolution motion estimation
KR0152014B1 (ko) 화상데이타압축에서의 움직임추정방법 및 그 장치
KR0132037B1 (ko) 평균 피라미드를 이용한 계층적 고속 이동 벡터 추정장치
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR970010096B1 (ko) 영상 데이타의 압축 부호화를 위한 두계층 움직임 추정장치 및 그 방법
KR100238891B1 (ko) 개선된 움직임 추정 장치 및 그 추정 방법
KR0174956B1 (ko) 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
Gorgulu et al. A motion adaptive wavelet-denoising for frame-rate up-conversion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100705

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee