KR19990005282A - 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법 - Google Patents

웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법 Download PDF

Info

Publication number
KR19990005282A
KR19990005282A KR1019970029477A KR19970029477A KR19990005282A KR 19990005282 A KR19990005282 A KR 19990005282A KR 1019970029477 A KR1019970029477 A KR 1019970029477A KR 19970029477 A KR19970029477 A KR 19970029477A KR 19990005282 A KR19990005282 A KR 19990005282A
Authority
KR
South Korea
Prior art keywords
image
block
blocks
wavelet
sub
Prior art date
Application number
KR1019970029477A
Other languages
English (en)
Inventor
박성주
Original Assignee
배순훈
대우전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자 주식회사 filed Critical 배순훈
Priority to KR1019970029477A priority Critical patent/KR19990005282A/ko
Priority to GB9812513A priority patent/GB2327008A/en
Priority to JP17318998A priority patent/JPH1175203A/ja
Publication of KR19990005282A publication Critical patent/KR19990005282A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법에 관한 것으로, 본 방법은 (a) 제 1의 영상 블록과 상기 제 1 영상과 시간적으로 인접한 제 2의 영상 블록을 각기 복수개의 레벨로 웨이브렛 변환하여 각 레벨에서 저주파 성분의 부영상을 저장하고, (b) 상기 제 1 영상 및 제 2 영상에 대하여 웨이브렛 변환된 각각의 레벨의 부 영상 블록내에서 상하 좌우 방향으로 1 픽셀 단위의 이격되는 다수의 서치 블록 및 후보 블록들을 패턴 별로 분류하고, (c) 상기 제 1 영상과 제 2 영상의 각기 동일한 레벨에서, 상기 분류된 각각의 서치블록을 그와 동일한 패턴 분류를 갖는 후보 블록들과 각기 비교하고, (d) 상기 비교 결과 최소 왜곡을 갖는 후보 블록을 선택하여 상기 선택된 후보 블록의 분류 정보에 대응하는 위치 정보를 상기 서치 블록의 움직임 벡터로서 추정하는 단계를 포함한다. 본 발명의 계층적 움직임 벡터 추정 방법에 따르면, 웨이브렛 변환을 이용한 동영상의 압축에서 기존의 움직임 추정 방법을 이용할때 발생하는 오류의 누적등의 문제점을 개선 할 수 있으며, 보다 정확한 움직임 벡터 추정이 가능하게 된다.

Description

웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
본 발명은 디지탈 영상 신호 부호화 시스템에서 움직임 벡터 추정에 관한 것으로, 특히 웨비브렛 변환된 저주파 영상에 대하여 패턴 분류를 이용한 움직임 벡터 추정 방법에 관한 것이다.
멀티미디어 데이터의 핵심 부분인 동영상 압축에 대한 연구가 여러 그룹들에 의해 활발히 진행되어 왔다. 동영상 압축은 동영상 자체에 있는 공간적인 중복성과 시간적인 중복성을 제거함으로써 이루어지며, 시간적인 중복성은 움직임 추정 및 보상(motion estimation and compensation)기법을 이용하여 제거된다. 그러나, 블록 정합 기법과 시공간 경사 기반법등 기존의 움직임 추정 기법은 각 국부 블록이 가지는 병진 운동의 성분 밖에는 추정하지 못하고, 여러 이동 성분이 복합적인 실제 영상에 대해서는 오정합이 발생하는 단점이 있다.
이러한 문제점을 해결하기위한 방식으로 움직임 벡터 추정 구조를 계층적으로 구성한 후 각 계층별로 물체의 전역 이동(global motion)과 지역 이동(local motion)을 분담하여 추정하는 계층적 블록 정합 방법을 이용한 추정 기법등이 연구되고 있다.
웨이브렛 변환은 동영상 압축 기술로서 현재 많은 주목을 받고 있으며, 그에 따른 연구가 활발히 진행되고 있다. 이에 따라 웨이브렛 변환된 영상에서 시간적 중복성을 제거하기위한 효율적인 계층적 움직임 추정 방법이 필요하게되었다.
기존의 웨이브렛 변환된 영상에서의 움직임 추정은 웨이브렛 변환된 모든 부영상에서 움직임을 추정하는 다해상도 추정 기법(multiresolution motion estimation : MRME)과 이의 단점을 보완한 웨이브렛 변환된 영상에서 각 레벨의 저주파 성분의 영상들만으로 움직임을 추정하는 방법이 사용되고 있다.
도 1a에는 하나의 원 영상 블록(S1)을 3 계층의 해상도로 분해하여 10개의 부영상을 갖는 계층적 구조로 형성하는 웨이브렛 변환 과정을 도시한다. 예로, 원 영상이 512*512 화소 블록인 경우, 이 원 영상은 웨이브렛 변환부(10)에의해 2*2 로 분해되어 4개의 256*256 부 영상 블록을 생성하고, 그중의 한 블록이 또다시 웨이브렛 변환부(12)에의해 2*2로 분해되어 4 개의 128*128 부 영상 블록을 생성하고, 그중의 한 블록이 또다시 웨이브렛 변환부(14)에의해 2*2 로 분해되어 4개의 64*64 부 영상 블록으로 생성된다. 도 1b 및 도 1c에는 에는 도 1a에 의해 웨이브렛 변환된 영상의 분포와 웨이브렛 변환된 영상의 계층적 구조를 각기 도시한다.
도 2에는 도 1에 예시된 웨이브렛 변환된 영상에 대한 다해상도 움직임 추정 기법을 예시한다.
다해상도 움직임 추정 기법은 최상위 레벨에서 블록 정합 방식(블록의 크기 P)으로 움직임 벡터를 추정하는 것으로 시작된다. 이렇게 추정된 움직임 벡터는 동일 레벨의 부영상으로 전이되거나, 하위 레벨로 전이된다. 하위 레벨로 갈수록 부영상보다 해상도가 2배씩 증가하므로, 그 부영상이 속한 레벨을 m 이라할때 움직임 추정 블록의 크기는 P * 2M-n으로 정의된다.
여기서 M은 영상이 몇개의 레벨로 분할되었는지를 나타내는 변수로서, 도 2에는 M은 3이 된다. 따라서, 모든 레벨의 부영상에서 움직임 추정 블록의 개수는 동일하게 된다. 그 이하의 하위 레벨에서의 움직임 벡터는 상위 레벨에서 전이된 움직임 벡터를 해상도만큼 2배 스케일한후, 그 전이되어진 벡터의 움직임 공간 근처에서 새로이 움직임을 추정하게된다.
다해상도 움직임 추정 방법은 각 레벨의 모든 부영상에 대해 움직임 벡터를 추정하므로, 전송해야할 움직임 벡터의 수가 많고 많은 계산량이 요구된다. 이러한 단점들로 인해 웨이브렛 변환된 영상에서 각 레벨의 저주파 성분의 영상들만으로 움직임을 추정하는 방법이 사용되고 있다.
도 3은 도 1에 예시된 웨이브렛 변환된 영상에 대하여 저주파 성분의 영상만을 이용한 움직임 추정 기법을 예시한다.
저주파 성분의 영상만을 이용한 움직임 추정 기법은 웨이브렛 변환된 부영상들 중에서 각 레벨의 저주파 성분의 영상, 즉 저주파 신호만으로 이루어진 영상만으로 움직임을 추정하는 방법이다. 이 저주파 성분의 영상은 각 레벨의 에너지(정보)의 대부분을 포함하므로, 이를 이용하면 움직임 벡터의 개수와 계산량을 감소시킬수 있다. 최상위 레벨의 저주파 성분의 영상인 S8에서 움직임 추정 블록의 크기를 P로하여 블록 정합 방식으로 움직임 벡터를 추정한 후 이렇게 추정된 움직임 벡터를 S4영상에 전이시킨다. 이때, 부영상 S4은 부영상 S8에 비해 해상도가 2배 증가하므로 움직임 벡터도 2배 스케일한 후 전이되며, 움직임 추정 블록의 크기를 2*P 로하여 전이된 움직임 벡터를 정재(refine)하게된다. 각 하위 레벨의 저주파 영상에 대한 움직임 추정은 이와 동일한 방법으로 반복적으로 수행된다.
저주파 영상에 대한 움직임 추정 방법은 계산량과 전송해야할 움직임 벡터 수는 다해상도 움직임 추정 기법에 비해 적지만, 처음에 움직임을 추정하는 초기 움직임 벡터가 잘못 추정될 경우, 그 오차가 계속 누적되어 결과적으로 영상의 움직임을 전혀 다른 방향으로 추정하는 오류를 발생시킬 수 있다. 즉, 영상을 10개의 부영상으로 웨이브렛 변환하여 3개의 레벨로 분할하면, 부영상 S8의 해상도는 원영상의 1/64 이 도지만, 에너지 측면에서는 나머지 부영상들이 가지는 에너지의 총합보다 더 많은 에너지를 포함하게된다. 결국, 부영상 S8은 많은 에너지를 포함하고 있지만, 영상의 크기가 상당히 작으며, 그에 따라 움직임 추정 블록도 작아지게된다. QCIF 영상의 경우 부영상 S8에서 2x2 크기의 움직임 추정 블록을 가지게되며, 이 경우 블록의 크기가 작아 블록 정합 방식으로는 정확한 움직임 추정이 어렵게 된다.
또한, 피라미드 구조에서 MRME 기법이나 저주파 영상으로만 움직임을 추정하는 방법은 모두 톱-다운(top-down) 방식으로 움직임을 추정하므로, 하위 레벨의 움직임 벡터는 최상위 레벨의 움직임 벡터에 민감하게 반응하게 된다. 즉, 최상위 레벨에서 움직임 추정 오류가 발생하면, 그 오류는 계속 누적되며, 하위 레벨에서는 더 큰 오류를 유발하게 되는 심각한 문제를 가지고 있다.
그러므로, 본 발명은 계층적 움직임 추정 장치에서 웨이브렛 변환된 저주파 영상의 초기 움직임 벡터를 정확히 검출하는 방법을 제공하는 것을 그 목적으로한다.
상술한 목적을 달성하기위한 본 발명에 따르면, 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법은: (a) 제 1의 영상 블록을 복수개의 레벨로 웨이브렛 변환하여 다해상도 계층을 구성하고 각 레벨의 저주파 성분의 부영상을 저장하는 단계, (b) 상기 제 1 영상과 시간적으로 인접한 제 2의 영상 블록을 복수개의 레벨로 웨이브렛 변환하여 다해상도 계층을 구성하고 각 레벨의 저주파 성분의 부영상을 저장하는 단계, (c) 상기 제 1 영상에 대하여 웨이브렛 변환된 각각의 레벨의 부 영상 블록내에서 상하 좌우 방향으로 1 픽셀 단위의 이격되는 다수의 서치 블록들을 패턴 별로 분류하는 단계, (d) 상기 제 2 영상에 대하여 웨이브렛 변환된 각각의 레벨의 부 영상 블록내에서 상하 좌우 방향으로 1 픽셀 단위의 이격되는 동일 개수의 다수의 후보 블록들을 패턴 별로 분류하는 단계, (e) 상기 제 1 영상과 제 2 영상의 각기 동일한 레벨에서, 상기 분류된 각각의 서치블록을 그와 동일한 패턴 분류를 갖는 후보 블록들과 각기 비교하는 단계, (f) 상기 비교 결과 최소 왜곡을 갖는 후보 블록을 선택하여 상기 선택된 후보 블록의 분류 정보에 대응하는 위치 정보를 상기 서치 블록의 움직임 벡터로서 추정하는 단계를 포함하는 것을 특징으로한다.
도 1a는 웨이브렛 변환을 위한 하드웨어 구성을 도시하는 블록 구성도,
도 1b 및 1c는 도 1a에의해 웨이브렛 변환된 영상의 분포와 웨이브렛 변환된 영상의 계층적 구조를 각기 도시하는 도면,
도 2는 웨이브렛 변환된 영상에 대한 다해상도 움직임 추정 기법을 예시하는 도면,
도 3은 웨이브렛 변환된 영상에 대하여 저주파 성분의 영상만을 이용한 움직임 추정 기법을 도시하는 도면,
도 4는 본 발명에 따른 움직임 벡터 추정 방법을 이용하는 계층적 움직임 추정 장치의 블록도,
도 5는 도 4에 도시된 계층적 움직임 추정 장치에의해 웨이브렛 변환된 저주파 영상의 계층적 구조를 예시하는 도면,
도 6a 및 도 6b는 본 발명에 따라서 웨이브렛 변환된 저주파 성분의 영상에 대하여 분류 패턴을 이용한 움직임 추정 방법을 설명하는 도면,
도 7은 움직임 벡터를 추정하기위한 패턴 블록 정합 방법을 예시하는 도면.
* 도면의 주요부분에 대한 부호의 설명
10, 12, 14, 110, 120, 130, 210, 220, 230 : 웨이브렛 변환부
310, 320, 330, 340 : 움직임 벡터 추정부
본 발명의 상기 및 기타 목적과 여러가지 장점은 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
도 4을 참조하면, 본 발명에 따른 움직임 벡터 추정 방법을 이용하는 계층적 움직임 추정 장치의 블록도를 도시한다.
웨이브렛 변환부(110, 120, 130)는 현재 프레임의 화소 블록을 각기 m, 본 발명의 실시예에서는 3개의 레벨로 웨이브렛 변환하여, 도 5에서와 같은 다해상도 계층을 구성하고, 각 레벨의 저주파 성분의 부영상(S8, S4, S2))을 저장한다.
마찬가지로, 웨이브렛 변환부(210, 220, 230)는 현재 프레임과 시간적으로 인접한 과거 프레임의 화소 블록을 각기 웨이브렛 변환하여, 레벨의 저주파 성분의 부영상(도시안됨)을 저장한다.
각각의 움직임 추정부(310, 320, 330, 340)에서는 본 발명에 따라 현재 프레임과 과거 프레임에 대하여 웨이브렛 변환된 각 레벨의 부 영상 블록들의 움직임 벡터를 추정한다. 본 발명에 따른 움직임 벡터 추정 과정은 도 6 및 도 7을 참조하여 하기와 같이 상세히 설명된다.
먼저, 움직임 벡터 추정부(340)는 현재 프레임에 대한 최상위 레벨의 부영상 블록(S8)내에서 N x N, 예로, 2 x 2 블록을 상하 좌우 방향으로 한 픽셀 단위로 이동시키면서 움직임 벡터를 추정하고자 하는 다수개의 2 x 2 서치 블록을 형성한다.
그 다음, 웨이브렛 변환된 최상위 레벨의 부 영상 블록(S8)내에서 움직임 벡터를 추정하고자하는 2 x 2 서치 블록과 2 x 2 후보 블록들내 4 개의 픽셀 값을 크기에 따라 순서적인 번호를 할당한다. 예로, 도 6a에서, 부 영상 블록(S8)내 하나의 서치 블록내 네 개의 픽셀 값들이 시계 방향으로 각기 92, 124, 115, 109 를 가질때, 이 서치 블록은 시계 방향으로 1, 4, 3, 2 의 크기 순서로 배열된 패턴을 갖게된다. 또 다른 예로, 부 영상 블록(S8)내 다른 하나의 서치 블록내 네 개의 픽셀 값들이 시계 방향으로 각기 120, 112, 108, 98 을 가질때, 이 서치 블록은 시계 방향으로 4, 3, 2, 1 의 크기 순서로 배열된 패턴을 갖게된다. 이러한 패턴은 총 24 가지의 상이한 패턴을 포함한다. 이와 같은 방식으로 현재 프레임에 대한 모든 서치 블록에 대하여 크기 순서로 번호를 할당한다.
그 다음, 동일한 크기 순서의 패턴을 갖는 블록끼리 분류하고, 분류된 각각의 블록들이 어느 패턴의 블록으로 분류되었는지를 나타내는 분류 정보, 그 블록의 위치 정보, 동일 패턴으로 분류된 블록의 개수 정보를 저장한다.
현재 프레임에 대한 웨이브렛 변환된 부 영상 블록과 마찬가지로, 움직임 벡터 추정부(340)는 과거 프레임에 대한 최상위 레벨의 부영상 블록(도시안됨)을 한 픽셀 단위로 이동시키면서 다수개의 2 x 2 후보 블록으로 나누고, 2 x 2 후보 블록들내 픽셀 값을 크기에 따라 순서적인 번호를 할당하고, 동일한 크기 순서의 패턴을 갖는 블록끼리 분류하고, 분류된 각각의 블록들이 어느 패턴의 블록으로 분류되었는지를 나타내는 분류 정보, 그 블록의 위치 정보, 동일 패턴으로 분류된 블록의 개수 정보를 저장한다.
상술한 방식으로 현재 프레임에 대한 모든 서치 블록 및 과거 프레임에 대한 모든 후보 블록에 대하여 패턴별로 분류한 다음, 도 7에 도시된 바와 같이, 과거 프레임에 대하여 웨이브렛 변환된 부 영상 블록내에서 일정한 서치 영역을 설정하고 현재 프레임에 대하여 웨이브렛 변환된 부 영상 블록(S8)내 각각의 서치 블록을 서치 영역내에서 서치 블록과 동일한 패턴을 갖는 후보 블록들과 각기 평균 제곱 오차를 이용하여 비교한다. 이때, 서치 블록과 동일한 패턴을 갖는 후보 블록이 서치 영역 범위내에 존재하지않는 다면 그 후보 블록은 최저 오차를 구하기위한 비교 대상에서 제외된다.
비교 결과 최소 평균 제곱 오차를 갖는 하나의 후보 블록을 선택하며, 이렇게 선택된 후보 블록의 분류 정보에 대응하는 위치 정보는 해당 서치 블록의 움직임 벡터로서 검출된다. 이 움직임 벡터는 현재 추정하고자하는 서치 블록에 대한 움직임 벡터로서 움직임 추정부(도시안됨)로 전달된다.
최상위 레벨에 대한 움직임 벡터를 구한다음, 순서적으로 다음 하위 레벨의 움직임 벡터를 구하는 과정이 동일하게 반복된다. 즉, 움직임 벡터 추정부(330)에서 움직임 벡터가 결정된 다음, 움직임 벡터 추정부(330, 320, 310)에서 각기 다음번의 하위 레벨의 부영상(S4, S2)은 최상위 레벨의 웨이브렛 변환된 부 영상 블록(S8)에서와 마찬가지로 동일 개수의 블록으로 분할한다. 이때, 하위 레벨의 부영상(S4)내에서 분할된 픽셀 블록들은 2 배 스케일된 4 x 4 블록의 크기를 가지며, 그 다음 하위 레벨의 부영상(S2)내에서 분할된 픽셀 블록들은 또 다시 2 배 스케일된 8 x 8 블록의 크기를 갖게된다. 따라서, 모든 레벨에서 웨이브렛 변환된 부 영상 블록에 대하여 동일 개수의 블록으로 분할하기때문에, 각각의 스케일된 4 x 4 크기 블록과 8 x 8 크기 블록은 각기 4 개의 픽셀 그룹을 갖게된다.
본 발명에 따르면, 스케일된 블록들에 대한 패턴 분류를 위하여 스케일된 블록들내 4개의 픽셀 그룹들의 평균 픽셀 값을 각 픽셀 그룹의 대표값으로 결정하고, 그 대표 값들의 크기에 따라 순서적인 번호를 할당한다. 예로, 도 6b에서, 4 x 4 블록(30)내 4개의 픽셀 그룹 블록(32), (34), (36), (38)이 시계 방향으로 각기 (102, 142, 109, 115), (120, 122, 98, 108), (112, 132, 98, 118), (144, 96, 105, 111)을 가질때, 이들의 평균 값은 시계 방향으로 (117), (112), (115), (114) 이고, 이 값들이 각기 픽셀 그룹들에 대한 대표값으로서 이용되어 크기에 따라 순서적인 번호가 할당되는 예시적인 패턴의 한 형태가 도시된다.
이와 같은 패턴 분류가 완료된 이후, 상술한 최상위 레벨에서 수행되는 움직임 벡터 검출 과정과 동일하게 과거 프레임에 대하여 웨이브렛 변환된 부 영상 블록내에서 일정한 서치 영역을 설정하고 현재 프레임에 대하여 웨이브렛 변환된 부 영상 블록내 각각의 서치 블록을 서치 영역내에서 서치 블록과 동일한 패턴을 갖는 후보 블록들과 각기 평균 제곱 오차를 이용하여 비교하고, 비교 결과 최소 평균 제곱 오차를 갖는 하나의 후보 블록을 선택하며, 이렇게 선택된 후보 블록의 분류 정보에 대응하는 위치 정보는 해당 서치 블록의 움직임 벡터로서 검출한다. 이 움직임 벡터는 현재 추정하고자하는 서치 블록에 대한 움직임 벡터로서 움직임 추정부(도시안됨)로 전달된다.
따라서, 웨이브렛 변환을 이용한 동영상의 압축에서 기존의 움직임 추정 방법을 이용할때 발생하는 많은 계산량과 비트 수 그리고 오류의 누적등의 문제점을 본 발명에서 제안된 방법으로서 개선 할 수 있으며, 이를 통해 보다 정확한 움직임 벡터 추정이 가능하게 된다.

Claims (2)

  1. 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법에 있어서,
    (a) 제 1의 영상 블록을 복수개의 레벨로 웨이브렛 변환하여 다해상도 계층을 구성하고 각 레벨의 저주파 성분의 부영상을 저장하는 단계,
    (b) 상기 제 1 영상과 시간적으로 인접한 제 2의 영상 블록을 복수개의 레벨로 웨이브렛 변환하여 다해상도 계층을 구성하고 각 레벨의 저주파 성분의 부영상을 저장하는 단계,
    (c) 상기 제 1 영상에 대하여 웨이브렛 변환된 각각의 레벨의 부 영상 블록내에서 상하 좌우 방향으로 1 픽셀 단위의 이격되는 동일 개수의 다수의 서치 블록들을 패턴 별로 분류하는 단계,
    (d) 상기 제 2 영상에 대하여 웨이브렛 변환된 각각의 레벨의 부 영상 블록내에서 상하 좌우 방향으로 1 픽셀 단위의 이격되는 동일 개수의 다수의 후보 블록들을 패턴 별로 분류하는 단계,
    (e) 상기 제 1 영상과 제 2 영상의 각기 동일한 레벨에서, 상기 분류된 각각의 서치블록을 그와 동일한 패턴 분류를 갖는 후보 블록들과 각기 비교하는 단계,
    (f) 상기 비교 결과 최소 왜곡을 갖는 후보 블록을 선택하여 상기 선택된 후보 블록의 분류 정보에 대응하는 위치 정보를 상기 서치 블록의 움직임 벡터로서 추정하는 단계를 포함하는 것을 특징으로하는 웨이브렛 변환 영역에서 분류를 통한 계층적 움직임 벡터 추정 방법.
  2. 제 1 항에 있어서, 상기 분류 단계(c) 및 (d)는,
    (g) 상기 서치 블록 및 후보 블록을 각기 4 개의 픽셀 그룹들로 분리하는 단계,
    상기 분리된 각각의 픽셀 그룹의 대표 값을 크기에 따라 순서적인 번호를 할당하는 단계,
    (h) 상기 동일한 크기 순서로 배열된 패턴을 갖는 블록끼리 분류하는 단계,
    (i) 상기 분류된 각각의 블록들이 어느 패턴의 블록으로 분류되었는지를 나타내는 분류 정보, 그 블록의 위치 정보, 동일 패턴으로 분류된 블록의 개수 정보를 저장하는 단계를 더 구비하는 것을 특징으로하는 웨이브렛 변환 영역에서 분류를 통한 계층적 움직임 벡터 추정 방법.
KR1019970029477A 1997-06-30 1997-06-30 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법 KR19990005282A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019970029477A KR19990005282A (ko) 1997-06-30 1997-06-30 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
GB9812513A GB2327008A (en) 1997-06-30 1998-06-10 Detecting motion vectors by classifying search blocks according to patterns
JP17318998A JPH1175203A (ja) 1997-06-30 1998-06-19 動きベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970029477A KR19990005282A (ko) 1997-06-30 1997-06-30 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법

Publications (1)

Publication Number Publication Date
KR19990005282A true KR19990005282A (ko) 1999-01-25

Family

ID=19512453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970029477A KR19990005282A (ko) 1997-06-30 1997-06-30 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법

Country Status (3)

Country Link
JP (1) JPH1175203A (ko)
KR (1) KR19990005282A (ko)
GB (1) GB2327008A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815977B1 (ko) * 2005-04-20 2008-03-24 주식회사 메디슨 연속되는 영상으로부터 움직임을 추정하는 방법 및 시스템
WO2011155779A2 (ko) * 2010-06-11 2011-12-15 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
KR101241508B1 (ko) * 2011-04-01 2013-03-11 한양대학교 산학협력단 분류기를 이용한 움직임 벡터 추정 방법 및 이러한 방법을 사용하는 장치
KR101328795B1 (ko) * 2005-09-16 2013-11-13 소니 일렉트로닉스 인코포레이티드 비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100573696B1 (ko) 2003-07-31 2006-04-26 삼성전자주식회사 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법
JP6723173B2 (ja) * 2017-02-10 2020-07-15 富士フイルム株式会社 画像処理装置、方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815977B1 (ko) * 2005-04-20 2008-03-24 주식회사 메디슨 연속되는 영상으로부터 움직임을 추정하는 방법 및 시스템
KR101328795B1 (ko) * 2005-09-16 2013-11-13 소니 일렉트로닉스 인코포레이티드 비디오 압축에서 적응형 모션 벡터 샘플링을 위한 다단계 링크 프로세스
WO2011155779A2 (ko) * 2010-06-11 2011-12-15 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
WO2011155779A3 (ko) * 2010-06-11 2012-05-03 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
KR101241508B1 (ko) * 2011-04-01 2013-03-11 한양대학교 산학협력단 분류기를 이용한 움직임 벡터 추정 방법 및 이러한 방법을 사용하는 장치

Also Published As

Publication number Publication date
GB2327008A (en) 1999-01-06
GB9812513D0 (en) 1998-08-05
JPH1175203A (ja) 1999-03-16

Similar Documents

Publication Publication Date Title
US5748247A (en) Refinement of block motion vectors to achieve a dense motion field
KR19990005283A (ko) 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법
Bovik The essential guide to video processing
JP4444252B2 (ja) 広域−局所ブロック動き推定用の方法及び装置
US7986810B2 (en) Mesh based frame processing and applications
EP1138152B1 (en) Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
CN1054248C (zh) 视频信号压缩装置和方法
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP2004530367A (ja) 動きベクトル予測方法及び動きベクトル予測装置
EP1279290A1 (en) Video encoding method using a wavelet transform
US5754237A (en) Method for determining motion vectors using a hierarchical motion estimation
KR20030029933A (ko) 움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임추정 유닛이 제공된 이미지 처리 장치
WO1999059341A1 (en) Motion vector generation by temporal interpolation
Turaga et al. Search algorithms for block-matching in motion estimation
CN101036390B (zh) 一种利用可变形网格进行运动估计的方法
Cheng et al. Fast block matching algorithms for motion estimation
KR19990005282A (ko) 웨이브렛 변환 영역에서의 패턴 분류를 이용한 계층적 움직임 추정 방법
CN101040530B (zh) 具有视频模式检测的运动估计
Choudhury et al. Survey on block matching algorithms for motion estimation
JP2007067552A (ja) 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体
JP4140091B2 (ja) 画像情報変換装置および画像情報変換方法
Basher Two minimum three step search algorithm for motion estimation of images from moving IR camera
JP2007507925A (ja) オーバコンプリート・ウェーブレット・ビデオ符号化フレームワーク内で有意係数をクラスタ化する、適応型構造化要素を備える３次元形態的演算
KR100529331B1 (ko) 계층적 프레임 구조하에서의 움직임 벡터 추정방법
KR20040056996A (ko) 웨이브렛 변환 영역에서의 움직임 벡터 예측 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid