KR19990010938A - 가중된 블럭 정합 알고리즘에 의한 움직임 방법 및 장치 - Google Patents

가중된 블럭 정합 알고리즘에 의한 움직임 방법 및 장치 Download PDF

Info

Publication number
KR19990010938A
KR19990010938A KR1019970033820A KR19970033820A KR19990010938A KR 19990010938 A KR19990010938 A KR 19990010938A KR 1019970033820 A KR1019970033820 A KR 1019970033820A KR 19970033820 A KR19970033820 A KR 19970033820A KR 19990010938 A KR19990010938 A KR 19990010938A
Authority
KR
South Korea
Prior art keywords
pixels
block
search
boundary
region
Prior art date
Application number
KR1019970033820A
Other languages
English (en)
Other versions
KR100255748B1 (ko
Inventor
김진헌
Original Assignee
배순훈
대우전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자 주식회사 filed Critical 배순훈
Priority to KR1019970033820A priority Critical patent/KR100255748B1/ko
Priority to US08/918,040 priority patent/US5969766A/en
Priority to GB9718536A priority patent/GB2327550A/en
Priority to JP23668797A priority patent/JPH1169359A/ja
Priority to DE1997138552 priority patent/DE19738552A1/de
Publication of KR19990010938A publication Critical patent/KR19990010938A/ko
Application granted granted Critical
Publication of KR100255748B1 publication Critical patent/KR100255748B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 이진 영상 신호의 현재 프레임과 이전 프레임 사이의 움직임을 추정하는 방법 및 장치에 관한 것으로서, 현재 프레임의 탐색 블럭과 이전 프레임의 후보 블럭들 간의 에러를 계산하고 최소 에러를 갖는 후보 블럭의 변위 벡터를 최적 움직임 벡터로 선택하되, 인간 시각 특성에 따라 실제 주관적 화질에 영향을 많이 주는 경계 화소(boundary pixel)에 보다 많은 가중치(weight)를 부여하여 에러를 계산하는 것이다.

Description

가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및 장치
본 발명은 이전 및 현재 프레임을 갖는 이진 영상 신호를 부호화함에 있어서 물체의 움직임을 추정하는 방법 및 장치에 관한 것으로서, 현재 프레임의 탐색 블럭과 이전 프레임의 후보 블럭들 간의 에러를 계산하고 최소 에러값을 갖는 후보 블럭의 변위 벡터를 최적 움직임 벡터로 선택하되, 인간 시각 특성에 따라 실제 주관적 화질에 영향을 많이 주는 경계 화소(boundary pixel)에 보다 많은 가중치(weight)를 부여하여 에러를 계산하고, 이를 이용하여 움직임을 추정하는 것이다.
디지탈 영상 신호 전송은 아날로그 영상 신호 전송에 비해 훨씬 더 양질의 영상을 전송할 수 있다. 그러나 프레임으로 이루어진 영상 신호를 디지탈 형식으로 전송하는 경우, 특히 고화질 텔레비젼(HDTV)와 같은 시스템의 경우에는 상당한 양의 데이터가 발생한다. 또한 종래의 전송 채널은 사용 가능한 주파수 대역폭이 한정되어 있기 때문에, 이를 통해 많은 양의 디지탈 데이터를 전송하기 위해서는 전송 데이터의 양을 압축할 필요가 있다. 통상의 다양한 영상 데이터 압축 기법 중에서, 시간적 및 공간적인 압축 기법을 통계적인 부호화 기법과 함께 결합하여 사용하는 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상된 DPCM (differential pulse code modulation), 2 차원 이산 코사인 변환(DCT : discrete cosine transform), DCT 계수의 양자화 및 가변 길이 부호화(VLC : variable length coding)를 이용한다. 움직임 보상된 DCPM은 현재 프레임과 이전 프레임 사이의 객체의 움직임 흐름에 따라 현재 프레임을 예측하여 예측 프레임을 생성하고, 현재 프레임과 예측 프레임 사이의 차이를 나타내는 차분을 구한다.
움직임 보상된 DCPM 데이터와 같은 영상 데이터 사이의 공간적인 중복성을 줄이거나 제거하는 2 차원 DCT는 디지탈 영상 데이터 블럭을 DCT 계수 데이터 세트로 변환한다. 이러한 기법은 Chen과 Pratt에 의해 Scene Adaptive Coder, IEEE Transaction on Communication, Com-32, No.3, pp225-231, (1984년 3월)에서 제안되었다. 전술한 DCT 계수 데이터를 양자화기, 지그재그 스캐닝 및 VLC를 이용하여 처리함으로써, 전송되는 데이터의 양을 효율적으로 감소시킬 수 있다.
특히 움직임 보상된 DCPM에서 현재 프레임 데이터는 현재 및 이전 프레임 사이의 움직임 추정에 따라, 예를 들면, 블럭 정합 알고리즘을 이용하여, 이전 프레임 데이터로부터 예측할 수 있다. (J. R. Jain et al., Displacement Measurement and Its Application in Interframe Image Coding IEEE Transactions of Communications, COM-29, No.12, pp.1799-1808(1981년 12월) 참조) 이렇게 추정된 움직임은 이전 및 현재 프레임 사이의 화소의 이동을 나타내는 2 차원 움직임 벡터의 견지에서 기술된다.
블럭 정합 알고리즘에 따르면, 현재 프레임은 다수 개의 탐색 블럭(search block)으로 분할되는데, 탐색 블럭의 크기는 일반적으로 8×8에서 32×32 화소 크기를 사용한다. 현재 프레임에서 탐색 블럭에 대한 움직임 벡터를 결정하기 위해, 현재 프레임의 탐색 불럭과 이전 프레임의 탐색 영역(search region) 내에 포함된 동일한 크기의 다수 개의 후보 블럭(candidate blodk) 사이에서 유사성 계산(similarity calculation)이 각각 수행된다. 평균 절대 에러(mean absolute error) 혹은 평균 제곱 에러(mean square error)와 같은 에러 함수는 현재 프레임의 탐색 블럭과 이전 프레임의 탐색 영역 내에 있는 각각의 후보 블럭 사이에서 유사성 계산을 수행하는데 사용된다. 그리고 움직임 벡터는 탐색 블럭과 최소 에러 함수값을 산출하는 후보 블럭(최적 블럭) 사이의 변위를 나타낸다.
그러나 이진 영상(binary mask)의 움직임을 추정할 때, 평균 절대 에러 함수를 사용하는 기존의 블럭 정합 알고리즘을 그대로 적용하면, 영상 자체가 이진 영상이므로 오차를 구하는 것은 단순히 블럭 내에서 서로 화소값이 다른 화소의 수를 카운트함으로써 얻을 수 있다. 즉, 도1에서와 같이, 탐색 블럭 SB와 두 개의 후보 블럭 CB1, CB2가 있는 경우, 각각의 후보 블럭에 탐색 블럭을 겹쳐 놓고 화소값이 다른 것을 카운트하여 ｏ로 표시하면, CB1가 CB2보다 많은 오차를 갖는다. 따라서, 인간 시각 특성에 따르면 CB2가 형상(shape)면에서 SB와 더 유사함에도 불구하고, CB1을 최적 움직임 벡터를 갖는 블럭으로 선택하게 된다. 이런 방법으로 이진 영상의 움직임 벡터를 찾으면, 실제 의미있는 윤곽선 정보를 이용하지 못하고 단순히 겹치는 물체 영역의 크기만을 가지고 움직임 벡터를 결정하기 때문에 실제로 주관적 화질의 열화를 초래할 수도 있다.
따라서 본 발명의 목적은 실제로 이진 영상에서 가장 많은 정보량을 가지고 있는 경계 화소에 보다 많은 가중치(weight)를 주어 최대한 인간 시각에 민감한 경계 형상 정보를 유지할 수 있는 방향으로 블럭 정합을 행하여 물체의 움직임을 추정하는 방법 및 장치를 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에서는 이진 영상 신호의 현재 프레임과 이전 프레임 사이의 움직임을 추정하는 방법 및 장치에 있어서, 상기 현재 프레임은 동일한 크기의 다수 개의 탐색 블럭으로 나뉘어질 때, 상기 움직임 추정 방법은, 상기 탐색 블럭에 해당하는 탐색 영역을 이전 프레임 내에 설정하는 제 1 단계; 탐색 블럭과 동일한 크기의 다수 개의 후보 블럭을 상기 탐색 영역 내에 생성하고, 탐색 블럭과 상기 생성된 각각의 후보 블럭 사이의 2 차원 변위를 각각의 변위 벡터로서 제공하는 제 2 단계; 상기 각각의 후보 블럭과 탐색 블럭을 겹쳐놓고 부정합 영역과 정합 영역의 경계 및 탐색 블럭의 경계를 구하는 제 3 단계; 상기 부정합 영역의 화소들에 가중치를 부여하는 제 4 단계; 각각의 후보 블럭에 대해 상기 제 3 단계에서 구한 부정합 영역의 화소수와 상기 제 4 단계에서 부여한 가중치를 이용하여 가중화 에러를 구하는 제 5 단계; 상기 제 5 단계에서 구한 가중화 에러들을 비교하여 가장 작은 가중화 에러를 선택하여 최소 가중화 에러로 정하고, 상기 최소 가중화 에러에 해당하는 변위 벡터를 선택하도록 선택 신호를 제공하는 제 6 단계; 및 상기 제 6 단계에서 제공한 선택 신호에 따라 변위 벡터를 선택하여 최적 움직임 벡터로서 제공하는 제 7 단계를 포함하는 것을 특징으로 하는 움직임 추정 방법 및 장치를 구현하였다.
도 1은 종래의 블럭 정합 알고리즘에 의해 탐색 블럭과 후보 블럭 사이의 에러를 구하는 방법을 도시한 도면,
도 2는 본 발명의 실시예에 따라 윤곽선을 부호화하는 장치를 도시한 도면,
도 3a 및 b는 본 발명의 실시예에 따라 도 2에 도시된 움직임 추정부를 세부적으로 묘사한 상세도,
도 4a는 본 발명의 제 1 실시예에 따라 정합 영역의 경계 화소를 중심으로 가중치를 부여한 것을 도시한 도면,
도 4b는 본 발명의 제 2 실시예에 따라 탐색 블럭의 경계 화소를 중심으로 가중치를 부여한 것을 도시한 도면.
* 도면의 주요부분에 대한 부호의 설명
100 : 탐색 블럭 형성부 200 : 감산부
300 : 프레임 메모리 400 : 움직임 추정부
410 : 탐색 영역 형성부
420-1 ∼ 420-N : 후보 블럭 형성부
430-1 ∼ 430-N : 블럭 정합부
440-1 ∼ 440-N : 가중치 할당부
450-1 ∼ 450-N : 가중화 에러 계산부
460 : 비교부 470 : 다중화부
500 : 움직임 보상부 600 : 부호화부
700 : 복호화부 800 : 가산부
도 2에는 본 발명에 의한 윤곽선 부호화 장치(1)가 도시되어 있으며, 현재 프레임의 이진 영상 데이터(현재 영상 데이터)는 탐색 블럭 형성부(100)로 제공된다.
탐색 블럭 형성부(100)는 현재 프레임을 다수 개의 탐색 블럭으로 분할하여 그 중 하나의 탐색 블럭을 경로 L10을 통해 감산부(200)와 움직임 추정부(400)로 인가한다.
움직임 추정부(400)에서는, 프레임 메모리(300)로부터 경로 L20을 통해 제공되는 이전 프레임의 이진 영상 데이터(이전 영상 데이터)를 입력받아 탐색 영역을 형성하고 탐색 영역을 탐색 블럭과 동일한 크기의 후보 블럭으로 나눈다. 또한, 탐색 블럭 형성부(100)로부터 탐색 블럭 데이터를 경로 L10을 통해 입력받아, 탐색 블럭과 탐색 영역 내에 있는 각각의 후보 블럭 사이의 에러를 가중된 블럭 정합 알고리즘을 이용하여 구한다. 가중된 블럭 정합 알고리즘을 이용한 움직임 추정 방법은 도 3 및 4와 함께 이후에 상술될 것이다. 움직임 추정부(400)는 가중된 블럭 정합 알고리즘을 통해 찾은 최적 움직임 벡터를 움직임 보상부(500)로 인가한다.
움직임 보상부(500)는 움직임 추정부(400)로부터 최적 움직임 벡터를 입력받고, 최적 움직임 벡터에 상응하는 후보 블럭(최적 후보 블럭)의 화소 데이터를 프레임 메모리(300)으로부터 경로 L20을 통해 입력받는다. 그리고 최적 후보 블럭을 최적 움직임 벡터를 이용하여 움직임 보상하여, 움직임 보상된 최적 후보 블럭을 경로 L30을 통해 감산부(200)와 가산부(800)로 인가한다.
감산부(200)는 탐색 블럭 형성부(100)로부터 경로 L10을 통해 입력된 탐색 블럭에서, 움직임 보상부(500)로부터 경로 L30을 통해 입력된 움직임 보상된 최적 후보 블럭을 감산하여, 그 결과값인 에러 신호를 부호화부(600)로 인가한다.
부호화부(600)는, 예를 들면, RCB(Reference Contour Based) 부호화 방법을 이용하여 에러신호를 부호화하고 부호화된 데이터를 경로 L40을 통하여 전송단(도시되지 않음) 및 복호화부(700)로 제공한다.
복호화부(700)은 부호화된 에러 신호를 복호화하여 가산기(800)로 제공한다. 가산기(800)는 움직임 보상부(500)으로부터 경로 L30을 통해 입력받은 움직임 보상된 최적 후보 블럭과, 복호화부(700)로부터 입력받은 복호화된 에러 신호를 가산하여 현재 프레임의 재구성된 신호를 제공하며 이는 프레임 메모리(300)에 저장된다.
도 3a 및 b를 참조하면, 도 2에 도시된 움직임 추정부(400)의 구성이 상세하게 묘사되어 있다. 프레임 메모리(300)로부터 경로 L20을 통해 인가된 이전 영상 데이터는 탐색 영역 형성부(410)로 입력된다. 탐색 영역 형성부(410)는 탐색 블럭에 상응하며 임의의 크기, 형태 및 탐색 패턴을 갖는 탐색 영역을 정의하고, 이를 이용하여 탐색 블럭의 움직임 추정이 수행된다. 결정된 탐색 영역 데이터는 N 개의 후보 블럭 형성부(420-1 내지 420-N)로 인가된다.
각각의 후보 블럭 형성부(420-1 내지 420-N)에서는 탐색 블럭의 크기와 동일한 후보 블럭들이 탐색 영역 내에서 생성되고 각 후보 블럭의 이진 영상 데이터는 N 개의 블럭 정합부(430-1 내지 430-N)로 출력된다. 현재 프레임의 탐색 블럭의 위치로부터 각각의 후보 블럭의 위치까지의 변위를 나타내는 변위 벡터 DV1 내지 DVN은 다중화기(470)로 인가된다.
각각의 블럭 정합부(430-1 내지 430-N)에서는 탐색 블럭과 각각의 후보 블럭의 화소값들을 비교하는데, 본 발명은 이진 영상(Binary Mask)에 대해 부호화를 수행하는 것이므로 화소값은 0 또는 1의 값을 갖는다. 상술하면, 블럭 정합부(430-1 내지 430-N)는 탐색 블럭과 각각의 후보 블럭을 겹쳐놓고, 정합 영역의 경계와 부정합 영역 및 탐색 블록의 경계를 탐색 블럭에 표시한다. 정합 영역의 경계는, 탐색 블럭과 후보 블럭을 겹쳐놓았을 때, 같은 위치에 있는 두 화소의 값이 모두 1인 부분 중, 두 화소의 값이 서로 다르거나 모두 0인 부분과 인접하는 부분을 말하고, 부정합 영역은 상응하는 두 화소가 서로 다른 부분을 말하며, 탐색 블록의 경계는 탐색 블럭에서 화소값이 1인 부분 중 화소값이 0인 화소에 인접하는 부분을 말한다. 정합 영역의 경계와 부정합 영역 및 탐색 블록의 경계가 표시된 탐색 블럭 정보는 경로(L50-1 내지 L50-N)를 통하여 가중치 할당부(440-1 내지 440-N)로 인가된다.
본 발명의 제 1 실시예에 따르면, 가중치 할당부(440-1 내지 440-N)는, 탐색 블럭과 정합 영역의 경계 화소를 기준으로 하여, 부정합 영역을 구성하는 화소인 부정합 화소들에 가중치를 할당한다. 즉, 정합 영역의 경계 화소를 중심으로 정합 영역의 경계 화소와 인접한 정도에 따라 부정합 화소에 가중치를 할당하는데, 예를 들면 정합 영역의 경계 화소 양쪽에 인접한 부정합 화소들에는 제 1 가중치를, 정합 영역의 경계 화소에서 한 화소만큼 떨어져 있는 부정합 화소들에는 제 2 가중치를, 정합 영역의 경계 화소에서 두 화소만큼 떨어져 있는 부정합 화소들에는 제 3 가중치를 할당하는 방식으로 가중치를 할당한다.
도 4a를 참조하면, 본 발명의 제 1 실시예에 따라, 임의의 탐색 블럭과 후보 블럭에 대해 위의 과정을 수행한 결과가 도시되어 있는데, 검게 칠해진 부분이 정합 영역의 경계이며, 가중치가 할당되어 있는 부분이 부정합 영역이다. 도 4a에서는 정합 영역의 경계를 중심으로 가중치를 부여하였는데, 정합 영역의 경계에 인접한 부정합 화소들에는 제 1 가중치 w1을, 정합 영역의 경계로부터 한 화소만큼 떨어져 있는 부정합 화소에는 제 2 가중치 w2를, 정합 영역의 경계로부터 두 화소만큼 떨어져 있는 부정합 화소에는 제 3 가중치 w3을 할당하였고, 각각의 가중치들은 w1w2w3인 관계를 만족시킨다.
한편, 본 발명의 제 2 실시예에 따르면, 가중치 경계 설정부(440-1 내지 440-N)는, 탐색 블럭의 경계 화소를 기준으로 하여 부정합 화소들에 가중치를 부여한다. 탐색 블럭의 경계 화소를 중심으로 탐색 블럭의 경계 화소와 인접한 정도에 따라 부정합 화소에 가중치를 할당하는데, 이를테면 탐색 블럭의 경계 화소에 해당하는 부정합 화소에는 제 1 가중치를, 탐색 블럭의 경계 화소에서 한 화소만큼 떨어져 있는 부정합 화소에는 제 2 가중치를, 탐색 블럭의 경계 화소에서 두 화소만큼 떨어져 있는 부정합 화소에는 제 3 가중치를 할당하는 방식으로 가중치를 할당한다.
도 4b를 참조하면, 본 발명의 제 2 실시예에 따라, 임의의 탐색 블럭과 후보 블럭에 대해 위의 과정을 수행한 결과가 도시되어 있는데, 검게 칠해진 화소들은 탐색 블럭의 경계 화소이다. 도4B에서 탐색 블럭의 경계 화소에는 w1, 제 1 가중치 경계에는 w2, 제 2 가중치 경계에는 w3, 제 3 가중치 경계에는 w4의 가중치가 할당되었는데, 각각의 가중치들은 w1w2w3w4인 관계를 만족시킨다.
가중치가 할당된 부정합 영역을 표시한 탐색 블록 데이터는 가중화 에러 계산부(450-1 내지 450-N)로 인가된다.
가중화 에러 계산부(450-1 내지 450-N)는 입력받은 정보를 이용하여 각 후보 블럭에 해당하는 가중화 에러를 계산한다. 상술하면 부정합 영역에 포함된 화소들의 개수를 카운트하되, 할당받은 가중치를 곱하여 카운트하고, 각 후보 블럭들의 가중화 에러를 계산하여 비교부(460)로 인가한다.
다시 도 4a를 참조하면, 제 1 실시예에 따라 도1의 후보 블럭 CB1과 CB2에 대해 가중화 에러를 계산하는 과정이 도시되어 있는데, 검게 칠해진 화소들이 정합 영역의 경계 화소이다. 정합 영역의 경계 화소를 기준으로 가중치가 할당되어 있으며, 편의상 w1은 1, w2는 2, w3은 3으로 정하였다.
후보 블럭 CB1은 탐색 블럭 SB와 비교할 때, 6 개의 화소가 부정합 영역으로 판정되었고, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE1(CB1)을 구하면, 다음의 수식과 같이,
[수학식 1]
= 2(w1+w2+w3) = 12
이다. 후보 블럭 CB2는 탐색 블럭 SB와 비교할 때, 7 개의 화소가 부정합 영역으로 판정되었고, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE1(CB2)를 구하면, 다음의 수식과 같이,
[수학식 2]
= 7w1 = 7
이다.
한편, 도 4b는 제 2 실시예에 따라 도1의 후보 블럭 CB1과 CB2에 대해 가중화 에러를 계산하는 과정을 도시한 도면으로, 검게 칠해진 화소들이 탐색 블럭의 경계 화소이다. 탐색 블럭의 경계 화소를 기준으로 도4D에서와 같은 방법으로 가중치가 할당되어 있는데, 편의상, w1은 1, w2는 2, w3은 3, w4는 4로 정하였다.
후보 블럭 CB1은 탐색 블럭 SB와 비교할 때, 6 개의 화소가 부정합 영역으로 판정되었으며, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE2(CB1)을 구하면, 다음의 수식과 같이,
[수학식 3]
= 3w1+w2+w3+w4 = 12
이다. 후보 블럭 CB2는 탐색 블럭 SB와 비교할 때, 7 개의 화소가 부정합 영역으로 판정되었으며, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE2(CB2)를 구하면, 다음의 수식과 같이,
[수학식 4]
= 6w1+w2 = 8
이다.
따라서 단순하게 평균 절대 에러를 이용하면 CB1이 더 적은 에러를 갖게 되어 CB1에 해당하는 변위 벡터를 최적 움직임 벡터로서 선택하게 되지만, 본 발명의 제 1 실시예와, 제 2 실시예에 따라 가중화 에러를 이용하면 CB2이 더 적은 에러를 갖게 되어 CB2에 해당하는 변위 벡터를 최적 움직임 벡터로서 선택하게 된다.
비교부(460)는 각 후보 블럭들의 가중화 에러를 비교하여 최소값을 갖는 것(최소 가중화 에러)을 선택하고, 다중화부(470)가 최소 가중화 에러에 상응하는 변위 벡터를 선택하도록 선택 신호를 다중화부(470)로 제공한다. 다중화부(470)는 선택 신호에 따라, 해당 변위 벡터, 즉 최소 가중화 에러를 갖는 후보 블럭의 변위를 나타내는 벡터를 최적 움직임 벡터로서 도1에 도시된 움직임 보상부(500)로 출력한다.
결과적으로 본 발명에서 제안한 가중화된 블럭 정합 알고리즘을 이용하면, 최대한 인간 시각에 민감한 경계 형태 정보를 유지할 수 있는 방향으로 블럭 정합을 행하게 되는 것이다.
상기 본 발명에서 제안한 가중된 블럭 정합 알고리즘을 이용하여 움직임을 추정하게 되면, 이진 영상에서 많은 정보량을 가지고 있는 경계 화소에 보다 많은 가중치를 주어 움직임 벡터를 선택하므로, 효과적으로 윤곽선을 부호화할 수 있다.

Claims (10)

  1. 이진 영상 신호의 현재 프레임과 이전 프레임 사이의 움직임을 추정하는 방법에 있어서, 상기 현재 프레임은 동일한 크기의 다수 개의 탐색 블럭으로 나뉘어질 때, 상기 움직임 추정 방법은,
    상기 탐색 블럭에 해당하는 탐색 영역을 이전 프레임 내에 설정하는 제 1 단계;
    탐색 블럭과 동일한 크기의 다수 개의 후보 블럭을 상기 탐색 영역 내에 생성하고, 탐색 블럭과 상기 생성된 각각의 후보 블럭 사이의 2 차원 변위를 각각의 변위 벡터로서 제공하는 제 2 단계;
    상기 각각의 후보 블럭과 탐색 블럭을 겹쳐놓고 부정합 영역과 정합 영역의 경계 및 탐색 블럭의 경계를 구하는 제 3 단계;
    상기 부정합 영역의 화소들에 가중치를 부여하는 제 4 단계;
    각각의 후보 블럭에 대해 상기 제 3 단계에서 구한 부정합 영역의 화소수와 상기 제 4 단계에서 부여한 가중치를 이용하여 가중화 에러를 구하는 제 5 단계;
    상기 제 5 단계에서 구한 가중화 에러들을 비교하여 가장 작은 가중화 에러를 선택하여 최소 가중화 에러로 정하고, 상기 최소 가중화 에러에 해당하는 변위 벡터를 선택하도록 선택 신호를 제공하는 제 6 단계; 및
    상기 제 6 단계에서 제공한 선택 신호에 따라 변위 벡터를 선택하여 최적 움직임 벡터로서 제공하는 제 7 단계를 포함하는 것을 특징으로 하는 움직임 추정 방법.
  2. 제 1 항에 있어서, 상기 제 3 단계는, 상기 각각의 후보 블럭과 탐색 블럭을 겹쳐놓고 두 블럭의 상응하는 화소값을 서로 비교하여, 두 블럭의 상응하는 화소값이 서로 다른 부분은 부정합 영역으로, 두 블럭의 상응하는 화소값이 모두 1인 부분 중 부정합 영역 또는 탐색 블럭과 후보 블럭의 상응하는 두 화소값이 모두 0인 부분과 인접하는 화소들을 정합 영역의 경계 화소로 탐색 블록에서 화소값 1인 부분중 화소값이 0인 화소의 인접하는 화소들을 탐색 블록의 경계 화소로 결정하는 것을 특징으로 하는 움직임 추정 장치.
  3. 제 2 항에 있어서, 상기 제 5 단계는, 각각의 후보 블럭에 대해 상기 제 3 단계에서 구한 부정합 영역의 화소의 갯수를 카운트하되 상기 제 4 단계에서 부여한 가중치를 곱하여 카운트하고, 그 결과를 가중화 에러로 하는 것을 특징으로 하는 움직임 추정 장치.
  4. 제 3 항에 있어서, 상기 제 4 단계는, 상기 제 3 단계에서 구한 정합 영역의 경계 화소를 기준으로 부정합 영역의 화소들에 가중치를 부여하되, 정합 영역의 경계 화소에 인접한 화소들에는 작은 가중치를 부여하고, 정합 영역의 경계 화소에서 멀리 떨어진 화소일수록 많은 가중치를 부여하는 것을 특징으로 하는 움직임 추정 장치.
  5. 제 3 항에 있어서, 상기 제 4 단계는, 탐색 블럭의 경계 화소를 기준으로 부정합 영역의 화소들에 가중치를 부여하되, 탐색 블럭의 경계 화소에 해당하는 부정합 영역의 화소에는 가장 작은 가중치를 부여하고, 탐색 블럭의 경계 화소에서 멀리 떨어진 화소일수록 많은 가중치를 부여하는 것을 특징으로 하는 움직임 추정 장치.
  6. 이진 영상 신호의 현재 프레임과 이전 프레임 사이의 움직임을 추정하는 장치에 있어서, 상기 현재 프레임은 동일한 크기의 다수 개의 탐색 블럭으로 나뉘어질 때, 상기 움직임 추정 장치는,
    상기 탐색 블럭에 해당하는 탐색 영역을 이전 프레임 내에 설정하는 탐색 영역 형성 수단;
    탐색 블럭과 동일한 크기의 다수 개의 후보 블럭을 상기 탐색 영역 내에 생성하고, 탐색 블럭과 상기 생성된 각각의 후보 블럭 사이의 2 차원 변위를 각각의 변위 벡터로서 제공하는 후보 블럭 형성 수단;
    상기 각각의 후보 블럭과 탐색 블럭을 겹쳐놓고 부정합 영역과 정합 영역 및 정합 영역의 경계를 구하는 블럭 정합 수단;
    상기 부정합 영역의 화소들에 가중치를 부여하는 가중치 할당 수단;
    상기 블럭 정합 수단에서 구한 부정합 영역의 화소수와 상기 가중치 할당 수단에서 부여한 가중치를 이용하여 가중화 에러를 구하는 가중화 에러 계산 수단;
    각각의 후보 블럭에 대해 상기 가중화 에러 계산 수단에서 구한 가중화 에러들을 비교하여 가장 작은 가중화 에러를 선택하여 최소 가중화 에러로 정하고, 상기 최소 가중화 에러에 해당하는 변위 벡터를 선택하도록 선택 신호를 제공하는 비교 수단; 및
    상기 비교 수단에서 제공한 선택 신호에 따라 변위 벡터를 선택하여 최적 움직임 벡터로서 제공하는 다중화 수단을 포함하는 것을 특징으로 하는 움직임 추정 방법.
  7. 제 6항에 있어서, 상기 블럭 정합 수단은 상기 각각의 후보 블럭과 탐색 블럭을 겹쳐놓고 두 블럭의 상응하는 화소값을 서로 비교하여, 두 블럭의 상응하는 화소값이 서로 다른 부분은 부정합 영역으로, 두 블럭의 상응하는 화소값이 모두 1인 부분 중 부정합 영역 또는 탐색 블럭과 후보 블럭의 상응하는 두 화소값이 모두 0인 부분과 인접하는 화소들을 정합 영역의 경계 화소로 결정하는 것을 특징으로 하는 움직임 추정 장치.
  8. 제 7 항에 있어서, 가중화 에러 계산 수단은, 각각의 후보 블럭에 대해 상기 블럭 정합 수단에서 구한 부정합 영역의 화소의 갯수를 카운트하되 상기 가중치 할당 수단에서 부여한 가중치를 곱하여 카운트하고, 그 결과를 가중화 에러로 정하는 것을 특징으로 하는 움직임 추정 장치.
  9. 제 8 항에 있어서, 상기 가중치 할당 수단은, 상기 블럭 정합 수단에서 구한 정합 영역의 경계 화소를 기준으로 부정합 영역의 화소들에 가중치를 부여하되, 정합 영역의 경계 화소에 인접한 화소들에는 적은 가중치를 부여하고, 정합 영역의 경계 화소에서 멀리 떨어진 화소일수록 많은 가중치를 부여하는 것을 특징으로 하는 움직임 추정 장치.
  10. 제 8 항에 있어서, 상기 가중치 할당 수단은, 탐색 블럭의 경계 화소를 기준으로 부정합 영역의 화소들에 가중치를 부여하되, 탐색 블럭의 경계 화소에 해당하는 부정합 영역의 화소에는 가장 큰 가중치를 부여하고, 탐색 블럭의 경계 화소에서 멀리 떨어진 화소일수록 많은 가중치를 부여하는 것을 특징으로 하는 움직임 추정 장치.
KR1019970033820A 1997-07-19 1997-07-19 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치 KR100255748B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019970033820A KR100255748B1 (ko) 1997-07-19 1997-07-19 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
US08/918,040 US5969766A (en) 1997-07-19 1997-08-25 Method and apparatus for contour motion estimating a binary image by using a weighted block match algorithm
GB9718536A GB2327550A (en) 1997-07-19 1997-09-01 Motion vector estimation using weighted block matching
JP23668797A JPH1169359A (ja) 1997-07-19 1997-09-02 輪郭線動き推定方法及び装置
DE1997138552 DE19738552A1 (de) 1997-07-19 1997-09-03 Verfahren und Vorrichtung zum Abschätzen der Konturenbewegung eines binären Bildes unter Verwendung eines Vergleichsalgorithmus für gewichtete Blöcke

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970033820A KR100255748B1 (ko) 1997-07-19 1997-07-19 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치

Publications (2)

Publication Number Publication Date
KR19990010938A true KR19990010938A (ko) 1999-02-18
KR100255748B1 KR100255748B1 (ko) 2000-05-01

Family

ID=19515044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970033820A KR100255748B1 (ko) 1997-07-19 1997-07-19 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치

Country Status (5)

Country Link
US (1) US5969766A (ko)
JP (1) JPH1169359A (ko)
KR (1) KR100255748B1 (ko)
DE (1) DE19738552A1 (ko)
GB (1) GB2327550A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364779B1 (ko) * 2000-01-11 2002-12-16 엘지전자 주식회사 영상 부호화기에서 움직임 벡터의 부호화 방법
KR100571907B1 (ko) * 1999-04-13 2006-04-17 삼성전자주식회사 동영상 추정 알고리즘에 있어서 프로세싱 엘레멘트 수 결정 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6400830B1 (en) * 1998-02-06 2002-06-04 Compaq Computer Corporation Technique for tracking objects through a series of images
US6226636B1 (en) * 1998-11-20 2001-05-01 Philips Electronics North America Corp. System for retrieving images using a database
US6389417B1 (en) * 1999-06-29 2002-05-14 Samsung Electronics Co., Ltd. Method and apparatus for searching a digital image
AU767162B2 (en) * 1999-12-14 2003-10-30 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
AU2003244630B2 (en) * 1999-12-14 2005-05-26 Canon Kabushiki Kaisha Method and Apparatus for Uniform Lineal Motion Blur Estimation Using Multiple Exposures
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
US7206016B2 (en) * 2000-05-01 2007-04-17 Polycom, Inc. Filtering artifacts from multi-threaded video
KR100374966B1 (ko) * 2000-06-15 2003-03-06 (주) 제삼교육 위치 추적 시스템 및 그 추적 방법 그리고 그 추적 방법이기록된 판독 가능한 기록매체
DE10128530A1 (de) * 2001-06-13 2002-12-19 Basf Ag Kühlmittel für Kühlsysteme in Brennstoffzellenantrieben enthaltend Azolderivate
KR20040071145A (ko) * 2001-11-24 2004-08-11 티디브이 테크놀러지스 코포레이션 2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는방법 및 장치
KR100532099B1 (ko) * 2002-12-26 2005-11-29 삼성전자주식회사 프레임 레이트 변환 장치 및 방법
CN101238714B (zh) * 2005-08-12 2012-03-28 Nxp股份有限公司 数字图像稳定化方法和系统
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
JP2009077309A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 動き予測装置および動き予測方法
CN101616247B (zh) * 2008-06-26 2011-09-07 晨星软件研发(深圳)有限公司 决定移动向量的方法及其装置
US9355460B1 (en) * 2015-03-20 2016-05-31 Top Vicotry Investments Ltd. Motion detection method based on grey relational analysis
CN110163886A (zh) * 2019-05-16 2019-08-23 东莞职业技术学院 一种基于透明运动的多图像运动估计及匹配算法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
US5539469A (en) * 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique
KR0154921B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 이용하기 위한 움직임 추정기
KR0154920B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 있어서 움직임 추정기
US5561475A (en) * 1994-12-30 1996-10-01 Daewoo Electronics Co., Ltd. Variable block matching motion estimation apparatus
US5808685A (en) * 1994-12-30 1998-09-15 Daewoo Electronics Co., Ltd. Block matching motion estimation apparatus employing a weight function
EP0722252B1 (en) * 1995-01-16 2004-12-29 Daewoo Electronics Corporation Boundary matching motion estimation apparatus
EP0734175B1 (en) * 1995-03-20 2000-06-28 Daewoo Electronics Co., Ltd Hierarchical motion vector estimation using multiple block sizes
KR0180170B1 (ko) * 1995-06-30 1999-05-01 배순훈 움직임 추정 방법 및 추정 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571907B1 (ko) * 1999-04-13 2006-04-17 삼성전자주식회사 동영상 추정 알고리즘에 있어서 프로세싱 엘레멘트 수 결정 방법
KR100364779B1 (ko) * 2000-01-11 2002-12-16 엘지전자 주식회사 영상 부호화기에서 움직임 벡터의 부호화 방법

Also Published As

Publication number Publication date
GB2327550A (en) 1999-01-27
JPH1169359A (ja) 1999-03-09
DE19738552A1 (de) 1999-01-21
GB9718536D0 (en) 1997-11-05
KR100255748B1 (ko) 2000-05-01
US5969766A (en) 1999-10-19

Similar Documents

Publication Publication Date Title
KR100255748B1 (ko) 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
KR0181034B1 (ko) 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
US5598216A (en) Method and apparatus for encoding/decoding a video signal
JP3868017B2 (ja) 映像処理システム
EP0765087B1 (en) Video coding device
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
EP0740473A2 (en) Apparatus for encoding a video signal using feature point based motion estimation
EP0637894A2 (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
KR20030011325A (ko) 비디오 정보를 부호화 및 복호화하기 위한 방법, 움직임보상 비디오 부호기 및 대응하는 복호기
JPH09172644A (ja) アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
KR0181031B1 (ko) 움직임 보상된 인터폴레이션에서의 엣지 보상 장치
US5614954A (en) Motion compensation apparatus for use in an image encoding system
US5654761A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
KR100209409B1 (ko) 물체 왜곡을 이용한 물체 기반 부호화 방법 및 장치
EP0731612B1 (en) Apparatus for encoding a video signal using search grids for motion estimation and compensation
KR100212559B1 (ko) 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
JP2001224036A (ja) 動画像符号化装置
EP0720373A1 (en) Method and apparatus for encoding a video signal using region-based motion vectors
KR100220581B1 (ko) 물체 윤곽 부호화를 위한 버텍스 부호화 장치
KR100220680B1 (ko) 물체 윤곽 부호화를 위한 버텍스 부호화 장치
EP0734179A2 (en) Method and apparatus for selectively encoding/decoding a video signal

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110201

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee