KR100561461B1 - 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법 - Google Patents
프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR100561461B1 KR100561461B1 KR1020030045390A KR20030045390A KR100561461B1 KR 100561461 B1 KR100561461 B1 KR 100561461B1 KR 1020030045390 A KR1020030045390 A KR 1020030045390A KR 20030045390 A KR20030045390 A KR 20030045390A KR 100561461 B1 KR100561461 B1 KR 100561461B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- reference block
- absolute error
- variance
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
본 발명은 프레임 레이트를 변환시키기 위한 움직임 벡터 검출 시, 블록간의 상관성을 고려하여 미디언 필터를 선택적으로 사용하여 움직임 벡터를 검출하는 장치 및 방법이다.
본 발명에 따른 장치는, 제 1 움직임 벡터 검출 유니트와 제 2 움직임 벡터 검출 유니트를 포함한다. 제 1 움직임 벡터 검출 유니트는 입력되는 영상신호의 현재 프레임의 기준 블록의 위치가 움직임 량이 작은 영역과 접한 사물의 경계면이면, 기준 블록에 대한 움직임 추정에 의해 검출된 움직임 벡터를 기준 블록의 움직임 벡터로서 검출한다. 제 2 움직임 벡터 검출 유니트는 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접한 사물의 경계면이 아니면, 기준 블록의 움직임 벡터를 미디언 필터링하여 얻은 움직임 벡터를 기준 블록의 움직임 벡터로서 검출한다.
따라서 미디언 필터로 인한 움직임 에러 발생을 방지할 수 있다.
Description
도 1은 기존의 미디언 필터링을 설명하기 위한 블록단위 움직임 벡터 예시도이다.
도 2(a) 및 도 2(b)는 미디언 필터 이용으로 잘못된 움직임 벡터가 검출된 영상의 예시도이다.
도 3은 본 발명에 따른 움직임 벡터 검출 장치의 기능 블록도이다.
도 4는 도 3에 도시된 MAE 분산값 계산부에서 이용되는 블록들의 MAE의 예시도이다.
도 5는 본 발명에 따른 움직임 벡터 검출 방법의 동작 흐름도이다.
도 6(a)는 미디언 필터를 적용하기 전의 영상신호의 예이다.
도 6(b)는 미디언 필터를 적용한 후의 영상신호의 예이다.
도 6(c)는 본 발명에 따라 선택적으로 미디언 필터를 적용한 영상신호의 예이다.
본 발명은 영상신호의 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법에 관한 것으로, 특히, 미디언 필터(median filter)를 이용하여 움직임 벡터를 검출하는 장치 및 방법에 관한 것이다.
영상신호의 프레임 레이트 변환은 다양한 TV 표준을 따르는 프로그램들을 서로 교환하기 위한 것이다. 초기에는 프레임 반복, 간단한 시공간 필터(spatio-temporal filter) 등을 이용하여 프레임 레이트를 변환하였다. 그러나, 상술한 방식은 시각적으로 거슬리는 움직임 지터(motion jitter)나 영상의 경계에서의 블러링(blurring) 현상을 초래하였다.
따라서 움직임 보상(motion compensation)을 이용한 프레임 레이트 변환 방식들이 제안되고 있다. 입력되는 영상신호에 대한 움직임을 보상하기 위해서는 입력되는 영상신호에 대한 움직임을 추정하여 움직임 벡터(motion vector)를 생성하여야 한다.
움직임 추정에 의한 움직임 벡터 생성은 일반적으로 블록 매칭 알고리즘(block matching algorithm)을 이용한다. 즉, 현재 프레임에서의 기준 블록을 이전 프레임의 검색 범위내에서 움직임 궤적을 그리는 방향으로 이동시키면서 기준 블록과 가장 일치하는 블록을 검출하고, 기준 블록의 위치와 검출된 블록의 위치간의 차를 움직임 벡터로 생성한다. 기준 블록과 가장 일치하는 블록 검출은 블록간의 최소 오차를 구하는 평균 절대 오차(Mean Absolute Error, MAE) 검출 방법을 이용한다.
그러나, 이와 같이 검출된 움직임 벡터에 오류가 존재할 경우에, 정상적인 움직임 보상을 기대할 수 없다. 따라서, 검출된 움직임 벡터의 오류를 최소화하기 위하여 기존의 프레임 레이트 변환 방식은 미디언 필터를 적용하고 있다.
즉, 프레임의 모든 블록에 대한 움직임 벡터가 구해지면 현재 프레임의 기준 블록을 중심으로 상하 좌우의 주변 블록에 대한 움직임 벡터를 동시에 호출한다. 예를 들어, 도 1에 도시된 바와 같이 블록단위의 움직임 벡터에서 기준 블록 E의 움직임 벡터가 MV4일 때, 미디언 필터는 MV0에서 MV8까지 값을 크기에 따라 순차적으로 나열한 후 중간 값을 기준 블록 E의 움직임 벡터로서 검출한다.
이러한 미디언 필터는 주변 블록과의 상관성을 고려하여 움직임 벡터의 오류를 줄이는데 탁월한 효과를 갖는다. 특히 미디언 필터는 움직임 량이 크거나 반복성을 갖는 영상 및 글씨 등에서 움직임 벡터의 오류를 줄이는데 효과가 있다.
그러나, 배경과 같이 움직임 량이 작은 영역과 인접해 있는 사물의 경계면에서 검출된 움직임 벡터에 대해 미디언 필터를 적용할 경우에, 잘못된 움직임 벡터를 취하게 되어 영상이 심각하게 깨지는 것과 같은 움직임 에러(motion artifacts)가 발생하게 된다. 즉, 도 2의 (a)와 (b)에 도시된 바와 같이 배경과 사물의 경계면에서 영상이 깨지는 현상이 발생하게 된다.
이는 움직임 량이 작은 영역과 인접해 있는 사물의 경계면에 위치한 블록의 움직임 벡터 값이 인접한 블록의 움직임 벡터 값과 큰 차이를 가질 수 있기 때문이다.
본 발명이 이루고자 하는 기술적 과제는 프레임 레이트를 변환시키기 위한 움직임 벡터 검출 시, 블록간의 상관성을 고려하여 미디언 필터를 선택적으로 사용하여 움직임 벡터를 검출하는 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 프레임 레이트를 변환시키기 위한 움직임 벡터 검출 시, 움직임 량이 작은 영역과 인접한 사물의 경계면에서 안정된 움직임 벡터를 검출할 수 있는 움직임 벡터 검출 장치 및 방법을 제공하는데 있다.
상기 기술적 과제들을 달성하기 위하여 본 발명은, 입력되는 영상신호의 현재 프레임의 기준 블록의 위치가 움직임 량이 작은 영역과 접한 사물의 경계면이면, 상기 기준 블록에 대한 움직임 추정에 의해 검출된 움직임 벡터를 상기 기준 블록의 움직임 벡터로서 검출하는 제 1 움직임 벡터 검출 유니트; 상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접한 사물의 경계면이 아니면, 상기 기준 블록의 움직임 벡터를 미디언 필터링하여 얻은 움직임 벡터를 상기 기준 블록의 움직임 벡터로서 검출하는 제 2 움직임 벡터 검출 유니트를 포함하는 움직임 벡터 검출 장치를 제공할 수 있다.
상기 기준 블록의 평균 절대 오차의 분산값을 이용하여 상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접한 사물의 경계면에 해당되는지를 판단할 수 있다.
상기 기술적 과제들을 달성하기 위하여 본 발명은, 입력되는 영상신호의 현재 프레임과 이전 프레임을 이용하여 소정 블록단위로 움직임 벡터와 대응되는 평 균 절대 오차(MAE)값을 검출하는 움직임 추정부; 상기 움직임 추정부에서 검출된 소정 블록단위의 움직임 벡터와 평균 절대 오차(MAE)값을 저장하는 저장부; 상기 현재 프레임의 기준 블록에 대한 상기 평균 절대 오차의 분산값을 계산하는 평균 절대 오차 분산값 계산부; 상기 기준 블록의 움직임 벡터를 미디언 필터링하는 미디언 필터; 상기 평균 절대 오차 분산값 계산부에서 계산된 결과를 토대로 상기 미디언 필터로부터 출력되는 신호와 상기 저장부에 저장되어 있는 상기 기준 블록의 움직임 벡터중 하나를 선택하여 상기 기준 블록의 실제 움직임 벡터로서 출력하는 선택부를 포함하는 움직임 벡터 검출 장치를 제공할 수 있다.
상기 평균 절대 오차 분산값 계산부는 상기 저장부에 저장되어 있는 상기 기준 블록과 상기 기준 블록의 주변 블록들의 평균 절대 오차 값의 평균값을 계산하고, 상기 평균값을 이용하여 상기 기준 블록의 평균 절대 오차의 분산값을 계산할 수 있다.
상기 주변 블록들은 상기 기준 블록 주변에 위치한 복수개의 블록들이다.
상기 선택부는 상기 평균 절대 오차 분산값 계산부에서 계산된 분산값을 토대로 상기 기준 블록 위치가 움직임 량이 작은 영역과 접해 있는 사물의 경계면으로 판단되면, 상기 저장부에 저장되어 있는 상기 기준 블록의 움직임 벡터를 선택하여 전송하고, 상기 분산값을 토대로 상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접해 있는 사물의 경계면이 아닌 것으로 판단되면, 상기 미디언 필터로부터 출력되는 신호로 선택하여 전송할 수 있다.
상기 선택부는 또한, 상기 평균 절대 오차 분산값이 소정의 임계값보다 크면 상기 미디언 필터로부터 출력되는 신호를 선택하여 전송하고, 상기 평균 절대 오차 분산값 계산부에서 계산된 분산값이 소정의 임계값보다 크지 않으면 상기 저장부에 저장되어 있는 상기 기준 블록의 움직임 벡터를 선택하여 전송할 수 있다.
상기 움직임 벡터 검출 장치는 상기 평균 절대 오차 분산값과 소정의 임계값을 비교하고, 비교결과를 토대로 상기 선택부의 동작을 제어하는 비교부를 더 포함할 수 있다.
상기 기술적 과제들을 달성하기 위하여 본 발명은, 입력되는 영상신호의 현재 프레임과 이전 프레임을 이용하여 소정 블록단위로 움직임 벡터와 대응되는 평균 절대 오차(MAE) 값을 검출하는 단계; 상기 소정 블록단위로 검출되는 움직임 벡터와 평균 절대 오차 값을 저장하는 단계; 상기 현재 프레임의 기준 블록과 상기 기준 블록의 주변 블록들의 평균 절대 오차의 분산값을 계산하는 단계; 상기 평균 절대 오차의 분산값을 토대로 상기 기준 블록의 위치가 움직임 량이 작은 영역에 접하고 있는 사물의 경계면이 아닌 것으로 판단되면, 상기 기준 블록의 움직임 벡터를 미디언 필터링한 결과를 상기 기준 블록의 실제 움직임 벡터로서 검출하는 단계; 상기 평균 절대 오차의 분산값을 토대로 상기 기준 블록의 위치가 움직임 량이 작은 영역에 접하고 있는 사물의 경계면으로 판단되면, 상기 저장된 상기 기준 블록의 움직임 벡터를 상기 기준 블록의 실제 움직임 벡터로서 검출하는 단계를 포함하는 움직임 벡터 검출 방법을 제공할 수 있다.
상기 평균 절대 오차의 분산값은 상기 기준 블록의 평균 절대 오차 값과 상기 주변블럭들의 평균 절대 오차 값의 평균값을 구하고, 상기 평균값을 이용하여 상기 기준 블록에 대한 평균 절대 오차의 분산값을 계산할 수 있다.
상기 기준 블록의 실제 움직임 벡터를 검출하는 단계들은, 상기 평균 절대 오차의 분산값과 소정의 임계값을 비교하고, 상기 비교결과 상기 평균 절대 오차의 분산값이 상기 소정이 임계값보다 크면, 상기 미디언 필터링한 결과를 상기 기준 블록의 실제 움직임 벡터로서 검출하고, 상기 평균 절대 오차의 분산값이 상기 소정의 임계값보다 크지 않으면, 상기 저장되어 있는 기준 블록의 움직임 벡터를 상기 기준 블록의 실제 움직임 벡터로서 검출할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명하기로 한다.
도 3은 본 발명에 따른 움직임 벡터 검출 장치의 기능 블록도이다. 도 3을 참조하면, 본 발명에 따른 움직임 벡터 검출 장치는 움직임 추정부(301), 저장부(302), 평균 절대 오차(Mean Absolute Error, 이하 MAE라고 약함) 분산값 계산부(303), 비교부(304), 미디언 필터(305), 및 선택부(306)를 포함한다.
움직임 추정부(301)는 입력되는 영상신호의 현재 프레임과 이전 프레임을 이용하여 소정 블록단위로 현재 프레임의 움직임을 추정한다. 소정 블록은 (8×8)픽셀 또는 (16×16)픽셀로 설정될 수 있다. 상기 현재 프레임과 이전 프레임은 기존의 움직임 추정을 위해 제공되는 방식을 이용하여 제공된다. 이하 현재 프레임에서 움직임을 추정하기 위한 블록은 기준 블록이라고 언급한다.
따라서 움직임 추정부(301)는 현재 프레임의 기준 블록단위로 움직임을 추정하여 움직임 벡터(motion vector, MV라고 표기하기도 함) 및 대응되는 MAE 값을 검 출한다. 움직임 벡터는 블록 매칭을 통해 가장 작은 MAE값을 갖는 움직임 벡터를 검출하는 방식을 이용하여 검출된다. 블록단위로 대응되는 MAE 값은 수학식 1과 같이 검출한다.
현재 프레임에 대한 소정 블록단위의 움직임 벡터 검출 및 MAE값 검출이 완료되면, 움직임 추정부(301)는 소정 블록단위의 움직임 벡터 및 MAE 값을 저장부(302)에 저장한다.
이에 따라 저장부(302)는 소정 블록단위로 움직임 벡터와 MAE 값을 저장한다. 또한, 저장부(302)는 입력되는 기준 블록의 인덱스 정보를 토대로 2개의 출력 단을 움직임 벡터를 출력한다. 즉, 저장부(302)는 1개의 출력단으로는 기준 블록의 움직임 벡터와 상기 기준 블록의 주변 블록들의 움직임 벡터들(MVs)을 출력하고, 다른 1개의 출력단으로는 기준 블록의 움직임 벡터만 출력한다. 상기 기준 블록의 인덱스 정보는 미 도시된 시스템 제어부로부터 제공된다. 기준 블록의 인덱스 정보는 블록 매칭에 의해 순차적으로 증가한다. 이 때, 저장부(302)의 1개의 출력단으로 출력되는 움직임 벡터들은 기준 블록과 도 1에 도시된 바와 같은 기준 블록에 인접한 8개의 주변 블록의 움직임 벡터들이다.
MAE 분산값 계산부(303)는 현재 프레임에서의 기준 블록에 대한 인덱스 정보 가 입력되면, 저장부(302)에 저장되어 있는 소정 블록단위의 MAE 값중에서 상기 기준 블록의 MAE 값과 상기 기준 블록의 주변 블록의 MAE 값을 읽어온다. 상기 주변 블록은 기준 블록에 인접한 블록으로서, 기준 블록과 주변 영역간의 상관성을 체크할 수 있는 범위내에 존재하는 블록들이다.
예를 들어, MAE 분산값 계산부(303)가 MAE 분산값 계산 시, (5×5)블록에 대한 MAE 값을 읽어오도록 설계되고, 도 4에 도시된 예에서 기준 블록의 MAE 값이 MAE 12이면, MAE 분산값 계산부(303)는 저장부(302)에 저장되어 있는 MAE 값중에서 도 4에 도시된 MAE 0부터 MAE 24까지 총 25개의 MAE 값을 읽어온다.
이와 같이 저장부(302)에서 기준 블록의 MAE 값과 주변 블록의 MAE 값이 읽혀지면, MAE 분산값 계산부(303)는 수학식 2에 의해 MAE 평균값(mae_mean)을 계산한다.
수학식 2에서 M은 상기 평균갑을 계산하기 위하여 사용된 주변 블록의 개수이다. 따라서, 상술한 예와 같이 25개 블록의 MAE 값을 읽어올 경우에, 상기 M은 25이다. 계산된 MAE 평균값과 MAE 값을 수학식 3과 같이 연산하여 기준 블록의 MAE 분산값을 계산한다.
계산된 MAE 분산값은 비교부(304)로 제공된다.
비교부(304)는 MAE 분산값 계산부(303)로부터 전송되는 MAE 분산값과 소정의 임계값을 비교한다. 상기 소정의 임계값은 상기 기준 블록이 배경과 같이 움직임 량이 작은 영역과 접하는 사물의 경계면인지를 판단하기 위한 것이다. 따라서, 상기 기준 블록이 상기 움직임 량이 작은 영역과 접하는 사물의 경계면일 때, 얻을 수 있는 MAE 분산값을 참조하여 상기 소정의 임계값은 설정된다.
비교부(304)는 상기 MAE 분산값과 소정의 임계값을 비교하여 상기 MAE 분산값이 상기 소정의 임계값보다 크면, 상기 기준 블록의 위치가 움직임 량이 작은 영역에 접한 사물의 경계면이 아닌 것으로 판단한 신호를 출력한다. 그러나, MAE 분산값이 소정의 임계값보다 크지 않으면, 상기 기준 블록의 위치가 움직임 량이 작은 영역에 접한 사물의 경계면으로 판단한 신호를 출력한다. 비교부(304)의 비교결과 신호는 선택부(306)로 제공된다.
미디언 필터(305)는 기준 블록의 움직임 벡터를 미디언 필터링한다. 이를 위하여, 저장부(302)는 상기 기준 블록의 인덱스 정보가 입력되면, 기준 블록의 움직임 벡터와 기준 블록의 주변 블록의 움직임 벡터를 미디언 필터(305)로 제공한다. 미디언 필터(305)는 입력되는 9개의 움직임 벡터를 크기 순서대로 배열하고, 중간에 위치한 움직임 벡터를 출력한다.
선택부(306)는 비교부(304)로부터 출력되는 신호에 따라 미디언 필터(305)에서 출력되는 움직임 벡터와 저장부(302)로부터 출력되는 기준 블록의 움직임 벡터를 선택적으로 전송한다.
즉, 비교부(304)로부터 상기 MAE 분산값이 소정의 임계값보다 큰 것으로 판단된 신호가 제공되면, 선택부(306)는 미디언 필터(305)로부터 출력된 움직임 벡터를 선택하여 전송한다. 이에 따라 기준 블록의 실질적인 움직임 벡터는 미디언 필터(305)에서 출력되는 움직임 벡터가 된다.
그러나 비교부(304)로부터 상기 MAE 분산값이 소정의 임계값보다 크지 않은 것으로 판단된 신호가 제공되면, 선택부(306)는 저장부(302)로부터 출력되는 기준 블록의 움직임 벡터를 선택하여 전송한다. 이에 따라 기준 블록의 실질적인 움직임 벡터는 저장부(302)에 저장되어 있는 기준 블록의 움직임 벡터가 된다.
상술한 도 3에 도시된 실시 예는 입력되는 영상신호의 현재 프레임의 기준 블록의 위치가 움직임 량이 작은 영역과 접한 사물의 경계면이면, 상기 기준 블록에 대한 움직임 추정에 의해 검출된 움직임 벡터를 상기 기준 블록의 움직임 벡터로서 검출하는 제 1 움직임 벡터 검출 유니트와 상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접한 사물의 경계면이 아니면, 상기 기준 블록의 움직임 벡터를 미디언 필터링하여 얻은 움직임 벡터를 상기 기준 블록의 움직임 벡터로서 검출하는 제 2 움직임 벡터 검출 유니트로 재정의 할 수 있다.
만약 도 3에 도시된 실시 예를 상술한 바와 같이 재 정의할 경우에, 제 1 움직임 벡터 검출 유니트는 움직임 추정부(301), 저장부(302), MAE 분산값 계산부(303), 비교부(304) 및 선택부(306)를 포함하고, 제 2 움직임 벡터 검출 유니트는 움직임 추정부(301), 저장부(302), MAE 분산값 계산부(303), 비교부(304), 미디언 필터(305) 및 선택부(306)를 포함하는 것으로 정의할 수 있다.
상술한 실시 예는 MAE 분산값 계산시 이용되는 주변 블록의 수와 미디언 필터링시 이용되는 주변 블록의 수가 상이한 경우이다. 그러나 MAE 분산값 계산시 이용되는 주변 블록의 수와 미디언 필터링시 이용되는 주변 블록의 수가 동일하게 구성할 수도 있다.
도 5는 본 발명에 따른 움직임 벡터 검출 방법의 동작 흐름도이다.
먼저, 제 501 단계에서 입력되는 영상 신호의 현재 프레임과 이전 프레임을 이용하여 소정 블록단위로 움직임 추정을 한다. 이에 따라 현재 프레임에 대해 소정 블록단위의 움직임 벡터(MV)와 MAE 값이 도 3의 움직임 추정부(301)에서와 같이 검출된다.
제 501 단계에서 검출된 소정 블록단위의 움직임 벡터(MV)와 MAE값은 제 502 단계에서 저장된다.
제 503 단계에서 상기 저장되어 있는 MAE값들중에서 기준 블록의 MAE 값과 상기 기준 블록을 기준으로 설정된 범위내에 포함되어 있는 주변 블록들의 MAE 값들을 호출한다. 상기 범위는 도 3의 MAE 분산값 계산부(303)에서 설명한 바와 같이 (5×5)블록으로 설정될 수 있다. 만약 상기 범위가 (5×5)블록으로 설정되면, 제 503 단계에서 총 25개 블록의 MAE 값이 호출된다.
제 504 단계에서 호출된 MAE값들의 평균값을 상기 수학식 2와 같은 연산식을 통해 계산한다.
제 505 단계에서, 제 504 단계에서 계산된 MAE값들의 평균값과 각 블록의 MAE값을 수학식 3에 적용하여 기준 블록에 대한 MAE 분산값을 계산한다.
제 506 단계에서 상기 MAE 분산값과 소정의 임계값을 비교한다. 상기 소정의 임계값은 도 3의 비교부(304)에서 정의한 바와 같다.
제 506 단계에서 상기 MAE 분산값이 소정의 임계값보다 크면, 기준 블록의 위치가 움직임 량이 작은 영역과 접한 사물의 경계면이 아닌 것으로 판단하고 제 507 단계로 진행된다.
제 507 내지 제 509 단계는 기준 블록의 움직임 벡터를 미디언 필터링하는 과정이다.
따라서, 제 507 단계에서, 저장되어 있는 움직임 벡터들중에서 기준 블록과 주변 블록들의 움직임 벡터들을 호출한다. 이 때 호출되는 주변블록의 움직임 벡터는 도 1에 정의된 바와 같은 범위에 포함되어 있는 블록들의 움직임 벡터가 된다.
제 508 단계에서 호출된 움직임 벡터를 크기 순서대로 배열한다. 제 509 단계에서 배열된 움직임 벡터들중에서 중간에 위치한 움직임 벡터를 검출한다.
제 510 단계에서, 상기 제 509 단계에서 검출된 움직임 벡터를 기준 블록의 실질적인 움직임 벡터(또는 최종 움직임 벡터)로서 출력한다.
한편, 제 506 단계에서 MAE 분산값이 소정의 임계값보다 크지 않으면, 기준 블록의 위치가 움직임 량이 작은 영역과 접하고 있는 사물의 경계면으로 판단하고 제 511 단계로 진행된다.
제 511 단계에서, 상기 제 502 단계에서 저장된 기준 블록의 움직임 벡터를 호출한다. 그리고 제 510 단계에서 현재 호출된 움직임 벡터를 기준 블록의 실질적인 움직임 벡터로서 출력한다.
상술한 본원 발명의 실시 예를 적용할 경우에, 입력되는 영상신호에 대해 본원 발명은 도 6에 (c)에 도시된 바와 같은 영상신호를 얻을 수 있다. 도 6(a)는 미디언 필터를 적용하기 전의 영상신호의 예이고, 도 6(b)는 미디언 필터를 적용한 후의 영상신호의 예이고, 도 6(c)는 본 발명에 따라 선택적으로 미디언 필터를 적용한 영상신호의 예이다. 도 6의 (a) 내지 (c)에 도시된 영상의 예를 통해 알 수 있는 바와 같이 본원 발명의 실시 예를 적용할 경우에 움직임 량이 작은 영역과 접한 경계면에서 영상 깨짐이 개선됨을 알 수 있다.
상술한 바와 같이 본 발명은 움직임 추정에 의해 검출된 움직임 벡터에 대해 주변 블록간의 상관성을 고려하여 선택적으로 미디언 필터를 적용함으로써, 미디언 필터를 적용으로 인한 움직임 에러 발생을 방지할 수 있다.
본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다. 따라서, 본 발명에서 권리를 청구하는 범위는 상세한 설명의 범위 내로 정해지는 것이 아니라 후술하는 청구범위로 정해질 것이다.
Claims (11)
- 입력되는 영상신호의 현재 프레임의 기준 블록의 위치가 움직임 량이 작은 영역과 접한 사물의 경계면이면, 상기 기준 블록에 대한 움직임 추정에 의해 검출된 움직임 벡터를 상기 기준 블록의 움직임 벡터로서 검출하는 제 1 움직임 벡터 검출 유니트;상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접한 사물의 경계면이 아니면, 상기 기준 블록의 움직임 벡터를 미디언 필터링하여 얻은 움직임 벡터를 상기 기준 블록의 움직임 벡터로서 검출하는 제 2 움직임 벡터 검출 유니트를 포함하는 움직임 벡터 검출 장치.
- 제 1 항에 있어서, 상기 기준 블록의 평균 절대 오차의 분산값을 이용하여 상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접한 사물의 경계면에 해당되는지를 판단하는 것을 특징으로 하는 움직임 벡터 검출 장치.
- 입력되는 영상신호의 현재 프레임과 이전 프레임을 이용하여 소정 블록단위로 움직임 벡터와 대응되는 평균 절대 오차(MAE)값을 검출하는 움직임 추정부;상기 움직임 추정부에서 검출된 소정 블록단위의 움직임 벡터와 평균 절대 오차(MAE)값을 저장하는 저장부;상기 현재 프레임의 기준 블록에 대한 상기 평균 절대 오차의 분산값을 계산하는 평균 절대 오차 분산값 계산부;상기 기준 블록의 움직임 벡터를 미디언 필터링하는 미디언 필터;상기 평균 절대 오차 분산값 계산부에서 계산된 결과를 토대로 상기 미디언 필터로부터 출력되는 신호와 상기 저장부에 저장되어 있는 상기 기준 블록의 움직임 벡터중 하나를 선택하여 상기 기준 블록의 실제 움직임 벡터로서 출력하는 선택부를 포함하는 움직임 벡터 검출 장치.
- 제 3 항에 있어서, 상기 평균 절대 오차 분산값 계산부는 상기 저장부에 저장되어 있는 상기 기준 블록과 상기 기준 블록의 주변 블록들의 평균 절대 오차 값의 평균값을 계산하고, 상기 평균값을 이용하여 상기 기준 블록의 평균 절대 오차의 분산값을 계산하는 것을 특징으로 하는 움직임 벡터 검출장치.
- 제 4 항에 있어서, 상기 주변 블록들은 상기 기준 블록 주변에 위치한 복수개의 블록들인 것을 특징으로 하는 움직임 벡터 검출 장치.
- 제 3 항에 있어서, 상기 선택부는 상기 평균 절대 오차 분산값 계산부에서 계산된 분산값을 토대로 상기 기준 블록 위치가 움직임 량이 작은 영역과 접해 있는 사물의 경계면으로 판단되면, 상기 저장부에 저장되어 있는 상기 기준 블록의 움직임 벡터를 선택하여 전송하고, 상기 분산값을 토대로 상기 기준 블록의 위치가 상기 움직임 량이 작은 영역과 접해 있는 사물의 경계면이 아닌 것으로 판단되면, 상기 미디언 필터로부터 출력되는 신호로 선택하여 전송하는 것을 특징으로 하는 움직임 벡터 검출 장치.
- 제 3 항에 있어서, 상기 선택부는 상기 평균 절대 오차 분산값이 소정의 임계값보다 크면 상기 미디언 필터로부터 출력되는 신호를 선택하여 전송하고, 상기 평균 절대 오차 분산값 계산부에서 계산된 분산값이 소정의 임계값보다 크지 않으면 상기 저장부에 저장되어 있는 상기 기준 블록의 움직임 벡터를 선택하여 전송하는 것을 특징으로 하는 움직임 벡터 검출 장치.
- 제 3 항에 있어서, 상기 움직임 벡터 검출 장치는상기 평균 절대 오차 분산값과 소정의 임계값을 비교하고, 비교결과를 토대로 상기 선택부의 동작을 제어하는 비교부를 더 포함하는 움직임 벡터 검출 장치.
- 입력되는 영상신호의 현재 프레임과 이전 프레임을 이용하여 소정 블록단위로 움직임 벡터와 대응되는 평균 절대 오차(MAE) 값을 검출하는 단계;상기 소정 블록단위로 검출되는 움직임 벡터와 평균 절대 오차 값을 저장하는 단계;상기 현재 프레임의 기준 블록과 상기 기준 블록의 주변 블록들의 평균 절대 오차의 분산값을 계산하는 단계;상기 평균 절대 오차의 분산값을 토대로 상기 기준 블록의 위치가 움직임 량이 작은 영역에 접하고 있는 사물의 경계면이 아닌 것으로 판단되면, 상기 기준 블록의 움직임 벡터를 미디언 필터링한 결과를 상기 기준 블록의 실제 움직임 벡터로 서 검출하는 단계;상기 평균 절대 오차의 분산값을 토대로 상기 기준 블록의 위치가 움직임 량이 작은 영역에 접하고 있는 사물의 경계면으로 판단되면, 상기 저장된 상기 기준 블록의 움직임 벡터를 상기 기준 블록의 실제 움직임 벡터로서 검출하는 단계를 포함하는 움직임 벡터 검출 방법.
- 제 9 항에 있어서, 상기 평균 절대 오차의 분산값은 상기 기준 블록의 평균 절대 오차 값과 상기 주변블럭들의 평균 절대 오차 값의 평균값을 구하고, 상기 평균값을 이용하여 상기 기준 블록에 대한 평균 절대 오차의 분산값을 계산하는 것을 특징으로 하는 움직임 벡터 검출 방법.
- 제 9 항에 있어서, 상기 기준 블록의 실제 움직임 벡터를 검출하는 단계들은,상기 평균 절대 오차의 분산값과 소정의 임계값을 비교하고,상기 비교결과 상기 평균 절대 오차의 분산값이 상기 소정이 임계값보다 크면, 상기 미디언 필터링한 결과를 상기 기준 블록의 실제 움직임 벡터로서 검출하고,상기 평균 절대 오차의 분산값이 상기 소정의 임계값보다 크지 않으면, 상기 저장되어 있는 기준 블록의 움직임 벡터를 상기 기준 블록의 실제 움직임 벡터로서 검출하는 것을 특징으로 하는 움직임 벡터 검출 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030045390A KR100561461B1 (ko) | 2003-07-04 | 2003-07-04 | 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법 |
| US10/844,348 US20050002456A1 (en) | 2003-07-04 | 2004-05-13 | Motion vector detector for frame rate conversion and method thereof |
| JP2004195704A JP2005033788A (ja) | 2003-07-04 | 2004-07-01 | フレームレートを変換する時の動作ベクトル検出装置及び方法 |
| CNA2004100621412A CN1578427A (zh) | 2003-07-04 | 2004-07-02 | 用于帧频转换的位移向量检测器及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030045390A KR100561461B1 (ko) | 2003-07-04 | 2003-07-04 | 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050003874A KR20050003874A (ko) | 2005-01-12 |
| KR100561461B1 true KR100561461B1 (ko) | 2006-03-16 |
Family
ID=33550286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030045390A KR100561461B1 (ko) | 2003-07-04 | 2003-07-04 | 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20050002456A1 (ko) |
| JP (1) | JP2005033788A (ko) |
| KR (1) | KR100561461B1 (ko) |
| CN (1) | CN1578427A (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100739735B1 (ko) | 2005-09-16 | 2007-07-13 | 삼성전자주식회사 | 액정 디스플레이 구동 방법 및 이를 적용한 장치 |
| CA2636858C (en) * | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| US8411931B2 (en) * | 2006-06-23 | 2013-04-02 | Imax Corporation | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition |
| JP5479064B2 (ja) * | 2009-12-11 | 2014-04-23 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
| JP2012142702A (ja) * | 2010-12-28 | 2012-07-26 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| CN102158635B (zh) * | 2011-05-04 | 2012-10-31 | 凌阳科技股份有限公司 | 运动向量改善装置 |
| EP3095090B1 (en) * | 2014-02-24 | 2018-11-28 | Huawei Technologies Co., Ltd. | System and method for processing input images before generating a high dynamic range image |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5355178A (en) * | 1991-10-24 | 1994-10-11 | Eastman Kodak Company | Mechanism for improving television display of still images using image motion-dependent filter |
| US5510856A (en) * | 1994-12-30 | 1996-04-23 | Daewoo Electronics Co., Ltd. | Apparatus for determining motion vectors |
| US5539469A (en) * | 1994-12-30 | 1996-07-23 | Daewoo Electronics Co., Ltd. | Apparatus for determining motion vectors through the use of an adaptive median filtering technique |
| US5790207A (en) * | 1996-03-14 | 1998-08-04 | Daewoo Electronics, Co., Ltd. | Motion compensation method for use in an image encoding system |
| JP3299671B2 (ja) * | 1996-03-18 | 2002-07-08 | シャープ株式会社 | 画像の動き検出装置 |
| JP4573366B2 (ja) * | 1997-09-25 | 2010-11-04 | 株式会社大宇エレクトロニクス | 動きベクトル符号化方法及び符号化装置 |
| JP3473528B2 (ja) * | 1999-12-10 | 2003-12-08 | 日本電気株式会社 | 動き検出装置及び動き検出方法 |
| US6414719B1 (en) * | 2000-05-26 | 2002-07-02 | Sarnoff Corporation | Motion adaptive median filter for interlace to progressive scan conversion |
-
2003
- 2003-07-04 KR KR1020030045390A patent/KR100561461B1/ko not_active IP Right Cessation
-
2004
- 2004-05-13 US US10/844,348 patent/US20050002456A1/en not_active Abandoned
- 2004-07-01 JP JP2004195704A patent/JP2005033788A/ja active Pending
- 2004-07-02 CN CNA2004100621412A patent/CN1578427A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050003874A (ko) | 2005-01-12 |
| JP2005033788A (ja) | 2005-02-03 |
| US20050002456A1 (en) | 2005-01-06 |
| CN1578427A (zh) | 2005-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7936950B2 (en) | Apparatus for creating interpolation frame | |
| JP4162621B2 (ja) | フレームレート変換時のフレーム補間方法およびその装置 | |
| US8340186B2 (en) | Method for interpolating a previous and subsequent image of an input image sequence | |
| KR100492127B1 (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
| US8644387B2 (en) | Motion estimation method | |
| KR100814424B1 (ko) | 폐색영역 검출장치 및 검출방법 | |
| US20060285596A1 (en) | Motion-vector detecting device, motion-vector detecting method, and computer program | |
| EP1585326A1 (en) | Motion vector estimation at image borders for frame rate conversion | |
| US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| KR20030033851A (ko) | 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 | |
| KR101756842B1 (ko) | 영상 프레임의 보간 방법 및 장치 | |
| CN101163247A (zh) | 运动补偿图像的内插方法以及用于所述方法的实现的设备 | |
| KR20050061556A (ko) | 고장시 조치를 갖는 이미지 처리 유닛 | |
| JP2005528708A (ja) | 現動きベクトルを推定するユニット及び方法 | |
| KR100561461B1 (ko) | 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법 | |
| US20100322313A1 (en) | System and method for estimating sum of absolute differences | |
| US8611612B2 (en) | Block matching method | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| KR100756034B1 (ko) | 변이벡터 보정장치 및 변이벡터 보정방법 | |
| EP2106122B1 (en) | Motion estimating device | |
| JP2006186504A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4763241B2 (ja) | 動き予測情報検出装置 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| US10057596B2 (en) | Motion estimation method and apparatus for periodic pattern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |