KR100778116B1 - 움직임벡터 보정장치 및 보정방법 - Google Patents

움직임벡터 보정장치 및 보정방법 Download PDF

Info

Publication number
KR100778116B1
KR100778116B1 KR1020060097170A KR20060097170A KR100778116B1 KR 100778116 B1 KR100778116 B1 KR 100778116B1 KR 1020060097170 A KR1020060097170 A KR 1020060097170A KR 20060097170 A KR20060097170 A KR 20060097170A KR 100778116 B1 KR100778116 B1 KR 100778116B1
Authority
KR
South Korea
Prior art keywords
vector
class
motion vector
template
templates
Prior art date
Application number
KR1020060097170A
Other languages
English (en)
Inventor
성화석
민종술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060097170A priority Critical patent/KR100778116B1/ko
Priority to US11/750,084 priority patent/US20080080742A1/en
Priority to CNA2007101048934A priority patent/CN101159877A/zh
Application granted granted Critical
Publication of KR100778116B1 publication Critical patent/KR100778116B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

움직임벡터 보정장치 및 보정방법이 개시된다. 이 발명의 움직임벡터 보정장치는 복수 개의 템플릿은 두 개의 클래스로 구분되는 복수 개의 블록으로 구성되고, 상기 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성하는 벡터 템플릿 매핑부; 상기 벡터 템플릿 매핑부에 의하여 생성된 상기 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단하는 클래스 신뢰도 판단부; 상기 클래스 신뢰도 판단부의 판단결과 신뢰도가 가장 높은 벡터 템플릿을 선택하는 벡터 템플릿 선택부; 및 상기 벡터 템플릿 선택부에 의하여 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 상기 클래스의 상기 처리대상블록의 움직임벡터를 보정하는 움직임벡터 보정부를 포함한다. 본 발명에 따르면, 복수의 벡터 템플릿 중에서 신뢰도가 가장 높은 벡터 템플릿을 이용하여 도출한 움직임벡터를 처리대상블록의 움직임벡터로 치환하여 부정확한 움직임벡터를 보정함으로써, 보간 영상의 왜곡 발생을 효과적으로 감소시킬 수 있는 움직임벡터 보정장치 및 보정방법이 제공된다.
FRC, 움직임추정, 움직임보상, 움직임벡터, 신뢰도

Description

움직임벡터 보정장치 및 보정방법{Device for correcting motion vector and method thereof}
도 1은 본 발명의 전체적인 구성을 개략적으로 나타낸 도면.
도 2는 전경과 배경이 겹치는 영역이 포함된 움직임벡터의 히스토그램.
도 3은 본 발명의 일실시예에 따라 벡터 템플릿 구성에 이용되는 템플릿을 예시한 도면.
도 4는 본 발명의 일실시예에 따라 벡터 템플릿의 신뢰도 판단을 위한 벡터 템플릿과 그에 따른 벡터 분포를 도시한 도면.
도 5는 본 발명의 일실시예에 따른 움직임벡터 보정과정을 나타낸 흐름도.
*도면 중 주요부분의 설명*
110 : 벡터 템플릿 매핑부 120 : 클래스 신뢰도 판단부
121 : 대표 움직임벡터 계산부 122 : 벡터-클래스 분산도 산출부
130 : 벡터 템플릿 선택부 140 : 움직임벡터 보정부
본 발명은 움직임벡터 보정장치 및 보정방법에 관한 것으로, 더욱 상세하게는 복수의 벡터 템플릿 중에서 신뢰도가 가장 높은 벡터 템플릿을 이용하여 도출한 움직임벡터를 처리대상블록의 움직임벡터로 치환하여 부정확한 움직임벡터를 보정함으로써, 보간 영상의 왜곡 발생을 효과적으로 감소시킬 수 있는 움직임벡터 보정장치 및 보정방법에 관련된다.
일반적으로, FRC(Frame rate conversion)는 움직임추정(Motion Estimation) 및 움직임보상(Motion Compensation) 기법에 의하여 원래의 프레임 사이에 보간 프레임을 생성하여 영상의 일시적인 해상도를 높여줌으로써 모션블러(Motion blur)를 처리하기 위해 이용된다.
FRC는 움직임추정을 위해 일반적으로 블록 매칭 알고리즘(Block Matching Algorithm, BMA)을 이용한다. BMA는 연속입력되는 두 장의 프레임을 블록단위로 비교하여 블록당 하나의 움직임벡터를 추정한다. 이때, 움직임벡터는 주로 두 프레임 간 SAD(Sum of Absolute Difference)값, 즉 픽셀값의 절대차의 합을 이용하여 추정한다.
그러나 프레임 내 존재하는 전경과 배경이 서로 다른 움직임을 갖고 이동하는 폐색(Occlusion)영역에서는 영상정보가 한 프레임에만 존재하게 되어 추정된 움직임벡터가 부정확하다. 또, 반복 패턴 등의 영상에서는 두 프레임 간 SAD값의 변별력이 없어 정확한 움직임 추정이 어려워 추정된 움직임벡터의 정확도가 떨어진 다.
따라서 이러한 움직임벡터들을 이용하여 보간 영상을 생성하게 되면 부정확한 움직임벡터로 말미암아 보간 영상에 왜곡이 발생하게 되어 화면의 화질이 저하되는 문제가 생긴다.
본 발명은 상기한 문제점을 해결하기 위한 것으로, 복수의 벡터 템플릿 중에서 신뢰도가 가장 높은 벡터 템플릿을 이용하여 도출한 움직임벡터를 처리대상블록의 움직임벡터로 치환하여 부정확한 움직임벡터를 보정함으로써, 보간 영상의 왜곡 발생을 효과적으로 감소시킬 수 있는 움직임벡터 보정장치 및 보정방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위하여 본 발명에 따른 움직임벡터 보정장치는 복수 개의 템플릿은 두 개의 클래스로 구분되는 복수 개의 블록으로 구성되고, 상기 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성하는 벡터 템플릿 매핑부; 상기 벡터 템플릿 매핑부에 의하여 생성된 상기 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단하는 클래스 신뢰도 판단부; 상기 클래스 신뢰도 판단부의 판단결과 신뢰도가 가장 높은 벡터 템플릿을 선택하는 벡터 템플릿 선택부; 및 상기 벡터 템플릿 선택부에 의하여 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 상기 클래스의 상기 처리대상블록의 움직임벡터를 보정하는 움직임벡터 보정부를 포함한다.
바람직하게, 상기 두 개의 클래스는 각각 전경 및 배경 클래스이다.
또한 바람직하게, 상기 두 개의 클래스는 복수 개의 템플릿 각각을 수평, 수직 또는 대각 방향으로 분할하여 서로 구분된다.
바람직하게, 상기 클래스 신뢰도 판단부는 상기 각 클래스별로 상기 대표 움직임벡터를 계산하는 대표 움직임벡터 계산부; 및 상기 계산된 대표 움직임벡터를 기초로 상기 클래스내 분산도 및 상기 클래스간 분산도를 계산하는 벡터-클래스 분산도 산출부를 더 포함한다.
또한 바람직하게, 상기 대표 움직임벡터는 각 클래스의 움직임벡터들의 메디안(median)을 취한 값이다.
바람직하게, 상기 신뢰도는 상기 클래스 내 분산도에 반비례하고 상기 클래스간 분산도에 비례한다.
또한 바람직하게, 상기 움직임벡터 보정부는 상기 벡터 템플릿 선택부에 의하여 선택된 벡터 템플릿의 클래스들 중 상기 처리대상블록이 속하는 클래스의 상기 대표 움직임벡터를 상기 처리대상블록의 움직임벡터로 치환한다.
바람직하게, 본 발명에 따른 움직임벡터 보정장치는 상기 복수 개의 템플릿을 생성하는 템플릿 생성부를 더 포함한다.
또한 바람직하게, 상기 복수 개의 템플릿은 서로 상이한 클래스 구분 형태를 갖는다.
또한 본 발명에 따른 움직임벡터 보정방법은 복수 개의 템플릿은 두 개의 클 래스로 구분되는 복수 개의 블록으로 구성되고, 상기 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성하는 단계; 상기 생성된 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단하는 단계; 상기 신뢰도 판단결과 신뢰도가 가장 높은 벡터 템플릿을 선택하는 단계; 및 상기 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 상기 클래스의 상기 처리대상블록의 움직임벡터를 보정하는 단계를 포함한다.
이하, 첨부된 도면들을 참조하여 본 발명을 보다 상세히 설명한다.
도 1은 본 발명에 따른 움직임벡터 보정장치의 구성을 개략적으로 나타낸 도면이다.
본 발명에 따른 움직임벡터 보정장치는 벡터 템플릿 매핑부(110), 클래스 신뢰도 판단부(120), 벡터 템플릿 선택부(130), 움직임벡터 보정부(140)를 구비한다.
벡터 템플릿 매핑부(110)는 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성한다. 복수 개의 템플릿을 이용하여 복수 개의 벡터 템플릿을 생성되며, 복수 개의 템플릿은 두 개의 클래스로 구분되는 복수 개의 블록으로 각각 구성되고 서로 상이한 클래스 구분 형태를 가진다.
이러한 벡터 템플릿은 처리대상블록의 좀 더 정확한 움직임벡터를 도출하기 위해 구성된다. 도 2는 전경과 배경이 겹치는 영역이 도시된 움직임벡터의 히스토그램이다. 점선으로 표시된 영역은 움직임의 판단이 모호한 영역으로 이 영역에서는 추정된 움직임벡터의 정확도가 떨어진다. 이러한 영역은 전경과 배경의 움직임 이 서로 상이한 폐색영역 또는 움직임추정이 어려운 반복패턴 등의 영상영역이다.
따라서 이들 영역의 보다 정확한 움직임벡터의 추정을 위해서는 전경과 배경의 기하학적 위치에 따라 생성가능한 복수 개의 템플릿에 입력영상의 움직임 추정에 의하여 추정된 움직임벡터를 매핑하여 생성된 복수 개의 벡터 템플릿 각각의 신뢰도를 판단함으로써, 이를 좀 더 정확한 움직임벡터의 도출에 이용할 수 있다.
도 3은 복수 개의 벡터 템플릿을 생성하기 위해 처리대상블록마다 패치(fetching)하여 이용할 수 있도록 오프라인 상에서 미리 생성될 수 있는 복수 개의 템플릿을 도시한다. 복수개의 템플릿은 템플릿 생성부(미도시)에서 생성된다. 복수 개의 템플릿 각각은 3×3개의 블록으로 형성될 수 있으며, 수직, 수평 또는 대각 방향으로 두 개의 클래스에 의하여 구분된다. 두 개의 클래스는 전경 클래스(클래스 A), 배경 클래스(클래스 B)이다. 템플릿의 수는 전경 클래스 및 배경 클래스가 분할되는 경우의 수에 따라 도 3에 도시된 수 이상일 수 있다. 중앙의 *표 블럭은 처리대상블록을 나타내며, 빗금친 블록들은 클래스 A, 빗금치지 않은 블록들은 클래스 B를 나타낸다.
각각의 벡터 템플릿은 입력영상의 움직임 추정에 의하여 블록단위로 추정된 움직임벡터를 상기한 각 템플릿의 대응 블록에 매핑함으로써 생성된다. 따라서 클래스 A 또는 B에 속하는 움직임벡터의 조합은 각 벡터 템플릿마다 서로 다르게 구성된다.
클래스 신뢰도 판단부(120)는 상기한 벡터 템플릿 매핑부에 의하여 생성된 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단한다. 또한 클래스 신뢰도 판단 부(120)는 각 클래스별로 대표 움직임벡터를 계산하는 대표 움직임벡터 계산부(121) 및 계산된 대표 움직임벡터를 기초로 상기 클래스 내 분산도 및 상기 클래스 간 분산도를 계산하는 벡터-클래스 분산도 산출부(122)를 더 포함한다.
도 4a는 움직임벡터가 매핑된 벡터 템플릿의 일예를 도시한 것이며, 도 4a의 밝은 빗금친 블록들은 클래스 A이며 빗금치지 않은 블록들은 클래스 B이고, V4는 처리대상블록의 움직임벡터이며, V0~V3, V5~V8은 주변블록의 움직임벡터이다. 도 4a와 같이 구성된 벡터 템플릿의 신뢰도를 판단하기 위하여 먼저 대표 움직임벡터 계산부(121)는 각 클래스별로 대표 움직임벡터를 다음과 같은 식에 의하여 계산한다:
VA = median{V0, V1, V2, V3, V4, V6}
VB = median{V5, V7, V8}
수식 1에서와 같이 각 클래스에 속하는 움직임벡터의 중간값(median)을 취하여 대표 움직임벡터를 계산한다. 이때, 각 클래스별 대표 움직임벡터를 평균값이 아닌 중간값으로 정의하는 이유는 각 클래스에 의해 구분된 움직임벡터의 평균값에 의하여 추정된 움직임벡터의 방향과 크기가 변형되는 것을 방지하기 위한 것이다.
상기와 같이 계산된 대표 움직임벡터를 기초로 벡터-클래스 분산도 산출부(122)는 클래스 내 분산도(Sw) 및 클래스 간 분산도(Sb)를 다음과 같은 수식에 의하여 계산한다.
Figure 112006072205882-pat00001
Figure 112006072205882-pat00002
여기서, 클래스 내 분산도(Sw)는 클래스 A 내 분산도(SwA)와 클래스 B 내 분산도(SwB)의 합으로 정의되며, 각 클래스 내 분산도는 대표 움직임벡터 계산부(121)에 의하여 계산된 대표 움직임벡터와 각 클래스 내에 포함되어 있는 움직임벡터들 간 거리의 합으로 정의된다.
또한 클래스 간 분산도(Sb)는 클래스 A와 클래스 B의 평균간 떨어진 거리를 나타내므로, 두 클래스의 대표 움직임벡터간의 거리차와 거의 동일하다. 여기서, SbA는 클래스 A의 대표 움직임벡터(VA)로부터 대표 움직임벡터간 평균값인 VM까지의 거리이며, SbB는 클래스 B의 대표 움직임벡터(VB)로부터 대표 움직임벡터간 평균값인 VM까지의 거리이다.
도 4b는 도 4a의 벡터 템플릿을 기초로 상기한 바와 같이 계산한 벡터 분포를 도시한 것이다. 도시된 바와 같이 빗금친 부분 점선 타원은 클래스 A에 해당하며, 다른 점선 타원은 클래스 B에 해당한다. 두 클래스는 어느 정도 떨어져 있는데, Sb값과 Sw값이 클래스 간 독립성에 영향을 미침을 알 수 있다.
클래스 신뢰도 판단부(120)는 상기한 바와 같이 벡터-클래스 분산도 산출 부(122)에 의하여 산출된 분산도 Sw 및 Sb를 기초로 다음과 같은 수식을 이용하여 클래스 구분의 신뢰도를 판단한다:
Figure 112006072205882-pat00003
수식 3에서 보는 바와 같이, 클래스 구분의 신뢰도는 클래스 내 분산도 Sw에 반비례하고 클래스 간 분산도 Sb에 비례하는 것을 알 수 있다. 즉, Sw가 클수록 두 클래스를 형성하는 움직임벡터들간 일관성이 떨어지고 Sb가 작을수록 두 클래스의 대표 움직임벡터가 유사하므로 전경 및 배경의 판단이 모호해진다.
그러므로, Sw가 작고 Sb가 클수록 두 클래스 간 겹침 영역이 적고 독립성이 커지며, 클래스 구분의 신뢰도가 증가한다.
벡터 템플릿 선택부(130)는 상기한 바와 같이 클래스 신뢰도 판단부(120)의 판단결과 신뢰도가 가장 높은 벡터 템플릿을 처리대상블록의 움직임벡터를 보정하기 위해 선택한다.
움직임벡터 보정부(140)는 벡터 템플릿 선택부(130)에 의하여 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 처리대상블록의 움직임벡터를 보정한다. 즉, 움직임벡터 보정부(140)는 벡터 템플릿 선택부(130)에 의하여 선택된 벡터 템플릿의 클래스들 중 처리대상블록이 속하는 클래스의 대표 움직임벡터를 처리대상블록의 움직임벡터로 치환함으로써 처리대상블록의 움직임벡터를 보정한 다. 예컨대, 도 4의 (a)와 같은 벡터 템플릿이 신뢰도가 가장 높은 벡터 템플릿으로 선택되었다면, 처리대상블록(V4)은 전경 클래스 A에 속하므로, 전경 클래스 A의 대표 움직임벡터 VA를 처리대상블록(V4)의 움직임벡터로 치환한다.
도 5는 본 발명에 따른 움직임벡터 보정과정을 도시한 흐름도이다.
먼저, 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성한다(S510). 여기서, 복수개의 템플릿은 두 개의 클래스로 구분되는 복수 개의 블록으로 각각 구성되고 서로 상이한 클래스 구분 형태를 가지며, 복수 개의 벡터 템플릿 각각은 복수 개의 템플릿 각각의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 생성된다. 다음으로 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단하며(S520), 신뢰도 판단결과 신뢰도가 가장 높은 벡터 템플릿을 선택한다(S530). 그리고 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 처리대상블록의 움직임벡터를 보정한다(S540).
클래스 구분의 신뢰도를 판단하는 단계(S520)는 각 클래스별로 대표 움직임벡터를 계산하는 단계와 상기 계산된 대표 움직임벡터를 기초로 상기 클래스 내 분산도 및 상기 클래스 간 분산도를 계산하는 단계를 더 포함한다.
또한 신뢰도는 상기 클래스 내 분산도에 반비례하고 상기 클래스 간 분산도에 비례한다.
본 발명에 따르면, 복수의 벡터 템플릿 중에서 신뢰도가 가장 높은 벡터 템플릿을 이용하여 도출한 움직임벡터를 처리대상블록의 움직임벡터로 치환하여 부정확한 움직임벡터를 보정함으로써, 보간 영상의 왜곡 발생을 효과적으로 감소시킬 수 있는 움직임벡터 보정장치 및 보정방법이 제공된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능함은 물론이고, 그와 같은 수정 또는 변형은 첨부하는 청구항의 기재범위 내에 있는 것이다.

Claims (16)

  1. 복수 개의 템플릿은 두 개의 클래스로 구분되는 복수 개의 블록으로 구성되고, 상기 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성하는 벡터 템플릿 매핑부;
    상기 벡터 템플릿 매핑부에 의하여 생성된 상기 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단하는 클래스 신뢰도 판단부;
    상기 클래스 신뢰도 판단부의 판단결과 신뢰도가 가장 높은 벡터 템플릿을 선택하는 벡터 템플릿 선택부; 및
    상기 벡터 템플릿 선택부에 의하여 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 상기 클래스의 상기 처리대상블록의 움직임벡터를 보정하는 움직임벡터 보정부를 포함하는 움직임벡터 보정장치.
  2. 청구항 1에 있어서, 상기 두 개의 클래스는 각각 전경 및 배경 클래스인 움직임벡터 보정장치.
  3. 청구항 2에 있어서, 상기 두 개의 클래스는 복수 개의 템플릿 각각을 수평, 수직 또는 대각 방향으로 분할하여 서로 구분되는 움직임벡터 보정장치.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서, 상기 클래스 신뢰도 판단부는
    상기 각 클래스별로 상기 대표 움직임벡터를 계산하는 대표 움직임벡터 계산부; 및
    상기 계산된 대표 움직임벡터를 기초로 상기 클래스내 분산도 및 상기 클래스간 분산도를 계산하는 벡터-클래스 분산도 산출부를 더 포함하는 움직임벡터 보정장치.
  5. 청구항 4에 있어서, 상기 대표 움직임벡터는 각 클래스의 움직임벡터들의 메디안(median)을 취한 값인 움직임벡터 보정장치.
  6. 청구항 4에 있어서, 상기 신뢰도는 상기 클래스 내 분산도에 반비례하고 상기 클래스간 분산도에 비례하는 움직임벡터 보정장치.
  7. 청구항 6에 있어서, 상기 움직임벡터 보정부는 상기 벡터 템플릿 선택부에 의하여 선택된 벡터 템플릿의 클래스들 중 상기 처리대상블록이 속하는 클래스의 상기 대표 움직임벡터를 상기 처리대상블록의 움직임벡터로 치환하는 움직임벡터 보정장치.
  8. 청구항 1에 있어서, 상기 복수 개의 템플릿을 생성하는 템플릿 생성부를 더 포함하는 움직임벡터 보정장치.
  9. 청구항 1에 있어서, 상기 복수 개의 템플릿은 서로 상이한 클래스 구분 형태를 갖는 움직임벡터 보정장치.
  10. 복수 개의 템플릿은 두 개의 클래스로 구분되는 복수 개의 블록으로 구성되고, 상기 복수 개의 템플릿의 각 블록에 처리대상블록과 주변블록의 움직임벡터들을 매핑하여 복수 개의 벡터 템플릿을 생성하는 단계;
    상기 생성된 각 벡터 템플릿의 클래스 구분의 신뢰도를 판단하는 단계;
    상기 신뢰도 판단결과 신뢰도가 가장 높은 벡터 템플릿을 선택하는 단계; 및
    상기 선택된 벡터 템플릿의 한 클래스의 대표 움직임벡터를 이용하여 상기 클래스의 상기 처리대상블록의 움직임벡터를 보정하는 단계를 포함하는 움직임벡터 보정방법.
  11. 청구항 10에 있어서, 상기 두 개의 클래스는 전경 및 배경 클래스인 움직임벡터 보정방법.
  12. 청구항 11에 있어서, 상기 두 개의 클래스는 복수 개의 템플릿 각각을 수평, 수직 또는 대각 방향으로 분할하여 서로 구분되는 움직임벡터 보정방법.
  13. 청구항 10 내지 12 중 어느 한 항에 있어서, 상기 신뢰도를 판단하는 단계는
    상기 각 클래스별로 상기 대표 움직임벡터를 계산하는 단계; 및
    상기 계산된 대표 움직임벡터를 기초로 상기 클래스 내 분산도 및 상기 클래스 간 분산도를 계산하는 단계를 더 포함하는 움직임벡터 보정방법.
  14. 청구항 13에 있어서, 상기 대표 움직임벡터는 각 클래스의 움직임벡터들의 메디안(median)을 취한 값인 움직임벡터 보정방법.
  15. 청구항 13에 있어서, 상기 신뢰도는 상기 클래스 내 분산도에 반비례하고 상기 클래스 간 분산도에 비례하는 움직임벡터 보정방법.
  16. 청구항 15에 있어서, 상기 움직임벡터를 보정하는 단계는 상기 선택된 벡터 템플릿의 클래스들 중 상기 처리대상블록이 속하는 클래스의 상기 대표 움직임벡터를 상기 처리대상블록의 움직임벡터로 치환하는 움직임벡터 보정방법.
KR1020060097170A 2006-10-02 2006-10-02 움직임벡터 보정장치 및 보정방법 KR100778116B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060097170A KR100778116B1 (ko) 2006-10-02 2006-10-02 움직임벡터 보정장치 및 보정방법
US11/750,084 US20080080742A1 (en) 2006-10-02 2007-05-17 Apparatus for correcting motion vectors and method thereof
CNA2007101048934A CN101159877A (zh) 2006-10-02 2007-05-24 用于纠正运动矢量的设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060097170A KR100778116B1 (ko) 2006-10-02 2006-10-02 움직임벡터 보정장치 및 보정방법

Publications (1)

Publication Number Publication Date
KR100778116B1 true KR100778116B1 (ko) 2007-11-21

Family

ID=39080341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060097170A KR100778116B1 (ko) 2006-10-02 2006-10-02 움직임벡터 보정장치 및 보정방법

Country Status (3)

Country Link
US (1) US20080080742A1 (ko)
KR (1) KR100778116B1 (ko)
CN (1) CN101159877A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
TWI410123B (zh) * 2008-12-31 2013-09-21 Innolux Corp 影像顯示模組、影像顯示裝置及其動態影像顯示方法
FR2969352B1 (fr) * 2010-12-20 2012-12-14 St Ericsson Sa Procede de realisation d'une image panoramique et appareil de mise en oeuvre.
CN110677624B (zh) * 2019-10-21 2020-09-18 浙江大学 基于深度学习的面向监控视频的前景和背景并行压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910021119A (ko) * 1990-05-21 1991-12-20 다니이 아끼오 화상의 움직임벡터검출장치 및 흔들림 보정장치
KR20020087084A (ko) * 2001-01-16 2002-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 보상된 보간에서 헤일로같은 효과를 감소시키는 방법
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0412771U (ko) * 1990-05-19 1992-01-31
US5437278A (en) * 1992-01-10 1995-08-01 Wilk; Peter J. Medical diagnosis system and method
US5777665A (en) * 1995-09-20 1998-07-07 Videotronic Systems Image blocking teleconferencing eye contact terminal
US6205716B1 (en) * 1995-12-04 2001-03-27 Diane P. Peltz Modular video conference enclosure
JP3688377B2 (ja) * 1996-01-31 2005-08-24 富士通株式会社 画像特徴追跡装置及び画像特徴追跡方法
US5639151A (en) * 1996-02-16 1997-06-17 Mcnelley; Steve H. Pass-through reflective projection display
EP0941614A4 (en) * 1996-11-27 2004-10-13 Princeton Video Image Inc MOTION IMAGE LOCATION SYSTEM USING IMAGE TEXTURE MODELS
US6212237B1 (en) * 1997-06-17 2001-04-03 Nippon Telegraph And Telephone Corporation Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program
KR100325253B1 (ko) * 1998-05-19 2002-03-04 미야즈 준이치롯 움직임벡터 검색방법 및 장치
US6319199B1 (en) * 1998-10-26 2001-11-20 David M. Sheehan Portable data collection device
JP4227248B2 (ja) * 1999-05-20 2009-02-18 三菱電機株式会社 高周波電力増幅器
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
US7042486B2 (en) * 1999-11-30 2006-05-09 Eastman Kodak Company Image capture and display device
US7156809B2 (en) * 1999-12-17 2007-01-02 Q-Tec Systems Llc Method and apparatus for health and disease management combining patient data monitoring with wireless internet connectivity
US6575904B2 (en) * 2000-05-09 2003-06-10 Matsushita Electric Industrial Co., Ltd. Biodata interfacing system
US6968294B2 (en) * 2001-03-15 2005-11-22 Koninklijke Philips Electronics N.V. Automatic system for monitoring person requiring care and his/her caretaker
US6611206B2 (en) * 2001-03-15 2003-08-26 Koninklijke Philips Electronics N.V. Automatic system for monitoring independent person requiring occasional assistance
US6539281B2 (en) * 2001-04-23 2003-03-25 Accenture Global Services Gmbh Online medicine cabinet
CA2399838A1 (en) * 2001-08-24 2003-02-24 March Networks Corporation Wireless vital sign monitoring apparatus
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
GB0129390D0 (en) * 2001-12-07 2002-01-30 Clark Terrence D Electrodynamic sensors and applications thereof
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US20060149140A1 (en) * 2005-01-06 2006-07-06 Paulla Eldridge Automated system for patient diagnosis and crisis management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910021119A (ko) * 1990-05-21 1991-12-20 다니이 아끼오 화상의 움직임벡터검출장치 및 흔들림 보정장치
KR20020087084A (ko) * 2001-01-16 2002-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 보상된 보간에서 헤일로같은 효과를 감소시키는 방법
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법

Also Published As

Publication number Publication date
CN101159877A (zh) 2008-04-09
US20080080742A1 (en) 2008-04-03

Similar Documents

Publication Publication Date Title
JP5645636B2 (ja) フレーム補間装置及び方法
KR100676704B1 (ko) 움직임 추정장치 및 그 추정방법
US8340186B2 (en) Method for interpolating a previous and subsequent image of an input image sequence
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
GB2476143A (en) Frame rate conversion using bi-directional, local and global motion estimation
KR20030033851A (ko) 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
CN109328454B (zh) 图像处理装置
KR20070063304A (ko) 움직임 추정장치 및 움직임 추정방법
JP5363656B2 (ja) ビデオ画像のブラーを計算する方法及び装置
US20110206127A1 (en) Method and Apparatus of Frame Interpolation
KR100778116B1 (ko) 움직임벡터 보정장치 및 보정방법
JP7161107B2 (ja) 生成装置及びコンピュータプログラム
CN111556244B (zh) 视频风格迁移方法和装置
KR101050135B1 (ko) 광류 정보를 이용한 중간 영상 생성 방법
JP2019205073A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
JP5737072B2 (ja) 動き補償フレーム生成装置及び方法
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP6708131B2 (ja) 映像処理装置、映像処理方法及びプログラム
KR100662577B1 (ko) 움직임 추정장치 및 움직임 추정방법
JP5887763B2 (ja) 動き補償フレーム生成装置及び方法
US9602763B1 (en) Frame interpolation using pixel adaptive blending
JP2012118923A (ja) 領域分割装置及び領域分割方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee