KR20140046187A - 영상 시스템에서 움직임 추정 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 시스템에서 영상의 움직임을 추정하는 움직임 추정(Motion Estimation, ME) 장치 및 방법에 관한 것이다. 본 발명에 따른 영상 시스템에서 영상의 움직임을 추정하는 방법은, 입력된 영상에서 주기적 특성을 가지는 물체 혹은 영역들이 검출된 결과인 패턴 맵을 이용하여 폐색(occlusion) 영역을 추정하는 과정과, 이전에 수행된 움직임 추정 결과에 따른 움직임 벡터(motion vector)필드에서 상기 추정된 폐색 영역에 해당하는 움직임 벡터를 제거하여 나머지 움직임 벡터들을 제1 후보 움직임 벡터들로 출력하는 과정과, 상기 움직임 벡터 필드로부터 상기 입력된 영상에서 관심영역에 해당하는 움직임 벡터들을 수집하고, 상기 수집된 움직임 벡터들을 대표하는 대표 움직임 벡터를 검출하고, 상기 제1 후보 움직임 벡터들 각각의 값과 상기 대표 움직임 벡터의 값을 비교하는 과정과, 상기 제1 후보 움직임 벡터들에서 상기 대표 움직임 벡터와 제1 임계값 이상의 가중치 값 차이를 가지는 제1 후보 움직임 벡터를 제거한 나머지 제1 후보 움직임 벡터들을 제2 후보 움직임 벡터들로 출력하는 과정과, 상기 제2 후보 움직임 벡터들을 이용하여 움직임 추정 동작을 수행하는 과정을 포함한다.

Description

영상 시스템에서 움직임 추정 장치 및 방법{MOTION ESTIMATION APPARATUS AND METHOD THEREOF IN A VIDEO SYSTEM}

본 발명은 영상 시스템에서 영상의 움직임을 추정하는 움직임 추정(Motion Estimation, ME) 장치 및 방법에 관한 것이다.

영상 시스템에서는 입력되는 각 프레임들간의 ME 동작 수행하여 영상을 압축하거나 프레임 비율(Frame Rate)를 변환한다. 이러한 영상 시스템에서 영상의 시간 축 상의 ME을 위해 가장 널리 사용하는 방법은, 목표 영상을 픽셀(pixel) 혹은 픽셀 블록(pixel block)으로 나눈 뒤, 각 픽셀 혹은 픽셀 블록과 가장 유사한 부분을 시간적으로 전/후 관계에 있는 영상들에서 찾아내어 그 좌표값의 변화를 계산하는 것이다. 이를 도 1의 예를 통해 설명하면, 다음과 같다.

도 1은 종래 영상 시스템에서 ME 방법의 일 예를 보이고 있다.

도 1을 참조하면, 종래 ME 방법은 영상을 격자(grid)로 분할 한 후, 분할 된 각 부분들과 유사한 부분을 시간적으로 전(f_{t -1}), 후(f_{t +1})에 있는 영상들에서 찾는 것이다. 상세하게, 도 1에서 f_t　프레임(frame)에 굵은 선으로 표시된 블록의 시간적인 움직임을 추정하기 위해, 이와 유사한 블록을 f_{t -1} 프레임 및 f_{t +1}　프레임에서 MSE(Mean Square Error) 및 SAD(Sum of Absolute Difference)등과 같은 코스트 함수(cost function)로 이용하여 찾은 후 이들 블록간의 좌표값의 변화를 계산하면 목표 블록의 정량적인 움직임(motion vector, MV)을 획득한다.

그러나 도 1과 같은 종래 ME 방법은 일반적인 자연물로 구성된 영상들의 경우 그 추정의 정확도가 만족할만한 수준이지만, 도 2와 같이 특수한 영상들의 경우 그 추정의 정확도를 신뢰 할 수 없다.

도 2는 주기적 특성(패턴)을 가진 영역을 포함하는 영상의 일 예를 보이고 있다.

도 2와 같이 영상 내에 동일한 모양이 반복되는 영역이 존재할 경우, 해당 영역의 분할된 각 블록들의 모양이 서로 매우 유사하기 때문에 코스트 함수를 사용하여 정확한 매칭 블록(matching block)을 찾아내기 어렵다. 이를 도 3을 통해 설명하면 다음과 같다.

도 3은 도 2의 영상에 대한 종래 ME 방법을 보이고 있다.

도 3을 참조하면, f_t　프레임의 굵은 선으로 표시된 블록이 f_{t -1}　프레임 혹은 f_{t +1}　프레임의 어떤 블록에 해당하는지 단순히 영상의 나뉘어진 블록을 비교하여 매칭 블록을 확인하는 것만으로는 쉽게 찾을 수 없다.

상기 설명한 바와 같이, 종래 ME 방법의 경우 영상에 따라서 ME의 결과가 정확하지 못하기 때문에, 이 중간 결과를 이용하는 순차적인 영상처리 과정에 부정적인 영향을 주게 되고, 결과적으로 전체 영상 처리의 최종 결과에 부정적인 영향을 미친다. 일 예로써 비디오 코덱의 경우 압축된 영상의 크기가 커지거나, 압축 영상의 데이터량을 제한했을 경우 영상의 화질이 열화되며, FRUC(Frame Rate Up Conversion)의 경우도 잘못된 움직임 추정의 결과로 그 결과 영상의 화질이 열화되게 된다.

종래 ME 방법으로 인한 영상의 화질 열화를 방지하기 위해, 주기적인 모양을 가진다고 검출된 영역의 움직임이 없다고 가정하거나(제로 모션 벡터(zero motion vector)를 할당하여 로컬 폴-백(local fall-back)을 시도), 화면의 전체적인 움직임(글로벌 모션 벡터(Global motion vector))으로 주기적인 모양을 가진다고 검출된 영역의 ME 결과를 대체한다. 하지만 이러한 종래 ME 방법들은 ME 결과의 부정확함을 충분히 보상 할 수 없으며, 결과적으로 영상의 화질 열화 혹은 압축 영상의 크기가 커지는 문제를 해결하지 못한다.

본 발명은 영상 시스템에서 ME 장치 및 방법을 제공한다.

또한 본 발명은 영상 시스템에서 주기적인 특성을 가지는 영상이 입력되는 경우 효과적으로 ME를 위한 후보 MV를 선정하며, 이를 이용하여 ME 동작을 수행하는 ME 장치 및 방법을 제공한다.

본 발명에 따른 영상 시스템에서 영상의 움직임을 추정하는 방법은, 입력된 영상에서 주기적 특성을 가지는 물체 혹은 영역들이 검출된 결과인 패턴 맵을 이용하여 폐색(occlusion) 영역을 추정하는 과정과, 이전에 수행된 움직임 추정 결과에 따른 움직임 벡터(motion vector)필드에서 상기 추정된 폐색 영역에 해당하는 움직임 벡터를 제거하여 나머지 움직임 벡터들을 제1 후보 움직임 벡터들로 출력하는 과정과, 상기 움직임 벡터 필드로부터 상기 입력된 영상에서 관심영역에 해당하는 움직임 벡터들을 수집하고, 상기 수집된 움직임 벡터들을 대표하는 대표 움직임 벡터를 검출하고, 상기 제1 후보 움직임 벡터들 각각의 값과 상기 대표 움직임 벡터의 값을 비교하는 과정과, 상기 제1 후보 움직임 벡터들에서 상기 대표 움직임 벡터와 제1 임계값 이상의 가중치 값 차이를 가지는 제1 후보 움직임 벡터를 제거한 나머지 제1 후보 움직임 벡터들을 제2 후보 움직임 벡터들로 출력하는 과정과, 상기 제2 후보 움직임 벡터들을 이용하여 움직임 추정 동작을 수행하는 과정을 포함한다.

또한 본 발명에 따른 영상 시스템에서 영상의 움직임을 추정하는 장치는, 입력된 영상에서 주기적 특성을 가지는 물체 혹은 영역이 검출된 결과인 패턴 맵을 이용하여 폐색(occlusion) 영역을 추정하는 폐색 영역 추정부와, 이전에 수행된 움직임 추정 결과에 따른 움직임 벡터(motion vector) 필드에서 상기 추정된 폐색 영역에 해당하는 움직임 벡터를 제거하여 나머지 움직임 벡터들을 제1 후보 움직임 벡터들로 출력하고, 상기 움직임 벡터 필드로부터 상기 입력된 영상에서 관심 영역에 해당하는 움직임 벡터를 수집하고, 상기 수집된 움직임 벡터들을 대표하는 대표 움직임 벡터를 검출하여, 상기 제1 후보 움직임 벡터들 각각의 값과 상기 대표 움직임 벡터의 값을 비교한 후, 상기 제1 후보 움직임 벡터들에서 상기 대표 움직임 벡터와 제1 임계값 이상의 가중치 값 차이를 가지는 제1 후보 움직임 벡터를 제거한 나머지 제1 후보 움직임 벡터들을 제2 후보 움직임 벡터들로 출력하는 노이즈 제거부와, 상기 제2 후보 움직임 벡터들을 이용하여 움직임 추정 동작을 수행하는 움직임 추정 처리부를 포함한다.

도 1은 종래 영상 시스템에서 ME 방법의 일 예를 나타낸 도면,
도 2는 주기적 패턴을 가진 영역을 포함하는 영상의 일 예를 나타낸 도면,
도 3은 도 2의 영상에 대한 종래 ME 방법을 나타낸 도면,
도 4는 본 발명의 실시 예에 따른 영상 시스템에서 ME 장치를 나타낸 도면,
도 5는 본 발명의 실시 예에 따른 ME 장치에서 폐색영역 추정부(410)의 동작을 나타낸 도면,
도 6은 본 발명의 실시 예에 따른 ME 장치에서 폐색영역 추정부(410)에서 출력되는 가중치 매트릭스를 나타낸 도면,
도 7은 본 발명의 실시 예에 따른 패턴 영역 움직임 통계적 처리기(431)에서 윈도우 영역에 해당하는 MV를 MV 필드로 부터 수집하는 일 예를 나타낸 도면,
도 8은 본 발명의 실시 예에 따른 패턴 영역 움직임 통계적 처리기(431)에서 적용되는 K-mean clustering 방법을 나타낸 도면,
도 9는 본 발명의 실시 예에 따른 영상 시스템에서 ME 방법을 나타낸 도면,
도 10은 종래 ME 방법을 적용한 영상과 본 발명의 실시 예에 따른 ME 방법을 적용한 영상을 비교한 도면.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

본 발명은 입력 영상내의 주기적 특성을 가지는 물체 혹은 영역들이 검출된 결과인 패턴 맵(pattern map)을 이용하여, 입력된 영상에서 효과적으로 폐색영역을 제거하고, 폐색영역이 제거된 MV들을 이용하여 ME를 위한 후보 MV를 선정하고, 선정된 후보 MV를 바탕으로 ME 동작을 수행하는 ME 장치 및 방법을 제안한다. 여기서, 상기 패턴 맵은 입력된 영상에서, 시간, 공간 또는 주파수 영역의 해석에 기반하여 영상 내에서 주기적 특성을 가지는 픽셀 혹은 픽셀 군집들(block)을 검출한 결과를 저장하고 있는 것을 특징으로 한다.

이를 위해 본 발명의 실시 예에 따른 영상 시스템에서 ME 장치 및 방법에 대하여 상세히 설명하기로 한다.

도 4는 본 발명의 실시 예에 따른 영상 시스템에서 ME 장치를 보이고 있다.

도 4를 참조하면, 본 발명의 실시 예에 따른 영상 시스템에서 ME 장치는, 폐색영역 추정부(occlusion estimator)(410), 잡음 MV 제거부(noise MV remover)(430) 및 ME 처리부(450)를 포함하며, 상기 잡음 MV 제거부(430)는 패턴 영역 움직임 통계적 처리기(431), 제1 폐색영역 MV 제거기(433) 및 제2 폐색영역 MV 제거기(435)를 포함한다.

여기서, 상기 잡음 MV 제거부(430)는 이전 추정된 ME에 대한 MV들(이하, MV 필드(field))을 입력받으며, 상기 폐색영역 추정부(410)는 입력 영상에서 주기적인 영역을 검출하는 장치(도시되지 않음)로부터 패턴 맵을 입력받는다.

참고로, 상기 주기적인 영역을 검출하는 장치에서 패턴 맵을 추출하는 방법은, 영상의 밝고 어두운 영역이 얼마나 자주 반복되는지 그리고 밝고 어두운 영역의 차이가 얼마나 큰 차이를 가지고 반복되는지를 측정하는 부호 변화 검출법(Sign change detection method) 및 픽셀 샘플들(pixel samples)를 추출하고 해당 픽셀 샘플들의 주파수 특성을 분석하여 우세한 주파수 성분(peak frequency component)이 존재하는지 조사하는 스펙트럼 분석 검출법(pixel spectrum based detection method) 등이 있다. 그리고 상기 패턴 맵은 영상을 구성하는 영역들(일 예로, 도 1 또는 도 3에서 나타낸 각 격자 영역들의 주기적 특성(periodicity) 및 그 강도(periodicity intensity - 가장 우세한 주파수 성분이 전체 주파수 성분의 합에서 차지하는 비율)을 계산한 결과를 저장하고 있다.

상기 폐색영역 추정부(410)는 입력된 영상에서 주기적 특성을 가지는 물체 혹은 영역들이 검출된 결과인 패턴 맵을 입력받고, 입력된 패턴 맵을 이용하여 영상에 포함된 주기적 특성을 가지는 영역이 다른 특성의 영역(즉, 주기적 특성을 가지지 않는 영역)과 접해있는지의 여부를 판별하여 폐색 영역을 추정한다. 여기서, 상기 폐색 영역은 현재 프레임(f_c)의 일부가 시간 순서로 이전(f_{c -1}) 프레임 혹은 이후(f_{c +1}) 프레임에 존재하지 않는 영역이다. 이러한 폐색 영역은 픽셀 데이터의 직접적인 비교가 불가능하기 때문에 이전에 정확한 ME 결과가 있었다고 할 수 없다. 따라서 현재 ME를 위해 추천하는 후보 MV의 계산에서는 상기 폐색 영역의 신뢰성이 낮은 MV들이 배제되어야 하며, 이를 위한 동작을 상기 폐색영역 추정부(410)에서 수행한다.

상기 폐색영역 추정부(410)에서 수행되는 폐색영역 추정 동작에 대하여 도 5를 참조하여 설명하기로 한다.

도 5는 본 발명의 실시 예에 따른 ME 장치에서 폐색영역 추정부(410)의 동작을 보이고 있다.

도 5를 참조하면, 영상에서 주기적 특성을 가지는 영역(A 영역)과 주기적 특성을 가지지 않는 영역(C 영역)이 인접해 있는 경우, A 영역에서 C 영역으로 진행할수록 주파수 스펙트럼에서 우세한 주파수 성분(도 5의 2번의 주파수 성분)은 점점 감소하게 된다. 이러한 주파수 스펙트럼의 특성에 근거하여 상기 폐색영역 추정부(410)는 패턴 맵에서 타겟 블록(ME를 수행하여 그 움직임을 구하고자 하는 블록)과 인접 블록의 주기적 특성의 강도(periodicity intensity) 차이를 측정하여 차이의 크기가 일정 값보다 크면, 두 블록을 주기적 특성을 가지는 영역과 주기적 특성을 가지지 않은 영역의 경계의 일부라고 판단하여 인접 블록을 폐색영역으로 추정한다.

즉, 도 5의 가장 우측 영상을 살펴보면, 붉은색 혹은 노란색 영역은 주기적 특성(periodicity intensity)이 강한 블록들을 나타내며, 파란색 혹은 녹색 영역은 주기적 특성이 약한 블록들을 나타낸 것이다. 여기서, 폐색영역이 물체의 경계부, 즉 주기적 특성의 강도 차이가 크게 발생하는 부분에서 발생하기 때문에, 도 5의 예에서는 노란색 영역과 파란색 영역들이 추정된 폐색영역이 될 수 있다.

다시 도 4를 참조하면, 상기 잡음 MV 제거부(430)는 입력된 MV 필드에서 상기 폐색영역 추정부(410)에서 추정된 폐색영역에 해당하는 위치의 MV를 제거하여 나머지 MV들을 제1 후보 MV들로 출력한다. 그리고 상기 잡음 MV 제거부(430)는 입력된 MV 필드를 대표하는 대표 MV를 검출하고, 상기 제1 후보 MV들 각각의 가중치 값과 상기 대표 MV의 가중치 값을 비교하여, 상기 제1 후보 MV들 중에서 상기 대표 MV와 미리 정해진 임계값보다 큰 차이를 가지는 제1 후보 MV를 제거하여 나머지 MV들을 제2 후보 MV들로 출력한다.

그리고 상기 ME 처리부(450)는 상기 제2 후보 MV들을 입력받고, 상기 입력된 제2 후보 MV들을 이용하여 ME 동작을 수행한다.

실질적으로, 본 발명의 실시 예에 따른 ME 장치는 입력된 영상을 복수 개의 미리 정해진(N₁ * M₁) 블록 크기를 가지는 윈도우 영역으로 분할하여, 윈도우에 포함되는 각 블록의 가중치(weight)를 결정하며, 상기 결정된 가중치에 따라서 폐색 영역을 추정 및 제거한다. 여기서, 상기 윈도우 영역에 포함되는 각 블록은 하나의 MV를 가지며, 윈도우 영역의 중심에는 움직임을 추적할 목표 블록인 타겟 블록(target block)이 존재한다. 그리고 이하 설명의 편의를 위하여, 상기 윈도우 영역 내에서 상기 타겟 블록을 제외한 나머지 블록들을 후보 블록이라 정의하고, 다른 윈도우 영역 내에서 상기 후보 블록과 인접한 블록을 이웃 블록이라 정의하며, 상기 윈도우 영역은 3 * 3 블록 크기를 가진다고 가정한다.

먼저, 상기 폐색영역 추정부(410)는 입력된 패턴 맵을 이용하여 영상에 포함된 주기적 특성을 가지는 영역이 주기적 특성을 가지지 않는 영역과 접해있는지의 여부를 가중치 매트릭스로 나타내어 폐색영역을 추정할 수 있다. 상세하게, 폐색영역 추정부(410)는 3 * 3 블록 크기를 가지는 윈도우 영역내에서 1 블록씩 이동하며 가중치 값을 결정한다. 이 때, 상기 폐색 영역 추정부(410)는 윈도우 영역에 포함되는 후보 블록이 타겟 블록보다 주기적 특성에 대한 주기성 강도가 낮으면 가중치 초기값에서 1을 감소시키고, 다시 후보 블록의 이웃 블록에 타겟 블록보다 주기성 강도가 낮은 블록이 존재하면 가중치 값에서 1을 감소시킨다. 즉, 윈도우 영역에 포함되는 MV들은 수집된 위치가 폐색 영역인가의 여부에 따라 해당 MV의 가중치 값이 결정되며, 그 이웃에 폐색 영역이라고 추정된 블록들이 더 많이 존재할수록 가중치 값은 더욱 감소한다. 이와 같은 방법으로 결정된 가중치 매트릭스는 도 6과 같이 나타낼 수 있다.

도 6은 본 발명의 실시 예에 따른 ME 장치에서 폐색영역 추정부(410)에서 출력되는 가중치 매트릭스를 보이고 있다.

도 6에서 참조번호 610 영역에 대한 가중치 매트릭스를 살펴보면, 주기적 특성을 가지는 영역에 해당하는 블록의 가중치는 주기적 특성을 가지지 않는 영역에 해당하는 블록의 가중치에 비하여 높은 값을 가짐을 알 수 있다. 그리고 가중치 매트릭스에서 0으로 표시된 블록은 이후 과정에서 사용되지 않는 부분이고, 낮은 가중치 값을 가질수록 이후 과정에서 중요도는 낮아진다.

다시 도 4를 참조하면, 제1 폐색영역 MV 제거기(433)는 MV 필드 및 상기 가중치 매트릭스를 입력받은 후, 상기 입력된 MV 필드에서 상기 가중치 매트릭스에 포함된 가중치 값들 중 미리 정해진 임계값보다 작은 값을 가지는 MV를 제거하여 나머지 MV들을 제1 후보 MV들로 출력한다.

상기 패턴영역 움직임 통계적 처리기(431)는 MV 필드를 입력받은 후, N₂*M₂(일 예로, 8*7) 블록 크기의 윈도우 영역에서 상기 입력된 MV 필드내의 MV들을 수집한다. 그리고 패턴영역 움직임 통계적 처리기(431)은 8*7 블록 크기의 윈도우 영역에 수집된 MV 필드를 대표할 수 있는 대표 MV를 검출한다. 여기서 패턴영역 움직임 통계적 처리기(431)은 도 7과 같은 K-평균 군집화(mean clustering) 방법을 이용하여 대표 MV를 검출할 수 있다.

도 7은 본 발명의 실시 예에 따른 패턴 영역 움직임 통계적 처리기(431)에서 윈도우 영역에 MV 필드를 수집하는 일 예를 보이고 있다.

도 7을 참조하면, 상기 패턴 영역 움직임 통계적 처리기(431)는 입력된 MV 필드에 포함되는 MV들 중 8*7 블록 크기의 윈도우 영역에서 특정 조건(일 예로, 주기적 형상을 가지는 영역으로 검출된 부분들)을 만족하는 영역의 MV(파란색 영역)를 수집할 수 있다.

도 8은 본 발명의 실시 예에 따른 패턴 영역 움직임 통계적 처리기(431)에서 적용되는 K-mean clustering 방법을 보이고 있다. 도 8을 참조하면, 패턴영역 움직임 통계적 처리기(431)는 수집된 MV들을 군집화한 후, 군집화 결과 수적으로 우세한 군집의 대표 MV를 검출하여(예, 군집의 MV들의 평균 값) 제2 폐색영역 MV 제거기(435)로 전달한다.

다시 도 4를 참조하면, 상기 제2 폐색영역 MV 제거기(435)는 상기 패턴 영역 움직임 통계적 처리기(431)로부터 N2 * M2 블록 크기의 윈도우 영역을 대표하는 대표 MV 및 상기 제1 폐색영역 MV 제거기(433)로부터 제1 후보 MV들을 입력받는다. 그리고 상기 제2 폐색영역 MV 제거기(435)는 상기 대표 MV와 제1 후보 MV들 각각을 비교하여, 상기 제1 후보 MV들 중에서 상기 대표 MV와 미리 정해진 임계값보다 큰 차이를 가지는 제1 후보 MV를 제거하여 나머지 MV들을 제2 후보 MV들로 출력한다.

그리고 ME 처리부(450)는 상기 제2 폐색영역 MV 제거기(435)로부터 제2 후보 MV들을 입력받고, 상기 입력된 제2 후보 MV들에서 지정하는 특정 영역들에 대하여 국부탐색(local search) 또는 전역 탐색(full search)를 수행하여 정확한 ME를 추정한다. 이때, ME 처리부(450)는 상기 제2 후보 MV들에서 지정하는 특정 영역들(즉, 주기적 특성을 가지는 영역)에 대하여 그 탐색 범위(search range)를 조정하여 탐색을 수행한다. 그 이유는 지나치게 넓은 탐색 범위 안에는 모양이 유사한 블록들이 다수 포함되게 되고, 모양이 비슷한 블록들이 다수의 왜곡된 블록 매칭 포인트들(block matching points)을 만들어 낼 수 있기 때문이다. 상기 탐색 범위 조정 방법의 일 실시 예로 아래 <수학식 1>을 이용할 수 있다.

상기 <수학식 1>에서 N은 영상에서 주기적 영역을 검출하기 위하여 영상의 정해진 위치마다 사용한 샘플 픽셀(sample pixel)의 개수를 나타내고, X[k]는 샘플 픽셀 x[n]의 주파수 영역 변환 후 푸리에(Fourier) 계수들을 나타내며, S는 푸리에 계수들의 집합을 나타낸다.

도 9는 본 발명의 실시 예에 따른 영상 시스템에서 ME 방법을 보이고 있다.

도 9를 참조하면, 903 단계에서 폐색영역 추정부(410)는 입력 영상에서 주기적 특성을 가지는 물체 혹은 영역들이 검출된 결과인 패턴 맵을 입력받고, 905 단계에서 상기 패턴 맵을 이용하여 영상에 포함된 주기적 특성을 가지는 영역이 주기적 특성을 가지지 않는 영역과 접해있는지의 여부를 판별하여 폐색 영역을 추정한다.

그리고 907 단계에서 잡음 MV 제거부(430)는 이전 ME 결과에 따른 MV 필드를 입력받고, 909 단계에서 입력된 MV 필드에서 상기 추정된 폐색 영역에 해당하는 MV를 제거하여 나머지 MV들을 제1 후보 MV들로 출력한다. 그리고 911 단계에서 잡음 MV 제거부는 상기 입력된 MV 필드를 대표하는 MV를 검출한다. 여기서, 상기 MV를 검출하는 방법으로 K-mean clustering 방법을 이용할 수 있다.

913 단계에서 잡음 MV 제거부(430)는 제1 후보 MV들 각각의 값과 상기 대표 MV의 값을 비교하여, 915 단계에서 상기 제1 후보 MV들 중에서 대표 MV와 임계값보다 큰 차이를 가지는 제1 후보 MV를 제거하여 나머지 MV들을 제2 후보 MV들로 출력한다. 그리고 917 단계에서 ME 처리부(450)는 상기 제2 후보 MV들을 이용하여 ME 동작을 수행한다. 이때, ME 처리부(450)는 조정된 탐색 범위 내에서 ME 동작을 수행할 수 있으며, 상기 조정된 탐색 범위는 상기 <수학식 1>을 이용하여 계산될 수 있다.

상기 설명한 바와 같이, 본 발명은 입력된 영상의 패턴 맵을 이용하여, 입력된 영상에서 폐색 영역을 효과적으로 제거할 수 있다. 그리고 폐색 영역의 위치에 해당하는 MV들이 제거된 후보 MV들 중에서 추가적으로 물체의 국부적인 움직임과 상반된 MV들이 제거된 최종 후보 MV들이 ME 동작 수행 시 이용되므로, 정확한 ME의 결과를 출력할 수 있다.

도 10은 종래 ME 방법을 적용한 영상과 본 발명의 실시 예에 따른 ME 방법을 적용한 영상을 비교한 것이다.

도 10을 참조하면, 종래 ME 방법을 적용한 영상(a)에 비하여 본 발명의 실시 예에 따른 ME 방법을 적용한 영상(b)이 주기적 특성을 가지는 영역에서 정확한 ME의 결과를 출력하여, 그 최종 결과물인 영상 처리 결과에 긍정적인 영향을 주게 됨을 알 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

1. 영상 시스템에서 영상의 움직임을 추정하는 방법에 있어서,
   입력된 영상에서 주기적 특성을 가지는 물체 혹은 영역들이 검출된 결과인 패턴 맵을 이용하여 폐색(occlusion) 영역을 추정하는 과정과,
   이전에 수행된 움직임 추정 결과에 따른 움직임 벡터(motion vector)필드에서 상기 추정된 폐색 영역에 해당하는 움직임 벡터를 제거하여 나머지 움직임 벡터들을 제1 후보 움직임 벡터들로 출력하는 과정과,
   상기 움직임 벡터 필드로부터 상기 입력된 영상에서 관심영역에 해당하는 움직임 벡터들을 수집하고, 상기 수집된 움직임 벡터들을 대표하는 대표 움직임 벡터를 검출하고, 상기 제1 후보 움직임 벡터들 각각의 값과 상기 대표 움직임 벡터의 값을 비교하는 과정과,
   상기 제1 후보 움직임 벡터들에서 상기 대표 움직임 벡터와 제1 임계값 이상의 가중치 값 차이를 가지는 제1 후보 움직임 벡터를 제거한 나머지 제1 후보 움직임 벡터들을 제2 후보 움직임 벡터들로 출력하는 과정과,
   상기 제2 후보 움직임 벡터들을 이용하여 움직임 추정 동작을 수행하는 과정을 포함하는 움직임 추정 방법.
   
2. 제 1 항에 있어서, 상기 패턴 맵은,
   상기 입력된 영상의 시간, 공간 또는 주파수 영역에서의 특성을 분석하여, 상기 입력된 영상에서 주기적으로 반복되는 형상을 가지는 물체 혹은 영역을 검출한 결과임을 특징으로 하는 움직임 추정 방법.
   
3. 제 1 항에 있어서, 상기 폐색 영역을 추정하는 과정은,
   상기 입력된 영상에서 상기 패턴 맵을 이용하여 주기적 특성을 가지는 영역이 주기적 특성을 가지지 않는 영역과 접해있는지의 여부를 판별하는 과정과,
   상기 주기적 특성을 가지는 영역이 상기 주기적 특성을 가지지 않는 영역과 접해있는 경우, 상기 주기적 특성을 가지지 않는 영역에 해당하는 움직임 벡터의 가중치 값을 감소시키는 과정을 포함함을 특징으로 하는 움직임 추정 방법.
   
4. 제 3 항에 있어서, 상기 제1 후보 움직임 벡터들을 출력하는 과정은,
   제2 임계값보다 작은 가중치 값을 갖는 움직임 벡터를 상기 추정된 폐색 영역에 해당하는 움직임 벡터로 확인하는 과정과,
   상기 움직임 벡터 필드에서 상기 확인된 움직임 벡터를 제거하여 나머지 움직임 벡터들을 상기 제1 후보 움직임 벡터들로 출력하는 과정을 포함함을 특징으로 하는 움직임 추정 방법.
   
5. 제 1 항에 있어서, 상기 움직임 추정 동작을 수행하는 과정은,
   탐색 범위를 조정하는 과정과,
   상기 조정된 탐색 범위에서 상기 제2 후보 움직임 벡터들을 이용하여 상기 움직임 추정 동작을 수행하는 과정을 포함함을 특징으로 하는 움직임 추정 방법.
   
6. 영상 시스템에서 영상의 움직임을 추정하는 장치에 있어서,
   입력된 영상에서 주기적 특성을 가지는 물체 혹은 영역이 검출된 결과인 패턴 맵을 이용하여 폐색(occlusion) 영역을 추정하는 폐색 영역 추정부와,
   이전에 수행된 움직임 추정 결과에 따른 움직임 벡터(motion vector) 필드에서 상기 추정된 폐색 영역에 해당하는 움직임 벡터를 제거하여 나머지 움직임 벡터들을 제1 후보 움직임 벡터들로 출력하고, 상기 움직임 벡터 필드로부터 상기 입력된 영상에서 관심 영역에 해당하는 움직임 벡터를 수집하고, 상기 수집된 움직임 벡터들을 대표하는 대표 움직임 벡터를 검출하여, 상기 제1 후보 움직임 벡터들 각각의 값과 상기 대표 움직임 벡터의 값을 비교한 후, 상기 제1 후보 움직임 벡터들에서 상기 대표 움직임 벡터와 제1 임계값 이상의 가중치 값 차이를 가지는 제1 후보 움직임 벡터를 제거한 나머지 제1 후보 움직임 벡터들을 제2 후보 움직임 벡터들로 출력하는 노이즈 제거부와,
   상기 제2 후보 움직임 벡터들을 이용하여 움직임 추정 동작을 수행하는 움직임 추정 처리부를 포함하는 움직임 추정 장치.
   
7. 제 6 항에 있어서, 상기 노이즈 제거부는,
   상기 움직임 벡터 필드와 상기 패턴 맵을 입력받고, 상기 제1 후보 움직임 벡터들을 출력하는 제1 폐색영역 제거기와,
   상기 움직임 벡터 필드를 입력받고, 상기 대표 움직임 벡터를 계산하는 패턴 영역 움직임 통계적 처리기와,
   상기 제2 후보 움직임 벡터들을 출력하는 제2 폐색영역 제거기를 포함함을 특징으로 하는 움직임 추정 장치.
   
8. 제 6 항에 있어서, 상기 패턴 맵은,
   상기 입력된 영상의 시간, 공간 또는 주파수 영역에서의 특성을 분석하여, 상기 입력된 영상 내에서 주기적으로 반복되는 형상을 가지는 물체 혹은 영역을 검출한 결과임을 특징으로 하는 움직임 추정 장치.
   
9. 제 6 항에 있어서, 상기 폐색 영역 추정부는,
   상기 입력된 영상에서 상기 패턴 맵을 이용하여 주기적 특성을 가지는 영역이 주기적 특성을 가지지 않는 영역과 접해있는지의 여부를 판별하고,
   상기 주기적 특성을 가지는 영역이 상기 주기적 특성을 가지지 않는 영역과 접해있는 경우, 상기 주기적 특성을 가지지 않는 영역에 해당하는 움직임 벡터의 가중치 값을 감소시킴을 특징으로 하는 움직임 추정 장치.
   
10. 제 7 항에 있어서, 상기 제1 폐색영역 제거기는,
    제2 임계값보다 작은 가중치 값을 갖는 움직임 벡터를 상기 추정된 폐색 영역에 해당하는 움직임 벡터로 확인하고,
    상기 움직임 벡터 필드에서 상기 확인된 움직임 벡터를 제거하여 나머지 움직임 벡터들을 상기 제1 후보 움직임 벡터들로 출력함을 특징으로 하는 움직임 추정 장치.
    
11. 제 6 항에 있어서, 상기 움직임 추정 처리부는,
    탐색 범위를 조정하고, 상기 조정된 탐색 범위에서 상기 제2 후보 움직임 벡터들을 이용하여 상기 움직임 추정 동작을 수행함을 특징으로 하는 움직임 추정 장치.
    

Images