KR20110101620A - 피사체 영역 및 움직임 검출 장치 및 방법 - Google Patents

Abstract

피사체 영역 및 움직임 검출 방법에 있어서, 입력되는 하나 이상의 정지영상 중 첫 정지영상으로부터 고유한 특성을 가지는 하나 이상의 후보특징패턴을 추출하는 과정과, 상기 추출된 하나 이상의 후보특징패턴 중 기 설정된 수의 최종후보특징패턴을 추출하는 과정과, 상기 첫 정지영상 다음으로 입력되는 정지영상에서의 움직임 정보를 추적하기 위하여 상기 추출된 하나 이상의 최종후보특징패턴 각각의 움직임 정보를 추적하고, 상기 추적된 각각의 움직임 정보를 누적하는 과정과, 상기 누적된 각각의 움직임 정보를 이용하여 상기 입력되는 하나 이상의 정지영상 내에서 움직임이 있는 피사체의 영역을 분리하는 과정을 포함함을 특징으로 한다.

Description

피사체 영역 및 움직임 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING SUBJECT AREA AND MOVEMENT}

본 발명은 디지털 카메라를 탑재한 이동단말기에서 움직임 검출에 관한 것으로, 특히, 이동단말기의 디지털 카메라를 통하여 입력되는 영상 중 움직임이 있는 피사체를 검출하는 장치 및 방법에 관한 것이다.

현재 시판되고 있는 대부분의 일반 디지털 카메라 또는 디지털 카메라를 탑재한 이동단말기는 정지영상과 동영상을 함께 촬영할 수 있는 기능을 구비하고 있다. 이러한 기능을 구비한 이동단말기는 보다 고화질의 영상을 쉽게 촬영하기를 원하는 소비자의 욕구를 반영하기 위하여 그 성능이 급속히 향상되고 있고, 이러한 노력으로 인하여 빛의 양에 따라서 자동으로 노출이 조정되는 자동노출 기능과 영상의 초점을 자동으로 잡아주는 자동초점조절 기능은 디지털 카메라를 탑재한 이동단말기에서는 기본적인 기능으로 자리잡아 가고 있다.

기존의 자동노출 기능은 지정된 다수의 지점에서 밝기를 측정하고 측정된 하나 이상의 밝기를 결합하여 전체적인 노출을 결정한다. 기존의 자동초점조절 기능의 경우에는 지정된 소수의 지점의 선명도를 결합하여 촬영하고자 하는 정지 영상의 전체 선명도를 결정하게 된다. 하지만, 상기와 같은 방식을 사용하는 자동노출 및 자동초점조절 기능의 경우에는 다음과 같은 문제점이 발생되고 있다. 기존의 자동노출 기능의 경우에는 피사체가 아닌 배경을 기준으로 노출이 결정되는 경우가 빈번하게 발생하고, 피사체가 움직이는 경우에는 그 움직임으로 인하여 영상의 퍼짐(Motion Blur) 현상이 발생한다. 기존의 자동초점조절 기능의 경우에는 지정된 소수의 지점의 선명도를 결합하여 촬영하고자 하는 영상의 전체 선명도를 결정하기 때문에 초점이 관심의 대상이 아닌 배경에 맞추어지는 경우가 빈번하게 발생한다. 또한 움직이는 피사체의 동영상을 촬영하는 경우에는 피사체의 초점이 흐려지는 경우가 발생한다.

전술한 기존 기능의 문제를 해결하기 위하여 손떨림 방지 기능이 사용되고 있고, 손떨림 방지 기능은 피사체의 대표적인 움직임 검출 기능, 관심 피사체의 움직임 검출 기능을 포함한다.

손떨림 방지 기능은 대부분의 디지털 카메라에 하드웨어적으로 구현될 수 있다. 하지만 이동단말기에 탑재된 디지털 카메라에는 그 크기와 공간 및 비용문제 등으로 손떨림 방지 기능의 구현이 어렵다. 또한 손떨림 방지기능이 탑재되어 있는 일반적인 디지털 카메라인 경우에도 움직이는 피사체의 흐려짐은 막기 힘들다.

움직임으로 인하여 영상의 번짐 현상을 억제하기 위한 해결 수단으로, 피사체의 대표적인 움직임 검출 기능이 사용된다. 상기 기능은 입력되는 현재 영상과 이전 영상을 비교하여 전체적인 움직임을 추출하고 이를 바탕으로 셔터 속도와 센서 감도를 자동으로 조절하는 기능이다. 하지만, 이러한 피사체의 대표적인 움직임 검출 기능은 영상 내의 피사체를 구분하지 않고, 두 영상 사이에 존재하는 대표적인 움직임만을 대상으로 하고 있고, 이러한 움직임 검출 방법은 손떨림 방지 기능을 통하여 획득되므로, 이동단말기에 탑재된 디지털 카메라에서는 구현이 어렵다.

다음으로 관심 피사체의 움직임 검출 기능은 특정 피사체를 중심으로 노출과 초점을 자동으로 조절하여 피사체의 움직임을 검출하는 기능을 의미한다. 현재 상용화되고 있는 방법으로는 얼굴검출 및 추적방법이 있다. 이는 얼굴의 색과 얼굴특징들의 상대적인 위치정보 등을 이용하여 얼굴의 변화를 우선으로 자동초점조절을 수행한다. 하지만 이러한 얼굴검출 및 추적방법을 이용한 자동초점조절 방법은 피사체가 사람이어야 하는 한계가 있다. 또한 피사체의 속도가 빨라 프레임간 이동이 큰 경우에는 두 장의 영상만으로는 피사체를 분리하는데 어려움이 있다.

따라서 사람으로 한정되지 않은 임의의 이동 피사체를 자동으로 분리하고 관심 피사체에 따라서 촬영 인자와 초점을 조절하는 방법이 요구되고 있다.

본 발명은 디지털 카메라를 탑재한 이동단말기에서 실시간으로 불규칙한 움직임 특성을 가지는 피사체의 특징영역을 분리하고 피사체의 움직임 벡터를 계산하여, 피사체의 움직임으로 인한 영상 번짐이 최소화된 정지영상을 생성하고, 피사체를 중심으로 초점과 노출이 조절된 동영상을 생성하기 위한 장치 및 방법을 제공하고자 한다. 또한 본 발명은 크기 및 기능이 제한된 이동단말기의 디지털 카메라를 이용하여 효과적으로 관심 피사체를 분리하는 방법을 제공하고자 한다.

본 발명의 일 견지에 따르면, 피사체 영역 및 움직임 검출 장치에 있어서, 입력되는 하나 이상의 정지영상 중 첫 정지영상으로부터 고유한 특성을 가지는 하나 이상의 후보특징패턴을 추출하고, 상기 추출된 하나 이상의 후보특징패턴 중 기 설정된 수의 최종후보특징패턴을 추출하는 특징패턴 초기화부와, 상기 첫 정지영상 다음으로 입력되는 정지영상에서의 움직임 정보를 추적하기 위하여 상기 추출된 하나 이상의 최종후보특징패턴 각각의 움직임 정보를 추적하고, 상기 추적된 각각의 움직임 정보를 누적하는 특징패턴 추적부와, 상기 누적된 각각의 움직임 정보를 이용하여 상기 입력되는 하나 이상의 정지영상 내에서 움직임이 있는 피사체의 영역을 분리하는 이동피사체 분리부를 포함함을 특징으로 한다.

본 발명의 다른 견지에 따르면, 피사체 영역 및 움직임 검출 방법에 있어서, 입력되는 하나 이상의 정지영상 중 첫 정지영상으로부터 고유한 특성을 가지는 하나 이상의 후보특징패턴을 추출하는 과정과, 상기 추출된 하나 이상의 후보특징패턴 중 기 설정된 수의 최종후보특징패턴을 추출하는 과정과, 상기 첫 정지영상 다음으로 입력되는 정지영상에서의 움직임 정보를 추적하기 위하여 상기 추출된 하나 이상의 최종후보특징패턴 각각의 움직임 정보를 추적하고, 상기 추적된 각각의 움직임 정보를 누적하는 과정과, 상기 누적된 각각의 움직임 정보를 이용하여 상기 입력되는 하나 이상의 정지영상 내에서 움직임이 있는 피사체의 영역을 분리하는 과정을 포함함을 특징으로 한다.

본 발명은 피사체가 움직이는 상황에서 대표적인 피사체 영역을 분리하고 피사체의 움직임 정보를 실시간으로 산출함으로써, 피사체의 움직임으로 인한 영상의 퍼짐 현상을 최소화하고, 피사체에 맞추어 초점과 노출을 자동으로 조절함으로 인하여 보다 양질의 정지영상 또는 동영상을 생성할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 움직임 검출 장치의 내부 구성도
도 2는 본 발명의 일 실시 예에 따른 전수검색 및 차선검색 수행 과정을 나타낸 예시도
도 3은 본 발명의 일 실시 예에 따른 GM을 구할 때 사용되는 현 화소 및 인접 화소들을 도시한 도면
도 4는 본 발명의 일 실시 예에 따른 후보특징패턴 선정 과정을 나타낸 도면
도 5는 본 발명의 일 실시 예에 따른 후보검색과정을 나타낸 흐름도
도 6은 본 발명의 일 실시 예에 따른 최종특징패턴 생성을 나타낸 도면
도 7은 본 발명의 일 실시 예에 따른 피사체를 분리하는 과정을 나타낸 흐름도
도 8은 본 발명의 일 실시 예에 따른 최종특징패턴의 평균이동방향을 결정하는 과정을 나타낸 예시도

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 반 셔터 기능을 구비하고 이미지 센서를 이용한 디지털 카메라에 관한 것으로, 기계적인 수단을 이용하지 않고 뚜렷한 움직임이 있는 주요 피사체를 검출하여 분리하고 정확한 움직임 파라미터를 계산하여 제공함으로써 피사체의 움직임으로 인한 영상의 번짐이 최소화된 정지영상을 생성하고, 관심 피사체를 중심으로 초점과 노출을 자동으로 조절할 수 있게 하는 방법에 관한 발명이다.

도 1은 본 발명의 일 실시 예에 따른 움직임 검출 장치의 내부 구성도이다. 도 1의 움직임 검출 장치는 렌즈부나 이미지 센서와 같은 기본 구성요소(도 1에 도시하지 않음.) 이외에 특징패턴 초기화부(110), 특징패턴 추적부(120), 이동피사체 분리부(130)를 포함한다.

도 1을 참조하면, 특징패턴 초기화부(110)는 반 셔터 상태에서 디지털 카메라의 렌즈부를 통하여 연속적으로 입력되는 정지영상을 수신하여 하나 이상의 정지영상 전체에 고르게 분포되면서도 고유한 특징을 가지는 하나 이상의 특징패턴을 추출하는 역할을 한다. 특징패턴 초기화부(110)의 기능에 대해 자세히 살펴보면 다음과 같다.

먼저 특징패턴 초기화부(110)는 첫 정지영상이 수신되면 첫 정지영상에서의 관심영역을 중복되지 않는 영상블록들로 분할하는 관심구간 블록화 모듈(111), 분할된 각 블록별로 차선검색(Sub_Optimal Search)을 이용하여 각 블록별로 후보특징패턴을 생성하는 블록특징 검출 모듈(112), 생성된 하나 이상의 후보특징패턴 중에서 변별력이 높은 것을 선정하여 기 설정된 수 이상의 최종특징패턴을 선별하는 특징 선별 모듈(113)로 구성된다. 각 구성요소를 자세히 살펴보면 하기와 같다.

관심구간 블록화 모듈(111)은 첫 정지영상의 중앙을 기준으로 관심영역(Region Of Interest : ROI)을 설정하고 이를 중복되지 않는 하나 이상의 블록으로 분할하는 역할을 한다. 여기서 관심영역의 크기와 블록의 수는 입력 인자에 의해서 결정된다.

블록특징 검출 모듈(112)은 각 블록을 대표하는 후보특징패턴을 검출하는 역할을 한다. 최적의 후보특징패턴은 현재 수신되는 정지영상 다음으로 수신되는 정지영상에서 주변영역과 뚜렷이 구별되어 정확한 위치가 결정될 수 있는 위치여야 한다. 각 블록별로 대표 후보특징패턴을 검출하기 위하여 전수검색(Exhaustive Search)을 사용할 수 있다. 전수검색은 블록 내에 있는 모든 화소를 검색하므로, 블록 내에서 가장 변별력이 높은 후보특징패턴을 찾을 수 있는 최적의 검색 방법이다. 하지만 블록 전체를 검색해야 하기 때문에 계산량이 많이 요구된다. 따라서 제한된 하드웨어 자원을 가지는 이동단말기의 디지털 카메라에서는 실시간 구현이 어렵다. 또한 블록 전체를 검색할 경우 가장 변별력이 있는 후보특징패턴을 찾을 수 있지만 이렇게 찾은 최적의 후보특징패턴이 블록의 경계면에 존재하는 경우에는 이웃한 블록의 특징패턴과 인접할 수 있으므로 전체적인 변별력을 떨어뜨릴 수 있게 된다. 블록특징 검출 모듈(112)에서는 이러한 점을 고려하여 차선검색 방법을 이용하여 특징패턴을 검출한다. 전수검색 및 차선검색에 관하여 하기의 도 2를 참조하여 자세히 알아보기로 한다.

도 2는 본 발명의 일 실시 예에 따른 전수검색 및 차선검색 수행 과정을 나타낸 예시도이다. 도 2에 도시된 바와 같이. 반 셔터 상태에서 수신된 첫 정지영상(201)을 중앙을 중심으로 관심영역(203)을 설정하고, 미리 정해진 개수의 블록으로 겹치는 부분 없이 분할한다. 이렇게 분할된 블록별로 전수검색 또는 차선검색을 수행할 수 있다. 전수검색의 경우에는 하나의 블록을 구성하는 전체의 모든 화소에 대하여 특징패턴을 검출한다. 이에 반하여 차선검색의 경우에는 도시된 바와 같이 블록의 중심을 시작점으로 하여 GM(Gradient Magnitude)을 계산하고, 계산된 위치를 중심으로 주변 3×3화소에 해당하는 위치의 GM을 모두 계산한다. 이 중 가장 블록의 중심에 해당하는 GM보다 더 큰 GM이 존재한다면, 더 큰 GM에 해당하는 화소의 위치로 이동하고, 이동한 위치를 중심으로 다시 주변 3×3화소 중 가장 큰 GM이 있는 위치로 이동하는 방식으로 후보특징패턴을 검출한다. 차선검색에 이용되는 GM을 구하는 방법은 하기의 수학식으로 표현될 수 있다.

상기 수학식 1에서 I는 입력되는 정지영상을 나타내는 함수이고, I(x, y)는 정지영상의 위치(x, y)에서의 밝기값이며, D(x,y)는 위치(x, y)에서 GM을 의미한다. 상기 수학식 1은 최소의 계산량으로 모서리와 같은 후보특징패턴을 검출할 수 있도록 결정되었다. 수학식 1을 해당 블록 내에 모든 화소에 적용하여 최대가 되는 화소에 대응되는 위치를 블록을 대표하는 후보특징패턴으로 선정할 수 있으나, 상기에 설명한 바와 같이 인접한 후보특징 생성 문제와 계산량 문제가 발생한다. 이러한 문제를 해결하기 위하여 블록특징 검출 모듈(112)은 블록 중심을 시작점으로 해서 차선검색을 수행하여 후보특징패턴을 검색하여 최종 위치를 선정한다.

차선검색 방법은 물체의 모서리처럼 주변 배경과 뚜렷이 구분되어 정확하게 정합이 될 수 있는 후보특징패턴을 찾는데 목적이 있다. 이를 위하여 3×3화소(9개의 화소) 전체를 사용하지 않고 현 화소 I(x, y)에서 상하좌우로 2화소씩 떨어진 4개의 화소인 I(x-2, y), I(x+2,y), I(x,y-2), I(x,y+2)를 이용하는 상기의 수학식 1을 이용하여 GM을 구한다. 이는 넓은 영역을 커버하면서도 계산량을 줄이기 위함이다. 이를 도면으로 도시하면 다음과 같다.

도 3은 본 발명의 일 실시 예에 따른 GM을 구할 때 사용되는 현 화소 및 인접 화소들을 도시한 도면이다. 현 화소의 밝기값을 I(x, y)로 가정하였을 경우, 상하좌우로 2화소씩 떨어진 4개의 화소의 밝기값인 I(x-2, y), I(x+2,y), I(x,y-2), I(x,y+2)를 이용하여 현 화소의 GM을 구한다.

특징선별 모듈(113)은 각 블록별로 선정된 후보특징패턴들의 GM 값을 비교하여 상대적으로 밝기값의 변화가 큰 N개의 후보특징패턴을 선별하고, 선별된 각 후보특징패턴의 중심을 기준으로 5×5 영역의 9개의 화소로 구성되는 최종특징패턴을 생성한다. N개의 후보특징패턴을 선별하는 이유는 변별력이 상대적으로 떨어지는 후보특징패턴을 제거함으로 인하여 정확도의 손실을 최소화하고 계산량을 줄이기 위함이다. 하기의 도 4를 참조하여 자세히 설명하기로 한다.

도 4는 본 발명의 일 실시 예에 따른 후보특징패턴 선정 과정을 나타낸 도면으로, 도 4의 (a)는 각 블록별로 선정된 후보특징패턴들을 도시하고 있고, 도 4의 (b)는 선정된 후보특징패턴들 중 기 설정된 N개의 최종후보특징패턴들을 도시하고 있다. 최종후보특징패턴의 수는 설정 방법에 따라 달라질 수 있다. 예를 들어 기 설정된 수만큼 밝기값의 변화가 큰 후보특징패턴을 선별할 수도 있고, 정해진 임계값보다 큰 후보특징패턴을 선별할 수도 있다. 후보특징패턴을 선별하는 과정을 하기의 흐름도를 이용하여 자세히 설명한다.

도 5는 본 발명의 일 실시 예에 따른 후보검색과정을 나타낸 흐름도이다.

도 5를 참조하면, 501단계에서 특정 블록의 정 중앙에 위치한 화소를 중심 화소로 초기화한다. 503단계에서 중심 화소를 중심으로 3×3 화소 중에서 아직 GM이 계산되지 않은 화소를 찾아서 수학식 1을 이용하여 GM을 계산한다. 505단계에서 중앙 화소의 GM이 최대인지를 확인한다. 만약 중앙 화소의 GM이 최대가 아니라면, 507단계로 진행하여, 이웃 화소 중에서 최대값을 검출하고 중심 화소를 최대값에 해당하는 위치의 화소로 이동하여 503단계 이하의 과정을 반복한다. 만약 중앙 화소의 GM이 최대라면, 509단계로 진행하여 중앙 화소의 GM이 미리 정해진 최소 GM보다 큰지를 확인한다. 이는 국부적인 최대점을 최종값으로 결정하는 것을 막기 위함이다. 중앙 화소가 최대값이지만 미리 정해진 최소 GM보다 작으면 511단계로 진행하여 블록의 임의의 위치에 해당하는 화소를 중심 화소로 초기화하고 503단계 이하의 과정을 반복한다. 중앙 화소가 최대값이고 미리 정해진 최소 GM보다 크다면 513단계로 진행하여 후보특징패턴을 생성한다.

상기 도 5의 방법은 블록 내에 있는 모든 화소를 검색하지 않고 후보를 선정할 수 있으므로 필요한 계산량을 줄이고 후보특징패턴이 블록의 경계에서 검출되는 확률도 낮춘다.

또한 9개의 화소로 구성되는 최종특징패턴을 생성하는 이유는 정확한 모션 검출을 위하여 보다 넓은 영역에서 추출된 많은 화소들을 포함하는 것이 유리하므로 이러한 맥락에서 후보특징패턴에 사용된 5화소들과 대각선 방향의 4개의 화소를 추가한 9개의 화소들로 구성되는 최종특징패턴을 생성한다. 하기의 도 6을 참조하여 자세히 설명하기로 한다.

도 6은 본 발명의 일 실시 예에 따른 최종특징패턴 생성을 나타낸 도면으로 선별된 각 후보특징패턴을 기준으로 5×5 영역에서의 9개의 화소로 구성되는 최종특징패턴을 생성한다. 도 6에서는 특정후보패턴(601)을 기준으로 5×5 영역에서 나머지 8개의 화소(603)를 선별하여 최종특징패턴을 생성한다.

도 6을 참조하면, 입력되는 정지영상을 기 설정된 작은 블록들로 구분하고, 구분된 블록들에서 후보특징패턴을 기준으로 기 설정된 특정 수의 후보 위치를 선정하게 되는데, 본 도면에서는 먼저 후보특징패턴을 중심(601)점으로 선정하고, 5×5 영역에서 8개의 주변 점들(603)을 결정한다. 본 도면과 같이 다수의 후보 위치 중 기 설정된 특정 수의 후보 위치를 선택하여 이들 위치에 대해서만 특징패턴을 추적하여 최종특징패턴을 생성함으로 인하여 정확도는 유지하면서 후보생성속도는 높아지게 된다.

다음으로 특징패턴 추적부(120)는 첫 정지영상 다음으로 입력되는 하나 이상의 정지영상을 이용하여 각 최종특징패턴을 독립적으로 추적하여 움직임이 있는 피사체의 이동량을 축적하는 역할을 한다. 특징패턴 추적부(120)는 특징추적정보 초기화 및 누적 모듈(121), 블록별 특징후보 선정 모듈(122), 최종위치 결정 모듈(123)로 구성된다.

특징추적정보 초기화 및 누적 모듈(121)에서는 각 최종특징패턴 별로 변화량을 추척하고, 이를 바탕으로 단위시간당 처리할 수 있는 정지영상의 수를 늘여 움직임이 있는 피사체를 분리하는 역할을 한다. 또한 피사체의 움직임이 작은 경우, 각 최종특징패턴을 연속적인 셋 이상의 정지영상에서 추적하여 충분한 크기의 움직임이 누적되었을 때 이를 바탕으로 피사체를 분리한다.

블록별 특징후보 선정 모듈(122)은 정보량이 적은 최종특징패턴을 다수의 정지영상에 걸쳐서 추적할 경우 발생하는 정합 오류를 최소화하기 위하여, 블록에서 다수의 후보 위치를 선정하는 역할을 한다. 후보 위치를 선정하는 방법은 최종특징패턴의 위치 값을 중심으로 x축과 y축 방향으로 두 화소 이동한 위치를 후보 위치로 선정한다. 후보 위치는 최종특징패턴을 포함하여 다섯 개의 화소로 구성된다. 최종위치 결정 모듈(123)은 선정된 후보들을 피사체의 이동방향과 이동거리의 일관성 그리고 특징패턴과의 정합도를 바탕으로 서열화하여 최종 위치를 결정하는 역할을 한다.

마지막으로 이동피사체 분리부(130)은 누적된 최종특징패턴들에 포함된 이동벡터들을 바탕으로 뚜렷한 움직임을 가지면서 일정크기를 가지는 피사체를 선정하고 피사체를 포함하는 커널(Kernel)을 설정하는 역할을 한다. 이동피사체 분리부(130)는 움직임벡터 군집화 및 정점검출 모듈(131)과 관심피사체 선정 및 크기 결정 모듈(132)을 포함한다.

움직임벡터 군집화 및 정점검출 모듈(131)은 최종특징패턴들의 이동벡터들이 누적되면, 최종특징패턴들 중 누적된 이동벡터의 변화량이 기 설정된 임계값보다 큰 최종특징패턴들에 대응되는 정점들을 후보로 검출하는 역할을 한다. 관심파사체 선정 및 크기 결정 모듈(132)은 검출된 각 후보 정점들을 구성하는 특징패턴들을 역추적을 통하여 선별하고, 선별된 특징패턴들의 인접성과 형태를 분석하여 관심 피사체를 최종 결정하는 역할을 한다. 이 과정에서 필요한 인접도와 크기는 입력 인자에 의해 정의된다.

도 7은 본 발명의 일 실시 예에 따른 피사체를 분리하는 과정을 나타낸 흐름도이다.

도 7을 참조하면, 701단계에서 각 최종특징패턴의 이동벡터를 초기화한다. 703단계에서 각 최종특징패턴에 대해서 해당 블록에서 x축과 y축에 대해서 한 화소씩 건너뛰면서 여러 개의 후보 위치를 선정한다. 각 후보 위치를 중심으로 하는 3×3 영역을 다시 검색하여 보다 정확한 위치를 결정한다. 이는 후보 위치의 정확도는 유지하면서 후보생성속도를 높이기 위함이다. 이렇게 결정된 후보 위치들 중에서 이동 거리가 지정된 거리보다 크면 잡음으로 간주하여 제거된다. 705단계에서 나머지 후보 위치들을 정합 과정에서 얻어진 정합도에 현재까지 누적된 최종특징패턴의 평균 이동방향과의 차를 결합하여 계산된 신뢰도를 바탕으로 서열화한다. 평균이동 방향을 이용한 각 후보들의 신뢰도 계산은 이전 위치와 후보 위치를 연결하는 단위벡터와 평균벡터의 차를 이용하여 계산한다.

709단계에서 서열화된 후보가 하나라도 존재하는지를 확인한다. 만약 존재한다면, 711단계로 진행하여 이동벡터를 갱신한다. 현 정지영상에 대해서 모든 최종특징패턴의 이동벡터가 갱신되면 최종특징패턴을 대상으로 이동벡터의 크기를 누적한 히스토그램을 참조하여 단순화된 군집화를 수행하고 뚜렷한 움직임이 나타나지 않으면 707단계에서 다음 정지영상을 취득하여 703단계 이하의 과정을 반복적으로 수행한다. 만약 서열화된 후보가 하나라도 존재하지 않는다면, 713단계로 진행하여 이동벡터가 갱신되었는지를 확인한다. 만약, 이동벡터가 갱신되었다면, 715단계로 진행하여 이동벡터를 초기화하고, 707단계에서 다음 정지영상을 취득하여 703단계 이하의 과정을 반복한다. 만약 이동벡터가 갱신되지 않았다면 두 번 연속 검출이 되지 않는 경우이므로 717단계로 진행하여 현 최종특징패턴을 잡음으로 간주하여 삭제한다.

도 8은 본 발명의 일 실시 예에 따른 최종특징패턴의 평균이동방향을 결정하는 과정을 나타낸 예시도이다. 다중 정지영상에서 각각의 최종특징패턴 추적시 발생하는 오류를 최소화하기 위하여 각 최종특징패턴의 평균이동방향을 계산하고, 평균이동방향의 일치 정도와 패턴의 정합도에 따라서 신뢰도를 결정한다.

도 8을 참조하면, 이전 정지영상에서의 최종특징패턴의 위치가 다음 정지영상에서 이동되는 위치를 계산하기 위하여 후보 1, 2, 3을 설정한다. 후보 1, 2, 3은 이동 방향의 일관성과 정합도에 따라서 가중치를 갱신하여 설정한다. 이렇게 설정된 후보 1, 2, 3의 후보이동벡터 1, 2, 3을 이용하여 평균 벡터가 계산되고, 계산된 평균 벡터는 최종특징패턴이 다음 정지영상에 위치할 위치로 설정된다.

한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (20)

1. 피사체 영역 및 움직임 검출 장치에 있어서,
   입력되는 하나 이상의 정지영상 중 첫 정지영상으로부터 고유한 특성을 가지는 하나 이상의 후보특징패턴을 추출하고, 상기 추출된 하나 이상의 후보특징패턴 중 기 설정된 수의 최종후보특징패턴을 추출하는 특징패턴 초기화부와,
   상기 첫 정지영상 다음으로 입력되는 정지영상에서의 움직임 정보를 추적하기 위하여 상기 추출된 기 설정된 수의 최종후보특징패턴 각각의 움직임 정보를 추적하고, 상기 추적된 각각의 움직임 정보를 누적하는 특징패턴 추적부와,
   상기 누적된 각각의 움직임 정보를 이용하여 상기 입력되는 하나 이상의 정지영상 내에서 움직임이 있는 피사체의 영역을 분리하는 이동피사체 분리부를 포함함을 특징으로 하는 움직임 검출 장치.
2. 제 1항에 있어서, 상기 특징패턴 초기화부는
   상기 첫 정지영상의 중심에 해당하는 위치를 기준으로 관심 영역을 설정하고, 상기 관심 영역을 중복되지 않는 하나 이상의 블록으로 분할하는 관심구간 블록화 모듈과,
   상기 하나 이상의 블록별로 후보특징패턴을 검출하는 블록특징 검출 모듈과,
   상기 검출된 하나 이상의 후보특징패턴 중에서 기 설정된 중요도에 따라서 상기 기 설정된 수의 최종특징패턴을 선별하는 특징선별 모듈을 포함함을 특징으로 하는 움직임 검출 장치.
3. 제 2항에 있어서,
   상기 관심 영역 및 상기 하나 이상의 블록은 기 설정된 입력 인자에 의해 결정됨을 특징으로 하는 움직임 검출 장치.
4. 제 2항에 있어서, 상기 블록특징 검출 모듈은
   상기 하나 이상의 블록의 중심점의 GM(Gradient Magnitude)을 계산하고, 상기 중심점에 인접한 점들의 GM을 계산하여, 상기 중심점보다 더 큰 GM을 가지는 점을 상기 하나 이상의 블록을 대표하는 후보특징패턴으로 검출함을 특징으로 하는 움직임 검출 장치.
5. 제 4항에 있어서,
   최소의 계산량으로 상기 후보특징패턴을 검출하기 위하여 하기의 수학식을 이용하여 GM(Gradient Magnitude)을 계산함을 특징으로 하는 움직임 검출 장치.
   [수학식 2]
   

   

   
   상기 수학식 2에서 I는 입력되는 정지영상을 나타내는 함수를 의미하고, I(x, y)는 상기 정지영상의 위치(x, y)에서의 밝기값을 의미하고, D(x,y)는 상기 위치(x, y)에서 GM을 의미한다.
6. 제 2항에 있어서, 상기 특징선별 모듈은
   상기 하나 이상의 블록별로 검출된 후보특징패턴의 GM의 크기가 기 설정된 임계값 이상인 값을 가지는 최종특징패턴을 선별하고, 선별된 상기 기 설정된 수의 최종특징패턴은 5×5 영역의 9화소로 표현됨을 특징으로 하는 움직임 검출 장치.
7. 제 1항에 있어서, 상기 특징패턴 추적부는
   상기 첫 정지영상을 포함한 둘 이상의 정지영상이 순차적으로 입력되면, 상기 하나 이상의 최종특징패턴 각각의 이동벡터를 개별적으로 추적하고, 상기 추적된 각각의 이동벡터를 누적하는 특징추적정보 초기화 및 누적 모듈과,
   상기 최종특징패턴 각각의 위치를 결정하는 최종위치 결정 모듈을 포함함을 특징으로 하는 움직임 검출 장치.
8. 제 7항에 있어서,
   상기 하나 이상의 최종특징패턴을 추적할 때 기 설정된 수의 다중 후보를 선정하고, 각 후보 별로 이동벡터를 추적하고, 추적된 상기 다중 후보의 이동벡터들을 평균한 평균벡터를 도출하는 블록별 특징 후보 선정 모듈을 더 포함함을 특징으로 하는 움직임 검출 장치.
9. 제 7항에 있어서, 상기 최종위치 결정 모듈은
   상기 하나 이상의 최종특징패턴 추적시 발생하는 오류를 최소화하기 위하여, 특징패턴의 평균이동방향의 일치 정도와 패턴의 정합도에 따라서 신뢰도를 결정하고, 상기 신뢰도에 따라서 상기 하나 이상의 최종특징패턴의 위치를 결정함을 특징으로 하는 움직임 검출 장치.
10. 제 1항에 있어서, 상기 이동피사체 분리부는
    상기 하나 이상의 최종특징패턴 중 누적된 이동벡터의 변화량이 기 설정된 임계값보다 큰 최종특징패턴들에 대응되는 정점들을 추출하고, 추출된 상기 정점들을 군집화하여 하나 이상의 후보 피사체를 선정하는 움직임벡터 군집화 및 정점 검출 모듈과,
    각 후보 피사체를 구성하는 하나 이상의 최종특징패턴을 분석하여 최종적으로 이동 피사체를 정의하는 관심피사체 선정 및 크기 결정 모듈로 구성됨을 특징으로 하는 움직임 검출 장치.
11. 제 10항에 있어서, 상기 관심피사체 선정 및 크기 결정 모듈은
    각 후보 피사체를 구성하는 하나 이상의 최종특징패턴의 분포도와 움직임 벡터의 유사성을 사용자가 입력한 인자와 비교하여 상기 이동 피사체를 최종 결정하고, 상기 결정된 이동 피사체의 위치와 크기를 정의함을 특징으로 하는 움직임 검출 장치.
12. 피사체 영역 및 움직임 검출 방법에 있어서,
    입력되는 하나 이상의 정지영상 중 첫 정지영상으로부터 고유한 특성을 가지는 하나 이상의 후보특징패턴을 추출하는 과정과,
    상기 추출된 하나 이상의 후보특징패턴 중 기 설정된 수의 최종후보특징패턴을 추출하는 과정과,
    상기 첫 정지영상 다음으로 입력되는 정지영상에서의 움직임 정보를 추적하기 위하여 상기 추출된 하나 이상의 최종후보특징패턴 각각의 움직임 정보를 추적하고, 상기 추적된 각각의 움직임 정보를 누적하는 과정과,
    상기 누적된 각각의 움직임 정보를 이용하여 상기 입력되는 하나 이상의 정지영상 내에서 움직임이 있는 피사체의 영역을 분리하는 과정을 포함함을 특징으로 하는 움직임 검출 방법.
13. 제 12항에 있어서, 상기 하나 이상의 후보특징패턴을 추출하는 과정은
    상기 첫 정지영상의 중심에 해당하는 위치를 기준으로 관심 영역을 설정하고, 상기 관심 영역을 중복되지 않는 하나 이상의 블록으로 분할하는 단계와,
    상기 하나 이상의 블록별로 후보특징패턴을 검출하는 단계를 포함함을 특징으로 하는 움직임 검출 방법.
14. 제 13항에 있어서,
    상기 하나 이상의 블록의 중심점의 GM을 계산하고, 상기 중심점에 인접한 점의 GM을 계산하여, 더 큰 GM을 가지는 점을 상기 하나 이상의 블록을 대표하는 후보특징패턴으로 검출함을 특징으로 하는 움직임 검출 방법.
15. 제 14항에 있어서,
    최소의 계산량으로 상기 후보특징패턴을 검출하기 위하여 하기의 수학식을 이용하여 GM(Gradient Magnitude)을 계산함을 특징으로 하는 움직임 검출 방법.
    [수학식 3]
    

    

    
    상기 수학식 3에서 I는 입력되는 정지영상을 나타내는 함수를 의미하고, I(x, y)는 상기 정지영상의 위치(x, y)에서의 밝기값을 의미하고, D(x,y)는 상기 위치(x, y)에서 GM을 의미한다.
16. 제 12항에 있어서, 상기 기 설정된 수의 최종후보특징패턴을 추출하는 과정은
    상기 하나 이상의 블록별로 검출된 후보특징패턴의 GM의 크기가 기 설정된 임계값 이상인 값을 가지는 최종특징패턴을 선별하며, 상기 선별된 상기 기 설정된 수의 최종특징패턴은 5×5 영역의 9화소로 표현되는 과정임을 특징으로 하는 움직임 검출 방법.
17. 제 12항에 있어서, 상기 각각의 움직임 정보를 추적하고, 상기 추적된 각각의 움직임 정보를 누적하는 과정은
    상기 첫 정지영상을 포함한 둘 이상의 정지영상이 순차적으로 입력되면, 상기 하나 이상의 최종특징패턴 각각의 이동벡터를 개별적으로 추적하고, 상기 추적된 각각의 이동벡터를 누적하는 단계와,
    상기 최종특징패턴 각각의 위치를 결정하는 단계를 포함함을 특징으로 하는 움직임 검출 방법.
18. 제 17항에 있어서, 상기 최종특징패턴 각각의 위치를 결정하는 단계는
    상기 하나 이상의 최종특징패턴 추적시 발생하는 오류를 최소화하기 위하여, 특징패턴의 평균이동방향의 일치 정도와 패턴의 정합도에 따라서 신뢰도를 결정하고, 상기 신뢰도에 따라서 상기 하나 이상의 최종특징패턴의 위치를 결정하는 단계임을 특징으로 하는 움직임 검출 방법.
19. 제 12항에 있어서, 상기 움직임이 있는 피사체의 영역을 분리하는 과정은
    상기 하나 이상의 최종특징패턴들의 누적된 이동벡터를 이용하여 정점들을 추출하고, 추출된 상기 정점들을 군집화하여 후보 피사체를 선정하는 단계와,
    각 후보 피사체를 구성하는 하나 이상의 최종특징패턴을 분석하여 최종 이동 피사체를 정의하는 단계로 구성됨을 특징으로 하는 움직임 검출 방법.
20. 제 19항에 있어서, 상기 이동 피사체를 정의하는 단계는
    각 후보 피사체를 구성하는 하나 이상의 최종특징패턴의 분포도와 이동벡터의 유사성을 사용자가 입력한 인자와 비교하여 상기 이동 피사체를 최종 결정하고, 상기 결정된 이동 피사체의 위치와 크기를 정의하는 단계임을 특징으로 하는 움직임 검출 방법.
    

Images