KR101507998B1 - 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치 - Google Patents

배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치 Download PDF

Info

Publication number
KR101507998B1
KR101507998B1 KR20130152851A KR20130152851A KR101507998B1 KR 101507998 B1 KR101507998 B1 KR 101507998B1 KR 20130152851 A KR20130152851 A KR 20130152851A KR 20130152851 A KR20130152851 A KR 20130152851A KR 101507998 B1 KR101507998 B1 KR 101507998B1
Authority
KR
South Korea
Prior art keywords
background
region
foreground
tracking
pixels
Prior art date
Application number
KR20130152851A
Other languages
English (en)
Other versions
KR20140076506A (ko
Inventor
최윤식
김용구
Original Assignee
연세대학교 산학협력단
한독미디어대학원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 한독미디어대학원대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20140076506A publication Critical patent/KR20140076506A/ko
Application granted granted Critical
Publication of KR101507998B1 publication Critical patent/KR101507998B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Abstract

배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치를 공개한다. 본 발명은 영상과 영상 내에 추적 대상 물체를 포함하는 기설정된 관심 영역을 인가받고, 관심 영역의 경계 영역의 복수개의 화소들 중 관심 영역 외부의 배경과 가장 높은 유사치를 갖는 이웃 화소를 검색하고 배경으로 전환하여 관심 영역으로 배경을 전파하고, 경계 영역이 변경된 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 배경 레이블 전파부. 전경 배경 지도에서 기설정된 방식으로 전경 영역을 탐색하여, 전경 영역을 확장함으로써, 적어도 하나의 추적 대상 물체 후보를 획득하고, 적어도 하나의 추적 대상 물체 후보의 영역을 전경 배경 지도에 세그먼트로 포함함으로써, 세그먼트 지도를 생성하는 전경 영역 확장부, 및 세그먼트 지도를 수신하고, 세그먼트를 분석하여, 적어도 하나의 추적 대상 물체 후보 중 적어도 하나의 추적 대상 물체를 기설정된 방식으로 선정하는 추적 대상 물체 선정부를 포함한다.

Description

배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치{Method and Apparatus for object tracking using object detection via background label propagation and region growing method}
본 발명은 물체 검출 방법, 이를 이용한 물체 추적 방법 및 장치에 관한 것으로, 특히 관심 영역 내 존재하는 추적 대상 물체를 효과적으로 검출하여, 정확한 물체의 추적 특징을 생성하고, 생성된 추적 특징을 물체의 위치 추적에 활용함으로써 우수하고 안정된 영상 내 물체 추적 성능을 제공할 수 있는 물체 검출 방법, 이를 이용한 물체 추적 방법 및 장치에 관한 것이다.
물체 추적은 컴퓨터 비전 분야의 기본적 처리 기법 중 하나로써 비디오 인덱싱, 자동 서베일런스 및 인터랙션 등의 다양한 응용에 활용되고 있다. 그 중요성 및 응용 분야의 방대함 등으로 인해, 이러한 물체 추적 기법은 지금까지 매우 다양하게 연구되고 있는데, 이러한 물체 추적 기법들은 크게 특징점 추적, 커널 기반 추적 및 실루엣 기반 추적 등으로 분류될 수 있다[문헌 1]. 이중에서 커널 기반 추적 방식은 그 실시간 구현의 가능성으로 인해 현재 가장 각광받고 있는 추적 기법 중 하나로서, 커널 기반 추적 방식의 실시간 구현 가능성은 중심-이동 (Mean Shift) 방식을 활용함에 의해 획득 될 수 있다.
중심-이동 기법은 특징 공간에서 주변의 주요 극소/극대 점을 찾는 매우 효과적인 툴로서, 다양한 물체 추적 기법들에 활용되어 왔다. [문헌 2]는 중심-이동 절차를 통한 히스토그램 기반 물체추적 기법을 제공한다. [문헌 2]에서는 Epanechnikov 타원형 커널을 이용한 커널-가중 히스토그램을 추적의 목표 영역과 대상 영역에서 생성하고, 그 유사도를 비교함으로써 재귀적으로 물체의 위치를 추적할 수 있도록 하였다. 이 후, 매우 다양한 중심-이동 기반 물체 추적 방법들이 개발되었는데, 이러한 방법들은 크게 [문헌 3-5]과 같이 새로운 물체 표현 모델을 통해 추적 성능을 개선한 방식들, [문헌 6-7]과 같이 물체의 위치와 커널의 크기 및 그 각도를 동시에 추적하여 성능을 개선한 방식들, [문헌 8-10]과 같이 새로운 유사도 측도를 이용하여 추적의 정확도를 높인 방법들, 그리고 [문헌 11-13]와 같이 배경 영역의 유사 색상에 의한 영향을 줄여 추적의 성능을 개선한 방법들 등으로 구분될 수 있다.
커널-기반 물체 추적에서 배경 영역의 유사 색상 영향 문제는, 일반적으로 커널의 형태가 단순한 사각형이나 타원형으로 주어지기 때문에, 그 히스토그램 작성에 있어 피할 수 없는 문제이다. 이러한 배경 색상의 영향을 줄이기 위해, [문헌 2]에서는 추적 대상 물체 영역의 히스토그램을 배경 영역 색상의 히스토그램을 이용해 가중 변경하였다. 하지만, 이러한 가중 변경은 추적 대상 영역의 히스토그램 생성에도 같은 히스토그램을 사용하여 가중 변경함으로써, 중심-이동 절차에서 그 가중 영향이 사라지고 결과적으로 가중 변경이 없는 경우와 같은 결과를 생성하게 되었다. [문헌 11]에서는 이와 같은 사실을 지적하고, 배경 영역을 이용한 히스토그램 가중 변경을 추적 대상 물체 영역의 히스토그램에만 적용함으로써 추적 성능의 개선을 이루었다. 또한, [문헌 12]에서는 이러한 배경 색상 기반 히스토그램 가중 변경 기법을 커널 가중치의 생성에도 함께 적용함으로써 배경에 존재하는 추적 대상 물체와 유사 색상에 의한 평균-이동 물체 추적 기법의 영향을 줄일 수 있도록 하였다. 결과적으로 [문헌 12]의 방식은 [문헌 11]과 동일한 방식으로 정리될 수 있는데, 다만 추적 대상 물체의 히스토그램 가중 변경에서 그 가중치가 서로 다른 형태에 해당한다. 배경 영역의 색상 확률 분포를 이용한 이러한 방식과는 달리, [문헌 13]에서는 추적 대상 물체의 히스토그램 변경을 위해 각 색상의 likelihood를 이용하였다. 즉, 커널 내부와 외부 영역의 색상 분포 비에 로그 함수를 취해 likelihood를 정의함으로써, 추적 대상 물체 영역의 히스토그램과 추적 대상 영역의 히스토그램을 변경하고, 변경된 히스토그램을 이용한 평균-이동 기반 물체 추적을 수행하였다.
이러한 기존의 방식들은 각기 적절한 히스토그램 변경 방법을 통해 물체 추적의 결과를 더욱 안정되고 정확하게 수행하였지만, 이러한 방식들은 모두 배경 색상의 영향 제거라는 측면에서 간접적이고 또한 직관적이라 할 수 있다. 보다 직접적이고 엄격한 의미로 물체 추적에서 배경 색상의 영향을 제거하기 위해서는 비대칭 구조의 커널 설계에 사용되는 [문헌 7]의 인디케이터 함수 (Indicator Function)를 사용할 수 있다. 이 함수는 영상 내 각 화소가 추적 대상 물체에 속하는지 그렇지 않은지를 나타내는 함수로, 커널 가중치에 이 함수를 함께 곱해 추적 대상 물체 영역의 히스토그램을 생성할 경우 배경 화소에 의한 영향을 완벽히 제거할 수 있다. 하지만, 기존의 모든 커널 기반 물체 추적 장치 개발에서 이 함수는, 일반적으로, 추적 장치 이외의 다른 영역(예를 들어, 물체 검출 단계 등)에서 완벽하게 생성되어 주어진다고 가정하고 있고, 이를 어떻게 생성할 지에 대해서는 알려져 있지 않다. 하지만, 이러한 가정은 현실과는 매우 다를 뿐 아니라, 일반적으로 관심 영역(Region of Interest : ROI) 형태로 주어지는 추적 대상 물체 영역에서 추적 대상 물체를 정확하게 검출하는 것과는 차이가 있다.
[문헌 1] A. Yilmaz, O. Javed, and M. Shah, "Object tracking: a survey," Computing Surveys, vol. 38, no. 4, Article 13, Dec. 2006. [문헌 2] M. Winken, T. Wiegand, "Video coding technology proposal by Fraunhofer HHI", JCT-VC documents JCTVC-A116, Dresden, April 2010. [문헌 3] S. T. Birch_eld and S. Rangarajan, "Spatiograms versus histograms for region-based tracking," in Proc. CVPR 2005, 20-25 June, San Diego, pp.1158-1163. [문헌 4] Q.Zhao and H. Tao, "Object tracking using color correlogram," in Proc. IEEE Int. Workshop on Performance Evaluation of Tracking and Surveillance 2005, 15-16 Oct., Beijing, pp.263-270. [문헌 5] H. Zhou, Y. Yuan, and C. Shi, "Object tracking using SIFT features and mean shift," Computer Vision and Image Understanding, vol.113, no.3, pp.345-352, Mar. 2009. [문헌 6] R. T. Collins, "Mean-shift blob tracking through scale space," in Proc. CVPR 2003, 18-20 June, Pittsburg, pp.II-234-II-240. [문헌 7] A. Yilmaz, "Object tracking by asymmetric kernel mean shift with automatic scale and orientation selection," in Proc. CVPR 2007, 17-22 June, Minneapolis, pp.1-6. [문헌 8] G. Hager, M. Dewan, and C. Stewart, "Multiple kernel tracking with SSD," in Proc. CVPR 2004, 27 June-2 July, Washington D.C., pp.I-790- I-797. [문헌 9] Q. Zhao, Z. Yang, and H. Tao, "Differential earth movers distance with its applications to visual tracking," IEEE Trans. PAMI, vol.32, no.2, pp.274-287, 2010. [문헌 10] I. Leichter, "Mean shift trackers with cross-bin metrics," IEEE Trans. PAMI, vol.34, no.4, pp.695-706, Apr. 2012. [문헌 11] J. Ning, L. Zhang, D. Zhang, and C. Wu, "Robust mean-shift tracking with corrected background-weighted histogram," IET Comput. Vis., vol.6, no.1, pp.62-69, 2012. [문헌 12] L. Li and Z. Feng, "An efficient object tracking method based on adaptive nonparametric approach," Opto-Electronics Review, vol.13, no.4, pp.325-330, 2005. [문헌 13] J. Jeyakar, R. V. Babu, K. R. Ramakrishnan, "Robust object tracking with backgroundweighted local kernels," Computer Vision and Image Understanding, vol.112, no.3, pp.296-309, Dec. 2008.
본 발명의 목적은 배경 영역의 유사 색상 영향을 줄이고, 동시에 커널의 크기를 고려하여 추적의 성능을 개선할 수 있도록 배경확산 및 영역확장을 이용하는 물체 검출 방법, 이를 이용한 물체 추적 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 물체 검출 장치는 영상과 상기 영상 내에 추적 대상 물체를 포함하는 기설정된 관심 영역을 인가받고, 상기 관심 영역의 경계 영역의 복수개의 화소들 중 상기 관심 영역 외부의 배경과 가장 높은 유사치를 갖는 이웃 화소를 검색하고 상기 배경으로 전환하여 상기 관심 영역으로 상기 배경을 전파하고, 경계 영역이 변경된 상기 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 배경 레이블 전파부; 상기 전경 배경 지도에서 기설정된 방식으로 상기 전경 영역을 탐색하여, 상기 전경 영역을 확장함으로써, 적어도 하나의 추적 대상 물체 후보를 획득하고, 상기 적어도 하나의 추적 대상 물체 후보의 영역을 상기 전경 배경 지도에 세그먼트로 포함함으로써, 세그먼트 지도를 생성하는 전경 영역 확장부; 및 상기 세그먼트 지도를 수신하고, 상기 세그먼트를 분석하여, 상기 적어도 하나의 추적 대상 물체 후보 중 적어도 하나의 추적 대상 물체를 기설정된 방식으로 선정하는 추적 대상 물체 선정부; 를 포함한다.
상기 배경 레이블 전파부는 상기 영상에서 기설정된 상기 관심 영역과 상기 배경 영역을 구분하여 전경 배경 지도를 초기화하고, 초기화된 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 경계 화소의 집합을 획득하며, 획득된 상기 경계 화소 집합의 이웃 화소들 중 상기 배경 영역의 화소와 기설정된 방식으로 유사한지 판별하여 가장 유사한 상기 이웃 화소를 배경 화소로 전환하는 것을 특징으로 한다.
상기 배경 레이블 전파부는 상기 가장 유사한 이웃 화소를 상기 화소들 각각과 상기 이웃 화소의 1차 미분값 차를 이용하여 획득하고, 상기 가장 유사한 이웃 화소에 대해 계산된 상기 화소들 각각과 상기 가장 유사한 이웃 화소의 1차 미분값 차가 기설정된 문턱값 미만인 경우에만, 상기 가장 유사한 이웃 화소를 상기 배경으로 전환하는 것을 특징으로 한다.
상기 배경 레이블 전파부는 상기 가장 유사한 이웃 화소가 상기 배경으로 전환되어 관심 영역이 갱신되면, 갱신된 상기 관심 영역의 상기 경계 화소 집합이 공집합인지 판별하고, 공집합이 아니면, 상기 경계 화소 집합이 공집합이 될 때까지 갱신된 상기 관심 영역으로 상기 배경을 반복하여 전파하는 것을 특징으로 한다.
상기 전경 영역 확장부는 상기 전경 배경 지도에서 상기 전경의 중심에 배치된 화소로부터 상기 전경 영역에 배치된 화소를 탐색하고, 탐색된 화소들을 그룹핑하여 적어도 하나의 추석 대상 물체 후보 영역을 검출하며, 상기 적어도 하나의 추석 대상 물체 후보의 영역 각각에 대해 서로 다른 값의 상기 세그먼트를 설정하여 상기 세그먼트 지도를 생성하는 것을 특징으로 한다.
상기 추적 대상 물체 선정부는 상기 세그먼트 지도에서 상기 세그먼트의 값을 분석하여 가장 큰 영역의 세그먼트를 갖는 추석 대상 물체 후보를 상기 추적 대상 물체로 선정하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 물체 추적 장치는 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 인가된 상기 영상을 분석하여 기설정된 형태의 관심 영역을 설정하는 관심 영역 설정부; 상기 관심 영역 설정부로부터 상기 영상과 상기 관심 영역을 인가받고, 관심 영역 외부의 배경의 화소와 유사한 특성을 갖는 관심 영역 내 화소들 상기 배경으로 전환하여 배경 확장하고, 상기 관심 영역의 중심으로부터 상기 화소들 탐색하여 적어도 하나의 추적 대상 물체 후보를 검출하고, 상기 적어도 하나의 추적 대상 물체 후보들 중 적어도 하나를 추적 대상 물체로 선정하는 물체 검출부; 및 상기 물체 검출부에서 검출된 물체를 연속하여 인가되는 상기 영상에서 추적하는 물체 추적부; 를 포함한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 물체 검출 방법은 배경 레이블 전파부, 전경 영역 확장부 및 추적 대상 물체 선정부를 포함하는 물체 검출 장치의 물체 검출 방법에 있어서, 상기 배경 레이블 전파부가 영상 내의 기설정된 관심 영역의 경계 영역에 배치된 경계 화소 집합을 획득하고, 상기 경계 화소 집합의 복수개의 화소들 중 상기 관심 영역 외부의 배경과 가장 유사한 이웃 화소를 검색하여 배경으로 전환하여 상기 배경을 상기 관심 영역으로 전파하고, 경계 영역이 변경된 상기 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 단계; 상기 전경 영역 확장부가 상기 전경 배경 지도에서 기설정된 방식으로 상기 전경 영역을 탐색하여, 상기 전경 영역을 확장함으로써, 적어도 하나의 추적 대상 물체 후보를 획득하는 단계; 및 상기 추적 대상 물체 선정부가 기설정된 방식으로 상기 적어도 하나의 추적 대상 물체 후보 중 적어도 하나의 추적 대상 물체를 선정하는 단계; 를 포함한다.
상기 전경 배경 지도를 생성하는 단계는 상기 배경 레이블 전파부가 영상과 상기 영상 내의 기설정된 관심 영역을 인가받는 단계; 상기 영상에서 기설정된 상기 관심 영역과 상기 배경 영역을 구분하여 전경 배경 지도를 초기화하는 단계; 초기화된 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 경계 화소의 집합을 획득하는 단계; 및 획득된 상기 경계 화소 집합의 이웃 화소들 중 상기 배경 영역의 화소와 기설정된 방식으로 유사한지 판별하여 가장 유사한 상기 이웃 화소를 배경 화소로 전환하는 단계; 를 포함하는 것을 특징으로 한다.
상기 전경 배경 지도를 생성하는 단계는 상기 가장 유사한 이웃 화소를 상기 배경으로 전환하여 관심 영역을 갱신하는 단계; 갱신된 상기 관심 영역의 상기 경계 화소 집합이 공집합인지 판별하는 단계; 및 상기 경계 화소 집합이 공집합이 아니면, 갱신된 상기 관심 영역으로 상기 배경을 반복하여 전파하는 것을 특징으로 한다.
상기 이웃 화소를 배경 화소로 전환하는 단계는 상기 화소들 각각과 상기 이웃 화소의 1차 미분값 차를 이용하여 상기 가장 유사한 이웃 화소를 획득하는 단계; 상기 가장 유사한 이웃 화소에 대해 계산된 상기 화소들 각각과 상기 가장 유사한 이웃 화소의 1차 미분값 차가 기설정된 문턱값 미만인지 판별하는 단계; 및 1차 미분값 차가 기설정된 문턱값 미만이면, 상기 가장 유사한 이웃 화소를 상기 배경으로 전환하는 단계; 를 포함하는 것을 특징으로 한다.
상기 적어도 하나의 추적 대상 물체 후보를 획득하는 단계는 상기 전경 배경 지도에서 상기 전경의 중심에 배치된 화소로부터 상기 전경 영역에 배치된 화소를 탐색하는 단계; 탐색된 화소들을 그룹핑하여 적어도 하나의 추석 대상 물체 후보 영역을 검출하는 단계; 및 상기 적어도 하나의 추석 대상 물체 후보의 영역 각각에 대해 서로 다른 값의 상기 세그먼트를 설정하여 상기 세그먼트 지도를 생성하는 단계; 를 포함하는 것을 특징으로 한다.
상기 추적 대상 물체를 선정하는 단계는 상기 세그먼트 지도에서 상기 세그먼트의 값을 분석하여 가장 큰 영역의 세그먼트를 갖는 추석 대상 물체 후보를 선택하는 단계; 및 상기 추적 대상 물체 후보를 상기 추적 대상 물체로 선정하는 단계; 를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 물체 추적 방법은 영상 획득부, 관심 영역 설정부, 물체 검출부 및 물체 추적부를 포함하는 물체 추적 장치의 물체 추적 방법에 있어서, 상기 영상 획득부가 영상을 획득하는 단계; 상기 관심 영역 설정부가 상기 영상을 분석하여 기설정된 형태의 관심 영역을 설정하는 단계; 상기 물체 검출부가 상기 관심 영역 설정부로부터 상기 영상과 상기 관심 영역을 인가받고, 관심 영역 외부의 배경의 화소와 유사한 특성을 갖는 관심 영역 내 화소들 상기 배경으로 전환하여 배경 확장하고, 상기 관심 영역의 중심으로부터 상기 화소들 탐색하여 적어도 하나의 추적 대상 물체 후보를 검출하고, 상기 적어도 하나의 추적 대상 물체 후보들 중 적어도 하나를 추적 대상 물체로 선정하는 단계; 및 상기 물체 추적부가 상기 검출된 물체를 연속하여 인가되는 상기 영상에서 추적하는 물체 추적부; 를 포함한다.
따라서, 본 발명의 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치는 관심 영역 설정부에서 설정된 관심 영역의 형태가 물체의 형태와 상이하게 입력되더라도, 배경을 전파하고 전경을 확산하여 관심 영역인 전경이 배경과 구분되는 물체의 형상과 유사한 형상이 되도록 변환한 후 물체를 검출함으로써 물체 검출 성능을 크게 높일 수 있다. 그러므로 물체의 추적 성능을 크게 개선 할 수 있다.
도1 은 본 발명의 일 실시예에 따른 물체 추적 장치를 나타낸다.
도2 는 도1 의 물체 검출부의 일예를 나타낸다.
도3 은 본 발명의 일 실시예에 따른 물체 추적 방법을 나타낸다.
도4 는 도3 의 물체 검출 단계를 상세히 나타낸 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일 실시예에 따른 물체 추적 장치를 나타낸다.
도1 을 참조하면, 본 발명의 물체 추적 장치는 영상 획득부(100), 관심 영역 설정부(200), 물체 검출부(300) 및 물체 추적부(400)를 포함한다. 먼저, 영상 획득부(100)는 카메라 등과 같은 영상 획득 수단을 이용하여 직접 영상을 획득할 수도 있으며, 통신부로 구현되어 외부로부터 영상을 전송받아 획득할 수도 있다.
관심 영역 설정부(200)는 영상획득부(100)에서 획득한 영상을 인가받아 분석하여 관심 영역을 설정한다. 관심 영역은 커널 기반 추적 방식에서 커널을 설정하는 것으로서, 일반적으로 사각형 또는 타원형과 단순 형태로 설정될 수 있다. 그리고 상기한 바와 같이, 관심 영역을 설정하기 위한 다수의 기술이 공개되어 있으므로, 관심 영역 설정부(200)에 대한 상세한 설명은 생략한다.
물체 검출부(300)는 관심 영역 설정부(200)로부터 영상과 관심 영역을 인가받고, 관심 영역 외부의 배경 화소와 유사한 특성을 갖는 관심 영역 내 화소들에 대해 배경 확장하여 배경으로 간주한다. 그리고 관심 영역의 중심 부근에 존재하는 다수의 추적 대상 물체에 대해 전경 영역을 확산하여 추적 대상 물체를 검출한다. 즉 관심 영역의 복수개의 화소들 중에서 관심 영역 외부, 즉 배경 영역의 화소와 유사 화소를 판별하여 배경으로 분류하고, 관심 영역 중심으로부터 관심 영역 내에서 배경으로 분류된 화소와 전경으로 분류된 화소를 탐색하여, 물체 후보 영역을 검출하고, 검출된 물체 후보 영역 중 가장 큰 영역을 추적 대상 물체로 판별한다.
물체 추적부(400)는 물체 검출부(300)에서 검출된 추적 대상 물체를 기반으로 연속되는 프레임의 영상에서 추적 대상 물체의 변화를 추적한다.
도2 는 도1 의 물체 검출부의 일예를 나타낸다.
본 발명에서 물체 검출부(300)는 배경 레이블 전파부(310), 전경 영역 확산부(320) 및 추적 대상 물체 선정부(330)를 포함한다.
배경 레이블 전파부(310)는 관심 영역 설정부(200)로부터 영상(i(x))과 관심 영역(R)을 인가받아 관심 영역 내부로 배경 영역을 전파하여 관심 영역 내에서 전경 영역과 배경 영역을 다시 구분한다. 그리고 구분된 전경 영역과 배경 영역을 전경 배경 지도(I(x))로 출력한다. 여기서 배경 레이블 전파부(310)의 입출력은 바람직한 실시 예를 효과적으로 설명하기 위해 정의된 것으로, 반드시 본 발명의 정의와 동일할 필요는 없다.
배경 레이블 전파부(310)는 기본적으로 배경 영역에 인접한 화소들을 재귀적으로 검사하여 배경 영역을 전파한다. 배경 레이블 전파부(310)는 우선, 배경 레이블을 전파하기 전에 전경 배경 지도(I(x))를 수학식 1과 같이 초기화 한다.
Figure 112013112800943-pat00001
(여기서 I(x)는 전경 배경 지도이고, xi는 영상(i(x))의 화소이며, R은 관심 영역이다.)
즉 수학식 1에 나타난 바와 같이 배경 레이블 전파부(310)는 전경 배경 지도(I(x))를 관심 영역(R)과 관심 영역 이외의 영역으로 구분하여 초기화 한다.
그리고 관심 영역 설정부(200)에서 설정된 관심 영역(R)의 경계 화소 집합은 수학식 2와 같이 정의될 수 있다.
Figure 112013112800943-pat00002
(여기서, N4(xi)는 화소 xi에 인접한 상하좌우 4개의 이웃 화소 집합을 의미한다.)
수학식 2에서 경계 화소 집합 B에 이웃한 각 미결정 화소 xk(I(xk)=-1)에 대해 수학식 3과 같이 가장 유사한 이웃 화소(xj *)를 찾는다.
Figure 112013112800943-pat00003
여기서, 화소(xk)의 인접한 배경 화소의 집합(N(xk))과 화소(xk)의 1차 미분 (gradient) 세기(G(xk)) 각각은 수학식 4와 같이 정의된다.
Figure 112013112800943-pat00004
(여기서 ux, uy는 영상 좌표의 x, y 방향으로의 단위 벡터를 의미한다.)
이렇게 찾아진 화소(xk)의 가장 유사한 이웃화소(xj *)의 1차 미분 값이 충분히 유사한 경우, 수학식 5 와 같이 화소(xk)를 배경으로 분류하고, 그렇지 않으면 탐색된 화소로 표시한다.
Figure 112013112800943-pat00005
(여기서 τ는 배경 전파를 위한 문턱치 (Threshold)를 의미한다.)
수학식 2 내지 5의 과정을 통해 관심 영역(R)의 경계 화소 집합 B에 인접한 미결정 화소들을 모두 처리하고 나면, 경계 화소 집합 B에서 배경으로 분류된 화소들을 관심 영역(R)에서 배경으로 갱신한다. 즉 관심 영역에서 경계 영역에 존재하는 화소들 중 일부가 배경으로 전환되어 전파될 수 있다. 이후 다시 수학식 2 내지 5 의 배경 전파 과정을 반복한다. 이러한 경계 화소 집합 B의 갱신 및 배경 전파 수행은 경계 화소 집합 B가 공집합으로 갱신될 때까지 반복 수행된다. 경계 화소 집합 B가 공집합이 되면, 전경 배경 지도(I(x))를 출력한다.
결과적으로 배경 레이블 전파부(310)는 관심 영역(R)과 배경의 경계 영역에서 배경과 유사한 관심 영역의 화소를 검색하고, 검색된 관심 영역의 화소를 배경으로 전환하는 과정을 반복함에 의해 관심 영역(R)내에서도 배경 영역을 구분할 수 있도록 한다.
전경 영역 확장부(320)는 배경 레이블 전파부(310)로부터 배경/전경 지도(I(x))를 인가받는다. 배경 레이블 전파부(310)에서 인가되는 배경/전경 지도(I(x))는 관심 영역(R) 외부의 배경이 관심 영역 내부(R)로 전파되어 물체의 윤곽선에서는 1의 값을 가지게 되고, 물체의 내부는 -1의 값을 가지게 되며, 나머지 배경은 모두 0의 값을 가지는 특징을 가지게 된다. 일반적으로, 관심 영역(R)의 중심 부근에 추적 대상 물체가 존재한다는 사실에 착안하여, 전경 영역 확장부(320)는 관심 영역(R) 중심 부근에서부터 초기 화소(I(x)=-1 또는 I(x)=1)를 탐색하고, 탐색된 초기 화소를 중심으로 전경 영역을 확장하여 추적 대상 물체 후보 영역을 검출한다. 즉 전경 배경 지도(I(x))에서 0의 값을 갖지 않은 화소들을 검출 및 그룹핑하여 추적 대상 물체의 후보 영역을 검출한다. 이때 전경 영역 확장부(320)는 전경 배경 지도(I(x))에서 검출된 추적 대상 물체 후보가 다수 존재할 수 있기 때문에, 각 검출된 후보 영역을 특정 값을 가지는 세그먼트 지도로 생성하여 추적 대상 물체 선정부(330)로 출력한다.
전경 영역 확장부(320)의 상세한 동작을 설명하면, 우선 관심 영역(R) 중심에서 나선형 스캔을 수행하면서 I(xs)=1 또는 I(xs)=-1인 화소 xs를 검출하고, 이를 수학식 6과 같은 두 집합의 화소로 초기화 한다.
Figure 112013112800943-pat00006
(여기서 집합 S0는 초기 화소값이 1 인 경계 화소 집합을, 그리고 집합 O0는 초기 추적 대상 후보 물체의 화소 집합을 나타낸다.)
이 두 집합은 관심 영역(R) 내에서 수학식 7과 같이 재귀적으로 갱신된다.
Figure 112013112800943-pat00007
(여기서 집합 Sk는 확산되고 있는 영역의 경계 화소 집합을, 그리고 집합 Ok는 추적 대상 후보 물체의 화소 집합을 의미하며, N8(xi)는 화소(xi)를 중심으로 인접한 8개 이웃 화소의 집합을 의미한다.)
수학식 7 에서 집합 Sk 는 경계 영역을 인접 화소 N8(xi)로 영역 확산하여 포함하는 것을 의미하며, 영역 확산이 반복되어 k=K가 되었을 때, 집합 SK가 공집합이 되었다면, 이 때의 집합 OK가 영역 확산을 통해 검출된 추적 대상 후보 물체가 된다. 그리고 입력된 전경 배경 지도(I(x))에 이 영역이 후보 물체임을 수학식 8과 같이 기록한다.
Figure 112013112800943-pat00008
여기서 l은 0, 1, -1 이외의 기설정된 값(예를 들면 2)으로 초기화되고, 영역 확산은 관심 영역 중심에서 나선형 스캔을 통한 초기 화소 검색부터 반복되어, 관심 영역 내 더 이상의 초기 화소가 발견되지 않을 때까지 수행된다. 이때 l은 검색되는 횟수만큼 증가 된다. 그리고 전경 영역 확장부(320)는 그 결과를 전경 배경 지도(I(x))에 포함하여, 세그먼트 지도로서 추적 대상 물체 선정부(330)로 전송한다.
추적 대상 물체 선정부(330)는 전경 영역 확장부(320)에서 출력한 세그먼트 지도(I(x))를 입력 받아, 각 세그먼트(I(x) =l 인 영역, I(x)=l+1 인 영역, …) 중에서 추적 대상 물체로 1가지 세그먼트를 골라내는 기능을 수행한다. 추적 대상 물체의 선정은 본 발명이 동작하는 다양한 환경에서 미리 얻을 수 있는 지식을 활용하여 수행될 수 있는데, 본 발명의 바람직한 실시 예에서는 수학식 9와 같이 가장 영역이 큰 세그먼트를 고르는 것으로 한다.
Figure 112013112800943-pat00009
(여기서 함수(| |L)은 I(xj)=L이 되는 집합의 화소 수를 의미한다. )
수학식 9에 의해 하나의 세그먼트가 설정되면, 수학식 10과 같이 세그먼트 지도(I(x))가 재 설정되어 이를 검출된 추적 대상 물체 지도로서 출력한다.
Figure 112013112800943-pat00010
결과적으로 물체 검출부(300)는 원형 또는 사각형과 같은 단순한 형태의 관심 영역내의 물체를 검출하기 위해 배경 레이블 전파부(310)가 배경을 관심 영역 내부로 전파하고, 전경 영역 확산부(320)는 전파된 배경과 물체의 사이의 경계를 구분하여 적어도 하나의 추적 대상 물체 후보를 판별하고, 추적 대상 물체 선정부(330)는 판별된 적어도 하나의 추적 대상 물체 후보 중 추적 대상 물체를 선별하여 출력한다. 따라서 관심 영역의 설정 형태에 무관하게 배경과 물체를 용이하게 구분하므로, 물체 추적을 용이하게 할 수 있다.
상기에서는 물체 검출부(300)가 물체 추적 장치에 포함되는 구성 요소인 것으로 설명하였으나, 경우에 따라서 물체 검출부(300)는 물체 검출 장치로 독립적으로 구현될 수도 있다.
도3 은 본 발명의 일 실시예에 따른 물체 추적 방법을 나타낸다.
도1 을 참조하여 도3 의 물체 추적 방법을 설명하면, 영상 획득부(100)가 영상(i(x))을 획득한다(S10). 여기서 획득된 영상(i(x))에는 추적 대상 물체가 포함된 것으로 가정한다. 그리고 영상(i(x))이 획득되면, 관심 영역 설정부(200)가 획득된 영상(i(x))에서 관심 영역(R)을 설정한다(S20). 관심 영역(R)은 기설정된 방식에 따라 사각형 또는 타원형과 단순 형태로 설정될 수 있으며, 적어도 하나의 물체가 포함된다. 관심 영역(R)이 설정되면, 물체 검출부(300)가 영상(i(x))과 관심 영역(R)을 인가받고, 관심 영역(R) 외부의 배경 화소와 유사한 특성을 갖는 관심 영역 내 화소들을 배경으로 간주하여 배경을 확장하고, 관심 영역의 중심 부근에 존재하는 다수의 추적 대상 물체에 대해 전경 영역을 확산하여 추적 대상 물체를 검출한다(S30). 그리고 물체 추적부(400)가 물체 검출부(300)에서 검출된 추적 대상 물체를 기반으로 연속되는 프레임의 영상에서 추적 대상 물체의 변화를 추적한다(S40).
도4 는 도3 의 물체 검출 단계를 상세히 나타낸 도면이다.
도4 에서 물체 검출 단계(30)은 우선 물체 검출부(300)의 배경 레이블 전파부(310)가 관심 영역 설정부(200)로부터 영상(i(x))과 관심 영역(R)을 수신한다(S31). 그리고 영상(i(x))에서 관심 영역(R)과 관심 영역(R) 이외의 영역인 배경 영역을 구분한다(S32). 영상(i(x))에서 관심 영역(R)과 배경 영역이 구분되면, 관심 영역(R)의 경계 화소 집합을 획득한다(S33). 이후 경계 화소 집합에서 배경과 가장 유사한 이웃 화소를 검색하여 배경 영역의 화소로 전환하여 배경을 전파한다(S34). 배경으로 전환되지 않은 화소는 탐색 화소로 분류된다. 그리고 배경이 전파되어 경계가 변경된 관심 영역(R)에 따라 경계 화소 집합을 갱신한다(S35). 경계 화소 집합이 갱신되면, 갱신된 경계 화소 집합이 공집합인지 판별한다(S36).
만일 경계 화소 집합이 공집합이 아니면, 즉 배경으로 전환되지 않고, 탐색 화소로 분류되지 않은 화소가 관심 영역 내에 존재하면, 다시 배경을 전파한다(S34). 그러나 경계 화소 집합이 공집합이면, 관심 영역내의 모든 화소에 대해 배경 전파가 수행되었으므로, 경계가 변경된 관심 영역(R)을 전경으로, 나머지 영역을 배경으로 하는 전경 배경 지도(I(x))를 생성하여 전경 영역 확장부(320)로 전송한다(37).
전경 영역 확장부(320)는 전경 배경 지도(I(x))에서 관심 영역, 즉 전경의 중심으로부터 기설정된 방식(예를 들면 나선형 스캔)으로 전경 영역을 탐색하여 전경 영역의 경계를 구분함으로써 전경 영역을 확장하여 적어도 하나의 추적 대상 후보 물체를 검출한다(S38). 여기서 검출된 추적 대상 물체 후보는 전경 배경 지도(I(x))에 기록되고, 검출된 추적 대상 물체 후보가 기록된 전경 배경 지도(I(x))는 세그먼트 지도로서 추적 대상 물체 선정부(330)로 전송된다.
추적 대상 물체 선정부(330)는 세그먼트 지도에 포함된 적어도 하나의 추적 대상 물체 후보 중에서 기설정된 방식으로 적어도 하나의 추적 대상 물체를 선정한다(S39). 추적 대상 물체 선정부(330)는 일예로 가장 큰 영역의 하나의 세그먼트(추적 대상 물체 후보)를 추적 대상 물체로 선정할 수 있다.
그러므로 본 발명은 관심 영역 설정부에서 설정된 관심 영역의 형태가 물체의 형태와 상이하게 입력되더라도, 배경을 전파하고 전경을 확산하여 관심 영역인 전경이 배경과 구분되는 물체의 형상과 유사한 형상이 되도록 변환한 후 물체를 검출함으로써 물체 검출 성능을 크게 높일 수 있다. 따라서 물체의 추적 성능을 크게 개선 할 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (16)

  1. 영상과 상기 영상 내에 추적 대상 물체를 포함하는 기설정된 관심 영역을 인가받아 상기 관심 영역과 상기 관심 영역 외부의 배경에 대응하는 배경 영역을 구분하여 전경 배경 지도를 초기화하고, 초기화된 상기 배경 영역의 배경 화소들 중 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 경계 화소의 집합을 획득하며, 획득된 상기 경계 화소 집합의 이웃 화소들 중 상기 관심 영역 내에 배치된 상기 이웃 화소와 상기 관심 영역 내에 배치된 상기 이웃 화소에 인접한 상기 배경 화소들 사이의 1차 미분값 차를 이용하여 가장 높은 유사치를 갖는 상기 이웃 화소를 획득하고, 상기 가장 유사한 이웃 화소를 상기 배경으로 전환하여 상기 배경을 상기 관심 영역 내부로 전파하고, 변경된 상기 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 배경 레이블 전파부;
    상기 전경 배경 지도에서 기설정된 방식으로 상기 전경 영역을 탐색하여, 상기 전경 영역을 확장함으로써, 적어도 하나의 추적 대상 물체 후보를 획득하고, 상기 적어도 하나의 추적 대상 물체 후보의 영역을 상기 전경 배경 지도에 세그먼트로 포함함으로써, 세그먼트 지도를 생성하는 전경 영역 확장부; 및
    상기 세그먼트 지도를 수신하고, 상기 세그먼트를 분석하여, 상기 적어도 하나의 추적 대상 물체 후보 중 적어도 하나의 추적 대상 물체를 기설정된 방식으로 선정하는 추적 대상 물체 선정부; 를 포함하는 물체 검출 장치.
  2. 삭제
  3. 제1 항에 있어서, 상기 배경 레이블 전파부는
    획득된 상기 가장 높은 유사치를 갖는 이웃 화소에 대해 계산된 상기 1차 미분값 차가 기설정된 문턱값 미만이면, 상기 가장 유사한 이웃 화소를 상기 배경으로 전환하는 것을 특징으로 하는 물체 검출 장치.
  4. 제1 항에 있어서, 상기 배경 레이블 전파부는
    가장 높은 유사치를 갖는 상기 이웃 화소가 상기 배경으로 전환되어 관심 영역이 갱신되면, 갱신된 상기 경계 화소 집합이 공집합인지 판별하고, 공집합이 아니면, 상기 경계 화소 집합이 공집합이 될 때까지 갱신된 상기 관심 영역으로 상기 배경을 반복하여 전파하는 것을 특징으로 하는 물체 검출 장치.
  5. 제1 항에 있어서, 상기 배경 레이블 전파부는
    상기 전경 배경 지도를 수학식
    Figure 112015015571010-pat00011

    (여기서 I(x)는 전경 배경 지도이고, xi는 영상(i(x))의 화소이며, R은 관심 영역이다.)
    에 따라 초기화하고,
    경계 화소의 집합을 수학식
    Figure 112015015571010-pat00012

    (여기서, N4(xi)는 화소 xi에 인접한 상하좌우 4개의 이웃 화소 집합을 의미한다.)
    에 따라 획득하며,
    상기 경계 화소 집합에 이웃한 각 미결정 화소 xk(I(xk)=-1)에 대해 수학식
    Figure 112015015571010-pat00013

    (여기서, N(xk)는 화소(xk)의 인접한 배경 화소의 집합이고, G(xk)는 화소(xk)의 1차 미분 (gradient) 세기이다. 그리고
    Figure 112015015571010-pat00014
    이고,
    Figure 112015015571010-pat00015
    이며, ux, uy는 영상 좌표의 x, y 방향으로의 단위 벡터를 의미한다.)
    에 따라 가장 유사한 이웃 화소(xj *)를 획득하는 것을 특징으로 하는 물체 검출 장치.
  6. 제4 항에 있어서, 상기 전경 영역 확장부는
    상기 전경 배경 지도에서 상기 전경의 중심에 배치된 화소로부터 상기 전경 영역에 배치된 화소를 탐색하고, 탐색된 화소들을 그룹핑하여 적어도 하나의 추적 대상 물체 후보 영역을 검출하며, 상기 적어도 하나의 추적 대상 물체 후보의 영역 각각에 대해 서로 다른 값의 상기 세그먼트를 설정하여 상기 세그먼트 지도를 생성하는 것을 특징으로 하는 물체 검출 장치.
  7. 제6 항에 있어서, 상기 추적 대상 물체 선정부는
    상기 세그먼트 지도에서 상기 세그먼트의 값을 분석하여 가장 큰 영역의 세그먼트를 갖는 추적 대상 물체 후보를 상기 추적 대상 물체로 선정하는 것을 특징으로 하는 물체 검출 장치.
  8. 영상을 획득하는 영상 획득부;
    상기 영상 획득부에서 인가된 상기 영상을 분석하여 기설정된 형태의 관심 영역을 설정하는 관심 영역 설정부;
    상기 영상과 상기 관심 영역을 인가받고, 상기 관심 영역 외부의 배경의 화소와 가장 높은 유사치를 갖는 관심 영역 내 화소를 상기 배경으로 전환하여 배경 확장하고, 상기 관심 영역의 중심으로부터 상기 관심 영역 내의 화소들을 탐색하여 적어도 하나의 추적 대상 물체 후보를 검출하고, 상기 적어도 하나의 추적 대상 물체 후보들 중 적어도 하나를 추적 대상 물체로 선정하는 물체 검출부; 및
    상기 물체 검출부에서 검출된 물체를 연속하여 인가되는 상기 영상에서 추적하는 물체 추적부; 를 포함하고,
    상기 물체 검출부는
    상기 관심 영역과 상기 배경에 대응하는 배경 영역을 구분하여 전경 배경 지도를 초기화하고, 초기화된 상기 배경 영역의 배경 화소들 중 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 경계 화소의 집합을 획득하며, 획득된 상기 경계 화소 집합의 이웃 화소들 중 상기 관심 영역 내에 배치된 상기 이웃 화소와 상기 관심 영역 내에 배치된 상기 이웃 화소에 인접한 상기 배경 화소들 사이의 1차 미분값 차를 이용하여 가장 높은 유사치를 갖는 상기 이웃 화소를 획득하고, 획득된 상기 가장 높은 유사치를 갖는 이웃 화소를 상기 배경으로 전환하여 상기 배경을 상기 관심 영역 내부로 전파하고, 변경된 상기 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 배경 레이블 전파부;
    상기 전경 배경 지도에서 기설정된 방식으로 상기 전경 영역을 탐색하여, 상기 전경 영역을 확장함으로써, 상기 적어도 하나의 추적 대상 물체 후보를 획득하고, 상기 적어도 하나의 추적 대상 물체 후보의 영역을 상기 전경 배경 지도에 세그먼트로 포함함으로써, 세그먼트 지도를 생성하는 전경 영역 확장부; 및
    상기 세그먼트 지도를 수신하고, 상기 세그먼트를 분석하여, 상기 적어도 하나의 추적 대상 물체 후보 중 상기 적어도 하나의 추적 대상 물체를 기설정된 방식으로 선정하는 추적 대상 물체 선정부; 를 포함하는 것을 특징으로 하는 물체 추적 장치.
  9. 삭제
  10. 배경 레이블 전파부, 전경 영역 확장부 및 추적 대상 물체 선정부를 포함하는 물체 검출 장치의 물체 검출 방법에 있어서,
    상기 배경 레이블 전파부가 영상 내의 기설정된 관심 영역과 상기 관심 영역 외부의 배경에 대응하는 배경 영역을 구분하여 상기 배경 영역의 배경 화소들 중 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 경계 화소의 집합을 획득하고, 상기 경계 화소 집합의 이웃 화소들 중 상기 관심 영역 내에 배치된 상기 이웃 화소와 상기 관심 영역 내에 배치된 상기 이웃 화소에 인접한 상기 배경 화소들 사이의 1차 미분값 차를 이용하여 상기 가장 높은 유사치를 갖는 상기 이웃 화소를 검색하고, 검색된 상기 이웃 화소를 상기 배경으로 전환하여 상기 배경을 상기 관심 영역으로 전파하고, 경계 영역이 변경된 상기 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 단계;
    상기 전경 영역 확장부가 상기 전경 배경 지도에서 기설정된 방식으로 상기 전경 영역을 탐색하여, 상기 전경 영역을 확장함으로써, 적어도 하나의 추적 대상 물체 후보를 획득하는 단계; 및
    상기 추적 대상 물체 선정부가 기설정된 방식으로 상기 적어도 하나의 추적 대상 물체 후보 중 적어도 하나의 추적 대상 물체를 선정하는 단계; 를 포함하는 물체 검출 방법.
  11. 제10 항에 있어서, 상기 전경 배경 지도를 생성하는 단계는
    상기 배경 레이블 전파부가 영상과 상기 영상 내의 기설정된 관심 영역을 인가받는 단계;
    상기 영상에서 기설정된 상기 관심 영역과 상기 배경 영역을 구분하여 전경 배경 지도를 초기화하는 단계;
    초기화된 상기 배경 영역의 상기 배경 화소들 중 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 상기 경계 화소의 집합을 획득하는 단계; 및
    획득된 상기 경계 화소 집합의 이웃 화소들 중 상기 관심 영역 내에 배치된 이웃 화소들에 대해 가장 유사한 상기 이웃 화소를 배경 화소로 전환하는 단계; 를 포함하는 것을 특징으로 하는 물체 검출 방법.
  12. 제11 항에 있어서, 상기 전경 배경 지도를 생성하는 단계는
    상기 가장 유사한 이웃 화소를 상기 배경으로 전환하여 관심 영역을 갱신하는 단계;
    갱신된 상기 관심 영역의 상기 경계 화소 집합이 공집합인지 판별하는 단계; 및
    상기 경계 화소 집합이 공집합이 아니면, 갱신된 상기 관심 영역으로 상기 배경을 반복하여 전파하는 것을 특징으로 하는 물체 검출 방법.
  13. 제12 항에 있어서, 상기 이웃 화소를 배경 화소로 전환하는 단계는
    상기 1차 미분값 차를 이용하여 상기 가장 높은 유사치를 갖는 상기 이웃 화소를 획득하는 단계;
    상기 가장 높은 유사치를 갖는 이웃 화소에 대해 계산된 상기 1차 미분값 차가 기설정된 문턱값 미만인지 판별하는 단계; 및
    상기 1차 미분값 차가 기설정된 문턱값 미만이면, 상기 가장 높은 유사치를 갖는 이웃 화소를 상기 배경으로 전환하는 단계; 를 포함하는 것을 특징으로 하는 물체 검출 방법.
  14. 제12 항에 있어서, 상기 적어도 하나의 추적 대상 물체 후보를 획득하는 단계는
    상기 전경 배경 지도에서 상기 전경의 중심에 배치된 화소로부터 상기 전경 영역에 배치된 화소를 탐색하는 단계;
    탐색된 화소들을 그룹핑하여 적어도 하나의 추적 대상 물체 후보 영역을 검출하는 단계; 및
    상기 적어도 하나의 추적 대상 물체 후보의 영역 각각에 대해 서로 다른 값의 세그먼트를 설정하여 세그먼트 지도를 생성하는 단계; 를 포함하는 것을 특징으로 하는 물체 검출 방법.
  15. 제14 항에 있어서, 상기 추적 대상 물체를 선정하는 단계는
    상기 세그먼트 지도에서 상기 세그먼트의 값을 분석하여 가장 큰 영역의 세그먼트를 갖는 추적 대상 물체 후보를 선택하는 단계; 및
    상기 추적 대상 물체 후보를 상기 추적 대상 물체로 선정하는 단계; 를 포함하는 것을 특징으로 하는 물체 검출 방법.
  16. 영상 획득부, 관심 영역 설정부, 물체 검출부 및 물체 추적부를 포함하는 물체 추적 장치의 물체 추적 방법에 있어서,
    상기 영상 획득부가 영상을 획득하는 단계;
    상기 관심 영역 설정부가 상기 영상을 분석하여 기설정된 형태의 관심 영역을 설정하는 단계;
    상기 물체 검출부가 상기 관심 영역 설정부로부터 상기 영상과 상기 관심 영역을 인가받고, 상기 관심 영역 외부의 배경의 화소와 가장 높은 유사치를 갖는 관심 영역 내 화소를 상기 배경으로 전환하여 배경 확장하고, 상기 관심 영역의 중심으로부터 상기 관심 영역 내의 화소들을 탐색하여 적어도 하나의 추적 대상 물체 후보를 검출하고, 상기 적어도 하나의 추적 대상 물체 후보들 중 적어도 하나를 추적 대상 물체로 선정하는 단계; 및
    상기 물체 추적부가 상기 검출된 물체를 연속하여 인가되는 상기 영상에서 추적하는 물체 추적부; 를 포함하고,
    추적 대상 물체로 선정하는 단계는
    상기 물체 검출부가 상기 관심 영역과 상기 배경에 대응하는 배경 영역을 구분하여 상기 배경 영역의 배경 화소들 중 상기 관심 영역과 상기 배경 영역의 경계에 배치된 화소들의 집합인 경계 화소의 집합을 획득하고, 상기 경계 화소 집합의 이웃 화소들 중 상기 관심 영역 내에 배치된 상기 이웃 화소와 상기 관심 영역 내에 배치된 상기 이웃 화소에 인접한 상기 배경 화소들 사이의 1차 미분값 차를 이용하여 상기 가장 높은 유사치를 갖는 상기 이웃 화소를 검색하고, 검색된 상기 이웃 화소를 상기 배경으로 전환하여 상기 배경을 상기 관심 영역으로 전파하고, 경계 영역이 변경된 상기 관심 영역을 전경 영역으로 설정하여 전경 배경 지도를 생성하는 단계;
    상기 물체 검출부가 상기 전경 배경 지도에서 기설정된 방식으로 상기 전경 영역을 탐색하여, 상기 전경 영역을 확장함으로써, 적어도 하나의 추적 대상 물체 후보를 획득하는 단계; 및
    상기 물체 검출부가 기설정된 방식으로 상기 적어도 하나의 추적 대상 물체 후보 중 적어도 하나의 추적 대상 물체를 선정하는 단계; 를 포함하는 것을 특징으로 하는 물체 추적 방법.
KR20130152851A 2012-12-12 2013-12-10 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치 KR101507998B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120144080 2012-12-12
KR20120144080 2012-12-12

Publications (2)

Publication Number Publication Date
KR20140076506A KR20140076506A (ko) 2014-06-20
KR101507998B1 true KR101507998B1 (ko) 2015-04-07

Family

ID=51128808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130152851A KR101507998B1 (ko) 2012-12-12 2013-12-10 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101507998B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957100B2 (en) 2018-04-06 2021-03-23 Korea University Research And Business Foundation Method and apparatus for generating 3D map of indoor space
KR102197732B1 (ko) * 2018-04-06 2021-01-04 고려대학교 산학협력단 실내공간의 3차원 지도 생성 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103409A (ko) * 2008-12-09 2011-09-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분할

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103409A (ko) * 2008-12-09 2011-09-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분할

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E. Sifakis, et al., "Video segmentation using fast marching and region growing algorithms," EURASIP Journal on Advances in Signal Processing, pp.379-388, April 2002. *
E. Sifakis, et al., "Video segmentation using fast marching and region growing algorithms," EURASIP Journal on Advances in Signal Processing, pp.379-388, April 2002.*

Also Published As

Publication number Publication date
KR20140076506A (ko) 2014-06-20

Similar Documents

Publication Publication Date Title
US11302315B2 (en) Digital video fingerprinting using motion segmentation
US9390506B1 (en) Selective object filtering and tracking
US8867793B2 (en) Scene analysis using image and range data
JP2019036009A (ja) 制御プログラム、制御方法、及び情報処理装置
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
CN101120382A (zh) 跟踪用相机获得的场景视频中的移动物体的方法
Medvedeva et al. Image segmentation based on two-dimensional Markov chains
Cao et al. Robust depth-based object tracking from a moving binocular camera
Dou et al. Moving object detection based on improved VIBE and graph cut optimization
Nguyen et al. Salient object detection via augmented hypotheses
Hato et al. Fast algorithm for video shot boundary detection using SURF features
KR101507998B1 (ko) 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치
Nandhini et al. SIFT algorithm-based Object detection and tracking in the video image
Eilertsen et al. BriefMatch: Dense binary feature matching for real-time optical flow estimation
Spampinato et al. Advanced low cost clustering system
Xue et al. A video saliency detection method based on spatial and motion information
Sliti et al. Efficient visual tracking via sparse representation and back-projection histogram
Mikolajczyk et al. Local Image Features.
KR101993010B1 (ko) 시공간 패턴에 기반한 비디오 분석 장치 및 방법
Thinh et al. Depth-aware salient object segmentation
JP2014225118A (ja) 画像処理装置及び画像処理プログラム
Ramadan et al. Collaborative Xmeans-EM clustering for automatic detection and segmentation of moving objects in video
Sandhu et al. Fast multi model motion segmentation on road scenes
Zhang et al. RGB-D saliency detection with multi-feature-fused optimization
Lee et al. Fast object tracking using color histograms and patch differences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180322

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5