KR101439037B1 - 영상에서 객체를 추적하는 방법 및 장치 - Google Patents
영상에서 객체를 추적하는 방법 및 장치 Download PDFInfo
- Publication number
- KR101439037B1 KR101439037B1 KR1020130072776A KR20130072776A KR101439037B1 KR 101439037 B1 KR101439037 B1 KR 101439037B1 KR 1020130072776 A KR1020130072776 A KR 1020130072776A KR 20130072776 A KR20130072776 A KR 20130072776A KR 101439037 B1 KR101439037 B1 KR 101439037B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- background
- target
- clustering
- cluster
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
영상에서 객체를 추적하는 방법 및 장치가 개시되어 있다. 영상에서 객체를 추적하는 방법은 객체를 추적하기 위한 초기 정보를 설정하는 단계, 초기 정보에 기반하여 클러스터링을 수행할 샘플을 추출하는 단계, 샘플을 기반으로 클러스터링을 수행하는 단계와 클러스터링 결과를 기반으로 초기 정보를 재설정하는 단계를 포함할 수 있되, 초기 정보는 상기 타겟 영역 정보, 타겟 클러스터 정보, 배경 클러스터 정보를 포함할 수 있다. 따라서, 영상에서 단수 및 복수의 객체를 추적시 영상 가림(occlusion)이 발생한 경우에도 강인한 추적을 고속으로 간단하게 수행할 수 있다.
Description
본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 영상에서 객체를 인식하는 방법 및 장치에 관한 것이다.
최근 영상 처리 시스템의 응용 분야는 매우 다양해졌다. 영상 처리를 수행하기위한 다양한 기법들이 나왔으며 그에 따라 영상 처리를 수행하는 속도 또한 매우 빨라지고 정교해졌다. 하지만 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.
영상에서 물체 인식이란 입력된 영상에서 목표 물체의 위치를 찾아내는 일련의 과정을 말한다. 영상에서 물체 인식을 수행함에 있어 같은 물체라고 하더라도 개개의 영상 안에서는 물체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 물체가 포함되어 있거나, 목표 물체가 다른 물체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. 이러한 모든 조건하에서도 강인하게 동작하는 물체 인식 방법은 쉽지 않은 문제이다. 그 동안 영상에서 물체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근방식이 활발하게 모색되고 있다.
이러한 영상에서 물체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. 예를 들어, 영상에서 물체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. 또한, 영상을 편집하는 기술에서도 영상에서 물체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 물체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.
본 발명의 제1 목적은 영상에서 객체를 추적하는 방법을 제공하는 것이다.
본 발명의 제2 목적은 영상에서 객체를 추적하는 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상에서 객체를 추적하는 방법은 상기 객체를 추적하기 위한 초기 정보를 설정하는 단계, 상기 초기 정보에 기반하여 클러스터링을 수행할 샘플을 추출하는 단계, 상기 샘플을 기반으로 클러스터링을 수행하는 단계와 상기 클러스터링 결과를 기반으로 상기 초기 정보를 재설정하는 단계를 포함할 수 있되, 상기 초기 정보는 상기 타겟 영역 정보, 타겟 클러스터 정보, 배경 클러스터 정보를 포함하고, 상기 타겟 영역 정보는 상기 영상에 상기 객체를 포함하는 영역으로 상기 클러스터링을 수행하기 위한 샘플이 포함되는 영역이고, 상기 타겟 클러스터 정보는 상기 타겟을 중심으로 클러스터링을 수행하기 위한 정보이고, 상기 배경 클러스터 정보는 상기 배경을 중심으로 클러스터링을 수행하기 위한 정보일 수 있다.
상기 타겟 클러스터 정보는 상기 객체의 위치 정보, 상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보를 포함할 수 있고, 상기 객체의 위치 정보는 상기 객체에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고, 상기 객체의 거리 정보는 상기 중심점과 상기 객체에 포함된 화소 사이의 거리에 대한 정보이고, 상기 객체의 깊이 정보는 상기 객체에 포함된 화소의 깊이 정보이고, 상기 객체의 색상 정보는 상기 객체에 포함된 화소의 색상 정보이고, 상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보는 히스토그램에 기반하여 저장되는 정보일 수 있다. 상기 배경 클러스터 정보는 배경의 위치 정보, 상기 배경의 거리 정보, 상기 배경의 깊이 정보, 상기 배경의 색상 정보를 포함하는 정보이고, 상기 배경의 위치 정보는 상기 배경에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고, 상기 배경의 거리 정보는 상기 중심점과 상기 배경에 포함된 화소 사이의 거리에 대한 정보이고, 상기 배경의 깊이 정보는 상기 배경에 포함된 화소의 깊이 정보이고, 상기 배경의 색상 정보는 상기 배경에 포함된 화소의 색상 정보이고, 상기 배경은 상기 타겟 영역에서 상기 타겟을 제외한 부분일 수 있다. 상기 클러스터링 결과를 기반으로 상기 초기 정보를 재설정하는 단계는 클러스터링된 객체를 기반으로 타겟 영역을 재설정하는 단계, 상기 클러스터링된 객체를 기반으로 상기 타겟 클러스터링 정보를 재설정하는 단계와 상기 재설정된 타겟 영역의 외곽선을 기반으로 상기 배경 클러스터 정보를 재설정하는 단계를 포함할 수 있다. 상기 객체 추적 방법은 상기 객체의 이동 방향을 기반으로 다음 프레임에서 상기 객체를 추적하기 위한 상기 타겟 영역을 결정하는 단계를 더 포함할 수 있다. 상기 객체를 추적하기 위한 초기 정보를 설정하는 단계는 복수개의 객체가 겹치는 경우, 상기 복수개의 객체의 타겟 영역을 합쳐서 하나의 타겟 영역으로 설정하는 단계를 포함할 수 있다. 상기 객체 추적 방법은 상기 타겟 클러스터에 포함된 화소의 깊이 정보를 기반으로 상기 영상에서 복수개의 객체가 겹치는지 여부를 판단하는 단계를 더 포함할 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상에서 객체를 추적하는 장치에 있어서, 상기 장치는 프로세서를 포함하고, 상기 프로세서는 상기 객체를 추적하기 위한 초기 정보를 설정하고, 상기 초기 정보에 기반하여 클러스터링을 수행할 샘플을 추출하고, 상기 샘플을 기반으로 클러스터링을 수행하고, 상기 클러스터링 결과를 기반으로 상기 초기 정보를 재설정하도록 구현될 수 있되, 상기 초기 정보는 상기 타겟 영역 정보, 타겟 클러스터 정보, 배경 클러스터 정보를 포함하고, 상기 타겟 영역 정보는 상기 영상에 상기 객체를 포함하는 영역으로 상기 클러스터링을 수행하기 위한 샘플이 포함되는 영역이고, 상기 타겟 클러스터 정보는 상기 타겟을 중심으로 클러스터링을 수행하기 위한 정보이고, 상기 배경 클러스터 정보는 상기 배경을 중심으로 클러스터링을 수행하기 위한 정보일 수 있다. 상기 타겟 클러스터 정보는 상기 객체의 위치 정보, 상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보를 포함할 수 있고, 상기 객체의 위치 정보는 상기 객체에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고, 상기 객체의 거리 정보는 상기 중심점과 상기 객체에 포함된 화소 사이의 거리에 대한 정보이고, 상기 객체의 깊이 정보는 상기 객체에 포함된 화소의 깊이 정보이고, 상기 객체의 색상 정보는 상기 객체에 포함된 화소의 색상 정보이고, 상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보는 히스토그램에 기반하여 저장되는 정보일 수 있다. 상기 배경 클러스터 정보는 배경의 위치 정보, 상기 배경의 거리 정보, 상기 배경의 깊이 정보, 상기 배경의 색상 정보를 포함할 수 있고, 상기 배경의 위치 정보는 상기 배경에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고, 상기 배경의 거리 정보는 상기 중심점과 상기 배경에 포함된 화소 사이의 거리에 대한 정보이고, 상기 배경의 깊이 정보는 상기 배경에 포함된 화소의 깊이 정보이고, 상기 배경의 색상 정보는 상기 배경에 포함된 화소의 색상 정보이고, 상기 배경은 상기 타겟 영역에서 상기 타겟을 제외한 부분일 수 있다. 상기 프로세서는 클러스터링된 객체를 기반으로 타겟 영역을 재설정하고, 상기 클러스터링된 객체를 기반으로 상기 타겟 클러스터링 정보를 재설정하고, 상기 재설정된 타겟 영역의 외곽선을 기반으로 상기 배경 클러스터 정보를 재설정하도록 구현될 수 있다. 상기 프로세서는 상기 객체의 이동 방향을 기반으로 다음 프레임에서 상기 객체를 추적하기 위한 상기 타겟 영역을 결정하도록 구현될 수 있다. 상기 프로세서는 복수개의 객체가 겹치는 경우, 상기 복수개의 객체의 타겟 영역을 합쳐서 하나의 타겟 영역으로 설정하도록 구현될 수 있다. 상기 프로세서는 상기 타겟 클러스터에 포함된 화소의 깊이 정보를 기반으로 상기 영상에서 복수개의 객체가 겹치는지 여부를 판단하도록 구현될 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 영상에서 객체를 추적하는 방법 및 장치는 촬상된 영상에서 객체를 배경과 분리하여 명확하게 인식하고, 복수의 객체 사이에 가림이 발생한 경우, 가려진 객체를 명확하게 인식할 수 있다. 따라서, 영상에서 단수 및 복수의 객체를 추적시 영상 가림(occlusion)이 발생한 경우에도 강인한 추적을 고속으로 간단하게 수행할 수 있다.
도 1은 영상에 포함된 추적 대상 객체를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 초기 설정 정보를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 클러스터링을 수행하기 위한 샘플을 추출하는 단계를 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 클러스터링 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 타겟 영역 갱신 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 타겟 영역의 외곽선으로부터 배경 후보점을 선택하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 프레임의 변화에 따른 객체의 변화를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 영상 추적 방법을 나타낸 순서도이다.
도 9는 본 발명의 실시예에 따른 복수의 객체에 대한 클러스터링을 수행하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 복수의 객체를 클러스터링하여 위치 추적을 수행하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 영상에 복수의 객체를 추적하는 방법에 대해 나타낸 순서도이다.
도 12는 본 발명의 실시예에 따른 클러스터링 수행 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 초기 설정 정보를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 클러스터링을 수행하기 위한 샘플을 추출하는 단계를 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 클러스터링 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 타겟 영역 갱신 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 타겟 영역의 외곽선으로부터 배경 후보점을 선택하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 프레임의 변화에 따른 객체의 변화를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 영상 추적 방법을 나타낸 순서도이다.
도 9는 본 발명의 실시예에 따른 복수의 객체에 대한 클러스터링을 수행하는 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 복수의 객체를 클러스터링하여 위치 추적을 수행하는 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 영상에 복수의 객체를 추적하는 방법에 대해 나타낸 순서도이다.
도 12는 본 발명의 실시예에 따른 클러스터링 수행 장치를 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
이하, 본 발명의 실시예에서는 3D(dimension) 영상 정보를 기반으로 영상에서 복수의 객체를 추적하는 방법에 대해 개시한다. 영상에서 객체를 추적하는 방법으로 여러가지 방법들이 제안되어 왔다. 기존의 영상에서 객체를 추적하는 방법은 영상에서 객체를 추적하는데 있어 여러 단점을 가지고 있었다. 예를 들어, 종래 2D 영상 정보를 사용한 물체 추적 방법은 영상에서 객체가 가려지거나(occlusion) 조명 조건이 변하는 등의 경우에 영상에서 객체를 찾는데 어려움이 있다는 단점이 있었다. 또한, 3D 영상 정보를 기반으로 객체를 추적하는 방법도 복수개의 객체를 추적할 때 추적 객체 간의 교차 또는 가림 현상이 발생할 경우 여전히 객체를 추적함에 있어 문제점이 발생하였다. 이하, 본 발명은 이러한 문제들을 해결하기 위한 영상에서 객체를 추적하기 위한 알고리즘을 제안한다.
도 1은 영상에 포함된 추적 대상 객체를 나타낸 개념도이다.
종래 추적 기술에 있어 문제점은 크게 1) 조명의 변화에 의한 색 변화 및 2) 영상 가림에 의한 추출 대상 객체의 결합과 분할이라 볼 수 있다
도 1에서는 영상 가림에 의한 추출 대상 객체가 다른 객체와 결합하거나 추출 대상 객체가 분할되는 경우를 나타낸다.
조명의 변화에 의한 색 변화에 관해서는 컬러 영상 고유의 문제이기 때문에 적외선 카메라 등을 사용하여 회피할 수 있다. 하지만, 영상 가림에 의한 추출 대상 객체의 결합과 분할은 3D 영상 정보를 사용하여도 해결이 어려운 문제이다. 추적 대상 객체의 수가 증가할수록 추적 대상 객체 사이의 추출 영역 가림, 결합, 분할로 인한 객체 추적의 복잡도가 증가하게 된다. 종래에는 이러한 문제를 해결하기 위한 방법으로 카메라를 여러대 사용하거나, 또는 추적 대상 객체의 특징이나 형태를 계산하여 물체가 분할되거나 결합되어도 추적 대상 객체임을 인식하도록 하는 방법을 사용하였다. 하지만, 복수개의 카메라를 사용하는 방법의 경우, 카메라가 여러대 필요하다는 단점이 있고, 추적 대상 객체의 특징이나 형태를 계산하는 방법의 경우 정밀도가 낮고 처리 속도가 느려 실제로 실시간으로 영상에서 추적 대상 객체를 추출하는 방법으로 사용하기에는 적용하기에는 어려움이 있었다.
본 발명의 실시예에 따른 영상에서 객체 추적 방법에서는 3D 영상 정보를 받을 수 있는 카메라로부터 주위 검출 영역의 3D 정보를 취득하고, 이러한 정보를 이용하여 검출 영역 내에 있는 임의의 객체(예를 들어, 사람 등)을 인식하여 추적할 수 있다. 본 발명에서는 객체 추적 방법은 종래의 추출 영역 내에서 대상 물체인지 아닌지 검색 및 판단하는 것에서 출발하는 것이 아닌, 영상의 클러스터링에 기반하여 수행할 수 있다. 이하에서는 영상 클러스터링에 기반한 객체 추적 방법에 대해 개시한다.
1. 초기 정보 설정 단계
우선, 영상에서 추적 대상 객체를 추적하기 위한 초기 정보를 설정할 수 있다. 초기 정보 설정 단계에서 설정되는 정보는 추적 대상 객체의 영역(이하에서는 타켓 영역이라고 함), 추적 대상 객체의 특징(이하에서는 타겟 클러스터 정보라고 함), 배경 특징(이하에서는, 배경 클러스터 정보라고 함)의 3개이다.
(1) 타겟 영역
도 2는 본 발명의 실시예에 따른 초기 설정 정보를 설명하기 위한 개념도이다.
영상은 타겟 객체(target object), 타겟 영역(target region), 가림 객체(occlusion object)로 구분될 수 있다.
타겟 객체는 영상에서 추적하는 객체, 타겟 영역은 타겟 객체를 감싸는 타원으로 표시되는 영역, 가림 객체는 타겟 객체를 가리는 객체일 수 있다. 영상에서 객체를 추적하기 위해 우선적으로 타겟 영역을 결정할 수 있다. 타겟 영역은 설명의 편의상 타원 영역으로 설정했으나, 타원이 아닌 다른 형태의 도형에 기반하여 설정될 수도 있다.
(2) 타겟 클러스터 정보
타겟 클러스터 정보는 아래의 정보 중 적어도 2가지 또는 3가지 정보를 포함한 정보의 집합일 수 있다. 타겟 클러스터 정보는 타겟으로 분류된 화소를 기반으로 산출되는 정보일 수 있다.
1) 추적 대상 객체의 위치 정보(x, y)
2) 추적 대상 객체의 거리 정보(distance)
3) 추적 대상 객체의 깊이 정보(depth)
4) 컬러 정보를 사용할 수 있는 경우, 추적 대상 객체의 색상정보(r, g, b)
추적 대상 객체의 위치 정보는 타겟 영역에 포함되는 화소의 상대적인 거리를 산출하기 위한 기준이 되는 정보일 수 있다. 예를 들어, 추적 대상 객체의 위치 정보는 설정된 타겟 영역의 중심점일 수 있다. 타겟 영역이 타원인 경우, 타원의 중심점이 추적 대상 객체의 위치가 될 수 있다. 또 다른 예로 타겟 영역의 무게 중심이 추적 대상 객체의 위치가 될 수도 있다. 추적 대상 객체의 위치 정보는 타겟을 기반으로 다양하게 결정될 수 있다.
추적 대상 객체의 거리 정보는 추적 대상 객체의 위치 정보를 기반으로 산출된 타겟에 포함되는 화소와 추적 대상 객체의 위치 정보 사이의 거리에 관련된 정보일 수 있다. 추적 대상 객체를 기반으로 산출된 추적 대상 객체의 깊이 정보는 촬상된 영상이 3D 영상인 경우, 타겟에 포함되는 화소의 깊이 정보일 수 있다. 색상 정보는 추적 대상 객체의 색상에 관련된 정보일 수 있다.
추적 대상 객체의 거리 정보, 추적 대상 객체의 깊이 정보, 생상 정보 등은 통계적인 수치를 기반으로 저장되어 영상 내 객체를 추적하기 위해 사용될 수도 있다. 예를 들어, 추적 대상 객체의 거리 정보, 깊이 정보 및 색상 정보는 히스토그램과 같은 통계적인 방법을 기반으로 저장되어 클러스터링을 위해 사용함으로써 타겟 클러스터 정보의 자유도를 높일 수 있다.
(3) 배경 클러스터 정보
배경 클러스터 정보와 같이 다음의 2가지 또는 3가지 정보를 포함할 수 있다.
1) 영상에 포함된 배경의 위치 정보(x, y)
2) 배경의 거리 정보(distance)
3) 배경의 깊이 정보 (depth)
4) 컬러 정보를 사용할 수 있는 경우 배경의 색상 정보 (r, g, b)
예를 들어, 배경 클러스터 정보는 타겟 영역에서 타겟을 제외한 영역을 기반으로 산출되는 정보일 수 있다. 배경 클러스터 정보는 여러 개의 배경 후보점을 기반으로 생성될 수 있다. 타겟을 제외한 영역에서 적어도 하나의 하나의 배경 영역을 정의할 수 있고, 정의된 배경 영역의 중심점을 배경의 위치 정보라고 할 수 있다. 배경의 거리 정보는 배경의 위치 정보에 기반하여 배경 영역에 포함된 화소와 배경의 위치 정보 사이의 거리이고, 배경의 위치 정보는 배경 영역에 포함된 화소의 깊이 정보일 수 있다. 배경의 색상 정보는 배경 영역에 포함된 화소의 색상 정보일 수 있다.
배경 클러스터 정보는 타겟 클러스터 정보와 달리, 정보의 분산이 크고 연속적이 아닐 가능성이 높다. 따라서, 히스토그램과 같은 통계적인 저장 방법보다는 선택된 특정한 배경 후보점의 정보를 기반으로 저장되어 이를 기반으로 클러스터링을 수행할 수 있다.
타겟 클러스터 정보 및 배경 클러스터 정보를 사용하기 위해서는 우선적으로 개략적인 객체와 배경 사이의 분리가 수행되어야 한다. 1차적인 타겟과 배경의 검출 방법은 템플릿 매칭 또는 패턴 인식에 의한 물체 검출 등 다양한 방법을 사용하여 수행될 수 있다.
2. 샘플 추출 단계
도 3은 본 발명의 실시예에 따른 클러스터링을 수행하기 위한 샘플을 추출하는 단계를 나타낸 개념도이다.
도 3을 참조하면, 초기 정보 설정 단계를 통해 결정된 타겟 영역을 기반으로 클러스터링을 수행하기 위한 샘플을 추출할 수 있다. 샘플을 추출하는 방법으로는 다양한 방법이 사용될 수 있다. 예를 들어, 타겟 영역 내의 모든 화소를 샘플로 사용하는 방법 또는 랜덤으로 임의의 화소를 추출하여 샘플로 사용하는 방법, 객체별 특징점을 선택하여 이에 기반하여 선택된 화소를 샘플로 사용하는 방법 등을 생각할 수 있다.
클러스터링을 수행하기 위해 선택된 샘플의 수를 늘린다면 영상에서 객체 추적을 수행하는 성능의 향상을 기대할 수 있으나, 클러스터링을 수행하기 위한 처리 코스트가 늘어날 수 있다. 반대로 샘플의 수를 줄이면 처리 코스트도 줄일 수 있으나, 영상에서 객체 추적을 수행하는 추적 성능은 낮아질 것이다. 클러스터링을 수행하는 샘플의 수는 추적을 행하는 환경 또는 요구 성능 등에 의해 조정될 수 있다.
3. 클러스터링 단계
샘플 추출 단계를 통해 결정된 샘플을 대상으로 클러스터링을 수행할 수 있다. 클러스터링은 간단하고, 고속으로 처리가 가능한 K-means 방법을 기반으로 수행될 수 있다. 본 발명의 실시예에 따른 객체 추적 방법에서는 영상을 타겟과 배경 2가지의 클러스터로 분류하여 K-means 방법을 수행할 수 있다. K-means 방법은 일반적으로 아래와 같은 순서대로 처리를 행한다.
1) 초기 클러스터의 중심을 정한다.
2) 분류를 수행하는 각 샘플과 클러스터 중심과의 거리를 계산하여, 각 샘플을 가장 가까운 거리에 있는 클러스터로 할당한다.
3) 할당된 샘플을 이용하여 클러스터 중심을 갱신한다.
4) 2와 3을 반복한다.
본 발명에서는 전술한 단계에서 추출된 샘플을 기반으로 위와 같은 절차를 통해 클러스터링을 수행할 수 있다. 클러스터링을 수행하기 위한 초기 클러스터의 중심은 초기 정보 설정 단계에서 결정된 타겟 클러스터 정보의 추적 대상 객체의 위치 정보, 배경 클러스터 정보의 배경 위치 정보일 수 있다.
도 4는 본 발명의 실시예에 따른 클러스터링 방법을 나타낸 개념도이다.
도 4를 참조하면, 타겟 영역에 포함된 샘플을 기준으로 클러스터링을 수행하여 객체와 배경을 분류할 수 있다. K-means 클러스터링을 수행하는 경우 객체로 클러스터링되는 샘플들과 배경으로 클러스터링되는 샘플로 샘플들을 분류할 수 있다.
타겟 클러스터 정보와 배경 클러스터 정보는 서로 다른 거리 계측 방법을 기반으로 클러스터링을 수행할 수 있다.
1) 타겟 클러스터 중심과의 거리 계측법
클러스터링을 수행시 위치 정보를 구하기 위해 단순히 영상 좌표를 이용하는 경우 또는 가로나 세로가 긴 객체를 추적할 경우, 객체 추적 성능이 저하될 가능성이 있다. 따라서, 본 발명의 실시예에 따른 객체 추적 방법에서는 타겟 영역의 타원이 원이 되도록 정규화를 수행한 공간을 기반으로 타겟 클러스터 중심과 샘플 사이의 거리를 계측할 수 있다. 타겟 클러스터 정보는 전술한 바와 같이 추적 객체의 거리 정보, 깊이 정보 및 색 정보 중 적어도 하나의 정보를 통계적인 정보(예를 들어, 히스토그램)로 포함할 수 있다. 본 발명의 실시예에 따른 객체 추적 방법에서는 샘플의 거리 데이터와 색 데이터를 기반으로 산출된 수치를 타겟 클러스터 중심과의 거리로 정의할 수 있다. 즉, 타겟 클러스터 정보에 포함된 통계적인 수치를 기반으로 클러스터링을 수행할 수 있다. 여기서 타겟 클러스터 정보를 추출하기 위해 추출된 점들의 수가 적은 경우, 히스토그램의 분산이 클 수 있다. 이러한 경우에는 히스토그램 평활화 처리를 수행하여 사용할 수 있다.
2) 배경 클러스터 중심과 거리 계측법
배경 클러스터 중심과 거리 계측을 수행하기 위해서 타겟 클러스터와의 거리를 구하는 경우와 마찬가지로 타겟 영역의 타원이 원이 되도록 정규화한 공간상에서 비교를 수행할 수 있다. 배경 클러스터 정보는 배경의 거리 정보, 깊이 정보 및 색 정보 중 적어도 하나의 정보를 통계적인 정보(예를 들어, 히스토그램)로 포함할 수 있다. 배경 클러스터 정보는 복수개의 배경 후보점을 가질 수 있다. 따라서, 거리 비교를 모든 배경 후보점에 대해 행하고, 가장 가까운 하나의 배경 후보점을 배경으로 선택하여 클러스터링을 수행한다. 선택된 배경 후보점과 배경 클러스터 중심 사이의 거리를 배경 클러스터와의 거리로 정의한다.
4. 타겟 영역 갱신 단계
클러스터링을 수행하여 타겟으로 분류된 점들에 대해 다시 타원 맞춤(fitting) 과정을 행하여, 타겟 영역을 갱신할 수 있다.
도 5는 본 발명의 실시예에 따른 타겟 영역 갱신 방법을 나타낸 개념도이다.
도 5를 참조하면, 타겟 영역 갱신에 의해 결정된 타원을 점선으로 표시하였다. 이러한 타원 영역을 새로운 타겟 영역으로 설정하여 다음 클러스터링을 수행시 사용되는 타겟 영역으로 사용할 수 있다.
본 발명의 또 다른 실시예에 따르면, 결정된 타겟 영역이 확대되어 타겟 확대 영역이 선택되어 클러스터링을 수행시에 사용될 수도 있다. 즉, 추가적으로 추적 대상의 이동 속도 또는 형태의 변화를 고려하여 타겟 영역을 확대하는 방법을 통해 이동성이 높거나 형태의 변화도가 높은 객체에 대한 안정적인 추적을 수행할 수도 있다.
5. 타겟 클러스터 정보, 배경 클러스터 정보의 갱신
타겟 클러스터 정보, 배경 클러스터 정보의 갱신 단계에서는 타겟 영역으로 새롭게 설정된 영역을 기반으로 타겟 클러스터 정보 및 배경 클러스터 정보를 갱신할 수 있다. 타겟 클러스터 정보의 위치 정보는 타겟 영역 갱신 단계에서 갱신된 타겟 영역을 기반으로 결정될 수 있다. 즉, 타겟 클러스터 정보, 배경 클러스터 정보인 색 정보, 거리 정보 등이 클러스터링되어 분류된 타겟과 배경을 기반으로 새롭게 산출될 수 있다. 배경 클러스터 정보는 복수의 배경 후보점으로 구성된다. 배경 클러스터 정보는 복수의 배경 후보점 중 가장 배경에 가까운 점을 선택하여 사용할 수 있다. 본 발명에서는 타겟 영역은 추적 대상을 완전하게 싸고 있다고 가정하여, 타겟 영역의 외곽선으로부터 배경 후보점을 선택할 수 있다.
도 6은 본 발명의 실시예에 따른 타겟 영역의 외곽선으로부터 배경 후보점을 선택하는 방법을 나타낸 개념도이다.
도 6을 참조하면, 타겟 영역의 외곽선을 기반으로 배경 후보점을 산출할 수 있다. 이러한 방법을 사용하여 클러스터링을 수행함으로써 배경과 추적 객체를 더욱 명확하게 클러스터링할 수 있다.
6. 클러스터링 반복 단계
타겟 영역 갱신 단계를 통해 갱신된 타겟 영역을 기반으로 다시 클러스터링을 수행하여 타겟과 배경을 분류할 수 있다. 즉, 타겟 영역 갱신하고 갱신된 타겟 영역에서 타겟 클러스터 정보, 배경 클러스터 정보를 갱신한 후 전술한 샘플 추출 단계 및 클러스터링 단계를 다시 수행할 수 있다.
본 발명의 실시예에 따른 객체 추적 방법에서는 추적 대상 객체의 이동 속도 또는 형태 변화의 정도에 따라 동일 프레임에 대해 반복 처리를 수행할 수 있다. 예를 들어, 추적 대상 객체의 이동 속도가 크거나 추적 대상 객체의 형태 변화 정도가 클수록 동일 프레임에 대한 클러스터링 반복 횟수를 증가시키는 것이 좀 더 효과적일 수 있다. 또한, 과거 프레임의 이동 방향 등으로부터 다양한 필터링 기법을 적용하여 다음 프레임에서의 이동을 예측, 타겟 영역을 이동 시키는 방법이 적용될 수도 있다.
도 7은 본 발명의 실시예에 따른 프레임의 변화에 따른 객체의 변화를 나타낸 개념도이다.
도 7을 참조하면, 프레임이 변함에 따라 객체가 이동하거나 객체의 형태가 변화될 수 있다. 이러한 경우 변화의 경향성에 대한 정보를 기반으로 타겟 영역의 변화에 대해 결정할 수 있다. 예를 들어, 프레임이 변함에 따라 객체의 움직임 벡터가 산출될 수 있다. 본 발명의 실시예에 따른 객체 추적 방법에서는 산출된 객체의 움직임 벡터를 기반으로 다음 프레임에서 클러스터링을 수행하기 위해 사용할 타겟 영역을 결정할 수 있다.
도 8은 본 발명의 실시예에 따른 영상 인식 방법을 나타낸 순서도이다.
도 8을 참조하면, 영상 인식을 수행하기 위해 초기 정보를 설정한다(단계 S800).
영상 인식을 수행하기 위한 초기 정보는 타겟 영역, 타겟 클러스터 정보, 배경 클러스터 정보를 포함할 수 있다. 타겟 영역은 클러스터링을 수행하기 위한 화소가 포함되는 영역일 수 있고, 타겟 클러스터 정보 및 배경 클러스터 정보는 타겟 영역에 포함된 타겟과 배경을 클러스터링하여 분류하기 위해 사용되는 정보이다. 예를 들어 타겟 클러스터 정보는 추적 대상 객체의 위치 정보, 추적 대상 객체의 거리 정보, 추적 대상 객체의 깊이 정보, 추적 대상 객체의 색상정보를 포함할 수 있다.
샘플을 추출한다(단계 S810).
타겟 영역에서 클러스터링을 수행할 샘플을 추출할 수 있다. 타겟 영역에서 추출된 샘플은 클러스터링이 수행되는 샘플로, 예를 들어, 타겟 영역에 포함된 모든 화소, 타겟의 특징점에 해당하는 샘플일 수 있다. 타겟을 추적에 필요한 정확도에 따라 샘플의 개수가 조절될 수 있다.
클러스터링을 수행한다(단계 S820).
예를 들어, K-means 클러스터링 방법에 기반하여 클러스터링을 수행할 수 있다. 클러스터링은 단계 S800에서 결정된 타겟 클러스터 정보 및 배경 클러스터 정보 및 단계 S810을 통해 결정된 샘플을 기반으로 수행될 수 있다. 예를 들어, 타겟 클러스터 정보에 포함된 샘플의 타겟 클러스터 중심과의 거리 정보, 샘플의 색상 정보, 샘플의 깊이 정보를 기반으로 클러스터링을 수행하여 샘플을 클러스터링할 수 있다. 클러스터링 결과 타겟과 배경을 구분할 수 있다.
클러스터링을 종료할지 여부를 판단한다(단계 S830).
클러스터링된 결과를 기반으로 클러스터링을 종료할지 여부를 결정할 수 있다. 본 발명의 실시예에 따르면 클러스터링 단계를 반복적으로 수행하여 타겟과 배경을 좀더 명확하게 구분할 수 있다. 예를 들어, 실시간으로 영상 처리가 필요한 경우에는 클러스터링을 수행하는 횟수를 일정한 횟수로 제한하여 클러스터링으로 인해 영상에서 실시간으로 객체 추적이 수행되지 않는 경우를 방지할 수 있다. 클러스터링을 종료하는 것으로 판단되는 경우 클러스터링 결과를 기반으로 영상에서 객체를 추적할 수 있다. 클러스터링을 종료하지 않는 것으로 판단되는 경우 반복적인 클러스터링을 수행하여 영상에서 객체를 추적할 수 있다.
클러스터링을 수행한 결과를 기반으로 타겟 영역을 갱신한다(단계 S840).
클러스터링을 수행한 결과를 기반으로 타겟을 새롭게 결정할 수 있고, 이에 기반하여 다시 클러스터링을 수행하기 위한 타겟 영역을 갱신할 수 있다. 타겟 영역을 갱신한 후 다시 단계 S800으로 돌아가 갱신된 타겟 영역 및 클러스터링된 타겟을 기반으로 타겟 클러스터 정보, 배경 클러스터 정보를 새롭게 설정할 수 있다.
이후 클러스터링을 수행할 타겟 영역을 결정한다(단계 S850).
단계 S850은 추가적인 단계로 본 발명의 실시예에 따르면 객체의 영상 내의 움직임 정보를 기반으로 다음 프레임에서 객체를 추적하기 위해 사용하는 타겟 영역을 결정할 수 있다.
전술한 방법을 기반으로 영상에서 추적 객체에 다소의 가림이 있는 경우에도 안정적인 객체 추적을 수행할 수 있다. 본 발명의 또 다른 실시예에 따르면, 타겟과 배경 두 개의 클래스로 분류하여 객체 추적을 수행하는 방법뿐만 아니라 제1 타겟과 제2 타겟, 그리고 배경 등으로 클러스터의 수를 늘림으로써 간단하게 복수의 타겟에 대한 추적을 수행하는 멀티 타겟 추적을 수행할 수 있다. 이하에서는 추적을 수행하는 객체의 개수가 복수개인 경우 멀티 타겟 추적을 수행하는 방법에 대해 개시한다.
1. 추적 대상의 교차 여부 판단 단계
추적 대상의 교차 여부 판단 단계에서는 복수의 추적 대상 물체 사이에서 교차가 일어났는지 여부를 판정할 수 있다. 예를 들어, 복수의 추적 객체의 타겟 영역 또는 타겟이 겹치는지 여부를 기반으로 추적 객체가 영상 내에서 교차되는지 여부를 판정할 수 있다. 본 발명의 실시예에 따르면, 교차된 타겟 영역은 하나의 클러스터링 문제로 다루기 위해 교차한 타겟 영역들을 합성하는 방법을 사용할 수 있다.
2. 타겟 영역의 합성과 배경 클러스터 정보 작성
겹쳐진 타겟 영역의 중복 부분을 소거하고, 하나의 타겟 영역으로 생성하여 합쳐진 타겟 영역을 기반으로 클러스터링을 수행할 수 있다.
*도 9는 본 발명의 실시예에 따른 복수의 객체에 대한 클러스터링을 수행하는 방법을 나타낸 개념도이다.
도 9를 참조하면, 제1 추적 객체와 제2 추적 객체에 대한 각각의 타겟 영역이 합쳐져 하나의 타겟 영역으로 생성될 수 있다.
타겟 클러스터 정보는 개별 객체를 추적할 경우 사용하는 정보를 그대로 사용할 수 있다. 하지만, 배경 클러스터 정보는 타겟 영역이 바뀌었기 때문에 새로운 타겟 영역을 기반으로 새롭게 산출될 수 있다. 즉, 배경 클러스터 정보는 합쳐진 타겟 영역을 기반으로 산출될 수 있다. 배경 클러스터 정보를 구하는 방법은 개별 객체를 추적시 배경 클러스터 정보를 산출하는 방법과 동일한 방법을 사용할 수 있다. 예를 들어, 타겟 영역에서 타겟을 제외한 영역을 배경으로 우선 판단하여 클러스터링을 수행할 수 있다. 타겟 클러스터 정보와 배경 클러스터 정보는 전술한 바와 같이 영상 중의 위치 정보, 거리 정보, 깊이 정보, 색상 정보 등을 포함할 수 있다.
3. 추출된 점의 샘플링과 클러스터링
복수에 객체에 대한 추적을 수행하는 경우에도 클러스터링의 각각의 객체에 대한 클러스터링을 수행하기 때문에 클러스터의 개수가 변한다는 점 이외에는 단수 물체를 추적할 때와 동일하게 샘플링 및 클러스터링을 수행할 수 있다.
도 10은 본 발명의 실시예에 따른 복수의 객체를 클러스터링 하여 위치 추적을 수행하는 방법을 나타낸 개념도이다.
도 10을 참조하면, 우선 복수의 객체를 기반으로 결정된 타겟 영역을 기반으로 클러스터링을 수행할 샘플을 결정할 수 있다.
결정된 샘플 및 타겟 클러스터 정보 및 배경 클러스터 정보를 기반으로 제1 타겟, 제2 타겟, 배경을 구분하기 위한 클러스터링을 수행할 수 있다. 클러스터링을 수행하는 경우 제1 추적 객체를 기반으로 하나의 클러스터, 제2 추적 객체를 기반으로 하나의 클러스터, 제1 추적 객체 및 제2 추적 객체를 제외한 배경을 기반으로 하나의 클러스터가 정의될 수 있다.
4. 타겟 영역의 갱신 및 타겟 클러스터 정보의 갱신, 배경 클러스터 정보의 갱신
클러스터링을 수행한 후, 만약 반복적인 클러스터링이 수행되는 경우, 클러스터링이 수행된 제1 객체, 제2 객체를 기반으로 전술한 타겟 영역의 갱신 단계 및 타겟 클러스터 정보의 갱신 단계, 배경 클러스터 정보의 갱신 단계를 수행할 수 있다. 반복적인 클러스터링을 수행하지 않는 경우, 전술한 클러스터링 절차 이후에 절차를 종료할 수 있다.
좀 더 구체적으로 반복적인 클러스터링 단계를 수행하는 경우, 각 객체에 대해 위의 단계를 수행한 후 다시 전술한 타겟 영역의 합성 단계과 타겟 클러스터 정보와 배경 클러스터 정보 생성 단계, 추출된 점의 샘플링과 클러스터링 단계를 다시 수행할 수 있다.
전술한 클러스터링에 기반한 객체 추적 방법을 사용함으로써 영상 가림에 강인한 단수 및 복수 객체 추적을 고속으로 간단하게 수행할 수 있다.
도 11은 본 발명의 실시예에 따른 영상에 복수의 객체를 추적하는 방법에 대해 나타낸 순서도이다.
도 11을 참조하면, 추적 대상의 교차 여부를 판단한다(단계 S1100).
겹쳐진 복수의 타겟이 존재하는지 여부를 판단하여 클러스터링을 수행할 수 있다. 추적 대상이 교차되지 않는 경우, 도 1에서 도 8에서 전술한 클러스터링 방법에 기반하여 객체를 추적할 수 있다. 추적 대상의 교차 여부는 다양한 방법에 의해 판단될 수 있다. 예를 들어, 사람을 트래킹하는 경우, 사람의 템플릿 모델을 기반으로 하나의 사람인지 복수의 사람이 겹쳐져 있는지 여부를 판단하거나, 객체의 외곽선 정보를 이용하여 하나의 사람인지 여부를 판단할 수도 있다. 또한, 색상 정보 또는 영상의 깊이 정보를 기반으로 두개의 객체가 겹쳐져 있는지 여부에 대해서도 판단할 수 있다.
이하에서는 설명의 편의상 추적 대상이 교차되는 경우를 가정하여 설명한다.
추적 대상이 교차되는 경우, 타겟 영역, 타겟 클러스터 정보와 배경 클러스터 정보를 산출한다(단계 S1110).
추적 대상이 교차되는 경우, 타겟 영역은 겹쳐진 개별 객체의 타겟 영역이 겹쳐진 영역으로 정의될 수 있다. 본 발명의 실시예에 따른 객체 추적 방법에서는 복수의 객체의 겹쳐진 영역을 타겟 영역으로 정의하여 객체 추적을 수행할 수 있다. 타겟 클러스터 정보는 각 객체에 대하여 개별적으로 산출될 수 있고, 배경 클러스터 정보는 타겟을 제외한 영역에서 복수의 배경 후보점을 기준으로 결정될 수 있다.
클러스터링을 수행할 샘플을 결정하고 결정된 샘플에 대해 클러스터링 한다(단계 S1120).
추출된 점을 샘플링하고 샘플링된 점을 기반으로 타겟 영역, 타겟 클러스터 정보와 배경 클러스터 정보를 이용하여 복수의 객체 및 배경에 대한 클러스터링을 수행할 수 있다. 클러스터링을 수행하는 경우, 개별 객체 및 배경에 대해 클러스터링이 수행되어 구분될 수 있다.
클러스터링을 종료할지 여부를 판단한다(단계 S1130).
클러스터링된 결과를 기반으로 클러스터링을 종료할지 여부를 결정할 수 있다. 본 발명의 실시예에 따르면 클러스터링 단계를 반복적으로 수행하여 타겟과 배경을 좀더 명확하게 구분할 수 있다. 실시간으로 영상 처리가 필요한 경우에는 클러스터링을 수행하는 횟수를 일정한 횟수로 제한하여 클러스터링으로 인해 영상에서 실시간으로 객체 추적이 수행되지 않는 경우를 방지할 수 있다. 클러스터링을 종료하는 것으로 판단되는 경우 클러스터링 결과를 기반으로 영상에서 객체를 추적할 수 있다. 클러스터링을 종료하지 않는 것으로 판단되는 경우 추가적인 절차를 통해 영상에서 객체를 추적할 수 있다.
클러스터링을 수행한 결과를 기반으로 타겟 영역을 갱신한다(단계 S1140).
클러스터링을 수행한 결과를 기반으로 타겟 영역을 결정할 수 있고, 이에 기반하여 다시 클러스터링을 수행하기 위한 타겟 영역을 갱신할 수 있다. 타겟 영역을 갱신한 후 다시 단계 S1110으로 돌아가 갱신된 타겟 영역 및 클러스터링된 타겟을 기반으로 타겟 클러스터 정보, 배경 클러스터 정보를 새롭게 설정할 수 있다.
이후 클러스터링을 수행할 타겟 영역을 결정한다(단계 S1150).
단계 S1150은 추가적인 단계로 본 발명의 실시예에 따르면 객체의 영상 내의 움직임 정보를 기반으로 다음 프레임에서 객체를 추적하기 위해 사용하는 타겟 영역을 결정할 수 있다.
도 12는 본 발명의 실시예에 따른 클러스터링 수행 장치를 나타낸 개념도이다.
도 12를 참조하면, 클러스터링 수행 장치는 객체 겹침 판단부(1200), 초기 정보 설정부(1210), 샘플 추출부(1220), 클러스터링부(1230), 타겟 영역 갱신부(1240), 프로세서(1250)를 포함할 수 있다.
클러스터링 수행 장치에 포함되는 각 구성부는 도 1 내지 도 11에서 전술한 실시예를 수행하기 위한 구성부이다. 각 구성부은 예를 들어, 아래와 같은 동작을 수행할 수 있다.
*객체 겹침 판단부(1200)는 촬영된 영상에서 객체 겹침이 존재하는지 여부를 판단하기 위해 구현될 수 있다. 본 발명의 실시예에 따르면 객체 겹침이 일어나는지 여부에 따라 초기 정보 설정부(1210)에서 타겟 영역을 결정하는 방법이 달라질 수 있다. 따라서, 객체 겹침 판단부(1200)의 판단에 따라 초기 정보 설정부(1210)에서 설정되는 타겟 영역이 달라질 수 있다.
초기 정보 설정부(1210)는 정보는 타겟 영역, 타겟 클러스터 정보, 배경 클러스터 정보를 결정하기 위해 구현될 수 있다. 초기 정보 설정부(1210)에서는 객체 겹침 판단부(1200)의 판단 결과를 기반으로 복수의 객체가 겹치는 경우 겹치는 객체에 대해 각각 결정된 타겟 영역을 합친 영역을 타겟 영역으로 설정하여 클러스터링을 수행할 수 있다. 초기 정보 설정부(1210)에서는 타겟과 배경의 중심 정보, 거리 정보, 깊이 정보, 색상 정보와 같은 클러스터링을 수행하기 위한 기본정보를 생성하기 위해 구현될 수 있다.
샘플 추출부(1220)는 클러스터링을 수행할 샘플을 추출할 수 있다. 예를 들어, 추출되는 샘플은 전 화소이거나 객체의 특징점에 관련된 점일 수 있다.
클러스터링부(1230)는 샘플 추출부()에서 추출된 샘플을 초기 정보 설정부()에서 설정된 타겟 영역, 타겟 클러스터 정보, 배경 클러스터 정보에 기반하여 클러스터링할 수 있다.
타겟 영역 갱신부(1240)는 클러스터링을 수행한 결과 산출된 타겟과 배경 영역을 기준으로 타겟 영역을 갱신할 수 있다. 갱신된 타겟 영역은 다시 초기 정보 설정부(1210)로 전송될 수 있다. 클러스터링을 반복적으로 수행할 경우, 다시 초기 정보 설정부에서 설정된 타겟 영역, 타겟 클러스터 정보, 배경 클러스터 정보를 기반으로 클러스터링을 수행할 수 있다.
프로세서(1250)는 전술한 객체 겹침 판단부(1200), 초기 정보 설정부(1210), 샘플 추출부(1220), 클러스터링부(1230), 타겟 영역 갱신부(1240)의 동작을 제어하기 위해 구현될 수 있다.
위와 같은 구성은 설명의 편의상 기능상 각 구성부를 분리하여 표현한 것으로 하나의 구성부로 표현된 경우도 복수의 구성부로 나뉠 수 있고 복수의 구성부도 하나의 구성부로 합쳐질 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (14)
- 영상에서 객체를 추적하는 방법에 있어서,
상기 객체를 추적하기 위한 초기 정보를 설정하는 단계;
상기 초기 정보에 기반하여 클러스터링을 수행할 샘플을 추출하는 단계;
상기 샘플을 기반으로 클러스터링을 수행하는 단계; 및
상기 클러스터링을 수행한 결과를 기반으로 상기 초기 정보를 재설정하는 단계를 포함하되,
상기 초기 정보는 타겟 영역 정보, 타겟 클러스터 정보, 배경 클러스터 정보를 포함하고,
상기 타겟 영역 정보는 상기 영상에 상기 객체를 포함하는 영역으로 상기 클러스터링을 수행하기 위한 샘플이 포함되는 영역이고,
상기 타겟 클러스터 정보는 상기 타겟을 중심으로 클러스터링을 수행하기 위한 정보이고,
상기 배경 클러스터 정보는 상기 배경을 중심으로 클러스터링을 수행하기 위한 정보인 객체 추적 방법. - 제1항에 있어서,
상기 타겟 클러스터 정보는 상기 객체의 위치 정보, 상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보를 포함하고,
상기 객체의 위치 정보는 상기 객체에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고,
상기 객체의 거리 정보는 상기 중심점과 상기 객체에 포함된 화소 사이의 거리에 대한 정보이고,
상기 객체의 깊이 정보는 상기 객체에 포함된 화소의 깊이 정보이고,
상기 객체의 색상 정보는 상기 객체에 포함된 화소의 색상 정보이고,
상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보는 히스토그램에 기반하여 저장되는 정보인 객체 추적 방법. - 제1항에 있어서,
상기 배경 클러스터 정보는 배경의 위치 정보, 상기 배경의 거리 정보, 상기 배경의 깊이 정보, 상기 배경의 색상 정보를 포함하고,
상기 배경의 위치 정보는 상기 배경에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고,
상기 배경의 거리 정보는 상기 중심점과 상기 배경에 포함된 화소 사이의 거리에 대한 정보이고,
상기 배경의 깊이 정보는 상기 배경에 포함된 화소의 깊이 정보이고,
상기 배경의 색상 정보는 상기 배경에 포함된 화소의 색상 정보이고,
상기 배경은 상기 타겟 영역에서 상기 타겟을 제외한 부분인 객체 추적 방법. - 제1항에 있어서, 상기 클러스터링을 수행한 결과를 기반으로 상기 초기 정보를 재설정하는 단계는,
클러스터링된 객체를 기반으로 타겟 영역을 재설정하는 단계;
상기 클러스터링된 객체를 기반으로 상기 타겟 클러스터링 정보를 재설정하는 단계; 및
상기 재설정된 타겟 영역의 외곽선을 기반으로 상기 배경 클러스터 정보를 재설정하는 단계를 포함하는 객체 추적 방법. - 제4항에 있어서,
상기 객체의 이동 방향을 기반으로 다음 프레임에서 상기 객체를 추적하기 위한 상기 타겟 영역을 결정하는 단계를 더 포함하는 객체 추적 방법. - 제1항에 있어서, 상기 객체를 추적하기 위한 초기 정보를 설정하는 단계는,
복수개의 객체가 겹치는 경우, 상기 복수개의 객체의 타겟 영역을 합쳐서 하나의 타겟 영역으로 설정하는 단계를 포함하는 객체 추적 방법. - 제6항에 있어서,
상기 타겟 클러스터에 포함된 화소의 깊이 정보를 기반으로 상기 영상에서 복수개의 객체가 겹치는지 여부를 판단하는 단계를 더 포함하는 객체 추적 방법. - 영상에서 객체를 추적하는 장치에 있어서, 상기 장치는 프로세서를 포함하고,
상기 프로세서는 상기 객체를 추적하기 위한 초기 정보를 설정하고, 상기 초기 정보에 기반하여 클러스터링을 수행할 샘플을 추출하고, 상기 샘플을 기반으로 클러스터링을 수행하고, 상기 클러스터링을 수행한 결과를 기반으로 상기 초기 정보를 재설정하도록 구현되되,
상기 초기 정보는 타겟 영역 정보, 타겟 클러스터 정보, 배경 클러스터 정보를 포함하고,
상기 타겟 영역 정보는 상기 영상에 상기 객체를 포함하는 영역으로 상기 클러스터링을 수행하기 위한 샘플이 포함되는 영역이고,
상기 타겟 클러스터 정보는 상기 타겟을 중심으로 클러스터링을 수행하기 위한 정보이고,
상기 배경 클러스터 정보는 상기 배경을 중심으로 클러스터링을 수행하기 위한 정보인 영상에서 객체를 추적하는 장치. - 제8항에 있어서,
상기 타겟 클러스터 정보는 상기 객체의 위치 정보, 상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보를 포함하고,
상기 객체의 위치 정보는 상기 객체에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고,
상기 객체의 거리 정보는 상기 중심점과 상기 객체에 포함된 화소 사이의 거리에 대한 정보이고,
상기 객체의 깊이 정보는 상기 객체에 포함된 화소의 깊이 정보이고,
상기 객체의 색상 정보는 상기 객체에 포함된 화소의 색상 정보이고,
상기 객체의 거리 정보, 상기 객체의 깊이 정보, 상기 객체의 색상 정보는 히스토그램에 기반하여 저장되는 정보인 영상에서 객체를 추적하는 장치. - 제8항에 있어서,
상기 배경 클러스터 정보는 배경의 위치 정보, 상기 배경의 거리 정보, 상기 배경의 깊이 정보, 상기 배경의 색상 정보를 포함하고,
상기 배경의 위치 정보는 상기 배경에 포함된 화소와 상대적인 거리를 산출하기 위한 중심점 정보이고,
상기 배경의 거리 정보는 상기 중심점과 상기 배경에 포함된 화소 사이의 거리에 대한 정보이고,
상기 배경의 깊이 정보는 상기 배경에 포함된 화소의 깊이 정보이고,
상기 배경의 색상 정보는 상기 배경에 포함된 화소의 색상 정보이고,
상기 배경은 상기 타겟 영역에서 상기 타겟을 제외한 부분인 영상에서 객체를 추적하는 장치. - 제8항에 있어서, 상기 프로세서는,
클러스터링된 객체를 기반으로 타겟 영역을 재설정하고, 상기 클러스터링된 객체를 기반으로 상기 타겟 클러스터링 정보를 재설정하고, 상기 재설정된 타겟 영역의 외곽선을 기반으로 상기 배경 클러스터 정보를 재설정하도록 구현되는 영상에서 객체를 추적하는 장치. - 제11항에 있어서, 상기 프로세서는
상기 객체의 이동 방향을 기반으로 다음 프레임에서 상기 객체를 추적하기 위한 상기 타겟 영역을 결정하도록 구현되는 영상에서 객체를 추적하는 장치. - 제8항에 있어서, 상기 프로세서는,
복수개의 객체가 겹치는 경우, 상기 복수개의 객체의 타겟 영역을 합쳐서 하나의 타겟 영역으로 설정하도록 구현되는 영상에서 객체를 추적하는 장치. - 제13항에 있어서, 상기 프로세서는,
상기 타겟 클러스터에 포함된 화소의 깊이 정보를 기반으로 상기 영상에서 복수개의 객체가 겹치는지 여부를 판단하도록 구현되는 영상에서 객체를 추적하는 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130072776A KR101439037B1 (ko) | 2013-06-25 | 2013-06-25 | 영상에서 객체를 추적하는 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130072776A KR101439037B1 (ko) | 2013-06-25 | 2013-06-25 | 영상에서 객체를 추적하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101439037B1 true KR101439037B1 (ko) | 2014-09-15 |
Family
ID=51759712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130072776A KR101439037B1 (ko) | 2013-06-25 | 2013-06-25 | 영상에서 객체를 추적하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101439037B1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282853B2 (en) | 2017-03-16 | 2019-05-07 | Electronics And Telecommunications Research Institute | Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor |
| US10565713B2 (en) | 2016-11-15 | 2020-02-18 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| KR20200078098A (ko) * | 2018-12-21 | 2020-07-01 | 인천대학교 산학협력단 | 오버헤드 카메라를 이용한 사람 추적 방법 |
| CN112232148A (zh) * | 2020-09-28 | 2021-01-15 | 浙江大华技术股份有限公司 | 图像聚类、目标轨迹追踪方法、电子设备及存储介质 |
| KR20220129817A (ko) * | 2021-03-17 | 2022-09-26 | 주식회사 엔씨소프트 | 사운드 자동 할당 장치 및 방법 |
| KR102470916B1 (ko) | 2021-10-25 | 2022-11-25 | (주)블라우비트 | 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법 |
| KR102594422B1 (ko) * | 2023-07-11 | 2023-10-27 | 주식회사 딥핑소스 | 그라운드에 프로젝트된 오브젝트의 무게 중심을 예측하는 오브젝트 디텍터를 학습하는 방법, 학습된 오브젝트 디텍터를 이용하여 서로 다른 뷰잉 프러스텀을 가지는 복수의 카메라로부터 촬영된 특정 공간 내에서 동일한 오브젝트를 식별하는 방법, 그리고, 이를 이용한 학습 장치 및 오브젝트 식별 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090111044A (ko) * | 2008-04-21 | 2009-10-26 | 중앙대학교 산학협력단 | 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법 |
| KR20130000374A (ko) * | 2009-12-28 | 2013-01-02 | 소프트키네틱 소프트웨어 | 트랙킹 방법 |
| JP2013097584A (ja) | 2011-11-01 | 2013-05-20 | Nec Corp | 画像処理装置、方法及びプログラム |
| JP2013105373A (ja) | 2011-11-15 | 2013-05-30 | Yahoo Japan Corp | データ取得装置、方法及びプログラム |
-
2013
- 2013-06-25 KR KR1020130072776A patent/KR101439037B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090111044A (ko) * | 2008-04-21 | 2009-10-26 | 중앙대학교 산학협력단 | 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법 |
| KR20130000374A (ko) * | 2009-12-28 | 2013-01-02 | 소프트키네틱 소프트웨어 | 트랙킹 방법 |
| JP2013097584A (ja) | 2011-11-01 | 2013-05-20 | Nec Corp | 画像処理装置、方法及びプログラム |
| JP2013105373A (ja) | 2011-11-15 | 2013-05-30 | Yahoo Japan Corp | データ取得装置、方法及びプログラム |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565713B2 (en) | 2016-11-15 | 2020-02-18 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| US10282853B2 (en) | 2017-03-16 | 2019-05-07 | Electronics And Telecommunications Research Institute | Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor |
| KR20200078098A (ko) * | 2018-12-21 | 2020-07-01 | 인천대학교 산학협력단 | 오버헤드 카메라를 이용한 사람 추적 방법 |
| KR102201168B1 (ko) * | 2018-12-21 | 2021-01-12 | 인천대학교 산학협력단 | 오버헤드 카메라를 이용한 사람 추적 방법 |
| CN112232148A (zh) * | 2020-09-28 | 2021-01-15 | 浙江大华技术股份有限公司 | 图像聚类、目标轨迹追踪方法、电子设备及存储介质 |
| KR20220129817A (ko) * | 2021-03-17 | 2022-09-26 | 주식회사 엔씨소프트 | 사운드 자동 할당 장치 및 방법 |
| KR102571915B1 (ko) * | 2021-03-17 | 2023-08-29 | 주식회사 엔씨소프트 | 사운드 자동 할당 장치 및 방법 |
| KR102470916B1 (ko) | 2021-10-25 | 2022-11-25 | (주)블라우비트 | 객체 추적이 가능한 인공지능 기반의 촬영 장치 및 그 제어 방법 |
| KR102594422B1 (ko) * | 2023-07-11 | 2023-10-27 | 주식회사 딥핑소스 | 그라운드에 프로젝트된 오브젝트의 무게 중심을 예측하는 오브젝트 디텍터를 학습하는 방법, 학습된 오브젝트 디텍터를 이용하여 서로 다른 뷰잉 프러스텀을 가지는 복수의 카메라로부터 촬영된 특정 공간 내에서 동일한 오브젝트를 식별하는 방법, 그리고, 이를 이용한 학습 장치 및 오브젝트 식별 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101439037B1 (ko) | 영상에서 객체를 추적하는 방법 및 장치 | |
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| US10049492B2 (en) | Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds | |
| US9846946B2 (en) | Objection recognition in a 3D scene | |
| US9390506B1 (en) | Selective object filtering and tracking | |
| WO2020119661A1 (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
| JP4899729B2 (ja) | ３次元マルチカメラビデオ監視支援システム、３次元マルチカメラビデオ監視支援方法、３次元マルチカメラビデオ監視支援プログラム | |
| CN111488791A (zh) | 将指尖运动模式实时地设备上分类为手势 | |
| US9373174B2 (en) | Cloud based video detection and tracking system | |
| US20030095140A1 (en) | Vision-based pointer tracking and object classification method and apparatus | |
| CN109918969A (zh) | 人脸检测方法及装置、计算机装置和计算机可读存储介质 | |
| Senst et al. | Detecting people carrying objects based on an optical flow motion model | |
| JP5381569B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
| Sukanya et al. | A survey on object recognition methods | |
| EP2930690B1 (en) | Apparatus and method for analyzing a trajectory | |
| JP2007080262A (ja) | ３次元マルチカメラビデオナビゲーション支援システム、３次元マルチカメラビデオナビゲーション支援方法、３次元マルチカメラビデオナビゲーション支援プログラム | |
| CN103514432A (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
| JP6611255B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| Hao et al. | Recognition of basketball players’ action detection based on visual image and Harris corner extraction algorithm | |
| Park et al. | Strategy for Creating AR Applications in Static and Dynamic Environments Using SLAM-andMarker Detector-Based Tracking. | |
| Algethami et al. | Combining Accumulated Frame Differencing and Corner Detection for Motion Detection. | |
| Fornaciari et al. | Very fast ellipse detection for embedded vision applications | |
| Muddamsetty et al. | Spatio-temporal saliency detection in dynamic scenes using local binary patterns | |
| Bensebaa et al. | Direction estimation of moving pedestrian groups for intelligent vehicles | |
| Liu et al. | Detection of façade regions in street view images from split-and-merge of perspective patches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170808 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180816 Year of fee payment: 5 |