KR20110113948A - 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법 - Google Patents

객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법 Download PDF

Info

Publication number
KR20110113948A
KR20110113948A KR1020100033309A KR20100033309A KR20110113948A KR 20110113948 A KR20110113948 A KR 20110113948A KR 1020100033309 A KR1020100033309 A KR 1020100033309A KR 20100033309 A KR20100033309 A KR 20100033309A KR 20110113948 A KR20110113948 A KR 20110113948A
Authority
KR
South Korea
Prior art keywords
image
histogram
registered
image frame
object set
Prior art date
Application number
KR1020100033309A
Other languages
English (en)
Inventor
정희택
박정선
양수영
한창민
Original Assignee
전남대학교산학협력단
주식회사 엘시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단, 주식회사 엘시스 filed Critical 전남대학교산학협력단
Priority to KR1020100033309A priority Critical patent/KR20110113948A/ko
Publication of KR20110113948A publication Critical patent/KR20110113948A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6075—Corrections to the hue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 프레임 내의 객체를 추적하는 평균이동 알고리즘기반의 객체 추적방법에 관한 것으로, 보다 구체적으로는 영상 프레임 내에서 객체가 가려지는 가려짐 현상이 발생되더라도 객체의 추적을 실패하지 않고, 영상 프레임 내에서 객체의 위치를 찾아내어 객체를 추적할 수 있게 하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법에 관한 것이다.

Description

객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법{Method for object tracking based on mean-shift algorithm modified using update of object set}
본 발명은 영상 프레임 내의 객체를 추적하는 평균이동 알고리즘기반의 객체 추적방법에 관한 것으로, 보다 구체적으로는 영상 프레임 내에서 객체가 가려지는 가려짐 현상이 발생되더라도 객체의 추적을 실패하지 않고, 영상 프레임 내에서 객체의 위치를 찾아내어 객체를 추적할 수 있게 하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법에 관한 것이다.
일반적으로, 컴퓨터 비전을 이용한 분야는 오랜시간 연구되었으며, 영상을 분석하거나, 영상 내의 객체를 인식하거나, 영상 내의 객체를 추적하는 등의 다양한 기술적 요소들이 개발되었다. 특히, 공장의 자동화, 무인 감시, 출입 통제, 보안 장치 등의 다양한 부분에서 영상 내의 객체를 인식하여 추적할 수 있도록 하고 있다.
한편, 상기 컴퓨터 비젼 분야에서 영상 내의 객체를 추적하는 다양한 방법으로는, 특정 영상을 기준으로 객체의 특징을 추출한 후 다음 영상에서 추출된 특징들과 비교하여 객체를 추적하는 템플릿(template)방법, 동적 방적식(dynamic equayion)의 반복적인 갱신구조를 가지는 칼만 필터(kalman filter), 객체의 형태정보가 아닌 객체의 색상정보를 이용하여, 영상 내에서 색상분포의 유사도를 확률적인 접근방법으로 계산하는 평균이동 알고리즘(mean-shift algorithm) 등이 사용되고 있었다.
특히, 상기 평균이동 알고리즘은 영상 내의 모든 영역을 계산의 범주에 넣지 않고 일정한 탐색 영역에서 객체를 추적하여 다른 추적방법들에 비해 계산의 양이 비교적 적고, 객체의 색상정보를 활용하여 객체를 추적함에 따라 다양한 외형을 가진 객체를 추적하기에 용이하며, 여타의 추적방법들에 비해 간단하게 구현할 수 있는 장점이 있으므로, 상기 컴퓨터 비전분야에 효과적으로 활용되어 왔었다.
그러나, 상기 평균이동 알고리즘은 영상 내에서 추적하는 객체가 특정 물체에 의해 가려지는 경우 추적하는 객체의 정보를 잃게 되어, 객체의 추적을 실패하는 문제점이 있었다.
도 6은 영상 내에서 추적하는 물체에 가려짐 현상이 발생되어 추적이 실패한 예시도로써, 도시된 바와 같이, 특정 물체가 상기 객체를 가리기 이전까지는 상기 객체의 추적이 지속되고 있었으나, 상기 객체를 특정 물체가 가린 이후로는 객체를 추적하지 못하는 문제점을 확인할 수 있다.
따라서, 상기 평균이동 알고리즘을 이용하여 객체를 추적하는 경우 상기 객체의 가려짐 현상이 발생되어도 상기 객체의 추적을 실패하지 않고 지속적으로 추적할 수 있는 다양한 연구가 이루어지고 있는 실정이었다.
본 발명자들은 영상 내의 객체를 추적할 시 객체에 가려짐 현상이 발생되더라도 객체를 지속적으로 추적할 수 있게 하기 위하여 연구 노력한 결과, 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법의 기술적 방법을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 영상 내의 객체를 추적할 시 객체가 특정 물체 또는 여타의 객체에 가려지는 경우 객체의 정보를 잃어버리지 않고 객체를 지속적으로 탐색하여, 추적할 수 있게 하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 영상 내에서 추적하는 객체의 색상이 변화되더라도 객체의 색상정보를 갱신하여 객체의 추적을 지속할 수 있는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 객체의 추적과 동시에 객체에 가려짐 현상의 발생 여부를 즉시 판단할 수 있는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 영상 내의 객체에 가려짐 현상이 발생된 경우 상기 객체를 보다 신속하고 정확하게 탐색하여, 상기 객체가 추적되는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은, 컴퓨터를 이용하여, 연속적으로 입력되는 영상 프레임 내의 객체를 추적하는 객체 추적방법에 있어서, 제 1영상 프레임이 입력되고, 상기 영상 프레임 내에서 추적할 대상인 객체영상을 지정하는 제 1단계, 상기 객체영상의 히스토그램(histogram)을 산출하여, 객체집합에 등록하는 제 2단계, 제 2영상 프레임이 입력되고, 상기 제 2영상 프레임내에서 상기 객체영상으로 예상되는 후보위치와, 상기 객체집합에 등록된 히스토그램의 유사도를 판단하여, 상기 객체영상을 추적하는 제 3단계, 제 3영상 프레임이 입력되고, 상기 객체영상이 사라지는 가려짐 현상이 발생할 경우 상기 제 3영상 프레임과 상기 객체집합에 등록된 히스토그램을 서로 형판접합(template matching)하여, 상기 객체영상으로 예상되는 객체 후보영상을 판별하는 제 4단계, 상기 객체 후보영상을 상기 객체집합에 등록된 히스토그램과 비교하여, 상기 객체의 영역인지 여부를 판단하는 제 5단계를 포함하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법을 제공한다.
바람직한 실시예에 있어서, 상기 제 2단계는, 상기 객체영상의 색상정보를 RGB 색상정보에서 HSV색상정보로 변환하는 색상정보 변환단계, 상기 HSV색상정보의 색상(hue)과 채도(saturation)를 이용하여 상기 객체영상의 히스토그램을 산출하는 히스토그램 산출단계, 상기 산출된 히스토그램을 객체집합으로 등록하는 객체집합 등록단계를 포함한다.
바람직한 실시예에 있어서, 상기 제 3단계는, 깊이우선 탐색(depth first search)을 기반으로 하는 언덕오르기 알고리즘(hill climbing algorithm)을 이용하여, 상기 영상 프레임 내에서 바타차리야(bhattacharyya) 계수가 최대값을 가지는 후보위치를 탐색하는 후보위치 탐색단계, 상기 탐색된 후보위치의 히스토그램과 상기 객체집합에 등록된 히스토그램을 비교하는 히스토그램 비교단계, 상기 비교된 히스토그램 값이 기 설정된 임계값(T1) 이하인 경우 상기 후보위치를 객체영상으로 판단하여 상기 객체집합에 등록하며, 상기 비교된 히스토그램 값이 기 설정된 임계값(T1) 이하의 값이 아닌 경우 상기 객체영상에 가려짐 현상이 발생한 것으로 판단하는 가려짐 판단단계를 포함한다.
바람직한 실시예에 있어서, 상기 제 4단계는, 상기 객체집합에 등록된 히스토그램을 형판(Template)으로 하여, 상기 제 3영상 프레임의 전체영역 중 상기 히스토그램들과의 상관계수(coefficient of correlation)가 임계값(T2) 이상의 값을 갖는 영역을, 상기 객체 후보영상으로 지정된다.
바람직한 실시예에 있어서, 상기 제 3단계(s1300)는, 상기 객체집합에 일정한 수의 객체영상이 등록된 경우 상기 객체집합에 등록된 객체영상 중 최초로 등록된 객체영상을 제외하고, 이외의 객체영상을 최근에 등록되는 객체영상으로 갱신하는 객체집합 갱신단계(s1340)를 더 포함한다.
바람직한 실시예에 있어서, 상기 바타차리야 계수는,
Figure pat00001
이며, 상기
Figure pat00002
는 상기 영상 프레임 내의 객체영상의 색상정보 분포를 나타내고, 상기
Figure pat00003
는 상기 영상 프레임 내의 후보위치의 색상정보 분포를 나타내는 것을 특징으로 한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법에 의하면, 객체영상의 히스토그램을 산출하여, 이를 객체집합으로 등록함으로써, 영상 내의 객체에 가려짐 현상이 발생되더라도 객체의 정보를 잃지 않고 객체가 추적될 수 있는 효과와, 상기 객체집합에 등록된 히스토그램을 근거로 객체를 탐색하여 추적할 수 있는 효과를 얻을 수 있다.
또한, 본 발명은 객체영상의 색상정보를 HSV색상정보로 상기 객체영상의 히스토그램을 산출하여 객체집합에 등록한 후 최근의 객체영상으로 갱신되게 함에 따라, 추적하는 객체의 색상변화에도 객체영상의 추적이 보다 효과적으로 지속될 수 있는 효과를 얻을 수 있다.
또한, 본 발명은 객체영상의 히스토그램을 객체집합에 등록하면서 객체의 가려짐 여부를 판단하게 함에 따라, 객체영상에 발생되는 가려짐 현상이 보다 신속하게 판단되는 효과를 얻을 수 있다.
또한, 본 발명은 객체집합에 등록된 객체영상을 형판(Template)으로 하여, 영상 프레임 내에서 가려짐 현상이 발생한 객체를 탐색하게 함에 따라, 객체영상과 유사도가 높은 객체 후보영상을 보다 정확하고 신속하게 탐색할 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 바람직한 실시예를 도시한 흐름도.
도 2는 가려짐 현상이 발생하지 않았을 경우 색상(hue)의 히스토그램 변화량을 나타내는 실험예.
도 3은 가려짐 현상이 발생된 경우 색상(hue)의 히스토그램 변화량을 나타내는 실험예.
도 4는 본 발명의 바람직한 실시예에 따라 영상 프레임 내에서 형판 정합이 수행되는 실험예.
도 5는 본 발명의 바람직한 실시예에 따라 가려짐 현상의 발생 후에도 객체의 추적이 지속되는 실험예.
도 6은 영상 내에서 추적하는 물체에 가려짐 현상이 발생되어 추적이 실패한 예시도.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예를 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 바람직한 실시예를 도시한 흐름도이다.
도 1을 참조하면, 본 발명은 제 1영상 프레임이 입력되고, 상기 영상 프레임 내에서 추적할 대상인 객체영상을 지정하는 제 1단계(s1100), 상기 객체영상의 히스토그램(histogram)을 산출하여, 객체집합에 등록하는 제 2단계(s1200), 제 2영상 프레임이 입력되고, 상기 제 2영상 프레임내에서 상기 객체영상으로 예상되는 후보위치와, 상기 객체집합에 등록된 히스토그램의 유사도를 판단하여, 상기 객체영상을 추적하는 제 3단계(s1300), 제 3영상 프레임이 입력되고, 상기 객체영상이 사라지는 가려짐 현상이 발생할 경우 상기 제 3영상 프레임과 상기 객체집합에 등록된 히스토그램을 서로 형판접합(template matching)하여, 상기 객체영상으로 예상되는 객체 후보영상을 판별하는 제 4단계(s1400), 상기 객체 후보영상을 상기 객체집합에 등록된 히스토그램과 비교하여, 상기 객체의 영역인지 여부를 판단하는 제 5단계(s1500)를 포함한다.
상기 제 1단계(s1100)는, 외부의 촬상수단으로부터 입력되는 외부의 제 1영상 프레임에서 추적할 대상인 객체영상을 지정하는 것으로, 외부의 입력수단이나 내부의 중앙처리장치로부터 제어되어, 상기 제 1영상 프레임 내의 입력배경에서 동적인 움직임을 가지는 객체가 객체영상으로 지정된다.
즉, 사용자에 의해 선택적으로 객체의 객체영상이 지정되거나, 입력되는 제 1영상 프레임 내에서 객체가 자동적으로 지정되는 프로세스를 설정하여 객체영상을 지정할 수 있는 것이다.
상기 제 2단계(s1200)는, 상기 객체영상을 객체집합에 등록하기 위한 것으로, 상기 객체집합은 상기 객체영상이 일정량 저장되는 메모리이거나, 데이터베이스로 형성되는 것이 바람직며, 상기 객체영상이 상기 객체집합에 등록되어 보다 효과적으로 활용될 수 있게, 색상정보 변환단계(s1210)와, 히스토그램 산출단계(s1220)와, 객체집합 등록단계(s1230)를 포함한다.
또한, 상기 색상정보 변환단계(s1210)는, 상기 객체영상을 상기 객체집합에 등록하는 첫번째 단계로써 상기 지정된 객체영상의 색상정보를 RGB 색상정보에서 HSV색상정보로 변환하는 것으로, 추가로 입력되는 영상 프레임 내에서 객체의 추적에 보다 효과적인 HSV 색상정보를 이용하여 객체영상을 추적할 수 있게, 상기 객체영상의 색상정보를 변환하게 된다.
또한, 상기 히스토그램 산출단계(s1220)는, 상기 객체영상을 상기 객체집합에 등록하는 두번째 단계로써 상기 HSV색상정보의 색상(hue)과 채도(saturation)를 이용하여 상기 객체영상의 히스토그램을 산출하는 것으로, 상기 히스토그램을 산출하여 객체영상과 상기 영상 프레임 내의 다른 영역의 영상간에 히스토그램을 비교할 수 있게 한다.
또한, 상기 객체집합 등록단계(s1230)는, 상기 객체영상을 상기 객체집합에 등록하는 마지막 단계로써 상기 산출된 히스토그램을 객체집합으로 등록하는 것으로, 상기 객체영상의 정보가 사라지지 않고 유지될 수 있게 한다.
즉, 상기 제 2단계(s1200)는, 상기 영상 프레임의 객체영상의 정보를 잃지 않고, 상기 객체영상에 가려짐 현상이 발생된 경우 상기 객체영상의 정보를 파악할 수 있게 한 것이다.
상기 제 3단계(s1300)는, 상기 영상 프레임의 객체영상을 추적하기 위한 것으로, 평균이동 알고리즘(mean-shift algorithm)을 이용하여 객체영상의 위치를 탐색하여 상기 객체영상을 추적하며, 후보위치 탐색단계(s1310), 히스토그램 비교단계(s1320), 가려짐 판단단계(s1330), 객체집합 갱신단계(s1340)를 포함한다.
또한, 상기 후보위치 탐색단계(s1310)는, 상기 객체영상을 추적하기 위한 첫번째 단계로써, 상기 제 2영상 프레임 내에서 유사한 색상분포를 가지는 후보위치를 검색하는 것이다. 보다 구체적으로, 상기 후보위치 탐색단계(s1310)는, 깊이우선 탐색(depth first search)을 기반으로 하는 언덕오르기 알고리즘(hill climbing algorithm)을 이용하여, 상기 제 2영상 프레임 내에서 바타차리야(bhattacharyya) 계수가 최대값을 가지는 후보위치를 탐색한다.
한편, 상기 바타차리야 계수는 아래와 같은 수학식으로 표현된다.
상기 바티차리야 계수는
Figure pat00004
이고,
Figure pat00005
으로 표현된다.
이때, 상기
Figure pat00006
는 상기 영상 프레임 내의 객체영상의 색상정보 분포를 나타내며, 상기
Figure pat00007
는 상기 영상 프레임 내의 후보위치의 색상정보 분포를 나타낸다.
또한, 히스토그램 비교단계(s1320)는 상기 객체영상을 추적하기 위한 두번째 단계로써, 상기 탐색된 후보위치의 히스토그램과 상기 객체집합에 등록된 히스토그램을 비교하기 위한 것으로, 상기 바타차리야 계수에 의해 일차적으로 탐색된 후보위치의 히스토그램과 상기 객체집합에 등록된 객체영상의 히스토그램의 유사도를 비교하게 된다.
또한, 상기 가려짐 판단단계(s1330)는, 상기 객체영상을 추적하기 위한 세번째 단계로써, 상기 탐색된 후보위치가 객체영상인지 여부를 판단하고, 상기 객체에 가려짐 현상의 발생여부를 판단하기 위한 것이다. 보다 구체적으로, 상기 가려짐 판단단계(s1330)는, 상기 제 2영상 프레임 내의 특정한 화소위치에 따라서 히스토그램의 변화량에 차이가 발생되는 것을 이용한 것으로, 상기 비교된 히스토그램 값이 기 설정된 임계값(T1) 이하인 경우 상기 후보위치를 객체영상으로 판단하여 상기 객체집합에 등록하며, 상기 비교된 히스토그램 값이 기 설정된 임계값(T1) 이하의 값이 아닌 경우 상기 객체영상에 가려짐 현상이 발생한 것으로 판단한다.
또한, 상기 객체영상에 가려짐 현상이 발생한 경우 상기 제 4단계(s1400)를 수행하게 되며, 상기 객체영상으로 판단된 경우 상기 객체집합에 등록되며 상기 객체집합의 객체영상을 갱신하게 된다.
즉, 상기 가려짐 판단단계(s1330)는, 상기 객체영상이 정상적으로 추적되는 지 또는 상기 객체영상에 가려짐 현상이 발생되었는지의 여부를 판단하는 단계로써, 상기 객체영상을 추적함과 동시에 상기 객체영상에 가려짐 현상의 발생여부가 즉각적으로 판단되게 한다.
또한, 상기 객체집합 갱신단계(s1340)는, 상기 객체영상을 추적하기 위한 네번째 단계로써, 상기 객체집합에 일정한 수의 객체영상이 등록된 경우 상기 객체집합에 등록된 객체영상 중 최초로 등록된 객체영상을 제외하고, 이외의 객체영상을 최근에 등록되는 객체영상으로 갱신한다. 따라서, 상기 객체집합에는 사용자에 의해 설정된 일정량의 객체집합만이 등록되어 저장되며, 상기 객체집합의 무분별한 증가로 인한 저장용량의 부하를 미연에 방지할 수 있게 된다.
즉, 상기 객체집합에 등록되는 상기 객체영상을 최근의 영상으로 대체하여 갱신함에 따라, 상기 영상 프레임 내에서 추적되는 객체의 최근 정보를 가지게 되고, 상기 객체의 색상 변화나 외형 변화 등에 보다 효율적으로 대응할 수 있다.
상기 제 4단계(s1400)는, 상기 객체영상에 가려짐 현상이 발생된 경우 상기 객체영상을 탐색하여 추적하기 위한 것으로, 상기 객체영상과 유사한 색상분포를 가지는 객체 후보영상을 탐색한다. 보다 구체적으로, 상기 제 4단계(s1400)는 상기 객체집합에 등록된 객체영상을 형판(Template)으로 하여, 상기 제 3영상 프레임의 전체영역에서 상기 객체영상과 상관계수(coefficient of correlation)가 극값을 가지는 후보영상을 탐색한 후, 상기 탐색된 후보영상의 상관계수가 임계값(T2) 이상의 값을 가지는 경우 상기 후보영상이 상기 객체 후보영상으로 지정된다.
즉, 상기 제 4단계(s1400)는, 상기 객체집합에 등록된 상기 객체영상을 형판으로 하는 형판 정합을 수행하는 것으로, 상기 제 3영상 프레임 내에서 상기 객체영상과 유사도가 높은 영역을 보다 정확하게 탐색할 수 있게 한다.
상기 제 5단계(s1500)는, 상기 객체 후보영상이 상기 객체영상인지 여부를 확인하는 단계로, 상기 객체집합에 등록된 히스토그램과 상기 객체 후보영상의 히스토그램을 비교한 후 최종적으로 상기 객체 후보영상이 객체영상인지 아닌지의 여부를 확인하게 된다. 이때, 상기 객체 후보영상이 객체영상으로 확인된 경우 상기 객체영상을 등록하여 추적하게 되며, 상기 객체 후보영상이 객체영상이 아닌 경우 상기 제 4단계(s1400)를 반복하여 수행하게 된다.
다음은 본 발명의 바람직한 실시예를 보다 명확하게 설명하기 위한 실험예로써, 퍼스널 컴퓨터와 웹 캠을 이용하여 사람의 움직임을 촬영하면서 이를 추적한 것이다. 이때, 영상은 320x240의 크기로 구비하였다.
도 2는 가려짐 현상이 발생하지 않았을 경우 색상(hue)의 히스토그램 변화량을 나타내는 실험예이고, 도 3은 가려짐 현상이 발생된 경우 색상(hue)의 히스토그램 변화량을 나타내는 실험예이다.
도 2 내지 도 3을 참조하면, 영상 프레임 내에서 객체가 동직인 움직임을 보이며 이동하는 경우 객체영상이 객체를 추적하며 이동하는 것이 나타난다. 이때, 가려짐 현상이 발생되지 않은 경우 상기 객체가 이동하더라도 상기 객체의 히스토그램 변화량은 큰 차이를 보이지 않는 것을 확인할 수 있다.
그러나, 상기 영상 프레임에서 객체가 이동할 시 특정 물체에 의해 가려짐 현상이 발생된 경우에는 상기 객체의 히스토그램 변화량이 큰 폭으로 변동되는 것을 확인할 수 있게 된다.
따라서, 상기 객체의 히스토그램과 객체집합에 등록된 객체영상의 히스토그램을 비교하여, 상기 객체에 가려짐 현상이 발생되는지 여부를 판단할 수 있는 것이다.
도 4는 본 발명의 바람직한 실시예에 따라 영상 프레임 내에서 형판 정합이 수행되는 실험예이다.
도 4를 참조하면, 상기 영상 프레임 내에서 상기 객체에 가려짐 현상이 발생한 경우 상기 영상 프레임의 전체영역에서 상기 객체의 객체영상과 유사한 색상분포를 탐색하는 것이 나타난다. 이때, 상기 객체영상을 가리는 특정 물체로부터 상기 객체가 벗어난 경우 상기 객체의 추적이 다시 재개되는 것을 확인할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따라 가려짐 현상의 발생 후에도 객체의 추적이 지속되는 실험예이다.
도 5를 참조하면, 영상 프레임 내에서 이동하는 객체를 특정한 물체가 가리는 경우 일시적으로 영상 프레임 내에서 가려짐 현상이 발생된다. 이때, 상기 객체와 유사한 색상분포를 탐색하고, 객체의 영상인지의 여부를 판단하게 됨으로써, 상기 객체가 다시 추적되는 것을 확인할 수 있다.
즉, 상기 영상 프레임 내에서 상기 객체의 정보를 잃지 않고, 상기 객체를 지속적으로 추적할 수 있는 것이다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예들을 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
s1100 : 제 1단계 s1200 : 제 2단계
s1210 : 색상정보 변환단계 s1220 : 히스토그램 산출단계
s1230 : 객체집합 등록단계 s1300 : 제 3단계
s1310 : 후보위치 탐색단계 s1320 : 히스토그램 비교단계
s1330 : 가려짐 판단단계 s1340 : 객체집합 갱신단계
s1400 : 제 4단계 s1500 : 제 5단계

Claims (6)

  1. 컴퓨터를 이용하여, 연속적으로 입력되는 영상 프레임 내의 객체를 추적하는 객체 추적방법에 있어서,
    제 1영상 프레임이 입력되고, 상기 영상 프레임 내에서 추적할 대상인 객체영상을 지정하는 제 1단계(s1100);
    상기 객체영상의 히스토그램(histogram)을 산출하여, 객체집합에 등록하는 제 2단계(s1200);
    제 2영상 프레임이 입력되고, 상기 제 2영상 프레임내에서 상기 객체영상으로 예상되는 후보위치와, 상기 객체집합에 등록된 히스토그램의 유사도를 판단하여, 상기 객체영상을 추적하는 제 3단계(s1300);
    제 3영상 프레임이 입력되고, 상기 객체영상이 사라지는 가려짐 현상이 발생할 경우 상기 제 3영상 프레임과 상기 객체집합에 등록된 히스토그램을 서로 형판접합(template matching)하여, 상기 객체영상으로 예상되는 객체 후보영상을 판별하는 제 4단계(s1400);
    상기 객체 후보영상을 상기 객체집합에 등록된 히스토그램과 비교하여, 상기 객체의 영역인지 여부를 판단하는 제 5단계(s1500);를 포함하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법.
  2. 제 1항에 있어서,
    상기 제 2단계(s1200)는,
    상기 객체영상의 색상정보를 RGB 색상정보에서 HSV색상정보로 변환하는 색상정보 변환단계(s1210);
    상기 HSV색상정보의 색상(hue)과 채도(saturation)를 이용하여 상기 객체영상의 히스토그램을 산출하는 히스토그램 산출단계(s1220);
    상기 산출된 히스토그램을 객체집합으로 등록하는 객체집합 등록단계(s1230);를 포함하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법.
  3. 제 1항에 있어서,
    상기 제 3단계(s1300)는,
    깊이우선 탐색(depth first search)을 기반으로 하는 언덕오르기 알고리즘(hill climbing algorithm)을 이용하여, 상기 영상 프레임 내에서 바타차리야(bhattacharyya) 계수가 최대값을 가지는 후보위치를 탐색하는 후보위치 탐색단계(s1310);
    상기 탐색된 후보위치의 히스토그램과 상기 객체집합에 등록된 히스토그램을 비교하는 히스토그램 비교단계(s1320);
    상기 비교된 히스토그램 값이 기 설정된 임계값(T1) 이하인 경우 상기 후보위치를 객체영상으로 판단하여 상기 객체집합에 등록하며, 상기 비교된 히스토그램 값이 기 설정된 임계값(T1) 이하의 값이 아닌 경우 상기 객체영상에 가려짐 현상이 발생한 것으로 판단하는 가려짐 판단단계(s1330);를 포함하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법.
  4. 제 1항에 있어서,
    상기 제 4단계(s1400)는,
    상기 객체집합에 등록된 히스토그램을 형판(Template)으로 하여, 상기 제 3영상 프레임의 전체영역 중 상기 히스토그램들과의 상관계수(coefficient of correlation)가 임계값(T2) 이상의 값을 갖는 영역을, 상기 객체 후보영상으로 지정되는 것을 특징으로 하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법.
  5. 제 3항에 있어서,
    상기 제 3단계(s1300)는,
    상기 객체집합에 일정한 수의 객체영상이 등록된 경우 상기 객체집합에 등록된 객체영상 중 최초로 등록된 객체영상을 제외하고, 이외의 객체영상을 최근에 등록되는 객체영상으로 갱신하는 객체집합 갱신단계(s1340)를 더 포함하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법.
  6. 제 3항에 있어서,
    상기 바타차리야 계수는,
    Figure pat00008
    이며, 상기
    Figure pat00009
    는 상기 영상 프레임 내의 객체영상의 색상정보 분포를 나타내고, 상기
    Figure pat00010
    는 상기 영상 프레임 내의 후보위치의 색상정보 분포를 나타내는 것을 특징으로 하는 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법.
KR1020100033309A 2010-04-12 2010-04-12 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법 KR20110113948A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100033309A KR20110113948A (ko) 2010-04-12 2010-04-12 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100033309A KR20110113948A (ko) 2010-04-12 2010-04-12 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법

Publications (1)

Publication Number Publication Date
KR20110113948A true KR20110113948A (ko) 2011-10-19

Family

ID=45029113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100033309A KR20110113948A (ko) 2010-04-12 2010-04-12 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법

Country Status (1)

Country Link
KR (1) KR20110113948A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160001699A (ko) * 2014-06-26 2016-01-06 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
CN106683118A (zh) * 2016-12-30 2017-05-17 北京航空航天大学 一种基于分层模型的无人机目标跟踪方法
KR20180105876A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
KR20200079013A (ko) 2018-12-24 2020-07-02 국방과학연구소 상관필터를 이용한 공중표적 추적방법 및 그 시스템
KR20200082466A (ko) 2018-12-28 2020-07-08 국방과학연구소 무인항공기에 탑재되는 전자광학-적외선 카메라의 영상 지연보상 방법, 그 시스템
KR20210085166A (ko) * 2019-12-30 2021-07-08 주식회사 트위니 색상 및 거리 데이터를 이용한 객체 추종 방법 및 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160001699A (ko) * 2014-06-26 2016-01-06 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
US10304248B2 (en) 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
CN106683118A (zh) * 2016-12-30 2017-05-17 北京航空航天大学 一种基于分层模型的无人机目标跟踪方法
CN106683118B (zh) * 2016-12-30 2020-02-14 北京航空航天大学 一种基于分层模型的无人机目标跟踪方法
KR20180105876A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
KR20200079013A (ko) 2018-12-24 2020-07-02 국방과학연구소 상관필터를 이용한 공중표적 추적방법 및 그 시스템
KR20200082466A (ko) 2018-12-28 2020-07-08 국방과학연구소 무인항공기에 탑재되는 전자광학-적외선 카메라의 영상 지연보상 방법, 그 시스템
KR20210085166A (ko) * 2019-12-30 2021-07-08 주식회사 트위니 색상 및 거리 데이터를 이용한 객체 추종 방법 및 시스템

Similar Documents

Publication Publication Date Title
US10755080B2 (en) Information processing apparatus, information processing method, and storage medium
Zhang et al. Online multi-person tracking by tracker hierarchy
US11270108B2 (en) Object tracking method and apparatus
Nguyen et al. Fast occluded object tracking by a robust appearance filter
KR101173802B1 (ko) 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR20110113948A (ko) 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법
WO2015163830A1 (en) Target localization and size estimation via multiple model learning in visual tracking
Sun et al. Moving foreground object detection via robust SIFT trajectories
US10489640B2 (en) Determination device and determination method of persons included in imaging data
Tang et al. Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking
Denman et al. Multi-spectral fusion for surveillance systems
Nallasivam et al. Moving human target detection and tracking in video frames
Li et al. Condensation-based multi-person detection and tracking with HOG and LBP
Weng et al. Weather-adaptive flying target detection and tracking from infrared video sequences
Ciarelli et al. Human automatic detection and tracking for outdoor video
Yang et al. A smart surveillance system with multiple people detection, tracking, and behavior analysis
Zhu et al. Detection and recognition of abnormal running behavior in surveillance video
Lee et al. An intelligent video security system using object tracking and shape recognition
KR20000054784A (ko) 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법
Shen et al. Multihuman tracking based on a spatial–temporal appearance match
Duan et al. Detection of hand-raising gestures based on body silhouette analysis
JP2011043863A (ja) 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置
Molina-Giraldo et al. Video segmentation framework by dynamic background modelling
KR102435591B1 (ko) 수업 자동 녹화 시스템 및 이를 이용한 관심대상 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application