KR101341637B1 - 물체 추적 장치 및 방법 - Google Patents

물체 추적 장치 및 방법 Download PDF

Info

Publication number
KR101341637B1
KR101341637B1 KR1020080085526A KR20080085526A KR101341637B1 KR 101341637 B1 KR101341637 B1 KR 101341637B1 KR 1020080085526 A KR1020080085526 A KR 1020080085526A KR 20080085526 A KR20080085526 A KR 20080085526A KR 101341637 B1 KR101341637 B1 KR 101341637B1
Authority
KR
South Korea
Prior art keywords
change
tracking target
tracking
size
value
Prior art date
Application number
KR1020080085526A
Other languages
English (en)
Other versions
KR20100026500A (ko
Inventor
이광무
최진영
Original Assignee
서울대학교산학협력단
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 삼성테크윈 주식회사 filed Critical 서울대학교산학협력단
Priority to KR1020080085526A priority Critical patent/KR101341637B1/ko
Publication of KR20100026500A publication Critical patent/KR20100026500A/ko
Application granted granted Critical
Publication of KR101341637B1 publication Critical patent/KR101341637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 물체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 추적 대상 물체의 위치변화, 회전변화 및 크기변화를 이용하여 물체를 추적하는 장치 및 방법에 관한 것이다. 물체 추적 방법은 (a) 영상을 수신하고 추적 대상을 지정하는 단계, (b) 추적 대상 및 가정된 위치에서 추적 대상 후보의 특성값을 계산하는 단계 및 (c) 추적 대상 및 가정된 위치에서의 추적 대상 후보의 특성값을 이용하여 추적 대상의 위치변화, 크기변화 및 각도변화를 추정하여 디스플레이 하는 단계를 포함한다.
Figure R1020080085526
특성값, 위치변화추정, 크기변화추정, 각도변화추정

Description

물체 추적 장치 및 방법{Apparatus and method for tracking object}
본 발명은 물체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 추적 대상 물체의 위치변화, 회전변화 및 크기변화를 이용하여 물체를 추적하는 장치 및 방법에 관한 것이다.
기존의 평균 이동 알고리즘은 물체 추적 시 이미지 샘플로부터 각 추적 영역의 픽셀에 대한 가중치를 구한 후 그 값들의 평균, 즉 mean으로 이동하는 방식을 반복 수행하여 물체를 추적한다. 여기서 각 가중치는 바타차랴(Bhattacharyya) 계수의 테일러 시리즈 분석 시 나오는 항을 사용한다. 이 바타차랴 계수는 bayes error와 관련이 크며, 따라서 유사도를 나타내는 척도로 사용할 수 있다. 즉, 이 바타차랴 계수를 최대화 하는 위치가 결국 추적하고자 하는 물체와 가장 유사한 위치가 되는 것이다. 이 최대화 하는 과정이 앞서 말한 가중치들의 평균으로 반복 이동하는 방법과 동일하다. 이 방법은 추적 영역의 크기가 일정하게 유지되어야 하며, 또한 기존의 평균 이동이 사용하는 색 히스토그램 정보는 회전정보가 포함되지 않기 때문에 물체의 크기 변화나 회전 변화는 추적하지 못한다는 단점이 있다.
물체의 모델을 형성함에 있어서 종래의 기술은 색을 통한 히스토그램을 사용 한다. 즉, 물체 전체의 색 분포를 활용하여 물체를 표현하고, 이를 통해 물체를 추적한다. 하지만 히스토그램은 물체의 전체적인 색 분포만을 갖고 생성되므로 물체의 형태, 택스쳐 등은 표현되지 않는다. 이에 따라 기존의 알고리즘은 부분적인 occlusion에 강인하지만 물체를 추적함에 있어서 그 형태 변화는 고려하지 못하는 단점을 지닌다. 따라서 종래의 기술은 물체의 크기 변화와 각도 변화 등은 추적하지 못한다. 다시 말해 종래의 기술은 오직 물체의 2차원적인 이동만을 추적할 수 있다.
이를 해결하기 위해 여러 방법들이 제안되었다. 종래의 기술을 사용하여 물체를 추적한 후 10% 큰 영역과 10% 작은 영역을 비교하여 보다 좋은 결과를 선택하는 방법이 그 중 하나이다. 이 방법의 경우 어느 정도의 크기 변화에 대한 적응은 가능하였으나, 대개의 경우 작은 영역의 결과가 좋은 것으로 판명되어 추적 대상의 크기 변화에 상관 없이 추적 영역이 점점 작아지는 양상을 보인다. 따라서 이 방법은 실제 응용에 있어 부적합하다. 또 다른 방법으로 scale space를 구성하여 이를 적용시키는 방법이 있으나 이 경우는 막대한 연산량을 필요로 하여 이 또한 실시간 응용에는 부적합하다. 각도 변화의 경우 종래의 방법만으로는 해결 방법이 존재하지 않았으며 따라서 각도 변화를 추적해야 할 경우 파티클 필터와 같은 다른 방식의 물체 추적방식이 사용되기도 하였다.
또한, 종래의 기술은 중심 대칭인 커널만이 사용 가능하여 물체의 정보를 정확히 표현하지 못하고 배경의 정보가 어느 정도 포함되는 단점을 지닌다. 이는 물체 추적 시 목표로 하는 물체가 아닌 배경을 추적하게 하는 경우를 야기하였다.
본 발명이 해결하고자 하는 기술적인 과제는 물체를 추적함에 있어서 물체의 크기변화와 각도변화를 고려하고 물체 영역만을 사용하여 물체정보를 생성함으로써 물체추적을 수행할 수 있는 물체 추적 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 문제를 해결하기 위한 물체 추적 방법은 (a) 영상을 수신하고 추적 대상을 지정하는 단계; (b) 상기 추적 대상 및 가정된 위치에서 추적 대상 후보의 특성값을 계산하는 단계; (c) 상기 추적 대상 및 가정된 위치에서의 추적 대상 후보의 특성값을 이용하여 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 추정하여 디스플레이 하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 커널은 상기 추적 대상에 대해 주어진 마스크(mask)를 바탕으로 생성될 수 있다.
본 발명에 있어서, 상기 특성값은 상기 추적 대상 및 상기 추적 대상 후보의 커널, 히스토그램, 각도별 히스토그램 및 크기 기술자일 수 있다.
본 발명에 있어서, 상기 추적 대상의 위치변화 추정은 가정된 초기 위치값, 계산된 새 위치값, 상기 추적 대상의 커널값 및 픽셀의 계조와 히스토그램을 이용한 웨이트값을 이용하여 상기 추적 대상의 위치변화를 추정할 수 있다.
본 발명에 있어서, 상기 추적 대상의 크기변화 추정은 상기 추적 대상 후보 의 크기 기술자가 상기 추적 대상의 크기 기술자와 일치시켜 상기 추적 대상의 크기변화를 추정할 수 있다.
본 발명에 있어서, 상기 추적 대상의 각도변화 추정은 상기 추적 대상 및 추적 대상 후보의 커널 각도 범위 및 사분면 정보를 이용하여 확률적으로 상기 추적 대상의 각도변화를 추정할 수 있다.
본 발명에 있어서, 상기 위치변화 추정 결과가 제1 기준값 보다 작은 경우 상기 추적 대상의 크기변화 및 각도변화를 추정하고, 상기 위치변화 추정결과가 상기 제1 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산할 수 있다.
본 발명에 있어서, 상기 위치변화 추정 결과가 제2 기준값 보다 작은 경우, 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 디스플레이 하고, 상기 위치변화 추정 결과가 제2 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산할 수 있다.
본 발명이 이루고자 하는 기술적인 문제를 해결하기 위한 물체 추적 장치는 영상을 수신하여 추적 대상을 지정하고, 상기 추적 대상 및 가정된 위치에서 추적 대상 후보의 특성값을 계산하며, 상기 추적 대상 및 가정된 위치에서의 추적 대상 후보의 특성값을 이용하여 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 추정하여 디스플레이 하는 추적 제어수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 추적 제어수단은 상기 지정된 추적 대상 및 상기 추적 대상 후보의 커널, 히스토그램, 각도별 히스토그램 및 크기 기술자를 포함하는 특성값을 계산하는 특성값계산부; 가정된 초기 위치값, 계산된 새 위치값, 상기 추 적 대상의 커널값 및 픽셀의 계조와 히스토그램을 이용한 웨이트값을 이용하여 상기 추적 대상의 위치변화를 추정하는 위치변화 추정부; 상기 추적 대상 후보의 크기 기술자가 상기 추적 대상의 크기 기술자와 일치시켜 상기 추적 대상의 크기 변화를 추정하는 크기변화 추정부; 상기 추적 대상 및 추적 대상 후보의 커널 각도 범위 및 사분면 정보를 이용하여 확률적으로 상기 추적 대상의 각도변화를 추정하는 각도변화 추정부; 및 상기 추정된 추적 대상의 위치변화, 크기변화 및 각도변화의 디스플레이를 제어하는 제어부를 포함할 수 있다.
본 발명에 있어서, 상기 커널은 상기 추적 대상에 대해 주어진 마스크(mask)를 바탕으로 생성될 수 있다.
본 발명에 있어서, 상기 제어부는 상기 위치변화 추정 결과가 제1 기준값 보다 작은 경우 상기 추적 대상의 크기변화 및 각도변화를 추정하고, 상기 위치변화 추정결과가 상기 제1 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산할 수 있다.
본 발명에 있어서, 상기 제어부는 상기 위치변화 추정 결과가 제2 기준값 보다 작은 경우, 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 디스플레이 하고, 상기 위치변화 추정 결과가 제2 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산할 수 있다.
상술한 바와 같이 본 발명에 따르면, 물체를 추적함에 있어서 물체의 크기변화와 각도변화를 고려하고 물체 영역만을 사용하여 물체를 추적함으로써, 기존에 비해 우수한 물체 추적 성능을 발휘할 수 있다.
또한 감시 시스템에서의 추적을 보다 다양한 경우에 적용할 수 있도록 하고 물체의 크기, 각도 변화를 고려함으로써 이를 통해 물체 추적 결과로부터 획득되는 정보의 양을 늘려 추후 이를 행동 분석 등에 이용하기 용이하다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명에 따른 물체 추적 장치의 구성을 보이는 블록도로서, 영상 입력수단(110), 저장수단(120), 디스플레이 수단(130) 및 추적 제어수단(140)을 포함한다.
물체 추적 장치는 먼저 입력 영상을 받은 후, 추적 장치 또는 그 외의 입력으로부터 영상 내에서의 추적해야할 대상이 정해진다. 그 후 이를 제안된 알고리즘을 통해 추적하고 그 결과를 사용자에게 표시하게 된다.
영상 입력수단(110)은 감시 대상이 되는 감시 영역에 대한 입력 영상을 입력받는다. 추적 제어수단(140)은 입력 영상으로부터 추적 대상 및 가정된 위치에서 추적 대상 후보를 지정하고, 이들의 특성값을 계산한다. 도 2a에는 영상 입력수단(110)이 수신한 입력 영상의 예가 도시되어 있다.
저장수단(120)은 추적 제어수단(140)이 계산한 추적 대상 및 추적 대상 후보의 특성값을 비롯하여 제어수단(140)에서 생성되는 값을 저장한다.
디스플레이 수단(130)은 입력 영상에 추적 대상이 표시되거나 추적 대상에 대한 추적 실패 메시지가 출력한다.
추적 제어수단(140)은 영상 입력수단(110)으로부터 수신한 영상을 수신하여 추적 대상을 지정하고, 추적 대상 및 가정된 위치에서 추적 대상 후보의 특성값을 계산하며, 추적 대상 및 가정된 위치에서의 추적 대상 후보의 특성값을 이용하여 추적 대상의 위치변화, 크기변화 및 각도변화를 추정하여 디스플레이 수단(130)에 디스플레이 한다.
이를 위해 추적 제어수단(140)은 특성값 계산부(141), 위치변화 추정부(142), 크기변화 추정부(143), 각도변화 추정부(144) 및 제어부(145)를 포함한다.
특성값 계산부(141)는 지정된 추적 대상의 커널(kernel), 히스토그램(histogram), 각도별 히스토그램 및 크기 기술자(
Figure 112008061926994-pat00001
)를 포함하는 특성값을 계산하고, 추적 대상 후보의 커널, 히스토그램, 각도별 히스토그램 및 크기 기술자(
Figure 112008061926994-pat00002
)를 포함하는 특성값을 계산한다.
특성값 계산부(141)는 추적 대상 및 추적 대상 후보의 커널 생성 시에 추적 장치 또는 그외의 입력으로부터 얻은 마스크를 사용하여 새로운 커널을 생성한다. 도 2a에는 입력영상이, 도 2b에는 주어진 마스크가, 도 2c에는 생성된 커널의 예가 도시되어 있다. 생성된 커널은 마스크의 경계로부터의 거리를 커널값으로 가지면, 완만하게 단조 증가하는 커널로 평균 이동에 있어서 효율적으로 사용될 수 있다. 이 커널을 사용함으로써 물체의 모델을 생성할 때 배경 영역의 정보를 최대한 배제할 수 있다.
특성값 계산부(141)는 추적 대상 및 추적 대상 후보에 대하여 휘도의 분포도를 나타내는 히스토그램을 계산하며, 이때 각도별 히스토그램을 함께 계산한다. 특성값 계산부(141)는 새롭게 정의되는 크기 기술자(
Figure 112008061926994-pat00003
)를 계산하는데 이에 대한 설명은 뒤에서 설명하기로 한다.
위치변화 추정부(142)는 가정된 초기 위치값, 계산된 새 위치값, 상기 추적 대상의 커널값 및 픽셀의 계조와 히스토그램을 이용한 웨이트값을 이용하여 추적 대상의 위치변화를 추정한다.
위치변화 추정부(142)는 특성값 계산부(141)에서 계산된 추적 대상 및 추적 대상 후보의 특성값을 바탕으로 위치변화 추정값
Figure 112008061926994-pat00004
를 계산하여 일반적인 평균 이동을 하게 된다. 즉,
Figure 112008061926994-pat00005
만큼 이동을 반복하게 된다(
Figure 112008061926994-pat00006
로 반복). 평균 이동 도중
Figure 112008061926994-pat00007
가
Figure 112008061926994-pat00008
보다 작아질 경우 회전 변화와 크기 변화에 대한 적응을
Figure 112008061926994-pat00009
,
Figure 112008061926994-pat00010
로 하게 된다. 이 과정은
Figure 112008061926994-pat00011
가
Figure 112008061926994-pat00012
보다 작아질때까지 계속된다. 여기서
Figure 112008061926994-pat00013
는 회전 추정과 크기 변화 적응 수행에 대한 제1 기준값이며,
Figure 112008061926994-pat00014
는 평균 이동의 수렴에 관한 제2 기준값이다. 위치 위치변화 추정값
Figure 112008061926994-pat00015
는 다음 수학식 1과 같이 계산된다.
Figure 112008061926994-pat00016
수학식 1에서
Figure 112008061926994-pat00017
,
Figure 112008061926994-pat00018
는 픽셀의 계조,
Figure 112008061926994-pat00019
및
Figure 112008061926994-pat00020
는 각각 추적 대상과 추적 대상 후보 영역의 색 분포,
Figure 112008061926994-pat00021
는 가정된 초기 위치,
Figure 112008061926994-pat00022
는 계산된 새 위치,
Figure 112008061926994-pat00023
및
Figure 112008061926994-pat00024
는 커널 값이다.
크기 변화 추정부(143)는 추적 대상 후보의 크기 기술자를 추적 대상의 크기 기술자와 일치시켜 추적 대상의 크기 변화를 추정한다.
크기 변화 추정부(143)의 크기 변화 적응은 새로운 유형의 크기 기술자를 사용하여 이루어 진다.
Figure 112008061926994-pat00025
를 중심으로부터의 상대적 거리("중심으로부터의 거리"/"중심으로부터 경계까지의 거리")라고 할 경우, 우선 추적 대상 후보 영역을
Figure 112008061926994-pat00026
에 따라 나눈다(즉, 크기 구획으로). 평균 이동의 경우 가중치 값이 픽셀이 새로운 위치에 기여한 양이며, 따라서 각 크기 구획의 가중치들의 평균은 그 크기 구획이 반복(iteration)시 새로운 위치에 기여한 양과 같다. 따라서 수학식 2와 같이 크기에 대한 새로운 유형의 기술자를 정의할 수 있다.
Figure 112008061926994-pat00027
여기서
Figure 112008061926994-pat00028
와
Figure 112008061926994-pat00029
는 각각
Figure 112008061926994-pat00030
번째 크기 구획의 평균 이동의 가중치들과
Figure 112008061926994-pat00031
번째 scale division 내부의
Figure 112008061926994-pat00032
들의 평균이다. 이 기술자는 크기와 관련하여 기여의 mean이 어디에 위치하는지를 나타낸다. 이 기술자를 사용하여
Figure 112008061926994-pat00033
(현재
Figure 112008061926994-pat00034
) 가
Figure 112008061926994-pat00035
(추적 대상의 초기
Figure 112008061926994-pat00036
)와 일치하도록 현재의 추적 대상 후보를 다음 수학식 3과 같이 적응 시킨다.
Figure 112008061926994-pat00037
현재와 초기의
Figure 112008061926994-pat00038
들을 일치시킴으로써 추적 대상의 크기 변화를 추정할 수 있다.
각도변화 추정부(144)는 추적 대상 및 추적 대상 후보의 커널 각도 범위 및 사분면 정보를 이용하여 확률적으로 추적 대상의 각도변화를 추정한다.
각도변화 추정부(144)의 각도 변화 추정은 다음과 같이 수행된다. 추적 대상의 크기 변화를 고려하지 않을 때, 평균 이동 반복의 마지막 단계에 추적 대상의 이동이 거의 끝났을 때, 추적 대상의 대부분이 추적 영역 내에 들어오게 된다. 또 한 프레임 간에 시간적인 차이가 매우 적으므로 추적 대상의 각도 변화 또한 매우 적게 된다. 따라서 추적 대상 후보의 히스토그램이 추적 대상과 차이가 크지 않다는 가정이 가능하다.
따라서 우리가
Figure 112008061926994-pat00039
과
Figure 112008061926994-pat00040
를 각각 추적 대상과 추적 대상 후보의 확률이라고 할 때, 위 가정 하에서 다음과 같은 수학식 4가 성립한다.
Figure 112008061926994-pat00041
여기서 각각
Figure 112008061926994-pat00042
는 추적 영역 내의 상대적인 각도,
Figure 112008061926994-pat00043
는 색 값이며 ^는 추정값을 의미한다. 이 식으로부터 다음 수학식 5가 유도된다.
Figure 112008061926994-pat00044
여기서
Figure 112008061926994-pat00045
은 추적 대상의 각 색에 따른 각도의 확률 분포로 다음과 같은 수학식 6이 구성될 수 있다.
Figure 112008061926994-pat00046
각 색 값들에 대한
Figure 112008061926994-pat00047
에 대한 확률
Figure 112008061926994-pat00048
은 각 각도 범위 별 히스토그램을 사용하여 계산될 수 있다. 위의 수식들로부터 우리는
Figure 112008061926994-pat00049
에 대한 추정값
Figure 112008061926994-pat00050
를 수학식 7과 같이 구할 수 있다:
Figure 112008061926994-pat00051
symmetric한 모양을 갖는 객체들에 대해, 각도의 확률은 양의 방향과 음의 방향에 대해 대칭적일 수 있다 (즉,
Figure 112008061926994-pat00052
). 따라서 각도의 방향에 대해서는 또 다른 방식으로 추정한다. 추적 영역을 네 구역으로 나눈 후 이들 영역 내의 sample 가중치들의 평균을 다음과 같이 조사한다. 좌측 상부, 우측 상부, 좌측 하부, 우측 하부 영역들의 sample 가중치들의 평균을 각각
Figure 112008061926994-pat00053
Figure 112008061926994-pat00054
,
Figure 112008061926994-pat00055
및
Figure 112008061926994-pat00056
로 표기하고 각도의 방향을
Figure 112008061926994-pat00057
로 표기할 경우,
Figure 112008061926994-pat00058
의 값을
Figure 112008061926994-pat00059
일 경우 +1, 그 외의 경우 -1로 정의할 수 있다. 여기서 +1 은 시계방향을 의미한다. 이
Figure 112008061926994-pat00060
와 위의
Figure 112008061926994-pat00061
에 관한 수식으로부터 수학식 8과 같이 각도변화 추정값
Figure 112008061926994-pat00062
를 얻을 수 있다.
Figure 112008061926994-pat00063
위의 위치변화, 크기변화, 각도변화에 관한 내용을 종합하여 최종적인 추적 대상의 추적이 이루어진다. 평균 이동 시 반복을 할 때 추적 대상 후보가 많이 움직일 때는 앞서 기술한 물체의 각도변화 추정방법과 크기변화 추정방법을 적용시킬 수 없다. 이는 기본적인 가정에 위배되며, 또한 현재 추적 영역 내의 정보가 추적 대상에 관한 정보라는 신뢰성이 떨어지기 때문이다. 따라서, 제안된 방법은 추적 대상 후보가 천천히 움직일 때, 즉 반복이 거의 끝났을 때에만 회전 변화를 추정하고 크기 변화에 적응한다.
제어부(145)는 특성값 계산부(141), 위치변화 추정부(142), 크기변화 추정부(143) 및 각도변화 추정부(144)의 동작을 제어하며, 상기 추정된 위치변화, 크기변화 및 각도변화에 따라 추적 대상의 디스플레이를 제어한다.
본 발명에서는 기존의 평균 이동 알고리즘에 비해 우수한 물체 추적 성능을 나타낸다. 기존의 평균 이동 알고리즘에서 갖고 있는 물체의 회전 변환, 크기 변화 추적 불가라는 제한 사항을 넘어설 수 있도록 한다. 기존의 평균 이동 알고리즘은 앞뒤로 이동하는 추적 대상(예를 들어 고속도로에서의 차량 감시)을 추적할 수 없으나 제안된 알고리즘은 그러한 추적 대상의 추적이 가능하다. 또한 사람을 대상을 할 때도 사람의 행동을 보다 정확히 추적할 수 있는 장점을 지닌다. 도 3은 실제 고속도로 촬영 화면에서 추적 대상의 추적을 수행한 예시로 위의 4개의 캡쳐 화면은 크기 변화를 추적하지 못하는 기존의 추적 예시이며 아래의 4개의 캡쳐 화면은 본 발명에 따른 추적 예시이다. 추적 결과를 보면 추적 대상의 크기가 줄어들며 따라서 기존의 평균 이동 알고리즘은 최종 프레임에서 옆의 엉뚱한 차를 추적 하는 것을 볼 수 있다. 하지만 본 발명에서는 추적 대상을 성공적으로 추적하는 모습을 볼 수 있다. 이 결과로부터 추적 대상의 크기 변화 등과 관련된 추적이 실제 추적에 있어서 필수적일 수 있다는 것을 볼 수 있으며 기존의 알고리즘에 비해 우수한 성능을 보임을 알 수 있다.
위의 제한 사항들을 해결할 수 있는 또 다른 방식인 파티클 필터의 경우 기존의 평균 이동 알고리즘에 비해 느리다는 단점이 있다. 이 알고리즘은 입자, 즉 파티클의 수에 따라 그 성능이 크게 좌우되는데, 입자의 수가 많아질수록 추적 성능은 좋아지나 연산 시간이 오래 걸리게 된다는 단점이 있다. 하지만 본 발명에서는 연산 시간이 매우 적게 걸리며 기존의 평균 이동 알고리즘과 거의 유사할 정도로 빠른 알고리즘으로 기존의 다른 추적 방법들에 대한 대안으로서의 효과를 기대할 수 있다. 도 4는 실제 파티클 필터와의 비교 실험 예이다. 위의 4개의 캡쳐 화면은 파티클 필터로 실험한 결과이며 아래의 4개의 캡쳐 화면은 동일한 영상을 본 발명으로 실험한 결과이다. 각 두번째 캡쳐 화면을 비교해보면 파티클 필터의 경우 빠른 크기 변화에는 잘 적응하지 못하는 모습을 보이는 반면에 본 발명은 적 절히 추적함을 확인할 수 있다. 특히 각 마지막 캡쳐 화면의 경우 파티클 필터는 아예 놓치는 데 반해 본 발명에서는 올바르게 추적하는 모습을 볼 수 있다. 특히 파티클 필터의 경우 200개의 파티클을 사용했으며 본 발명 보다 매우 느린 모습을 볼 수 있다.
이어서, 도 5를 참조하여 본 발명에 따른 물체 추적 방법을 설명한다. 본 발명에 따른 물체 추적 방법은 도 1에 도시된 바와 같은 물체 추적 장치 내부에서 수행될 수 있는데, 실시 예에 따라 동작 방법의 주 알고리즘은 장치 내의 주변 구성 요소들의 도움을 받아 추적 제어수단(140) 내부에서 수행될 수 있다.
영상 입력수단(110)을 통하여 영상이 입력되면, 추적 제어수단(140)은 입력된 영상 내에서의 추적 대상을 지정한다(501단계).
추적 대상이 지정되면, 추적 제어수단(140)은 추적 대상의 특성값 q를 계산한다(503단계). 추적 제어수단(140)이 계산하는 추적 대상의 특성값 q는 커널(kernel), 히스토그램(histogram), 각도별 히스토그램 및 크기 기술자(
Figure 112008061926994-pat00064
)를 포함한다. 추적 제어수단(140)은 커널 생성 시에 추적 장치 또는 그외의 입력으로부터 얻은 마스크를 사용하여 새로운 커널을 생성한다. 도 2a에는 입력영상이, 도 2b에는 주어진 마스크가, 도 2c에는 생성된 커널의 예가 도시되어 있다. 생성된 커널은 마스크의 경계로부터의 거리를 커널값으로 가지면, 완만하게 단조 증가하는 커널로 평균 이동에 있어서 효율적으로 사용될 수 있다. 이 커널을 사용함으로써 물체의 모델을 생성할 때 배경 영역의 정보를 최대한 배제할 수 있다. 추적 제어 수단(140)은 추적 대상에 대하여 휘도의 분포도를 나타내는 히스토그램을 계산하며, 이때 각도별 히스토그램을 함께 계산하고, 새롭게 정의되는 크기 기술자(
Figure 112008061926994-pat00065
)를 계산한다.
추적 대상의 특성값 계산이 완료되면, 추적 제어수단(140)은 가정된 위치에서의 추적 대상 후보의 특성값 p를 계산한다(505단계). 추적 대상 후보의 특성값 p는 커널, 히스토그램, 각도별 히스토그램 및 크기 기술자(
Figure 112008061926994-pat00066
)를 포함하며, 이의 계산은 추적 대상의 특성값 q의 계산과 동일하므로 그 상세한 설명은 생략한다.
추적 대상 후보의 특성값 p계산이 완료되면, 추적 제어수단(140)은 추적 대상의 특성값 q 및 추적 대상 후보의 특성값 p를 이용하여 위치변화 추정값
Figure 112008061926994-pat00067
를 계산한다(507단계). 제어수단(140)이 계산하는 위치변화 추정값
Figure 112008061926994-pat00068
는 상기 수학식 1 및 해당 설명에 개시되어 있다.
위치변화 추정값
Figure 112008061926994-pat00069
가 계산된 후, 추적 제어수단(140)은 이전의 추적 대상의 위치값(
Figure 112008061926994-pat00070
)에 위치변화 추정값
Figure 112008061926994-pat00071
를 더한 새로운 위치값(
Figure 112008061926994-pat00072
)를 계산한다(509단계). 즉,
Figure 112008061926994-pat00073
만큼 평균 이동을 반복하게 된다(
Figure 112008061926994-pat00074
로 반복).
평균 이동 도중 추적 제어수단(140)은 위치변화 추정값
Figure 112008061926994-pat00075
가 제1 기준값 인
Figure 112008061926994-pat00076
보다 큰가를 판단한다(511단계). 여기서 제1 기준값
Figure 112008061926994-pat00077
Figure 112008061926994-pat00078
은 회전 추정과 크기 변화 적응 수행을 위한 제1 기준값으로서, 위치변화 추정값
Figure 112008061926994-pat00079
가 제1 기준값인
Figure 112008061926994-pat00080
보다 큰 경우 추적 대상의 움직임이 많다고 판단하여, 505단계로 점프하여 추적 대상 후보의 특성값을 재 계산한다.
그러나, 위치변화 추정값
Figure 112008061926994-pat00081
가 제1 기준값인
Figure 112008061926994-pat00082
보다 작은 경우, 추적 제어수단(140)은 추적 대상의 움직임이 적다고 판단하고, 추적 대상의 크기변화를 추정한다(513단계). 추적 제어수단(140)은 상기 수학식 2에 정의된 새로운 유형의 크기 기술자를 이용하여 추적 대상의 크기변화를 추정하는데,
Figure 112008061926994-pat00083
(현재
Figure 112008061926994-pat00084
) 가
Figure 112008061926994-pat00085
(추적 대상의 초기
Figure 112008061926994-pat00086
)와 일치하도록 현재의 추적 대상 후보를 상기 수학식 3과 같이 적응 시킨다. 현재와 초기의
Figure 112008061926994-pat00087
들을 일치시킴으로써 추적 대상의 크기변화를 추정할 수 있다.
크기 변화 추정이 완료되면, 추적 제어수단(140)은 추적대상의 각도변화를 추정한다(515단계). 추적 제어수단(140)은 추적 대상 및 추적 대상 후보의 커널 각도 범위 및 사분면 정보를 이용하여 확률적으로 추적 대상의 각도변화를 추정한다. 상기 수학식 4- 수학식 8을 통하여 각도변화 추정값
Figure 112008061926994-pat00088
를 계산할 수 있고, 추적 제어수단(140)은 이전의 추적 대상의 각도값(
Figure 112008061926994-pat00089
)에 각도변화 추정값
Figure 112008061926994-pat00090
를 더한 새로운 각도변화값(
Figure 112008061926994-pat00091
)를 계산(
Figure 112008061926994-pat00092
)한다.
위의 크기변화, 각도변화에 관한 내용을 종합하여 최종적인 추적 대상의 추적이 이루어진다. 평균 이동 시 반복을 할 때 추적 대상 후보가 많이 움직일 때는 앞서 기술한 물체의 각도변화 추정방법과 크기변화 추정방법을 적용시킬 수 없다. 이는 기본적인 가정에 위배되며, 또한 현재 추적 영역 내의 정보가 추적 대상에 관한 정보라는 신뢰성이 떨어지기 때문이다. 따라서, 제안된 방법은 추적 대상 후보가 천천히 움직일 때, 즉 반복이 거의 끝났을 때에만 회전 변화를 추정하고 크기 변화에 적응한다.
추적 대상의 크기변화 및 각도변화의 추정이 완료되면, 추적 제어수단(140)은 위치변화 추정값
Figure 112008061926994-pat00093
가 제2 기준값인
Figure 112008061926994-pat00094
보다 작은가를 판단한다(517단계). 여기서 제2 기준값
Figure 112008061926994-pat00095
은 는 평균 이동의 수렴에 관한 제2 기준값으로서, 위치변화 추정값
Figure 112008061926994-pat00096
가 제2 기준값인
Figure 112008061926994-pat00097
보다 작지않은 경우 추적 대상의 움직임이 적다고 판단하여, 505단계로 점프하여 추적 대상 후보의 특성값을 재 계산한다.
그러나, 위치변화 추정값
Figure 112008061926994-pat00098
가 제2 기준값인
Figure 112008061926994-pat00099
보다 작은 경우, 추적 제어수단(140)은 추적 대상 후보의 전체 추적이 완료되었다고 판단하고, 해당 프레임을 디스플레이 수단(130)에 디스플레이 한다(519단계).
도 1은 본 발명에 따른 물체 추적 장치의 구성을 보이는 블록도 이다.
도 2는 도 1의 장치에서 입력 영상에 대한 커널 생성의 예를 보이는 도면이다.
도 3은 종래의 물체추적과 본원발명의 물체추적의 비교를 보이는 도면이다.
도 4는 파티클 필터와 본원발명의 물체추적의 비교를 보이는 도면이다.
도 5는 본 발명에 따른 물체 추적 방법의 동작을 보이는 흐름도 이다.

Claims (13)

  1. (a) 영상을 수신하고 추적 대상을 지정하는 단계;
    (b) 상기 추적 대상 및 가정된 위치에서 추적 대상 후보의 커널, 휘도 분포를 나타내는 히스토그램, 및 크기 기술자를 포함하는 특성값을 계산하는 단계; 및
    (c) 상기 추적 대상 및 가정된 위치에서의 상기 추적 대상 후보의 특성값을 이용하여 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 추정하여 디스플레이 하는 단계를 포함하는 물체 추적 방법.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 커널은
    상기 추적 대상에 대해 주어진 마스크(mask)를 바탕으로 생성되는 것을 특징으로 하는 물체 추적 방법.
  3. 삭제
  4. 제 1항에 있어서, 상기 추적 대상의 위치변화 추정은
    상기 추적 대상 및 상기 추적 대상 후보의 가정된 초기 위치값, 계산된 새 위치값, 상기 추적 대상의 커널값 및 픽셀의 계조와 히스토그램을 이용한 웨이트값을 이용하여 상기 추적 대상의 위치변화를 추정하는 것을 특징으로 하는 물체 추적 방법.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 1항에 있어서, 상기 추적 대상의 크기변화 추정은
    상기 추적 대상 후보의 크기 기술자를 상기 추적 대상의 크기 기술자와 일치시켜 상기 추적 대상의 크기변화를 추정하는 것을 특징으로 하는 물체 추적 방법.
  6. 제 1항에 있어서, 상기 추적 대상의 각도변화 추정은
    상기 추적 대상 및 추적 대상 후보의 커널 각도 범위 및 사분면 정보를 이용하여 확률적으로 상기 추적 대상의 각도변화를 추정하는 것을 특징으로 하는 물체 추적 방법.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제 6항에 있어서, 상기 위치변화 추정 결과가 제1 기준값 보다 작은 경우 상기 추적 대상의 크기변화 및 각도변화를 추정하고, 상기 위치변화 추정결과가 상기 제1 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산하는 것을 특징으로 하는 물체 추적 방법.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제 6항에 있어서, 상기 위치변화 추정 결과가 제2 기준값 보다 작은 경우, 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 디스플레이 하고, 상기 위치변화 추정 결과가 제2 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산하는 것을 특징으로 하는 물체 추적 방법.
  9. 영상을 수신하여 추적 대상을 지정하고, 상기 추적 대상 및 가정된 위치에서 추적 대상 후보의 커널, 휘도 분포를 나타내는 히스토그램, 및 크기 기술자를 포함하는 특성값을 계산하며, 상기 추적 대상 및 가정된 위치에서의 추적 대상 후보의 특성값을 이용하여 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 추정하여 디스플레이 하는 추적 제어수단을 포함하는 물체 추적 장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 9항에 있어서, 상기 추적 제어수단은
    상기 추적 대상 및 상기 추적 대상 후보의 가정된 초기 위치값, 계산된 새 위치값, 상기 추적 대상의 커널값 및 픽셀의 계조와 히스토그램을 이용한 웨이트값을 이용하여 상기 추적 대상의 위치변화를 추정하는 위치변화 추정부;
    상기 추적 대상 후보의 크기 기술자를 상기 추적 대상의 크기 기술자와 일치시켜 상기 추적 대상의 크기 변화를 추정하는 크기변화 추정부;
    상기 추적 대상 및 추적 대상 후보의 커널 각도 범위 및 사분면 정보를 이용하여 확률적으로 상기 추적 대상의 각도변화를 추정하는 각도변화 추정부; 및
    상기 추정된 추적 대상의 위치변화, 크기변화 및 각도변화의 디스플레이를 제어하는 제어부를 포함하는 것을 특징으로 하는 물체 추적 장치.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제 10항에 있어서, 상기 커널은
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제 10항에 있어서, 상기 제어부는
    상기 위치변화 추정 결과가 제1 기준값 보다 작은 경우 상기 추적 대상의 크기변화 및 각도변화를 추정하고, 상기 위치변화 추정결과가 상기 제1 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산하는 것을 특징으로 하는 물체 추적 장치.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제 10항에 있어서, 상기 제어부는
    상기 위치변화 추정 결과가 제2 기준값 보다 작은 경우, 상기 추적 대상의 위치변화, 크기변화 및 각도변화를 디스플레이 하고, 상기 위치변화 추정 결과가 제2 기준값 보다 큰 경우 상기 추적 대상 후보의 특성값을 재 계산하는 것을 특징으로 하는 물체 추적 장치.
KR1020080085526A 2008-08-29 2008-08-29 물체 추적 장치 및 방법 KR101341637B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080085526A KR101341637B1 (ko) 2008-08-29 2008-08-29 물체 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080085526A KR101341637B1 (ko) 2008-08-29 2008-08-29 물체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100026500A KR20100026500A (ko) 2010-03-10
KR101341637B1 true KR101341637B1 (ko) 2013-12-16

Family

ID=42177820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080085526A KR101341637B1 (ko) 2008-08-29 2008-08-29 물체 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101341637B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022889B1 (ko) 2018-05-15 2019-09-19 한국과학기술연구원 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500711B1 (ko) * 2012-01-19 2015-03-10 한국전자통신연구원 컬러 히스토그램을 이용한 사람 추적 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2537169B2 (ja) * 1984-08-29 1996-09-25 キヤノン株式会社 カメラにおける自動追尾装置
KR100421221B1 (ko) * 2001-11-05 2004-03-02 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2537169B2 (ja) * 1984-08-29 1996-09-25 キヤノン株式会社 カメラにおける自動追尾装置
KR100421221B1 (ko) * 2001-11-05 2004-03-02 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022889B1 (ko) 2018-05-15 2019-09-19 한국과학기술연구원 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법

Also Published As

Publication number Publication date
KR20100026500A (ko) 2010-03-10

Similar Documents

Publication Publication Date Title
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
EP2858008B1 (en) Target detecting method and system
JP5276721B2 (ja) 画像中の障害物を識別する方法および装置
KR101159082B1 (ko) 반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정
KR20120138627A (ko) 안면 추적 장치 및 방법
CN106886748B (zh) 一种基于tld的适用于无人机的变尺度目标跟踪方法
EP3025275A1 (en) Method for camera motion estimation and correction
US9911191B2 (en) State estimation apparatus, state estimation method, and integrated circuit with calculation of likelihood data and estimation of posterior probability distribution data
JP6624877B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN112347205B (zh) 一种车辆误差状态的更新方法和装置
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
CN113223064B (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
EP3675041B1 (en) Method and apparatus for determining road information, and vehicle
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN112652021A (zh) 相机偏移检测方法、装置、电子设备及存储介质
KR101341637B1 (ko) 물체 추적 장치 및 방법
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN111583305B (zh) 神经网络训练及运动轨迹确定方法、装置、设备和介质
JP4879257B2 (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
CN108830884B (zh) 一种多视觉传感器协同目标跟踪方法
CN113920733A (zh) 一种基于深度网络的交通体量估计方法及系统
JP4942197B2 (ja) テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 7