KR101220194B1 - 밝기 대소를 이용하여 표적을 추적하기 위한 장치 - Google Patents

밝기 대소를 이용하여 표적을 추적하기 위한 장치 Download PDF

Info

Publication number
KR101220194B1
KR101220194B1 KR1020120071302A KR20120071302A KR101220194B1 KR 101220194 B1 KR101220194 B1 KR 101220194B1 KR 1020120071302 A KR1020120071302 A KR 1020120071302A KR 20120071302 A KR20120071302 A KR 20120071302A KR 101220194 B1 KR101220194 B1 KR 101220194B1
Authority
KR
South Korea
Prior art keywords
target
model
similarity
tracking
candidate
Prior art date
Application number
KR1020120071302A
Other languages
English (en)
Inventor
박세경
진상훈
허평강
박현욱
Original Assignee
한국과학기술원
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 엘아이지넥스원 주식회사 filed Critical 한국과학기술원
Priority to KR1020120071302A priority Critical patent/KR101220194B1/ko
Application granted granted Critical
Publication of KR101220194B1 publication Critical patent/KR101220194B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 의한 밝기 대소를 이용하여 표적을 추적하기 위한 장치가 개시된다.
본 발명에 따른 밝기 대소를 이용하여 표적을 추적하기 위한 장치는 입력받은 영상이 첫 번째 프레임인 경우, 입력받은 영상으로부터 표적모델을 추출하는 표적모델 추출부; 입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상으로부터 표적후보 모델을 추출하는 표적후보모델 추출부; 추출된 상기 표적모델과 상기 표적후보 모델 간의 유사도를 계산하는 유사도 계산부; 상기 계산한 결과로 상기 표적 모델과 유사도가 가장 높은 위치를 표적의 위치로 결정하는 표적위치 결정부; 및 결정된 상기 표적의 위치를 기반으로 상기 표적 모델을 갱신하는 표적모델 갱신부를 포함한다.

Description

밝기 대소를 이용하여 표적을 추적하기 위한 장치{APPARATUS FOR TRACKING TARGET USING INTENSITY ORDER RELATION}
본 발명은 표적 추적 방안에 관한 것으로, 특히, 표적 영역으로부터 추출한 특징점 사이의 대소관계와 표적 영역을 분할한 블록 간의 밝기값 대소 관계를 이용하여 표적을 추적하도록 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치에 관한 것이다.
BMA(Block Matching Algorithm)는 가장 일반적인 추적 기법으로 많은 연구가 있었다. 특히, 다른 블록과의 차이를 어떻게 비교할 것인가에 대한 연구와 비교를 위한 기준이 되는 템플릿 영상을 어떻게 정할 것인가라는 문제를 중심으로 연구가 되고 있다.
그러나 형상 변화에 둔감한 전자의 방식은 주로 FFT 도메인 상의 비교를 이용하는 방식으로 기존 방식에 비하여 FFT 변환에 대한 추가적인 계산 시간이 요구되는 단점이 있었다.
또한, 후자의 방식은 잘못된 템플릿 업데이트로 인한 추적 실패라는 한계를 가지고 있다.
J. R. Jain and A. K. Jain. Displacement measurement and its application in interframe image coding, IEEE Trans. Commun., vol. COM-29, Dec. 1981. R. Brunelli, Template Matching Techniques in Computer Vision: Theory and Practice, Wiley, ISBN 978-0-470-51706-2, 2009. A. K. Jain, Fundamentals of Digital Image Processing, Prentice Hall, Englewood Cliffs, 1989.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 표적 영역으로부터 추출한 특징점 사이의 대소 관계와 표적 영역을 분할한 블록 간의 밝기값 대소 관계를 이용하여 표적을 추적하도록 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치를 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 밝기 대소를 이용하여 표적을 추적하기 위한 장치는 입력받은 영상이 첫 번째 프레임인 경우, 입력받은 영상으로부터 표적모델을 추출하는 표적모델 추출부; 입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상으로부터 표적후보 모델을 추출하는 표적후보모델 추출부; 추출된 상기 표적모델과 상기 표적후보 모델 간의 유사도를 계산하는 유사도 계산부; 상기 계산한 결과로 상기 표적 모델과 유사도가 가장 높은 위치를 표적의 위치로 결정하는 표적위치 결정부; 및 결정된 상기 표적의 위치를 기반으로 상기 표적 모델을 갱신하는 표적모델 갱신부를 포함할 수 있다.
바람직하게, 상기 표적모델 추출부는 상기 입력받은 영상 내 표적 영역을 지정하고, 지정된 상기 표적 영역에서 표적 모델을 추출하되, 상기 표적 모델은 특징점 기반의 표적모델과 블록 기반의 표적모델을 포함하는 것을 특징으로 한다.
바람직하게, 상기 표적후보모델 추출부는 상기 입력받은 영상 내 탐색영역을 지정하고, 지정된 상기 탐색영역에서 표적후보 영역을 추출하며, 추출된 상기 표적후보 영역에서 표적후보 모델을 추출하되, 상기 표적후보 모델은 특징점 기반의 표적후보 모델과 블록 기반의 표적후보 모델을 포함하는 것을 특징으로 한다.
바람직하게, 상기 표적모델과의 유사도는 특징점 기반의 모델과 블록 기반의 모델 유사도의 선형결합으로 정의되는 것을 특징으로 한다.
바람직하게, 상기 표적모델 갱신부는 현재의 추적 결과를 이전의 표적모델에 누적시키는 방식으로 상기 표적 모델을 갱신하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 밝기 대소를 이용하여 표적을 추적하기 위한 장치는 입력받은 영상으로부터 표적모델과 표적후보 모델을 각각 추출하는 표적모델 추출부; 추출된 상기 표적모델과 상기 표적후보 모델 간의 유사도를 계산하는 유사도 계산부; 상기 계산한 결과로 상기 표적 모델과 유사도가 가장 높은 위치를 표적의 위치로 결정하는 표적위치 결정부; 및 결정된 상기 표적의 위치를 기반으로 상기 표적 모델을 갱신하는 표적모델 갱신부를 포함할 수 있다.
바람직하게, 상기 표적모델 추출부는 상기 입력받은 영상이 첫 번째 프레임인 경우, 상기 입력받은 영상으로부터 표적모델을 추출하고, 상기 입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상으로부터 표적후보 모델을 추출하는 것을 특징으로 한다.
바람직하게, 상기 표적모델 추출부는 상기 입력받은 영상 내 표적 영역을 지정하고, 지정된 상기 표적 영역에서 표적 모델을 추출하되, 상기 표적 모델은 특징점 기반의 표적모델과 블록 기반의 표적모델을 포함하는 것을 특징으로 한다.
바람직하게, 상기 표적모델 추출부는 상기 입력받은 영상 내 탐색영역을 지정하고, 지정된 상기 탐색영역에서 표적후보 영역을 추출하며, 추출된 상기 표적후보 영역에서 표적후보 모델을 추출하되, 상기 표적후보 모델은 특징점 기반의 표적후보 모델과 블록 기반의 표적후보 모델을 포함하는 것을 특징으로 한다.
바람직하게, 상기 표적모델과의 유사도는 특징점 기반의 모델과 블록 기반의 모델 유사도의 선형결합으로 정의되는 것을 특징으로 한다.
바람직하게, 상기 표적모델 갱신부는 현재의 추적 결과를 이전의 표적모델에 누적시키는 방식으로 상기 표적 모델을 갱신하는 것을 특징으로 한다.
이를 통해, 본 발명은 표적 영역으로부터 추출한 특징점 사이의 대소 관계와 표적 영역을 분할한 블록 간의 밝기값 대소 관계를 이용하여 표적을 추적하도록 함으로써, 조명이 변하는 환경에서도 표적을 정확하게 추적할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 표적을 추적하기 위한 장치를 나타내는 도면이다.
도 2는 특징점을 추출하기 위한 마스크 연산 원리를 설명하기 위한 도면이다.
도 3은 특징점 간의 밝기 대소 모델과 특징점 디스크립터를 보여주는 도면이다.
도 4는 'david-inddor' 영상의 추적 결과를 나타내는 도면이다.
도 5는 'occluded face' 영상의 추적결과를 나타내는 도면이다.
도 6은 'walking woman' 영상의 추적 결과를 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 밝기 대소를 이용하여 표적을 추적하기 위한 장치를 첨부한 도 1 내지 도 6을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
특히, 본 발명은 표적 영역으로부터 추출한 특징점 사이의 대소 관계와 표적 영역을 분할한 블록 간의 밝기값 대소 관계를 이용하여 표적을 추적하도록 하는 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 표적을 추적하기 위한 장치를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 표적을 추적하기 위한 장치는 영상 입력부(110), 표적모델 추출부(120), 표적후보모델 추출부(130), 유사도 계산부(140), 표적위치 결정부(150), 및 표적모델 갱신부(160) 등을 포함하여 구성될 수 있다. 여기서, 표적모델 추출부(120)와 표적후보모델 추출부(130)는 각각 별개로 구성될 수 있지만, 필요에 따라 표적모델 추출부(120) 하나로 구성될 수도 있다.
영상 입력부(110)는 촬영된 영상을 입력받고 입력받은 영상이 첫 번째 프레임인지를 확인할 수 있다.
표적모델 추출부(120)는 입력받은 영상이 첫 번째 프레임인 경우, 입력받은 영상 내 표적 영역을 지정할 수 있는데, 예컨대, 표적 영역은 사람에 의해 지정되거나 검출 알고리즘을 이용하여 지정된다.
그리고 표적모델 추출부(120)는 지정된 표적 영역에서 표적 모델 즉, 특징점 기반의 표적모델과 블록 기반의 표적모델을 추출할 수 있다.
이때, 특징점 기반의 표적모델과 블록 기반의 표적모델을 설명하면 다음과 같다.
먼저 조명변화가 존재하는 영상 시퀀스에서는 동일한 물체에 대해서 매 프레임마다 화소 값이 조금씩 달라지기 때문에 화소 값을 이용한 표적 모델을 사용할 경우 추적 성능의 저하가 야기될 수 있다. 하지만 조명이 변하는 환경에서도 표적을 이루는 부분 영역 간의 밝기 대소 관계는 변하지 않기 때문에 본 발명에서 추출하고자 하는 표적 모델은 이러한 특성을 이용하여 표적의 형상을 표현할 수 있다.
이를 위하여 먼저 두 밝기 값의 대소 관계는 다음의 [수학식 1]과 같이 정의된다.
[수학식 1]
Figure 112012052406273-pat00001
대소 관계는 Local binary pattern과 유사하게 {-1, 0, 1}을 사용하여 단순하게 표현하였다. 표적 영역의 화수 수를 N이라고 할 때, 두 개의 화소를 연결하는 모든 경우의 수는 0.5N(N-1) 개이다. 이러한 연결 중에는 표적의 위치를 결정하는데 의미 없는 정보들도 포함되어 있기 때문에 본 발명에 따른 표적 모델에서는 의미 있는 값들을 추출하여 대소 관계 기반의 모델을 구성하고자 한다.
1)특징점 기반의 표적모델
표적의 밝기 값의 대소 관계 구조를 표현하기 위한 특징점은 밝기 값이 평탄한 영역으로부터 추출되어야 하며 동시에 표적의 위치를 결정하기 위해서 주변 영역과 구별되는 영역에서 추출되어야 한다. 이러한 조건을 만족시키는 특징점을 추출하기 위해서 중심-주변 마스크를 이용한다.
도 2는 특징점을 추출하기 위한 마스크 연산 원리를 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 중심-주변 마스크를 이용하여 특징점을 추출하기 위한 연산 방법을 보여주고 있는데, 특징점을 추출하기 위한 연산은 다음의 [수학식 2]와 같이 정의된다.
[수학식 2]
Figure 112012052406273-pat00002
여기서, x는 좌표 (x,y)를 나타낸다. Rnn과 Rfn은 각각 좌표 x로부터의 근거리 이웃영역(near neighbor)과 원거리 이웃영역(far neighbor)으로 정의되며, 마스크에서 각각 검은색 영역과 흰색 영역에 해당한다. I(x)는 좌표 x에서의 밝기 값을 나타내고, mc는 근거리 이웃영역의 평균 밝기 값을 의미한다. 그리고 함수 n(ㅇ)은 영역 내의 화소 수를 나타낸다.
이때, mc는 다음의 [수학식 3]과 같이 정의된다.
[수학식 3]
Figure 112012052406273-pat00003
마스크를 이용한 연산 결과 sal(x)는 근거리 이웃영역이 평탄하고, 근거리 이웃영역의 평균과 원거리 이웃영역의 차이가 많이 날 때 높은 값을 가진다. 그리고 3ㅧ3 크기의 윈도우를 이용하여 sal(x)값의 국부 최대점을 특징점으로 추출한다.
제안하는 특징점 기반의 표적 모델은 특징점 간의 밝기 대소 관계와 특징점 매칭에 사용될 디스크립터(descriptor) 그리고 표적 영역의 상대 위치에 따른 특징점의 신뢰도로 이루어진다.
1)추출된 특징점간의 밝기 대소 관계 모델은 다음의 [수학식 4]와 같이 나타낸다.
[수학식 4]
Figure 112012052406273-pat00004
여기서 p(i)는 표적영역 템플릿의 중심을 원점으로 하는 상대좌표계에서 i번째 특징점의 좌표를 나타낸다. I(p(i))는 i번째 특징점의 밝기 값을 나타낸다. 그리고 NP는 특징점의 개수를 나타낸다.
2)특징점 디스크립터는 특징점 주변의 상황을 표현한 것으로 매칭되는 특징점 사이의 유사도를 계산하는데 사용된다. 특징점 디스크립터는 특징점의 밝기와 미리 정의된 주변의 상대 위치의 화소와의 밝기 대소 관계로 정의된다.
i번째 특징점의 디스크립터는 다음의 [수학식 5]와 같이 정의된다.
[수학식 5]
Figure 112012052406273-pat00005
이때 d(n)는 특징점을 원점으로 하는 상대좌표계에서 미리 정의된 n번째 주변 화소의 위치를 나타내고, I(p(i)+d(n))는 i번째 특징점의 n번째 주변화소의 밝기 값을 나타낸다. 그리고 ND는 비교하는 주변 화소의 개수를 의미한다.
도 3은 특징점 간의 밝기 대소 모델과 특징점 디스크립터를 보여주는 도면이다.
도 3에 도시한 바와 같이, (a)에서는 특징점 간의 밝기 대소 모델을 보여주고 있고, (b)에서는 특징점 디스크립터를 보여주고 있다. 여기서, ND는 8이 사용되었다.
3)특징점의 신뢰도는 과거 추적 결과에 의해서 결정될 수 있다. 강인한 표적추적을 위해서는 변화가 적은 영역은 표적 위치 결정에 높은 기여도를 가지고, 표적의 움직임이나 배경변화로 인해 변화가 잦은 영역은 낮은 기여도를 가져야 한다. 제안하는 특징점의 신뢰도는 추적 결과로부터 얻은 블록신뢰도를 이용하여 정의된다.
2)블록 기반의 표적 모델
앞서 설명한 특징점 기반의 표적 모델은 표적의 형태 변화가 있을 경우 특징점이 추출되는 위치가 변하기 때문에 표적의 형태 변화에 민감한 특성을 가진다. 따라서 특징점 기반의 표적 모델은 짧은 주기로 모델을 갱신해야하며 단기 표적 모델로써의 역할을 수행한다. 강인한 추적을 위해서는 이와 반대로 표적의 변화에 둔감하며, 지속적으로 유지되는 특성을 표현할 모델이 필요하다. 이를 위해서 블록기반의 표적 모델을 제안한다.
제안된 블록기반의 표적 모델은 블록 간의 평균 밝기 대소 관계와 블록 신뢰도로 구성된다.
1)블록 간의 평균 밝기 대소 관계 모델은 다음의 [수학식 6]과 같이 정의된다.
[수학식 6]
Figure 112012052406273-pat00006
이때 mk는 k번째 블록의 평균 밝기를 나타내고 NB는 전체 블록의 개수를 의미한다. 즉, 추적이 진행될수록 블록 간의 밝기 대소 관계를 누적시켜 표적의 안정된 특성을 표현한다.
2)블록 신뢰도는 블록 영역의 값이 크게 변하지 않고 신뢰할 수 있음을 나타내는 척도로 특징점 매칭 결과를 이용하여 나타낸다.
표적후보모델 추출부(130)는 입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상 내 탐색영역을 지정할 수 있는데, 예컨대, 탐색영역은 사람에 의해 지정되거나 검출 알고리즘을 이용하여 지정된다.
그리고 표적후보모델 추출부(130)는 지정된 탐색영역에서 표적후보 영역을 추출하고, 추출된 표적후보 영역에서 표적후보 모델 즉, 특징점 기반의 표적후보 모델과 블록 기반의 표적후보 모델을 추출할 수 있다.
유사도 계산부(140)는 표적 모델과 표적 후보 모델 간의 유사도를 계산할 수 있다.
표적위치 결정부(150)는 그 계산한 결과로 유사도가 가장 높은 위치를 표적의 위치로 결정할 수 있다.
이때, 표적의 위치는 탐색영역(search region)에서 표적 모델과 가장 유사도가 높은 위치로 결정된다. 표적 모델과의 유사도는 다음의 [수학식 7]과 같이 특징점 기반의 모델과 블록 기반의 모델 유사도의 선형결합으로 정의된다.
[수학식 7]
Figure 112012052406273-pat00007
여기서,
Figure 112012052406273-pat00008
과
Figure 112012052406273-pat00009
는 각각 특징점 기반의 모델 유사도와 블록 기반의 모델 유사도를 의미한다.
이때, 특징점 간의 밝기 대소 관계 모델
Figure 112012052406273-pat00010
, 특징점 디스크립터
Figure 112012052406273-pat00011
, 특징점 신뢰도
Figure 112012052406273-pat00012
, 그리고 블록간의 밝기 대소 관계 모델 , 좌표 x를 중심으로 하는 표적후보영역으로부터 추출한 모델을
Figure 112012052406273-pat00013
로 표기한다.
특징점 기반의 모델 유사도는 다음의 [수학식 8]과 같이 정의된다.
[수학식 8]
Figure 112012052406273-pat00014
여기서,
Figure 112012052406273-pat00015
는 학습된 표적모델을 의미하고
Figure 112012052406273-pat00016
는 좌표 x를 중심으로하는 표적 후보 영역으로부터 추출한 모델을 의미한다.
Figure 112012052406273-pat00017
는 i번째 특징점과 j번째 특징점 간의 가중치 함수로 다음의 [수학식 9]와 같이 정의된다.
[수학식 9]
Figure 112012052406273-pat00018
여기서,
Figure 112012052406273-pat00019
와
Figure 112012052406273-pat00020
는 각각 i번째 특징점의 신뢰도와 특징점 디스크립터의 매칭유사도이다.
Figure 112012052406273-pat00021
는 다음의 [수학식 10]과 같이 정의된다.
[수학식 10]
Figure 112012052406273-pat00022
여기서, 함수
Figure 112012052406273-pat00023
는 Kronecker delta함수이고,
Figure 112012052406273-pat00024
는 0과 1사이의 값을 가진다.
블록기반의 모델 유사도는 다음의 [수학식 11과 같이 정의된다.
[수학식 11]
Figure 112012052406273-pat00025
여기서,
Figure 112012052406273-pat00026
는 정규화 상수이다.
최적의 표적의 위치는 다음의 [수학식 12]와 같이 가장 높은 유사도를 가지는 위치로 결정한다.
[수학식 12]
Figure 112012052406273-pat00027
표적모델 갱신부(160)는 결정된 위치를 기반으로 표적 모델을 갱신할 수 있다.
이때, 표적 모델을 갱신하기 위해서 먼저 추적 결과 영역과 이전 모델과의 유사도를 통해서 블록 신뢰도를 추정한다. 이러한 블록 신뢰도는 다음의 [수학식 13]과 같이 특징점 디스크립터를 이용하여 블록 영역의 평균 유사도로 정의된다.
[수학식 13]
Figure 112012052406273-pat00028
여기서, Nk는 k번째 블록영역에 속한 특징점의 수를 나타낸다. 블록 신뢰도를 통해서 추적 결과 영역의 표적 추적 기여도를 판단한다.
특징점 기반의 표적 모델은 추적 결과 영역으로부터 새롭게 추출한 특징점을 이용하여 특징점 간의 밝기 대소관계모델와 특징점 디스크립터를 구성하며 특징점의 신뢰도는 다음의 [수학식 14]와 같이 특징점이 속한 블록의 블록 신뢰도 값을 이용한다.
[수학식 14]
Figure 112012052406273-pat00029
블록기반의 표적모델의 갱신은 다음의 [수학식 15]와 같이 추적 결과를 이전 표적모델에 누적시키는 방법으로 진행된다.
[수학식 15]
Figure 112012052406273-pat00030

제안한 알고리즘의 성능을 살펴보기 위하여 컴퓨터 비전 분야에서 자주 사용되는 공개 시퀀스를 이용하여 실험을 수행하였다. 실험에 사용된 영상은 176×144의 해상도를 가지며 흑백의 밝기 값을 사용하였다. 그리고 급격한 조명변화 환경을 조성하기 위하여 프레임마다 스케일링과 오프셋 연산을 적용하였다. 스케일링은 0.9에서 1.1사이의 값을 사용하였고, 오프셋은 0에서 30사이의 값을 사용하였다. 각 파라미터들은 프레임마다 임의로 결정된 값을 사용하였다. 제안한 알고리즘에서 특징점을 추출하기 위해서 7×7 크기의 마스크를 사용하였고, 블록기반의 모델을 구성하기 위해 표적영역을 5×5개의 블록으로 나누었다.
비교실험을 위해서 Frag-tracker와 OAB-tracker 방식이 사용되었다. Frag-tracker는 표적영역을 여러 조각으로 나누고 각 조각의 정보를 16개 빈을 가지는 히스토그램으로 표현하여 표적의 위치를 결정한다. OAB-traker의 경우는 유사 하르 특징(Haar-like feature)를 추출하여 그 중 100개를 선택하여 표적의 위치를 결정하는데 사용한다.
도 4는 'david-inddor' 영상의 추적 결과를 나타내는 도면이다.
도 4에 도시한 바와 같이, 원 영상 시퀀스에서는 조명변화가 천천히 나타나는데 OAB-tracker(회색 박스)의 경우 잘 적응하여 추적하는 것을 볼 수 있다. 하지만 조명변화를 급격하게 주었을 경우 OAB-tracker의 적응 능력을 벗어나 추적이 실패하는 것을 확인할 수 있다.
반면, 제안된 알고리즘(흰색 박스)은 목표물을 잘 추적하는 것을 볼 수 있다.
도 5는 'occluded face' 영상의 추적결과를 나타내는 도면이다.
도 5에 도시한 바와 같이, 이 영상 시퀀스는 가림현상이 나타기 때문에 OAB-tracker(회색 박스)의 경우 추적 실패하는 경우를 보여주고 있다. Frag-tracker(검은색 박스)의 경우는 가림이 발생하더라도 조각영상을 통해 매칭이 수행되기 때문에 가림에 강인한 특성을 보여준다. 하지만 히스토그램을 사용하기 때문에 조명변화가 급격할 경우 추적성능이 떨어지는 것을 볼 수 있다.
반면, 제안된 알고리즘(흰색 박스)은 목표물을 잘 추적하는 것을 볼 수 있다.
도 6은 'walking woman' 영상의 추적 결과를 나타내는 도면이다.
도 6에 도시한 바와 같이, 본 발명에 따른 표적 추적 방법(흰색 박스)은 부분 가림 현상과 조명변화가 일어나는 가운데에도 추적이 잘 되는 것을 볼 수 있다.
이와 같이 본 발명에서는 밝기 값의 대소 관계를 이용한 추적모델을 제안한다. 제안된 추적 모델은 특징점 사이의 밝기 대소 관계를 이용한 특징점 기반의 모델과 블록 간의 밝기 대소 관계를 이용한 블록 기반의 모델로 나뉘며 각 모델에 대한 갱신 방법도 제안된다.
실험을 통해서 제안된 추적 기법이 점진적인 조명 변화와 급격한 조명 변화에 강인한 특성을 가지는 것을 알 수 있고 짧은 가림 현상에도 표적을 놓치지 않는 것을 확인할 수 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 입력부
120: 표적모델 추출부
130: 표적후보모델 추출부
140: 유사도 계산부
150: 표적위치 결정부
160: 표적모델 갱신부

Claims (11)

  1. 입력받은 영상이 첫 번째 프레임인 경우, 입력받은 영상으로부터 표적모델을 추출하는 표적모델 추출부;
    입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상으로부터 표적후보 모델을 추출하는 표적후보모델 추출부;
    추출된 상기 표적모델과 상기 표적후보 모델 간의 각 좌표에 대한 밝기 값의 유사도를 계산하는 유사도 계산부;
    계산된 상기 유사도 중 가장 높은 유사도를 가지는 좌표의 위치를 표적의 위치로 결정하는 표적위치 결정부; 및
    결정된 상기 표적의 위치를 기반으로 상기 표적 모델을 갱신하는 표적모델 갱신부;
    를 포함하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  2. 제1 항에 있어서,
    상기 표적모델 추출부는,
    상기 입력받은 영상 내 표적 영역을 지정하고, 지정된 상기 표적 영역에서 표적 모델을 추출하되, 상기 표적 모델은 특징점 기반의 표적모델과 블록 기반의 표적모델을 포함하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  3. 제1 항에 있어서,
    상기 표적후보모델 추출부는,
    상기 입력받은 영상 내 탐색영역을 지정하고, 지정된 상기 탐색영역에서 표적후보 영역을 추출하며, 추출된 상기 표적후보 영역에서 표적후보 모델을 추출하되, 상기 표적후보 모델은 특징점 기반의 표적후보 모델과 블록 기반의 표적후보 모델을 포함하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  4. 제1 항에 있어서,
    상기 표적모델의 유사도는 특징점 기반의 모델 유사도와 블록 기반의 모델 유사도의 합으로 정의되는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  5. 제1 항에 있어서,
    상기 표적모델 갱신부는,
    현재의 추적 결과를 이전의 표적모델에 누적시키는 방식으로 상기 표적 모델을 갱신하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  6. 입력받은 영상으로부터 표적모델과 표적후보 모델을 각각 추출하는 표적모델 추출부;
    추출된 상기 표적모델과 상기 표적후보 모델 간의 각 좌표에 대한 밝기 값의 유사도를 계산하는 유사도 계산부;
    계산된 상기 유사도 중 가장 높은 유사도를 가지는 좌표의 위치를 표적의 위치로 결정하는 표적위치 결정부; 및
    결정된 상기 표적의 위치를 기반으로 상기 표적 모델을 갱신하는 표적모델 갱신부;
    를 포함하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  7. 제6 항에 있어서,
    상기 표적모델 추출부는,
    상기 입력받은 영상이 첫 번째 프레임인 경우, 상기 입력받은 영상으로부터 표적모델을 추출하고,
    상기 입력받은 영상이 첫 번째 프레임이 아닌 경우, 입력받은 영상으로부터 표적후보 모델을 추출하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  8. 제6 항에 있어서,
    상기 표적모델 추출부는,
    상기 입력받은 영상 내 표적 영역을 지정하고, 지정된 상기 표적 영역에서 표적 모델을 추출하되, 상기 표적 모델은 특징점 기반의 표적모델과 블록 기반의 표적모델을 포함하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  9. 제6 항에 있어서,
    상기 표적모델 추출부는,
    상기 입력받은 영상 내 탐색영역을 지정하고, 지정된 상기 탐색영역에서 표적후보 영역을 추출하며, 추출된 상기 표적후보 영역에서 표적후보 모델을 추출하되, 상기 표적후보 모델은 특징점 기반의 표적후보 모델과 블록 기반의 표적후보 모델을 포함하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  10. 제6 항에 있어서,
    상기 표적모델의 유사도는 특징점 기반의 모델 유사도와 블록 기반의 모델 유사도의 합으로 정의되는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
  11. 제6 항에 있어서,
    상기 표적모델 갱신부는,
    현재의 추적 결과를 이전의 표적모델에 누적시키는 방식으로 상기 표적 모델을 갱신하는 것을 특징으로 하는 밝기 대소를 이용하여 표적을 추적하기 위한 장치.
KR1020120071302A 2012-06-29 2012-06-29 밝기 대소를 이용하여 표적을 추적하기 위한 장치 KR101220194B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120071302A KR101220194B1 (ko) 2012-06-29 2012-06-29 밝기 대소를 이용하여 표적을 추적하기 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071302A KR101220194B1 (ko) 2012-06-29 2012-06-29 밝기 대소를 이용하여 표적을 추적하기 위한 장치

Publications (1)

Publication Number Publication Date
KR101220194B1 true KR101220194B1 (ko) 2013-01-10

Family

ID=47841484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071302A KR101220194B1 (ko) 2012-06-29 2012-06-29 밝기 대소를 이용하여 표적을 추적하기 위한 장치

Country Status (1)

Country Link
KR (1) KR101220194B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041068A (ko) * 2007-10-23 2009-04-28 엘아이지넥스원 주식회사 표적 추적 방법 및 장치
KR20100041172A (ko) * 2008-10-13 2010-04-22 국방과학연구소 영상 추적 장치의 이동표적 움직임 추적 방법
KR20110128529A (ko) * 2010-05-24 2011-11-30 중앙대학교 산학협력단 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090041068A (ko) * 2007-10-23 2009-04-28 엘아이지넥스원 주식회사 표적 추적 방법 및 장치
KR20100041172A (ko) * 2008-10-13 2010-04-22 국방과학연구소 영상 추적 장치의 이동표적 움직임 추적 방법
KR20110128529A (ko) * 2010-05-24 2011-11-30 중앙대학교 산학협력단 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN106778712B (zh) 一种多目标检测与跟踪方法
TWI660326B (zh) 用於更新背景模型之方法及裝置
US9911053B2 (en) Information processing apparatus, method for tracking object and program storage medium
US7957557B2 (en) Tracking apparatus and tracking method
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
Yang et al. Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory
CN115049954B (zh) 目标识别方法、装置、电子设备和介质
Srividhya et al. [Retracted] A Machine Learning Algorithm to Automate Vehicle Classification and License Plate Detection
JP2018139086A (ja) 相関追尾装置、相関追尾方法及び相関追尾プログラム
KR102424326B1 (ko) 주목도 기반 객체 분할을 이용한 비지도 비디오 객체 분할장치 및 방법
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
JP7176590B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Sahoo et al. A fast valley-based segmentation for detection of slowly moving objects
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR101220195B1 (ko) 밝기 대소를 이용하여 표적을 추적하기 위한 방법
KR101220194B1 (ko) 밝기 대소를 이용하여 표적을 추적하기 위한 장치
phadke Robust multiple target tracking under occlusion using fragmented mean shift and Kalman filter
KR102500516B1 (ko) 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법
Bai et al. Infrared small target detection and tracking under the conditions of dim target intensity and clutter background
Kurbatova et al. Detection of roads from images based on edge segmentation and morphological operations
Kim et al. Background modeling using adaptive properties of hybrid features
Duan et al. Detection of hand-raising gestures based on body silhouette analysis
Patel et al. Threshold Based Image Binarization Technique for Number Plate Segmentation
Arulananth et al. Fake shadow detection using local histogram of oriented gradients (HOG) features
JP2009087238A (ja) 画像追尾プログラム、装置、及び方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120629

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20120731

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20120629

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120829

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121220

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130103

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151124

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161222

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161222

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20171122

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20171122

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191219

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201203

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20221207

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20231219

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20241230

Start annual number: 13

End annual number: 13