KR20220118239A - 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법 - Google Patents

상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법 Download PDF

Info

Publication number
KR20220118239A
KR20220118239A KR1020210022128A KR20210022128A KR20220118239A KR 20220118239 A KR20220118239 A KR 20220118239A KR 1020210022128 A KR1020210022128 A KR 1020210022128A KR 20210022128 A KR20210022128 A KR 20210022128A KR 20220118239 A KR20220118239 A KR 20220118239A
Authority
KR
South Korea
Prior art keywords
feature
spatial
context
dcf
information
Prior art date
Application number
KR1020210022128A
Other languages
English (en)
Other versions
KR102600929B1 (ko
Inventor
주영훈
Original Assignee
군산대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교산학협력단 filed Critical 군산대학교산학협력단
Priority to KR1020210022128A priority Critical patent/KR102600929B1/ko
Publication of KR20220118239A publication Critical patent/KR20220118239A/ko
Application granted granted Critical
Publication of KR102600929B1 publication Critical patent/KR102600929B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법에 관한 것으로, 이는 현재 프레임에 대한 타겟 정보, 상황 정보, 공간 정보 및 공간 분산 정보를 획득한 후 DCF(Discriminative Correlation Filters)에 모두 적용하여 다중 특징 응답 맵을 획득하는 단계; PSR(peak-to-sidelobe ratio) 방법을 통해 상기 다중 특징 응답 맵을 2개씩 융합하여 다수의 융합 응답 맵을 생성한 후, 하나로 결합하여 최종 응답 맵을 생성하는 단계; 상기 최종 응답 맵에 기반하여 타겟 위치를 결정하는 단계; 및 상기 타겟 위치를 기반으로 상기 DCF를 업데이트하는 단계를 포함한다.

Description

상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법{Method for robust visual object tracking using context-based spatial variation via multi-feature fusion}
본 발명은 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법에 관한 것으로, 특히 상황 기반 공간 변화라는 새로운 정보를 이용하여 다중 이동 물체를 추적할 수 있도록 하는 방법에 관한 것이다.
시각적 객체 추적(Visual Object Tracking)은 자율 주행 자동차, 인간 동작 분석, 증강 현실, 교통 모니터링, 지능형 비디오 감시 및 로봇 공학을 포함한 많은 실시간 응용 프로그램에 널리 적용되는 컴퓨터 비전 분야에서 뜨거운 연구 주제이다.
특히, 최근에 들어서는 DCF(Discriminative Correlation Filter)를 이용하여 각종 영상 감시 시스템에서 객체를 추적하도록 하는 기술이 많은 관심을 받고 있다.
DCF에 기반한 추적 기술은 객체를 추적하는 동안, 현재 프레임에서 타겟의 위치는 이전 프레임의 타겟 위치에 기초하여 추정하도록 한다.
이러한 추적기의 성능은 타겟 샘플에서 특징을 추출하여 크게 향상된다. 주파수 영역에서 고속 푸리에 변환(FFT)을 사용하여, 상관 응답맵(correlation response map)은 학습 필터와 추정된 타겟 패치 사이의 요소 단위 곱셈으로서 계산된다. 마지막으로, 상관필터는 외관 모델 업데이트 전략을 사용하여 업데이트된다.
예를 들어, Bolme은 출력 제곱 오차 합(MOSSE)을 최소화함으로써 적응 상관필터를 제안했다. 특히, MOSSE 추적기는 초당 수백 프레임에서 실행되는 적응형 체계를 사용하여 상관 필터를 훈련한다.
Henriques는 상관 필터 훈련을 위해 샘플의 순환 구조 (CSK)를 도입하여 MOSSE를 향상시키고, 커널을 확장하여 고속추적이 가능하도록 한다.
또한, Henriques는 다중 채널 HOG 기술자와 커널 능선 회귀로 조명 강도 특징을 대체함으로써 CSK를 수정한다.
그러나 이들 DCF에 기반한 추적기 또한 객체 자세 변화, 부분 가림, 배경 잡음 및 조명 변화 등의 환경하에서는 객체 추적 정확성이 급격히 저하되는 한계를 가진다.
1. D. S. Bolme, J. R. Beveridge, B. A. Draper, and Y. M. Lui, "Visual [0010] object tracking using adaptive correlation filters," in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pp. 2544-2550, IEEE, 2010. 2. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "Exploiting the circulant structure of tracking-by-detection with kernels," in European conference on computer vision, pp. 702-715, Springer, 2012. 3. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High-speed tracking with kernelized correlation filters," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.37, no. 3, pp. 583-596, 2015.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 상황 기반 공간 변화라는 새로운 정보를 이용함으로써, 객체 자세 변화, 부분 가림, 배경 잡음 및 조명 변화 등의 환경하에서도 객체를 안정적으로 추적할 수 있도록 하는 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법을 제공하고자 한다.
또한 주목도(saliency), HOG(Histogram of Gradients), CN(Color Name), 및 강도 기반으로 다중 특징 응답 맵을 획득 및 이용할 수 있도록 함으로써, 보다 정확한 외관 평가가 가능하도록 하는 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면 현재 프레임에 대한 타겟 정보, 상황 정보, 공간 정보 및 공간 분산 정보를 획득한 후 DCF(Discriminative Correlation Filters)에 모두 적용하여 다중 특징 응답 맵을 획득하는 단계; PSR(peak-to-sidelobe ratio) 방법을 통해 상기 다중 특징 응답 맵을 2개씩 융합하여 다수의 융합 응답 맵을 생성한 후, 하나로 결합하여 최종 응답 맵을 생성하는 단계; 상기 최종 응답 맵에 기반하여 타겟 위치를 결정하는 단계; 및 ADMM(alternating direction method of multipliers) 최적화를 통해 상기 DCF를 학습 및 업데이트하여 다음 프레임에 대한 DCF를 획득하는 단계를 포함하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법을 제공한다.
상기 DCF는 "
Figure pat00001
"의 식로 표현되는 최소 비용 함수를 가지며, 상기
Figure pat00002
는
Figure pat00003
, 상기
Figure pat00004
는
Figure pat00005
,
Figure pat00006
는 최적화 파라미터, A는 공간 정규화 가중치 맵,
Figure pat00007
은 요소 단위 곱셈,
Figure pat00008
는 t번째 프레임의 업데이트 필터,
Figure pat00009
는 적응적 공간 정규화항, Г는 정규화 파라미터,
Figure pat00010
는 공간 변화 정규화항인 것을 특징으로 한다.
상기 DCF는 ADMM (Alternating Direction Method of Multipliers)를 통해 최적화되는 단계를 더 포함하는 것을 특징으로 한다.
상기 최적화되는 단계는 "
Figure pat00011
"의 식에 ALM(augmented Lagrangian method) 방법을 적용하여
Figure pat00012
및
Figure pat00013
의 부분 문제(sub-problem)로 나누는 단계; 및 상기
Figure pat00014
및
Figure pat00015
의 부분 문제 해들을 획득한 후, "
Figure pat00016
"의 식에 적용하여 라그랑지안 (Lagrangian) 파라미터를 업데이트하는 단계를 포함하는 것을 특징으로 한다.
상기 다중 특징 응답 맵은 주목도(saliency) 특징, HOG(Histogram of Gradients) 특징, CN(Color Name) 특징, 강도 특징 각각에 대응되는 4개의 응답 맵인 것을 특징으로 한다.
상기 다중 특징 응답 맵은 PSR 방법에 기반하여 "
Figure pat00017
"에 따라 상기 4개의 응답맵 각각에 대한 최대 강도(
Figure pat00018
)와 가중치(
Figure pat00019
)를 산출한 후, "
Figure pat00020
"의 식에 따라 2개씩 결합하여 6개의 융합 응답 맵(
Figure pat00021
,
Figure pat00022
,
Figure pat00023
,
Figure pat00024
,
Figure pat00025
,
Figure pat00026
)을 생성하는 단계; 및 상기 6개의 융합 응답 맵을 "
Figure pat00027
"의 식에 따라 하나로 결합하여 최종 응답 맵을 생성하는 단계를 포함하며, 상기
Figure pat00028
는 요소 단위 곱셈, 상기
Figure pat00029
는 요소 단위 추가를 나타내는 것을 특징으로 한다.
본 발명은 타겟의 상황 정보를 통해 타겟와 주변 간의 관계를 활용할 수 있도록 함으로써, 타겟 위치를 보다 정확하게 결정할 수 있도록 한다.
그리고 현재 프레임의 공간 정보를 이용해서는 필터 계수 변화로 인한 경계 효과를 제거하고, 인접한 3개 프레임간의 필터 2차 차이로 계산되는 공간 변화 정보를 이용해서는 과적합 문제 발생 없이 필터 업데이트가 수행될 수 있도록 한다.
또한 상관 필터에서 다중 특징 융합 전략을 채택함으로써, 타겟 외관을 보다 정확하게 평가할 수 있도록 한다.
더하여 ADMM(Alternating Direction Method of Multipliers) 기술을 이용한 최적화를 수행하여, 계산 비용을 낮출 수 있도록 한다.
도 1 및 도 2은 본 발명의 일 실시예에 따른 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법을 도시한 도면이다.
도 3은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법을 도시한 도면이다.
도 1을 참고하면, 본 발명의 다중 이동 물체 추적 방법은 현재 프레임에 대한 타겟 정보, 상황 정보, 공간 정보 및 공간 분산 정보를 획득한 후 DCF(Discriminative Correlation Filters)에 모두 적용하여 다중 특징 응답 맵을 획득하는 단계(S10), PSR(peak-to-sidelobe ratio) 방법을 통해 상기 다중 특징 응답 맵을 2개씩 융합하여 다수의 융합 응답 맵을 생성한 후, 하나로 결합하여 최종 응답 맵을 생성하는 단계(S20), 상기 최종 응답 맵에 기반하여 타겟 위치를 결정하는 단계(S30), 및 상기 타겟 위치를 기반으로 상기 DCF를 업데이트하는 단계(S40) 등을 포함한다.
즉, 본 발명에서는 DCF가 타겟과 타겟 주변간의 관계가 반영된 타겟의 상황 정보를 추가 고려할 수 있도록 함으로써, DCF가 타겟 위치를 보다 정확히 결정할 수 있도록 한다.
또한 DCF가 현재 프레임의 공간 정보와 인접한 3개 프레임간의 필터 2차 차이로 계산되는 공간 변화 정보를 추가 고려하도록 함으로써, 필터 계수 변화로 인한 경계 효과 및 과적합 문제 발생을 사전 차단하도록 한다.
더하여, DCF을 통해 다중 특징 응답 맵을 생성한 후 PSR (peak-to-sidelobe ratio) 방법을 통해 융합하여 보다 작은 외란을 가지는 보다 정확한 응답 맵을 획득함으로써, 타겟 외관을 보다 정확하게 평가할 수 있도록 한다.
마지막으로 각 부분 문제가 닫힌 솔루션을 갖는 ADMM (Alternating Direction Method of Multipliers)에 기반한 최적화를 수행하여, 계산 비용을 최소화할 수 있도록 한다.
이와 같이, 본 발명에서는 DCF에 기반하여 객체 추적 동작을 수행하되, DCF를 변형하여 타겟의 상황 정보, 공간 정보 및 공간 분산 정보를 추가 이용하는 CSVMF(contextual information based spatial variation with multi-feature fusion) 추적기를 새로이 구성하고 이를 통해 영상 감시 시스템에서의 객체 추적 동작을 수행할 수 있도록 한다.
이에 설명의 이해를 돕기 위해, 이하에서는 DCF 기반 추적기로부터 CSVMF 추적기를 도출하는 과정에 대해 먼저 설명하기로 한다.
DCF 기반 추적기
DCF 기반 추적기는 우수한 객체 추적 성능을 보장할 수 있어, 시각적 객체 추적 분야에서 널리 이용되는 추적기이다.
DCF 기반 추적기에 이용되는 상관 필터
Figure pat00030
의 t번째 프레임에 대한 목적 함수는 수학식 1에 따라 최적화된다.
[수학식 1]
Figure pat00031
여기서
Figure pat00032
는 c 번째 채널 필터를, yt(i) ∈
Figure pat00033
은 가우시안 형태 라벨을, i는 yt의 요소를,
Figure pat00034
은 t번째 프레임의 c 번째 채널 특징 맵을, [△τi]는 순환 이동 연산자(circular shift operator)를, λ1은 정규화 파라미터를, C는 특징 채널의 개수를 각각 나타낸다.
또한 타겟의 배경 정보를 활용하는 베이스라인 추적기(background aware correlation filter)를 기준 추적기로써 이용하여, 우수한 추적 성능을 보장할 수 있도록 한다.
L2 비용 함수를 최소화함으로써, t 번째 프레임에 대한 상관 필터
Figure pat00035
를 획득할 수 있으며, 이때의 최소 비용 함수
Figure pat00036
는 수학식 3와 같이 정의될 수 있다.
[수학식 2]
Figure pat00037
여기서 B∈
Figure pat00038
은 입력 샘플의 각 채널
Figure pat00039
의 잘라낸 행렬(cropped matrix)이다.
상황 기반 BACF 추적기(Context-based BACF tracker)
다만, 타겟 추적은 배경 혼란, 부분 가림, 변형 및 빠른 움직임 등에 많은 영향을 받는 데, 이는 추적 성능 저하를 야기한다. 이에 본 발명에서는 앞서 설명한 봐와 같이 DCF가 타겟의 주변 정보를 추가 고려할 수 있도록 함으로써, 이러한 문제를 해결하도록 한다.
비디오의 각 프레임별로, 타겟 객체 x0 ∈
Figure pat00040
의 주변을 샘플링하여 k개의 상황 패치 xk ∈
Figure pat00041
을 획득한 후, 타겟의 순환 행렬을
Figure pat00042
으로 설정하고, 타겟의 상황 패치는
Figure pat00043
으로 설정하도록 한다.
상황 패치를 이용하여 타겟 주변에 대한 하드 네거티브 샘플의 정보를 추출하고, 이들 하드 네거티브 샘플은 타겟의 오답(distractors) 및 다양한 배경 정보와 같은 이들 하드 샘플은 글로벌 상황에 저장한다.
이에 필터는 타겟 영역에 대한 최대 응답과 상황 패치에 대한 제로 응답을 학습한다.
[수학식 3]
Figure pat00044
여기서, λ2는 타겟 주변의 제로 응답을 제어하기 위한 상황 패치의 정규화 파라미터를 나타낸다.
CSVMF 추적기
한편 DCF 추적기의 경우, 제한된 탐색 영역으로 원하지 않는 경계 효과가 발생할 수 있는 데, 기존의 SRDCF 추적기는 학습 필터에 새로운 공간 정규화항을 도입하여 이러한 문제를 해소하도록 한다.
이에 본 발명에서는 SRDCF 추적기와 유사하게 DCF가 수학식 4와 같이 공간 정규화 요소를 추가적으로 고려할 수 있도록 함으로써, 경계 효과 발생을 사전 차단하도록 한다.
또한 DCF 기반 추적기의 경우, 필터 업데이트시에 현재 프레임에서의 과적합 문제가 발생할 수 있다. 이에 본 발명에서는 훈련된 필터와 함께 이전 필터 모델을 추가함으로써 해당 문제를 해결하도록 한다.
업데이트된 모델은 필터 학습시 타겟이 연속적으로 변화될 때에 잘 융합되며, 훈련된 필터와 이전 필터간의 변동이 클 수 있어 이 두 필터를 함께 추가하면 필터가 현재 및 이전 타겟 상태에 잘 맞지 않게 되는 경우가 발생될 수 있다. 또한 타겟 추적 중에 타겟이 폐색되거나 모션 블러되는 현상이 발생하여, 상관 필터가 이들 훈련 샘플들을 학습하고, 많은 배경 정보와 타겟 이동(drift)로 이어지는 많은 외란 정보를 포함하게 된다.
이에 본 발명에서는 DCF가 공간 변화항
Figure pat00045
을 추가 고려할 수 있도록 함으로써, 상기 문제들이 모두 해결될 수 있도록 한다. 여기서
Figure pat00046
및
Figure pat00047
이다.
이에 수학식 3은 수학식 4와 같은 새로운 프레임 워크로 변경된다.
[수학식 4]
Figure pat00048
여기서
Figure pat00049
는 t번째 프레임의 업데이트 필터, A는 공간 정규화 가중치 맵,
Figure pat00050
은 요소 단위 곱셈,
Figure pat00051
는 적응적 공간 정규화항, λ2 및 Г는 정규화 파라미터들이고,
Figure pat00052
는 공간 변화 정규화항이다.
이와 같이, 본 발명에서는 잘라낸 행렬 B에 따라 충분한 탐색 영역을 설정하고, 타겟의 공간 정보를 병합하여 타겟의 배경 정보를 개선하고, 공간 변화을 통합하여 타켓이 심각한 폐색 및 모션 블러를 겪을 때의 효율성을 향상시킵니다.
그리고 최소 비용 함수의 전반적인 목표, 즉 전체 비용 함수를 수학식 5과 같은 행렬 형태로 표현한다.
[수학식 5]
Figure pat00053
여기서
Figure pat00054
는 크로네커 곱(Kronecker product)을, 첨자 T는 결합 전치 연산자(conjugate transpose operation), ID는 DㅧD 크기의 단위 행렬을 나타낸다.
주파수 영역으로 변환
수학식 5의 전체 비용 함수는 계산을 위해 주파수 영역으로 변환되어야 하며, 그 결과 전체 목적 함수의 최소 비용 함수는 수학식 6와 같이 재작성될 수 있다.
[수학식 6]
Figure pat00055
여기서 ^는 이산 푸리에 변환(DFT), 즉
Figure pat00056
를 나타내고, F는 N×N 크기의 푸리에 계수를 나타내는 행렬이다.
추가적으로, 본 발명은 최적화 파라미터
Figure pat00057
을 새로이 도입하고,
Figure pat00058
,
Figure pat00059
을 정의한다.
ADMM(Alternating Direction Method of Multipliers)을 통한 최적화
ADMM는 선형 제약조건을 효과적으로 풀기 위한 기법으로, 원래 문제를 부분문제(sub-problem)들로 분할하고 다시 취합하여 해를 구하는 방식으로 복잡한 문제를 근사적으로 해결할 수 있는 장점이 있다.
이에 본 발명에서는 계산 속도를 고려하여 ADMM 방법을 채택함으로써, 수학식 6의 볼록 최적화(convex optimization) 문제를 해결하도록 한다.
수학식 6은 수학식 7에서와 같은 ALM(augmented Lagrangian method)으로 변환한다.
[수학식 7]
Figure pat00060
여기서 μ와
Figure pat00061
는 페널티 계수와 보조 변수를 각각 나타낸다. 라그랑주 벡터
Figure pat00062
의 크기는 DN × 1이다.
ALM 방법을 적용함으로써, 수학식 8 및 9에서와 같이
Figure pat00063
및
Figure pat00064
의 부분 문제(sub-problem)로 나눈다.
[수학식 8]
Figure pat00065
[수학식 9]
Figure pat00066
Figure pat00067
및
Figure pat00068
의 부분 문제에 대한 폐쇄 형태의 해는 이하와 같다.
1) 부분 문제
Figure pat00069
의 해:
[수학식 10]
Figure pat00070
[수학식 11]
Figure pat00071
여기서
Figure pat00072
,
Figure pat00073
, 및
Figure pat00074
이다.
2) 부분 문제
Figure pat00075
의 해 : 수학식 9을 직접 계산하는 경우, 시간이 더 많이 소요되지만 다행히 입력 행렬
Figure pat00076
는 희소 대역을 가진다.
따라서
Figure pat00077
, 즉
Figure pat00078
의 각 요소를 계산하는 데,
Figure pat00079
의 각 요소는
Figure pat00080
와
Figure pat00081
에만 의존하기 때문이다.
여기서 conj(.)는 복잡한 결합 연산을 나타낸다. 또한
Figure pat00082
는 N(개의 부분 문제로 나뉠 수 있으며(n = [1, 2, … , N]), 이는 수학식 12로 표현된다.
[수학식 12]
Figure pat00083
여기서
Figure pat00084
이고,
Figure pat00085
는
Figure pat00086
의 DFT이다(
Figure pat00087
).
각 부분 문제에 대한 해는 수학식 13과 같다.
[수학식 13]
Figure pat00088
X에서의 역 연산을 피하기 위해, 셔먼-모리슨 공식을 적용하여 계산을 가속화한다. 셔먼-모리슨 공식은
Figure pat00089
으로 표현되며, u는 a×m 행렬, v는 m×a 행렬, A는 a×a 행렬이다. 이 경우 A =μID 및
Figure pat00090
이다.
따라서 수학식 13은 수학식 14로 재작성될 수 있다.
[수학식 14]
Figure pat00091
Figure pat00092
,
Figure pat00093
,
Figure pat00094
,
Figure pat00095
, 스텝 파라미터 μ는 수학식 15에 따라 업데이트된다.
[수학식 15]
Figure pat00096
여기서
Figure pat00097
는 μ의 업데이트 단위 크기를 나타내며, μ(max)는 μ의 상한을 나타낸다.
3) 라그랑지안 (Lagrangian) 파라미터 업데이트:
그리고
Figure pat00098
및
Figure pat00099
의 부분 문제(sub-problem)의 해를 적용하여 라그랑지안 (Lagrangian) 파라미터를 업데이트한다.
[수학식 16]
Figure pat00100
여기서
Figure pat00101
는 라그랑지안 파라미터를 나타내고, 첨자 t와 t + 1는 t와 (t + 1)번째 반복을 각각 나타낸다. 또한
Figure pat00102
및
Figure pat00103
는
Figure pat00104
및
Figure pat00105
의 부분 문제 해를 각각 나타낸다. 여기서
Figure pat00106
이다.
이하, 각 단계에 대해 보다 상세히 살펴보면 다음과 같다.
단계 S10
먼저, 새로운 프레임이 입력되면, 현재 프레임의 관심 영역에 따라 타겟 패치를 추출하고, 타겟 패치의 주변 영역에 기반하여 타겟의 상황 정보를 획득한다(S11). 이때, 관심 영역은 현재 프레임이 초기 프레임인 경우에는 프레임에 기입된 타겟 실제값(ground truth values)을 기반으로 결정되고, 그렇지 않은 경우에는 이전 프레임의 타겟 위치를 기반으로 결정된다.
그리고 현재 프레임의 관심 영역으로부터 주목도(saliency) 특징, HOG(Histogram of Gradients) 특징, CN(Color Name) 특징, 강도 특징을 포함하는 다중 특징을 획득한다(S12).
그리고 현재 프레임(t번째 프레임)에 대한 공간 정보(
Figure pat00107
)를 획득하고, 이와 동시에 이전 프레임(t-1 프레임)간 필터 2차 차이와 이전 프레임(t-1 프레임)와 그 이전 프레임(t-2 프레임)간 필터 2차 차이에 기반하여 공간 변화 정보(
Figure pat00108
)를 추가 획득한다(S13).
그리고 수학식 6의 비용 함수를 가지는 DCF에 획득된 상황 정보, 공간 정보, 공간 변화 정보를 모두를 적용하여, 수학식 18과 같이 표현되는 주목도 특징, HOG 특징, CN 특징, 강도 특징 각각에 대응되는 4개의 응답맵을 획득한다(S14).
[수학식 18]
Figure pat00109
여기서 k는 프레임을 의미하고,
Figure pat00110
을 나타낸다. 여기서
Figure pat00111
,
Figure pat00112
,
Figure pat00113
및
Figure pat00114
는 주목도 특징, HOG 특징, CN 특징, 강도 특징 각각을 나타낸다.
단계 S20
PSR 방법에 기반하여 수학식 19 및 20에 따라 4개의 응답맵 각각에 대한 최대 강도(
Figure pat00115
)와 가중치(
Figure pat00116
)를 산출한 후, 응답 맵
Figure pat00117
각각의 정보를 수학식 21에서와 같이 2개씩 결합하여 6개의 융합 응답 맵을 생성함으로써, 노이즈를 필터링함과 동시에 응답 맵의 정확도를 향상될 수 있도록 한다(S21).
[수학식 19]
Figure pat00118
[수학식 20]
Figure pat00119
여기서
Figure pat00120
은 평균값이고,
Figure pat00121
은
Figure pat00122
의 표준 편차값이다.
[수학식 21]
Figure pat00123
여기서
Figure pat00124
는 요소 단위 곱셈과
Figure pat00125
를 나타내며,
Figure pat00126
는
Figure pat00127
에 의해
Figure pat00128
가 가중됨을 의미한다.
그리고 나서 6개의 융합 응답맵을 수학식 22의 융합 전략에 따라 하나로 결합하여 최종 응답 맵을 생성한다.
[수학식 22]
Figure pat00129
여기서
Figure pat00130
는 요소 단위 추가를 의미하며,
Figure pat00131
는 수학식 23으로 정의된다.
[수학식 23]
Figure pat00132
여기서
Figure pat00133
와
Figure pat00134
는 각각
Figure pat00135
의 평균 및 표준 편차이다.
단계 S30
단계 S20를 통해 획득된 최종 응답 맵을 검색하여 최대 응답이 발생된 이미지 영역을 파악하고, 이를 타겟 위치(xt, yt)로 결정한다.
단계 S40
그리고 타겟 위치(xt, yt)에 기반하여 객체 표현을 위한 외관 모델을 수학식 17에서와 같이 업데이트하고, 이를 반영하여 다음 프레임에 대한 상관 필터를 결정하도록 한다.
[수학식 24]
Figure pat00136
여기서
Figure pat00137
는 학습률(learning rate)를 나타내며, 전체 데이터셋에 대하여 고정된 값을 갖는다. 첨자 t와 t - 1는 t와 (t - 1)번째 프레임을 각각 나타낸다.
도 3은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다.
또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다. 여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다. 여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다.
상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다.
본 명세서에서 사용되는 "구성요소", "모듈", "시스템", "인터페이스" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다. 예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (6)

  1. 현재 프레임에 대한 타겟 정보, 상황 정보, 공간 정보 및 공간 분산 정보를 획득한 후 DCF(Discriminative Correlation Filters)에 모두 적용하여 다중 특징 응답 맵을 획득하는 단계;
    PSR(peak-to-sidelobe ratio) 방법을 통해 상기 다중 특징 응답 맵을 2개씩 융합하여 다수의 융합 응답 맵을 생성한 후, 하나로 결합하여 최종 응답 맵을 생성하는 단계;
    상기 최종 응답 맵에 기반하여 타겟 위치를 결정하는 단계; 및
    상기 타겟 위치를 기반으로 상기 DCF를 업데이트하는 단계를 포함하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법.
  2. 제1항에 있어서, 상기 DCF는
    "
    Figure pat00138
    "의 식로 표현되는 최소 비용 함수를 가지며,
    상기
    Figure pat00139
    는
    Figure pat00140
    , 상기
    Figure pat00141
    는
    Figure pat00142
    ,
    Figure pat00143
    는 최적화 파라미터, A는 공간 정규화 가중치 맵,
    Figure pat00144
    은 요소 단위 곱셈,
    Figure pat00145
    는 t번째 프레임의 업데이트 필터,
    Figure pat00146
    는 적응적 공간 정규화항, Г는 정규화 파라미터,
    Figure pat00147
    는 공간 변화 정규화항인 것을 특징으로 하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법.
  3. 제2항에 있어서, 상기 DCF는
    ADMM (Alternating Direction Method of Multipliers)를 통해 최적화되는 단계를 더 포함하는 것을 특징으로 하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법.
  4. 제3항에 있어서, 상기 최적화되는 단계는
    "
    Figure pat00148
    "의 식에 ALM(augmented Lagrangian method) 방법을 적용하여
    Figure pat00149
    및
    Figure pat00150
    의 부분 문제(sub-problem)로 나누는 단계; 및
    상기
    Figure pat00151
    및
    Figure pat00152
    의 부분 문제 해들을 획득한 후, "
    Figure pat00153
    "의 식에 적용하여 라그랑지안 (Lagrangian) 파라미터를 업데이트하는 단계를 포함하는 것을 특징으로 하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법.
  5. 제1항에 있어서, 상기 다중 특징 응답 맵은
    주목도(saliency) 특징, HOG(Histogram of Gradients) 특징, CN(Color Name) 특징, 강도 특징 각각에 대응되는 4개의 응답 맵인 것을 특징으로 하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법.
  6. 제5항에 있어서, 상기 다중 특징 응답 맵은
    PSR 방법에 기반하여 "
    Figure pat00154
    "에 따라 상기 4개의 응답맵 각각에 대한 최대 강도(
    Figure pat00155
    )와 가중치(
    Figure pat00156
    )를 산출한 후, "
    Figure pat00157
    "의 식에 따라 2개씩 결합하여 6개의 융합 응답 맵(
    Figure pat00158
    ,
    Figure pat00159
    ,
    Figure pat00160
    ,
    Figure pat00161
    ,
    Figure pat00162
    ,
    Figure pat00163
    )을 생성하는 단계; 및
    상기 6개의 융합 응답 맵을 "
    Figure pat00164
    "의 식에 따라 하나로 결합하여 최종 응답 맵을 생성하는 단계를 포함하며,
    상기
    Figure pat00165
    는 요소 단위 곱셈, 상기
    Figure pat00166
    는 요소 단위 추가를 나타내는 것을 특징으로 하는 상황 기반 공간 변화를 사용하는 다중 이동 물체 추적 방법.
KR1020210022128A 2021-02-18 2021-02-18 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법 KR102600929B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210022128A KR102600929B1 (ko) 2021-02-18 2021-02-18 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210022128A KR102600929B1 (ko) 2021-02-18 2021-02-18 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법

Publications (2)

Publication Number Publication Date
KR20220118239A true KR20220118239A (ko) 2022-08-25
KR102600929B1 KR102600929B1 (ko) 2023-11-09

Family

ID=83111206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022128A KR102600929B1 (ko) 2021-02-18 2021-02-18 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법

Country Status (1)

Country Link
KR (1) KR102600929B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242023A (zh) * 2020-01-11 2020-06-05 上海悠络客电子科技股份有限公司 一种适用于复杂光线客流统计方法及统计装置
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법
CN111242023A (zh) * 2020-01-11 2020-06-05 上海悠络客电子科技股份有限公司 一种适用于复杂光线客流统计方法及统计装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
1. D. S. Bolme, J. R. Beveridge, B. A. Draper, and Y. M. Lui, "Visual [0010] object tracking using adaptive correlation filters," in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pp. 2544-2550, IEEE, 2010.
2. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "Exploiting the circulant structure of tracking-by-detection with kernels," in European conference on computer vision, pp. 702-715, Springer, 2012.
3. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High-speed tracking with kernelized correlation filters," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.37, no. 3, pp. 583-596, 2015.
Changhong Fu 등, Correlation Filter-Based Visual Tracking for UAV with Online Multi-Feature Learning, remote sensing(2019.03.06.)* *
HengCheng Fu 등, Learning reliable-spatial and spatial-variation regularization correlation filters for visual tracking, Image and Vision Computing(2020.01.10.)* *

Also Published As

Publication number Publication date
KR102600929B1 (ko) 2023-11-09

Similar Documents

Publication Publication Date Title
KR102175491B1 (ko) 상관 필터 기반 객체 추적 방법
Liu et al. A robust parallel object tracking method for illumination variations
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
US11704817B2 (en) Method, apparatus, terminal, and storage medium for training model
CN110070107B (zh) 物体识别方法及装置
CN111507378A (zh) 训练图像处理模型的方法和装置
CN111797893A (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN110349190B (zh) 自适应学习的目标跟踪方法、装置、设备及可读存储介质
US20150347846A1 (en) Tracking using sensor data
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
US11821986B1 (en) Target tracking method, system, device and storage medium
Maddalena et al. Exploiting color and depth for background subtraction
CN113850189A (zh) 一种应用于机动平台的嵌入式孪生网络实时跟踪方法
Fan et al. MP-LN: motion state prediction and localization network for visual object tracking
Zhang et al. Structural pixel-wise target attention for robust object tracking
CN111914809B (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN113033356A (zh) 一种尺度自适应的长期相关性目标跟踪方法
Imamoglu et al. An integration of bottom-up and top-down salient cues on RGB-D data: saliency from objectness versus non-objectness
CN115019342B (zh) 一种基于类关系推理的濒危动物目标检测方法
CN116883961A (zh) 一种目标感知方法以及装置
KR102600929B1 (ko) 상황 기반 공간 변화를 이용한 다중 이동 물체 추적 방법
Qiu et al. A moving vehicle tracking algorithm based on deep learning
CN116433722A (zh) 目标跟踪方法、电子设备、存储介质及程序产品
Tan et al. Online visual tracking via background-aware Siamese networks
Huang et al. An anti-occlusion and scale adaptive kernel correlation filter for visual object tracking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant