KR101364046B1 - 동영상에서 객체를 추적하는 방법 및 그 장치 - Google Patents

동영상에서 객체를 추적하는 방법 및 그 장치 Download PDF

Info

Publication number
KR101364046B1
KR101364046B1 KR1020120124275A KR20120124275A KR101364046B1 KR 101364046 B1 KR101364046 B1 KR 101364046B1 KR 1020120124275 A KR1020120124275 A KR 1020120124275A KR 20120124275 A KR20120124275 A KR 20120124275A KR 101364046 B1 KR101364046 B1 KR 101364046B1
Authority
KR
South Korea
Prior art keywords
region
current frame
interest
probability
transformation matrix
Prior art date
Application number
KR1020120124275A
Other languages
English (en)
Inventor
임영철
이충희
김종환
박지호
김남혁
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120124275A priority Critical patent/KR101364046B1/ko
Application granted granted Critical
Publication of KR101364046B1 publication Critical patent/KR101364046B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

다양한 외부 환경에서 객체의 회전 변화 및 크기 변화와 같은 움직임에 강건한 추적 성능을 가지는 객체 추적방법이 개시된다. 본 발명의 일 면에 따른 객체 추적방법은 이전 프레임의 관심영역(ROI: Region Of Interest)에서 특징점을 추출하는 단계와, 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정하는 단계와, 상기 후보영역의 외양 모델 중에서 상기 관심영역의 외양 모델과 유사도가 가장 큰 후보영역을 현재 프레임의 관심영역으로 추정하는 단계를 포함한다.

Description

동영상에서 객체를 추적하는 방법 및 그 장치{Method and apparatus for object tracking in video sequences}
본 발명은 동영상 프레임에서 특정 객체를 추적하는 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 다양한 외부 환경에서 객체의 움직임에 대하여 강건한 추적 성능을 제공할 수 있는 객체 추적 방법 및 그 장치에 관한 것이다.
최근 다양한 환경의 카메라로부터 획득된 영상에서 원하는 객체를 강건하게 추적하기 위한 연구들이 많이 진행되고 있다. 그 중에서 해리스 코너 검출기(Harris corner Detector), SIFT(Scale-invariant feature transform), SURF(Speeded up robust feature) 등의 특징점(Feature Point)을 이용한 객체 추적방법과, 색상(color)이나 에지(gradient)와 같은 외양 모델을 이용한 객체 추적방법이 많이 사용된다.
이하, 도 1을 참조하여 종래 기술에 따른 특징점을 이용한 객체 추적방법을 설명한다. 도 1은 종래 기술에 따른 특징점을 이용한 객체 추적방법의 일련의 프로세스를 설명한 순서도이다.
도 1을 참조하면, 종래 기술에 따른 특징점을 이용한 객체 추적방법은 이전 프레임의 관심 영역(ROI: Region Of Interest)에서 특징점을 추출하는 단계와(S11), 현재 프레임에서 상기 이전 프레임의 관심 영역에 해당하는 특징점을 매칭하는 단계와(S13), 매칭된 특징점들 중 일부를 이용하여 변환 모델을 추정하는 단계와(S15), 추정된 모델을 이용하여 모든 특징점들의 재투영 오류(re-projection error)를 추정하는 단계와(S17), 추정된 변환 모델들을 이용하여 재투영 오류를 계산(N회 반복)하여 가장 오류가 적은 모델을 변환 모델로 선택하는 단계(S19)로 구성된다.
이와 같은 종래 특징점을 이용한 객체 추적방법은 도 2에 도시된 바와 같이, 이전 프레임에서 관심 영역이 불안정하게 선택되는 경우 추정되는 가외치 특징점(Outlier feature)의 수가 많아지게 되므로, 이로 인해 잘못된 변환 모델이 추정될 확률이 높아지게 되는 문제점이 있다.
한편, 종래 기술에 따른 외양 모델을 이용한 객체 추적방법은 도 3을 참조하여 설명한다. 도 3은 종래 기술에 따른 외양 모델을 이용한 객체 추적방법의 일련 프로세스를 설명한 순서도이다.
도 3을 참조하면, 종래 기술에 따른 외양 모델을 이용한 객체 추적방법은 이전 프레임의 관심 영역에서 색상이나 에지와 같은 특성을 히스토그램과 같은 외양 모델로 변환하는 단계와(S21), 현재 프레임에서 임의의 영역을 설정(S23)하고 상기 임의의 영역을 외양 모델로 변환하는 단계와(S25), 상기 두 개의 외양 모델 사이의 확률 분포 거리를 연산하는 단계와(S27), 상기 S23 내지 상기 S27 단계를 N회 반복하여 상기 이전 프레임의 외양 모델과 유사도가 가장 큰 현재 프레임의 임의의 영역을 선택하는 단계(S29)로 구성된다.
이와 같은 종래 외양 모델을 이용한 객체 추적방법은 회전 변화 및 크기 변화 등과 같은 객체의 다양한 움직임에 대하여 취약한 단점이 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 다양한 외부 환경에서 객체의 회전 변화 및 크기 변화와 같은 움직임에 강건한 추적 성능을 가지는 객체 추적방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 객체 내부 특징점(inlier feature)을 선택하여 정확한 변환 모델을 추정할 수 있는 객체 추적방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 면에 따른 객체 추적방법은 이전 프레임의 관심영역(ROI: Region Of Interest)에서 특징점을 추출하는 단계와, 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정하는 단계와, 상기 후보영역의 외양 모델 중에서 상기 관심영역의 외양 모델과 유사도가 가장 큰 후보영역을 현재 프레임의 관심영역으로 추정하는 단계를 포함한다.
본 발명의 일 실시예에서, 상기 후보영역을 설정하는 단계는 현재 프레임에서 매칭된 특징점(P 개) 중, 임의의 특징점(p 개)을 선택하는 단계와, 선택된 임의의 특징점을 이용하여 변환 행렬을 추정하는 단계를 포함한다.
본 발명의 일 실시예에서 상기 변환 행렬을 추정하는 단계는 아래의 수식과 같이, 현재 프레임에서 선택된 특징점과 이에 대응되는 상기 이전 프레임 특징점의 변환된 값의 차이에 대한 제곱이 최소가 되는 변환행렬을 추정하는 단계를 포함한다.
Figure 112012090650748-pat00001
여기서,
Figure 112012090650748-pat00002
: 변환 행렬의 추정 값,
Figure 112012090650748-pat00003
: 현재 프레임에서의 특징점,
Figure 112012090650748-pat00004
: 이전 프레임에서의 특징점, p : 선택된 특징점의 개수,
Figure 112012090650748-pat00005
: j 번째 선택된 변환행렬을 의미한다.
본 발명의 일 실시예에서 상기 변환 행렬은 현재 프레임에서 매칭된 특징점(P 개) 중, 임의의 특징점(p 개)을 선택하는 경우의 수( P C p )만큼 변환 행렬을 추정할 수 있다.
본 발명의 일 실시 예에서, 상기 관심영역으로 추정하는 단계는 베이시안 확률을 이용하여 상기 후보영역의 외양 모델 중에서 상기 관심 영역의 외양 모델 사이의 베이시안 확률이 가장 높은 후보영역을 현재 프레임의 관심영역으로 추정하는 단계를 포함한다.
본 발명의 일 실시예에서, 상기 관심영역으로 추정하는 단계는 현재 프레임에서 추정된 변환행렬과 이전 프레임에 대한 최종 변환행렬 사이의 관련성 정도를 나타내는 사전 확률을 연산하는 단계와, 추정된 변환행렬에 대하여 상기 현재 프레임에서 추출된 모든 특징점들의 재투영 오류를 연산하는 단계와, 상기 후보영역의 외양 모델과 상기 관심영역의 외양 모델 사이에 확률 분포 거리를 연산하는 단계를 포함한다.
상기 관심영역으로 추정하는 단계는 아래의 수식과 같이, 추정된 변환행렬 중에서 상기 사전 확률과 상기 재투영 오류와 상기 확률 분포 거리를 곱한 값을 최대가 되게 하는 변환행렬을 추정하는 단계를 더 포함한다.
Figure 112012090650748-pat00006
여기서,
Figure 112012090650748-pat00007
: 변환행렬 추정 값,
Figure 112012090650748-pat00008
: l 번째 모델에 대한 사전 확률,
Figure 112012090650748-pat00009
: 재투영 오류,
Figure 112012090650748-pat00010
: 확률 분포 거리,
Figure 112012090650748-pat00011
: l 번째 선택된 변환행렬, P(u) : 이전 프레임 관심 영역에서 외양 모델의 확률 분포, Q(u) : 현재 프레임에서 변환 행렬에 대한 외양 모델의 확률 분포, u : 히스토그램 bin의 개수를 의미한다.
전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 객체 추적장치는 이전 프레임의 관심영역(ROI: Region Of Interest)에서 특징점을 추출하고, 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정하는 후보영역 설정부와, 상기 후보영역 및 상기 관심영역에 대하여 히스토그램 형태의 외양 모델로 변환하는 외양 모델 변환부와, 상기 후보 영역들에 대하여 상기 사전확률, 상기 재투영 오류, 상기 확률 분포 거리를 이용하여 관심영역으로 추정하는 관심영역 추정부를 포함한다.
본 발명의 일 실시예에서, 상기 후보영역 설정부는 현재 프레임에서 매칭된 특징점(P 개) 중, 선택된 임의의 특징점(p 개)을 이용하여 변환행렬을 추정하는데, 예를 들어 아래의 수식과 같이, 현재 프레임에서 선택된 특징점과 이에 대응되는 이전 프레임 특징점의 변환된 값의 차이에 대한 제곱이 최소가 되는 변환행렬을 추정할 수 있다.
Figure 112012090650748-pat00012
여기서,
Figure 112012090650748-pat00013
: 변환 행렬의 추정 값,
Figure 112012090650748-pat00014
: 현재 프레임에서의 특징점,
Figure 112012090650748-pat00015
: 이전 프레임에서의 특징점, p : 선택된 특징점의 개수,
Figure 112012090650748-pat00016
: j 번째 선택된 변환행렬을 의미한다.
본 발명의 일 실시예에서 상기 변환 행렬은 현재 프레임에서 매칭된 특징점(P 개) 중, 임의의 특징점(p 개)을 선택하는 경우의 수( P C p )만큼 변환 행렬을 추정할 수 있다.
본 발명의 일 실시예에서, 상기 관심영역 추정부는 현재 프레임에서 추정된 변환행렬과 이전 프레임에 대한 변환행렬 사이의 관련성 정도를 나타내는 사전 확률을 아래의 수식을 이용하여 연산한다.
Figure 112012090650748-pat00017
여기서, ,
Figure 112012090650748-pat00018
: 사전확률,
Figure 112012090650748-pat00019
: 현재 프레임 변환행렬의 회전각 예측치,
Figure 112012090650748-pat00020
,
Figure 112012090650748-pat00021
,
Figure 112012090650748-pat00022
: 현재 프레임 변환행렬의 크기변환 예측치,
Figure 112012090650748-pat00023
,
Figure 112012090650748-pat00024
: 현재 프레임 변환행렬의 평행이동 예측치,
Figure 112012090650748-pat00025
: 현재 프레임 변환행렬의 회전각 성분,
Figure 112012090650748-pat00026
,
Figure 112012090650748-pat00027
,
Figure 112012090650748-pat00028
: 현재 프레임 변환행렬의 크기변환 성분,
Figure 112012090650748-pat00029
,
Figure 112012090650748-pat00030
: 현재 프레임 변환행렬의 평행이동 성분을 의미한다.
또한, 상기 관심영역 추정부는 추정된 변환행렬에 대하여 현재 프레임에서 추출된 모든 특징점들의 재투영 오류를 연산하고, 상기 후보영역의 외양 모델과 상기 관심영역의 외양 모델 사이에 확률 분포 거리를 연산하고, 상기 사전확률, 상기 재투영 오류, 상기 확률 분포 거리를 이용하여 관심영역을 추정하는데, 예를 들어 아래의 수식과 같이, 추정된 변환행렬 중에서 상기 사전 확률과 상기 재투영 오류와 상기 확률 분포 거리를 곱한 값을 최대가 되게 하는 변환행렬을 추정한다.
Figure 112012090650748-pat00031
여기서,
Figure 112012090650748-pat00032
: 변환행렬 추정 값,
Figure 112012090650748-pat00033
: l 번째 모델에 대한 사전 확률,
Figure 112012090650748-pat00034
: 재투영 오류,
Figure 112012090650748-pat00035
: 확률 분포 거리,
Figure 112012090650748-pat00036
: l 번째 선택된 변환행렬, P(u) : 이전 프레임 관심 영역에서 외양 모델의 확률 분포, Q(u) : 현재 프레임에서 변환 행렬에 대한 외양 모델의 확률 분포, u : 히스토그램 bin의 개수를 의미한다.
한편, 본 발명의 일 면에 따른 객체 추적방법은 컴퓨터에서 실행시키기 위한 프로그램으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다.
이상 상술한 바와 같이 본 발명에 따르면 객체의 다양한 움직임에도 강건하고, 내부 특징점들을 선택하여 정확한 변환 모델을 추정할 수 있어, 복잡한 배경 환경에서도 보행자, 차량, 얼굴 등 다양한 객체를 강건하게 추적할 수 있으며, 지능형 자동차, 영상 보안, 게임 등 다양한 응용 분야에 활용될 수 있다.
도 1은 종래 기술에 따른 특징점을 이용한 객체 추적방법의 일련의 프로세스를 설명한 순서도.
도 2는 도 1의 객체 추적방법이 가지는 문제점의 일 예를 도시한 예시도.
도 3는 종래 기술에 따른 외양 모델을 이용한 객체 추적방법의 일련 프로세스를 설명한 순서도.
도 4는 본 발명의 실시예에 따른 객체 추적장치의 개략적인 구성을 도시한 블록 구성도.
도 5는 본 발명의 실시예에서 특징점이 추출된 결과를 도시한 예시도.
도 6은 본 발명의 실시예에서 관심영역 또는 후보영역에 대한 외양 모델 변환된 결과를 도시한 예시도.
도 7은 본 발명의 실시예에서 추정된 변환행렬을 이용하여 설정된 후보영역의 일 예를 도시한 예시도.
도 8은 본 발명의 실시예에 따른 객체 추적방법의 순서를 도시한 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명은 복잡한 외부 환경에서 다양한 객체의 움직임에 대하여 강건하게 객체를 추적하는 방법 및 그 장치를 제안한다. 이를 위한 본 발명의 일 실시예에 따른 객체 추적장치의 구성을 도 4를 참조하여 구체적으로 설명한다. 도 4는 본 발명의 실시예에 따른 객체 추적장치의 개략적인 구성을 도시한 블록 구성도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 추적장치(100)는 후보영역 설정부(101)와, 외양 모델 변환부(103)와, 관심영역 추정부(105)를 포함한다.
후보영역 설정부(101)는 이전 프레임의 관심영역(ROI: Region Of Interest)에서 도 5에 도시된 바와 같이 특징점을 추출하고, 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정한다.
여기서, 관심영역은 추적의 대상이 되는 객체가 포함되어 있는 영역을 의미하는 것으로서, 사용자로부터 해당 영역이 선택될 수 있고, 또는 이전 프레임의 이전부터 객체 추적이 진행된 결과로서 선택된 영역일 수도 있다. 관심영역에서의 특징점 추출은 해리스 코너(Harris corner) 검출, SIFT(Scale-invariant feature transform), SURF(speeded up robust feature) 알고리즘을 이용한다.
이후, 후보영역 설정부(101)는 현재 프레임 영상에서 상기 SIFT, SURF 등의 기술자(descriptor)를 이용하여 상기 관심영역에 대응되는 특징점을 매칭하거나, KLT(Kanade-Lucas-Tomasi) 추적기를 이용하여 특징점 매칭을 수행할 수 있다.
후보영역 설정부(101)는 특징점 매칭 결과 매칭된 현재 프레임의 특징점 중에서 일부 특징점을 선택하고, 선택된 일부 특징점을 이용하여 변환모델(변환행렬)를 추정한다. 선택된 특징점 집합과 추정되는 변환행렬은 서로 일대일 대응 관계를 갖는데, 도 7에 도시된 바와 같이 하나의 변환행렬에 의해 하나의 후보영역이 설정된다.
한편, 변환행렬은 현재 프레임에서 매칭된 총 특징점 중에서 임의의 특징점을 선택할 수 있는 경우의 수만큼 추정된다. 이하, 수학식 1을 참조하여 매칭된 특징점을 이용하여 후보영역(변환행렬)을 추정하는 방법에 대해서 구체적으로 설명한다.
[수학식 1]
Figure 112012090650748-pat00037
여기서,
Figure 112012090650748-pat00038
: 변환 행렬의 추정 값,
Figure 112012090650748-pat00039
: 현재 프레임에서의 특징점,
Figure 112012090650748-pat00040
: 이전 프레임에서의 특징점, p : 선택된 특징점의 개수,
Figure 112012090650748-pat00041
: j 번째 선택된 변환행렬을 의미한다.
본 발명의 일 실시예에서 상기 변환 행렬은 현재 프레임에서 매칭된 특징점(P 개) 중, 임의의 특징점(p 개)을 선택하는 경우의 수( P C p )만큼 변환 행렬을 추정할 수 있다.
수학식 1을 참조하면, 후보영역 설정부(101)는 현재 프레임(예컨대, k번째 영상 프레임)에서 선택된 i번째 특징점(
Figure 112014007061519-pat00101
)과 이에 대응되는 이전 프레임(예컨대, k-1번째)에서 선택된 i번째 특징점(
Figure 112014007061519-pat00102
)의 변환된 값(
Figure 112014007061519-pat00103
)의 차이에 대한 제곱이 최소가 되는 변환행렬을 추정한다. 여기서, k는 영상 프레임의 개수를, i는 특징점의 개수를 의미한다.
일 실시예로서, 변환행렬은 어파인 변환(6 DOF: degree of freedom)이나, 호모그래피 변환(8 DOF: degree of freedom)등이 될 수 있다. 어파인 변환 모델은 QR 분해를 통해 아래의 수학식 2와 같이 3X3의 회전, 이동, 크기 변환 등의 행렬로 변환될 수 있다.
[수학식 2]
Figure 112012090650748-pat00045
외양 모델 변환부(103)는 상기 후보영역 및 상기 관심영역을 히스토그램 형태의 외양 모델로 변환한다.
예를 들어, 외양 모델 변환부(103)는 상기 관심영역에 대하여 색채(color), 에지(edge), 질감(texture) 중 적어도 하나의 특징을 이용하여 도 6에 도시된 바와 같은 히스토그램 형태의 외양 모델로 변환하고, 이와 동시에 또는 순차적으로 상기 후보영역에 대한 외양 모델 변환을 수행한다.
관심영역 추정부(105)는 상기 후보영역들 중에서 상기 관심영역과 유사도가 가장 큰 후보영역을 현재 프레임의 관심영역으로 추정한다.
종래 외양 모델을 이용한 객체 추적에 있어서, 이전 프레임 영상의 관심영역에 대한 외양 모델과 비교 대상이 되는 현재 프레임의 영역은 정의되지 않았다. 즉, 현재 프레임 영상에서 임의의 영역을 무작위로 선택하고, 이를 외양 모델로 변환하여 비교하고, 또 다른 임의의 영역을 무작위로 선택하여 비교하는 과정을 반복적으로 수행하여 가장 큰 유사도를 가지는 임의의 영역을 현재 프레임에서의 관심영역으로 추정하는 방식을 사용하였다.
이와 같이, 종래의 방식에서는 현재 프레임에서 비교의 대상이 되는 영역이 정의되지 않아 관심영역을 추정하는데 많은 연산량과 시간이 요구되었지만, 본 발명은 특징점 매칭을 통해 비교의 대상이 되는 후보영역을 정의하고, 기 정의된 후보영역에 대해서만 외양 모델 비교를 수행함으로써, 연산량을 효과적으로 줄임과 동시에 객체 추적의 정확도를 향상시킬 수 있는 방법을 제공한다.
이를 위한 일 실시예로서, 관심영역 추정부(105)는 베이시안 확률을 이용하여 적어도 하나 이상의 후보영역들 중에서 관심영역과의 유사도(베이시안 확률)가 가장 높은 후보영역을 현재 프레임의 관심영역으로 추정한다.
베이시안 확률은 변환 모델의 유사도를 가장 높게 만드는 변환행렬을 추정하기 위한 것으로서 아래의 수학식 3과 같이 표현된다.
[수학식 3]
Figure 112014007061519-pat00104
여기서,
Figure 112014007061519-pat00047
와
Figure 112014007061519-pat00048
는 매칭된 특징점들의 집합과, 주어진 변환 모델로 설정된 관심영역에서의 외양 모델을 의미한다. 또한,
Figure 112014007061519-pat00049
은 변환행렬 추정 값,
Figure 112014007061519-pat00050
은 l 번째 변환 행렬에 대한 사전확률,
Figure 112014007061519-pat00051
은 재투영 오류,
Figure 112014007061519-pat00052
은 확률 분포 거리,
Figure 112014007061519-pat00053
은 l 번째 추정된 변환행렬, k는 영상 프레임의 개수, P(u)는 u번째 히스토그램 bin에 대한 이전 프레임 관심 영역에서 외양 모델의 확률, Q(u)는 u번째 히스토그램 bin에 대한 현재 프레임에서 변환 행렬에 대한 외양 모델의 확률, u는 확률 분포에서 히스토그램 bin, m은 히스토그램 bin의 개수를 의미한다.
수학식 3을 참조하면, 양 변환 모델 사이의 유사도는 현재 프레임에서 추정된 변환행렬과 이전 프레임에 대한 최종 변환행렬 사이의 관련성 정도를 나타내는 사전 확률과, 추정된 변환행렬에 대하여 상기 현재 프레임에서 추출된 모든 특징점들의 재투영 오류와, 상기 후보영역의 외양 모델과 상기 관심영역의 외양 모델 사이에 확률 분포 거리에 비례한다.
삭제
여기서, 사전 확률은 아래의 수학식 4와 같이 이전 모델의 변환 행렬에 대하여 가우시안 움직임 모델에 기반하여 구해진다.
[수학식 4]
Figure 112012090650748-pat00054
여기서,
Figure 112014007061519-pat00105
: 사전확률,
Figure 112014007061519-pat00106
: 현재 프레임 변환행렬의 회전각 예측치,
Figure 112014007061519-pat00107
,
Figure 112014007061519-pat00108
,
Figure 112014007061519-pat00109
: 현재 프레임 변환행렬의 크기변환 예측치,
Figure 112014007061519-pat00110
,
Figure 112014007061519-pat00111
: 현재 프레임 변환행렬의 평행이동 예측치,
Figure 112014007061519-pat00112
: 현재 프레임 변환행렬의 회전각 성분,
Figure 112014007061519-pat00113
,
Figure 112014007061519-pat00114
,
Figure 112014007061519-pat00115
: 현재 프레임 변환행렬의 크기변환 성분,
Figure 112014007061519-pat00116
,
Figure 112014007061519-pat00117
: 현재 프레임 변환행렬의 평행이동 성분,
Figure 112014007061519-pat00118
: 회전각 성분에 대한 표준편차,
Figure 112014007061519-pat00119
: 크기변환 성분에 대한 표준편차,
Figure 112014007061519-pat00120
: 평행이동 성분에 대한 표준편차를 의미한다.
또한, 변환된 모델에 대하여 모든 특징점들의 재투영 오류는 아래의 수학식 5와 같이 계산된다.
[수학식 5]
Figure 112012090650748-pat00068
여기서
Figure 112014007061519-pat00121
는 상수를 의미하고, 후보영역의 외양 모델과 관심영역의 외양 모델 사이의 확률 분포 거리는 아래의 수학식 6과 같이 Bhattacharyya 거리(
Figure 112014007061519-pat00122
)나 KL(Kullback-Leibler) divergence (
Figure 112014007061519-pat00123
)등으로 구할 수 있다. 여기서, P(u) 는 이전 프레임 관심 영역에서 외양 모델의 확률 분포, Q(u) 는 현재 프레임에서 변환 행렬에 대한 외양 모델의 확률 분포, u는 히스토그램 bin을, m은 히스토그램 bin의 개수를 의미한다. 즉, 0번째 히스토그램 빈에 대한 이전 프레임의 관심 영역에서 외양 모델의 확률(P(0))과, 이에 대응한 0번째 히스토그램 빈에 대한 현재 프레임에서 변환 행렬에 대한 외양 모델의 확률(Q(0))의 곱부터 m-1번째 히스토그램 bin에 대한 두 외양 모델의 확률의 곱(P(m-1)Q(m-1))까지의 합이 구해진다.
[수학식 6]
Figure 112012090650748-pat00072
수학식 3을 참조하면, 관심영역과 후보영역 사이의 유사도는 상기 사전 확률과 상기 재투영 오류와 상기 확률 분포 거리를 곱한 값에 비례하는데, 관심영역 추정부(105)는 적어도 하나 이상의 후보영역(변환행렬) 중에서 양 모델 사이의 유사도가 최대가 되게 하는 변환행렬을 선택하고, 선택된 변환행렬을 이용하여 최종적으로 현재 프레임 영상에서 관심영역을 설정한다.
도 8은 본 발명의 실시예에 따른 객체 추적방법의 순서를 도시한 순서도이다. 도 8에 따른 객체 추적방법은 도 4에 도시된 객체 추적장치에 의해 수행되는 것으로서, 이하 도 4 및 도 8을 참조하여, 본 발명에 따른 객체 추적방법을 구체적으로 설명한다.
후보영역 설정부(101)는 이전 프레임의 관심영역(ROI: Region Of Interest)에서 도 5에 도시된 바와 같이 특징점을 추출한다(S31). 이후, 후보영역 설정부(101)는 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정한다(S32).
후보영역 설정부(101)는 특징점 매칭 결과 매칭된 현재 프레임의 특징점 중에서 일부 특징점을 선택하고, 선택된 일부 특징점을 이용하여 변환모델(변환행렬)를 추정한다. 선택된 특징점 집합과 추정되는 변환행렬은 서로 일대일 대응 관계를 갖는데, 도 7에 도시된 바와 같이 하나의 변환행렬에 의해 하나의 후보영역이 설정된다.
수학식 1을 참조하면, 후보영역 설정부(101)는 현재 프레임에서 선택된 특징점과 이에 대응되는 상기 이전 프레임 특징점의 변환된 값의 차이에 대한 제곱이 최소가 되는 변환행렬을 추정하고, 상기 변환행렬에 따라 후보영역을 설정하게 되는데 이는 전술한 바와 동일하므로 구체적인 설명은 생략한다.
이후, 외양 모델 변환부(103)는 상기 관심영역을 히스토그램 형태의 외양 모델로 변환하고, 이와 동시에 또는 순차적으로 상기 후보영역에 대한 외양 모델 변환을 수행한다 (S33).
그리고 관심영역 추정부(105)는 현재 프레임에서 추정된 변환행렬과 이전 프레임에 대한 최종 변환행렬 사이의 관련성 정도를 나타내는 사전 확률을 상기 수학식 4를 이용하여 연산한다(S34).
또한 관심영역 추정부(105)는 추정된 변환행렬에 대하여 상기 현재 프레임에서 추출된 모든 특징점들의 재투영 오류를 상기 수학식 5를 이용하여 연산한다(S35).
또한 관심영역 추정부(105)는 상기 후보영역의 외양 모델과 상기 관심영역의 외양 모델 사이에 확률 분포 거리를 연산한다(S36). 2개의 모델 사이의 확률 분포 거리는 상기 수학식 6과 같이 연산될 수 있다.
이후, 관심영역 추정부(105)는 상기 사전확률, 상기 재투영 오류, 상기 확률분포 거리를 이용하여 적어도 하나 이상의 후보영역(변환행렬) 중에서 양 모델 사이의 유사도가 최대가 되게 하는 변환행렬을 선택하고(S37), 선택된 변환행렬을 이용하여 최종적으로 현재 프레임 영상에서 관심영역을 설정한다(S38).
상술한 본 발명에 따른 객체 추적방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

  1. 삭제
  2. 이전 프레임의 관심영역(ROI: Region Of Interest)에서 특징점을 추출하는 단계; 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정하는 단계; 및 베이시안 확률 모델을 이용하여 상기 후보영역의 베이시안 확률이 가장 높은 후보영역을 현재 프레임의 관심영역으로 추정하는 단계를 포함하되,
    상기 관심영역으로 추정하는 단계는,
    상기 후보영역에 대응되는 현재 프레임에서 추정된 변환행렬과 이전 프레임의 변환행렬 사이의 관련성 정도를 나타내는 사전 확률을 연산하는 단계;
    추정된 변환행렬에 대하여 상기 현재 프레임에서 추출된 모든 특징점들의 재투영 오류를 연산하는 단계; 및
    상기 후보영역의 외양 모델과 상기 이전 프레임의 관심영역의 외양 모델 사이에 확률 분포 거리를 연산하는 단계를 포함하는 것
    인 동영상 객체 추적방법.
  3. 제2항에 있어서, 상기 관심영역으로 추정하는 단계는,
    아래의 수식과 같이, 추정된 변환행렬 중에서 상기 사전 확률과 상기 재투영 오류와 상기 확률 분포 거리를 곱한 값을 최대가 되게 하는 변환행렬을 추정하는 단계를 포함하는 것인 동영상 객체 추적방법.
    Figure 112014007061519-pat00124

    여기서,
    Figure 112014007061519-pat00125
    : 변환행렬 추정 값,
    Figure 112014007061519-pat00126
    : l 번째 모델에 대한 사전 확률,
    Figure 112014007061519-pat00127
    : 재투영 오류,
    Figure 112014007061519-pat00128
    : 확률 분포 거리,
    Figure 112014007061519-pat00129
    : l 번째 선택된 변환행렬, k: 영상 프레임의 개수, P(u) : u번째 히스토그램 bin에 대한 이전 프레임 관심 영역에서 외양 모델의 확률, Q(u) : u번째 히스토그램 bin에 대한 현재 프레임에서 변환 행렬에 대한 외양 모델의 확률, u : 확률 분포에서 히스토그램 bin, m: 히스토그램 bin의 개수를 의미한다.
  4. 제2항에 있어서, 상기 사전 확률을 연산하는 단계는,
    아래의 수식을 이용하여 사전 확률을 연산하는 것인 동영상 객체 추적방법.
    Figure 112014007061519-pat00079

    여기서, ,
    Figure 112014007061519-pat00130
    : 사전확률,
    Figure 112014007061519-pat00131
    : 현재 프레임 변환행렬의 회전각 예측치,
    Figure 112014007061519-pat00132
    ,
    Figure 112014007061519-pat00133
    ,
    Figure 112014007061519-pat00134
    : 현재 프레임 변환행렬의 크기변환 예측치,
    Figure 112014007061519-pat00135
    ,
    Figure 112014007061519-pat00136
    : 현재 프레임 변환행렬의 평행이동 예측치,
    Figure 112014007061519-pat00137
    : 현재 프레임 변환행렬의 회전각 성분,
    Figure 112014007061519-pat00138
    ,
    Figure 112014007061519-pat00139
    ,
    Figure 112014007061519-pat00140
    : 현재 프레임 변환행렬의 크기변환 성분,
    Figure 112014007061519-pat00141
    ,
    Figure 112014007061519-pat00142
    : 현재 프레임 변환행렬의 평행이동 성분.
    Figure 112014007061519-pat00143
    : 회전각 성분에 대한 표준편차,
    Figure 112014007061519-pat00144
    : 크기변환 성분에 대한 표준편차,
    Figure 112014007061519-pat00145
    : 평행이동 성분에 대한 표준편차를 의미한다.
  5. 제2항 내지 제4항 중 어느 한 항에 기재된 동영상 객체 추적방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
  6. 이전 프레임의 관심영역(ROI: Region Of Interest)에서 특징점을 추출하고, 특징점 매칭을 이용하여 상기 관심영역에 대응되는 적어도 하나 이상의 현재 프레임의 후보영역을 설정하는 후보영역 설정부; 상기 후보영역 및 상기 관심영역에 대하여 히스토그램 형태의 외양 모델로 변환하는 외양 모델 변환부; 및 베이시안 확률 모델을 이용하여 상기 후보영역의 베이시안 확률이 가장 높은 후보영역을 현재 프레임의 관심영역으로 추정하는 관심영역 추정부를 포함하되,
    상기 관심영역 추정부는,
    상기 후보영역에 대응되는 현재 프레임에서 추정된 변환행렬과 이전 프레임의 변환행렬 사이의 관련성 정도를 나타내는 사전 확률을 연산하고, 추정된 변환행렬에 대하여 현재 프레임에서 추출된 모든 특징점들의 재투영 오류를 연산하고, 상기 후보영역의 외양 모델과 상기 관심영역의 외양 모델 사이에 확률 분포 거리를 연산하고, 상기 사전확률, 상기 재투영 오류, 상기 확률 분포 거리를 이용하여 관심영역을 추정하는 것
    인 동영상 객체 추적장치.


  7. 삭제
KR1020120124275A 2012-11-05 2012-11-05 동영상에서 객체를 추적하는 방법 및 그 장치 KR101364046B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120124275A KR101364046B1 (ko) 2012-11-05 2012-11-05 동영상에서 객체를 추적하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120124275A KR101364046B1 (ko) 2012-11-05 2012-11-05 동영상에서 객체를 추적하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101364046B1 true KR101364046B1 (ko) 2014-02-19

Family

ID=50271255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120124275A KR101364046B1 (ko) 2012-11-05 2012-11-05 동영상에서 객체를 추적하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101364046B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926510B1 (ko) 2018-03-14 2019-03-07 주식회사 월드씨엔에스 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
US10255673B2 (en) 2014-12-15 2019-04-09 Samsung Electronics Co., Ltd. Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
CN110018174A (zh) * 2019-05-22 2019-07-16 合肥联宝信息技术有限公司 一种检测物体外观的方法和装置
CN113034595A (zh) * 2021-03-19 2021-06-25 浙江商汤科技开发有限公司 视觉定位的方法和相关装置、设备、存储介质
KR20230020845A (ko) 2021-08-04 2023-02-13 현대자동차주식회사 전자장치 및 그의 객체 추적 방법
CN115908475A (zh) * 2023-03-09 2023-04-04 四川腾盾科技有限公司 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
임영철, 이충희, 김종환, "반복적 베이시안 모델을 이용한 특징점 기반 객체 추적 방법", 한국컴퓨터종합학술대회 논문집(B), vol.39, no.1, pp.435-437, 2012년 6월. *
장일식, 다중 PTZ 카메라를 사용한 객체 추적 시스템에 관한 연구, 서울과학기술대학교 NID융합기술대학원 석사학위논문, 2011년 2월. *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255673B2 (en) 2014-12-15 2019-04-09 Samsung Electronics Co., Ltd. Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
KR101926510B1 (ko) 2018-03-14 2019-03-07 주식회사 월드씨엔에스 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
CN110018174A (zh) * 2019-05-22 2019-07-16 合肥联宝信息技术有限公司 一种检测物体外观的方法和装置
CN110018174B (zh) * 2019-05-22 2021-10-22 合肥联宝信息技术有限公司 一种检测物体外观的方法和装置
CN113034595A (zh) * 2021-03-19 2021-06-25 浙江商汤科技开发有限公司 视觉定位的方法和相关装置、设备、存储介质
CN113034595B (zh) * 2021-03-19 2024-06-07 浙江商汤科技开发有限公司 视觉定位的方法和相关装置、设备、存储介质
KR20230020845A (ko) 2021-08-04 2023-02-13 현대자동차주식회사 전자장치 및 그의 객체 추적 방법
CN115908475A (zh) * 2023-03-09 2023-04-04 四川腾盾科技有限公司 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统
CN115908475B (zh) * 2023-03-09 2023-05-19 四川腾盾科技有限公司 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统

Similar Documents

Publication Publication Date Title
KR101364046B1 (ko) 동영상에서 객체를 추적하는 방법 및 그 장치
TWI750498B (zh) 視訊流的處理方法和裝置
Roffo et al. The visual object tracking vot2016 challenge results
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
US8917907B2 (en) Continuous linear dynamic systems
KR100901904B1 (ko) 카메라 움직임 추정 방법 및 비디오 움직임 식별 장치
CN110232330B (zh) 一种基于视频检测的行人重识别方法
US20060126928A1 (en) Method and system for cleaning motion capture data
US11042991B2 (en) Determining multiple camera positions from multiple videos
WO2021069945A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
CN106650965B (zh) 一种远程视频处理方法及装置
KR102140873B1 (ko) 동적 객체 검출 장치 및 방법
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN107622507B (zh) 一种基于深度学习的空中目标跟踪方法
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Moghadam et al. Common and innovative visuals: a sparsity modeling framework for video
CN114170325A (zh) 确定单应性矩阵的方法、装置、介质、设备和程序产品
Matas et al. Learning efficient linear predictors for motion estimation
JP2010072700A (ja) 画像処理装置、画像処理方法、及び、撮像システム
KR101371275B1 (ko) 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체
CN113762231B (zh) 端对端的多行人姿态跟踪方法、装置及电子设备
Li et al. Adaptive object tracking algorithm based on eigenbasis space and compressive sampling
Wang et al. Tracking salient keypoints for human action recognition
US11606512B2 (en) System and method for robust model-based camera tracking and image occlusion removal
Wu et al. Gradient map based Lane detection using CNN and RNN

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7