KR101631955B1 - 목표 대상 추적 장치 및 방법 - Google Patents

목표 대상 추적 장치 및 방법 Download PDF

Info

Publication number
KR101631955B1
KR101631955B1 KR1020140177828A KR20140177828A KR101631955B1 KR 101631955 B1 KR101631955 B1 KR 101631955B1 KR 1020140177828 A KR1020140177828 A KR 1020140177828A KR 20140177828 A KR20140177828 A KR 20140177828A KR 101631955 B1 KR101631955 B1 KR 101631955B1
Authority
KR
South Korea
Prior art keywords
tree structure
tracking
frame
frames
distance evaluation
Prior art date
Application number
KR1020140177828A
Other languages
English (en)
Inventor
임태규
한보형
홍승훈
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020140177828A priority Critical patent/KR101631955B1/ko
Priority to US14/963,856 priority patent/US9922262B2/en
Application granted granted Critical
Publication of KR101631955B1 publication Critical patent/KR101631955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

영상의 목표 대상을 추적하는 추적 장치가 목표 대상을 추적하기 위한 방법에 있어서, 목표 대상이 위치한 추적 영역을 포함하는 프레임들에 대한 추적 처리 순서를 나타내는 제 1 트리 구조를 획득하는 단계, 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 프레임 그룹들 각각에 대하여 거리 평가값들을 획득하는 단계, 제 1 트리 구조와 거리 평가값들에 따라 제 2 트리 구조를 획득하는 단계, 및 획득된 제 2 트리 구조에 따라 목표 대상을 추적하는 단계를 포함하고, 거리 평가값은 프레임 그룹을 구성하는 두 개의 프레임들이 포함된 추적 영역들의 위치 및 추적 영역들에 포함된 픽셀값들 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 추적 방법이 제공된다.

Description

목표 대상 추적 장치 및 방법{TARGET OBJECT TRACKING APPARATUS AND METHOD OF OPERATIONS THEREOF}
동영상의 목표 대상을 추적하는 장치 및 방법에 관한 것으로, 구체적으로는 동영상에 포함된 프레임들의 트리 구조를 최적화하여 목표 대상을 추적하는 추적 장치 및 방법에 관한 것이다.
시각적 신호만으로 영상의 목표 대상을 추적하는 기술은 오랫동안 연구되어 왔다. 그러나 종래의 추적 기술은 대부분 선형 구조 모델에 기반한 추적 알고리즘에 기반하였다. 이러한 선형 구조 모델은 단순하고 연산량이 적게 요구되기 때문에, 실시간으로 기존의 프레임에 기초하여 새롭게 입력되는 프레임을 처리하는 온라인 추적 알고리즘에 적합하다.
그러나 복수의 프레임들을 입력받아 충분한 시간을 가지고 목표 대상을 추적할 수 있는 오프라인 추적 알고리즘 또는 시간 지연이 허용되는 온라인 추적 알고리즘에는 선형 구조 모델보다 복잡하고 연산량이 많이 요구되는 그래프 모델을 적용할 수 있다. 따라서 오프라인 추적 알고리즘 또는 시간 지연이 허용되는 온라인 추적 알고리즘에 있어서 추적의 정확도를 높이기 위하여 새로운 그래프 모델 및 그래프 모델의 최적화 방안의 개발이 요구된다.
입력 영상의 목표 대상을 추적하는 추적 장치 및 방법의 실시 예가 제공된다. 또한, 본 발명의 일 실시 예에 따른 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
영상의 목표 대상을 추적하는 추적 장치가 상기 목표 대상을 추적하기 위한 방법에 있어서, 상기 목표 대상이 위치한 추적 영역을 포함하는 프레임들에 대한 추적 처리 순서를 나타내는 제 1 트리 구조를 획득하는 단계, 상기 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 상기 프레임 그룹들 각각에 대하여 거리 평가값들을 획득하는 단계, 상기 제 1 트리 구조와 상기 거리 평가값들에 따라 제 2 트리 구조를 획득하는 단계, 및 상기 획득된 제 2 트리 구조에 따라 상기 목표 대상을 추적하는 단계를 포함하고, 상기 거리 평가값은 상기 프레임 그룹을 구성하는 두 개의 프레임들이 포함된 추적 영역들의 위치 및 추적 영역들에 포함된 픽셀값들 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 추적 방법이 제공된다.
상기 제 1 트리 구조 및 상기 제 2 트리 구조는, 상기 프레임들에 대응되는 노드들과 상기 노드들을 연결하는 연결 부분들을 포함하고, 상기 노드들 중 루트 노드에 대응되는 프레임부터 상기 목표 대상을 추적하여, 상기 루트 노드와 연결된 순서에 따라 각 노드들에 대응되는 프레임들의 목표 대상을 추적하는 것을 특징으로 하는 추적 방법이 제공된다.
상기 추적 방법은 상기 제 2 트리 구조에 기초하여, 상기 목표 대상을 추적하고, 상기 제 2 트리 구조에 기초한 추적 결과에 기초하여, 상기 제 1 트리 구조와 상기 제 2 트리 구조 중 하나를 새로운 제 1 트리 구조로 선택하는 단계를 더 포함할 수 있다.
상기 제 2 트리 구조를 획득하는 단계는, 상기 거리 평가값들에 기초하여, 상기 제 1 트리 구조의 상기 연결 부분을 삭제하고 새로운 연결 부분을 생성하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 할 수 있다.
상기 제 2 트리 구조를 획득하는 단계는, 상기 제 1 트리 구조의 연결된 노드들에 대응되는 두 개의 프레임들을 포함하는 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라, 상기 제 1 트리 구조의 연결 부분 중 하나를 절단하여 제 3 트리 구조와 제 4 트리 구조를 획득하는 단계, 상기 제 3 트리 구조의 프레임들 중 하나의 프레임과 상기 제 4 트리 구조의 프레임들 중 하나의 프레임으로 이루어진 제 2 프레임 그룹들에 대한 거리 평가값들에 따라, 상기 제 3 트리 구조의 상기 노드들 중 하나와 상기 제 4 트리 구조의 상기 노드들 중 하나를 연결하여 상기 제 2 트리 구조를 회득하는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 제 3 트리 구조와 제 4 트리 구조를 획득하는 단계는, 상기 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라 상기 제 1 트리 구조의 상기 연결 부분들이 절단될 절단 확률을 계산하며, 상기 절단 확률에 따라 절단될 상기 연결 부분을 결정하고, 상기 제 2 트리 구조를 획득하는 단계는, 상기 제 2 프레임 그룹들에 대한 상기 거리 평가값에 따라 연결 확률을 계산하고, 상기 연결 확률에 따라 상기 연결 부분이 생성될 상기 제 3 트리 구조의 상기 노드와 상기 제 4 트리 구조의 상기 노드를 결정하는 것을 특징으로 할 수 있다.
상기 거리 평가값을 획득하는 단계는, 상기 프레임 그룹에 포함된 제 1 프레임의 상기 추적 영역을 소정 개수의 제 1 분할 영역들로 분할하고, 상기 프레임 그룹에 포함된 제 2 프레임에서 상기 제 1 프레임의 상기 제 1 분할 영역들과 매칭되는 제 2 분할 영역들을 획득하고, 상기 제 2 분할 영역의 위치 및 상기 추적 영역의 위치에 기초하여 결정된 거리 평가값을 획득하는 것을 특징으로 할 수 있다.
상기 선택하는 단계는, 상기 제 2 트리 구조에 의하여 두 개의 프레임들에 포함된 상기 추적 영역 간의 비유사도(dissimilarity)에 기초하여 트리 에너지(tree energy)을 결정하는 단계, 상기 제 1 트리 구조와 상기 제 2 트리 구조의 상기 트리 에너지에 기초하여 상기 제 2 트리 구조가 상기 새로운 제1 트리 구조로 선택될 확률의 결정에 이용되는 승인 비율을 결정하는 단계, 상기 승인 비율에 기초하여 상기 제 1 트리 구조와 상기 제 2 트리 구조 중 상기 새로운 제 1 트리 구조를 선택하는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 목표 대상을 추적하는 단계는, 상기 제 1 트리 구조를 획득하는 단계, 상기 거리 평가값을 획득하는 단계, 상기 제 2 트리 구조를 결정하는 단계, 및 제 1 트리 구조를 선택하는 단계를 반복하여 획득한 상기 제 1 트리 구조에 따라 상기 목표 대상을 추적하는 것을 특징으로 할 수 있다.
영상의 목표 대상을 추적하는 추적 장치에 있어서, 상기 목표 대상이 위치한 추적 영역들을 포함하는 프레임들을 분석하는 순서를 나타내는 제 1 트리 구조를 획득하는 제 1 트리 구조 획득부, 상기 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 상기 프레임 그룹들 각각에 대하여 거리 평가값들을 획득하는 거리 평가값 획득부, 상기 제 1 트리 구조와 상기 거리 평가값들에 따라 제 2 트리 구조를 획득하는 제 2 트리 구조 획득부, 및 상기 획득된 트리 구조에 따라 상기 목표 대상을 추적하는 추적부를 포함하고, 상기 거리 평가값은 상기 프레임 그룹을 구성하는 두 개의 프레임들이 포함된 추적 영역들의 위치 및 추적 영역들에 포함된 픽셀값들 중 적어도 하나에 의해 결정되는 것을 특징으로 하는 추적 장치가 제공된다.
상기 제 1 트리 구조 및 상기 제 2 트리 구조는, 상기 프레임들에 대응되는 노드들과 상기 노드들을 연결하는 연결 부분들을 포함하고, 상기 노드들 중 루트 노드에 대응되는 프레임부터 상기 목표 대상을 추적하여, 상기 루트 노드와 연결된 순서에 따라 각 노드들에 대응되는 프레임들의 목표 대상을 추적하는 것을 특징으로 하는 추적 장치가 제공된다.
상기 추적 장치는, 상기 제 2 트리 구조에 기초하여, 상기 목표 대상을 추적하고, 상기 제 2 트리 구조에 기초한 추적 결과에 기초하여, 상기 제 1 트리 구조와 상기 제 2 트리 구조 중 하나를 새로운 제 1 트리 구조로 선택하는 제 1 트리 구조 선택부를 더 포함할 수 있다.
상기 제 2 트리 구조 결정부는, 상기 거리 평가값들에 기초하여, 상기 제 1 트리 구조의 상기 연결 부분을 삭제하고 새로운 연결 부분을 생성하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 할 수 있다.
상기 제 2 트리 구조 획득부는, 상기 제 1 트리 구조에 따라 연결된 노드들에 대응되는 두 개의 프레임들을 포함하는 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라, 상기 제 1 트리 구조의 연결 부분 중 하나를 절단하여 제 3 트리 구조와 제 4 트리 구조를 획득하고, 상기 제 3 트리 구조의 프레임들 중 하나의 프레임과 상기 제 4 트리 구조의 프레임들 중 하나의 프레임으로 이루어진 제 2 프레임 그룹들에 대한 거리 평가값들에 따라, 상기 제 3 트리 구조의 상기 노드들 중 하나와 상기 제 4 트리 구조의 상기 노드들 중 하나를 연결하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 할 수 있다.
상기 제 2 트리 구조 획득부는, 상기 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라 인접한 상기 제 1 트리 구조의 상기 연결 부분들이 절단될 절단 확률을 계산하며, 상기 절단 확률에 따라 결정된 상기 연결 부분을 절단하여 상기 제 3 트리 구조와 제 4 트리 구조를 획득하고, 상기 제 2 프레임 그룹들에 대한 상기 거리 평가값에 따라 연결 확률을 계산하고, 상기 연결 확률에 따라 상기 연결 부분이 생성될 상기 제 3 트리 구조의 상기 노드와 상기 제 4 트리 구조의 상기 노드를 연결하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 할 수 있다.
상기 거리 평가값 획득부는, 상기 프레임 그룹에 포함된 제 1 프레임의 상기 추적 영역을 소정 개수의 제 1 분할 영역들로 분할하고, 상기 프레임 그룹에 포함된 제 2 프레임에서 상기 제 1 프레임의 상기 제 1 분할 영역들과 매칭되는 제 2 분할 영역들을 획득하고, 상기 제 2 분할 영역의 위치 및 상기 추적 영역의 위치에 기초하여 결정된 거리 평가값을 획득하는 것을 특징으로 할 수 있다.
상기 제 1 트리 구조 선택부는, 상기 제 2 트리 구조에 의하여 인접한 두 개의 프레임들에 포함된 상기 추적 영역 간의 비유사도(dissimilarity)에 기초하여 트리 에너지(tree energy)을 결정하고, 상기 제 1 트리 구조와 상기 제 2 트리 구조의 상기 트리 에너지에 기초하여 상기 제 2 트리 구조가 상기 새로운 제1 트리 구조로 선택될 확률의 결정에 이용되는 승인 비율을 결정하고, 상기 승인 비율에 기초하여 상기 제 1 트리 구조와 상기 제 2 트리 구조 중 상기 새로운 제 1 트리 구조를 선택하는 것을 포함하는 것을 특징으로 할 수 있다.
상기 추적부는, 상기 제 1 트리 구조 획득부, 상기 거리 평가값 획득부, 상기 제 2 트리 구조를 결정부 및 상기 제 1 트리 구조 선택부의 기능를 반복하여 획득한 상기 제 1 트리 구조에 따라 상기 목표 대상을 추적하는 것을 특징으로 할 수 있다.
상기 제안된 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
도 1 은 동영상의 목표 대상을 추적하는 장치의 일 실시예를 설명하기 위한 블록도이다.
도 2 는 종래의 목표 대상 추적 방법을 설명하기 위한 도면이다.
도 3 은 종래의 목표 대상 추적 방법의 문제점을 설명하기 위한 도면이다.
도 4 는 기존의 트리 구조로부터 새로운 트리 구조를 제안하는 방법을 설명하기 위한 도면이다.
도 5 및 6은 새로운 트리 구조의 효율성을 판단하기 위하여 트리 에너지를 계산하는 방법을 설명하기 위한 도면이다.
도 7은 동영상의 목표 대상을 추적하는 방법의 일 실시예를 설명하기 위한 도면이다.
도 8은 동영상의 목표 대상을 추적하는 방법의 또 다른 일 실시예를 설명하기 위한 도면이다.
이하 첨부된 도면을 참고하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
본 명세서에서 트리 구조는, 프레임들을 연결하는 구조 중의 하나이다. 트리 구조는 프레임들에 대응되는 노드들과 노드들을 연결하는 연결 부분들을 포함한다. 연결 부분은 상위 노드에서 하위 노드로 목표 대상의 추적 처리 과정이 진행된다는 것을 나타내기 위하여 화살표의 형태로 표시된다. 상위 노드는 하나 이상의 하위 노드를 가질 수 있으나, 하위 노드는 반드시 하나의 상위 노드를 가질 수 밖에 없다. 그리고 동일 레벨의 노드들 간에는 연결되지 않는다. 따라서 노드들 중 하나의 최상위 노드로부터 복수의 하위 노드들이 나무가지 모양처럼 연결된다.
영상의 목표 대상을 트리 구조에 기초하여 추적할 경우, 루트 노드에 대응되는 프레임부터 목표 대상을 추적하여, 연결 부분에서 나타내는 방향 표시에 따라 상위 노드에 대응되는 프레임에서 하위 노드들에 대응되는 프레임으로 목표 대상을 추적한다.
도 1 은 동영상의 목표 대상을 추적하는 장치의 일 실시예를 설명하기 위한 블록도이다.
목표 대상 추적 장치(100)는 제 1 트리 구조 획득부(110), 거리 평가값 획득부(120), 제 2 트리 구조 결정부(130), 트리 구조 선택부(140) 및 추적부(150)를 포함할 수 있다.
도 1에서 제 1 트리 구조 획득부(110), 거리 평가값 획득부(120)는 별도의 구성 단위로 표현되어 있으나, 실시 예에 따라 제 1 트리 구조 획득부(110), 거리 평가값 획득부(120)는 합쳐져 동일한 구성 단위로 구현될 수도 있다. 마찬가지로 제 2 트리 구조 결정부(130) 역시 제 1 트리 구조 획득부(110) 및 거리 평가값 획득부(120) 중 적어도 하나의 구성 단위와 합쳐져 구현될 수도 있다.
도 1에서 제 1 트리 구조 획득부(110), 거리 평가값 획득부(120), 제 2 트리 구조 결정부(130), 트리 구조 선택부(140) 및 추적부(150)는 동영상 처리 장치(200) 내부에 위치한 구성 단위로 표현되었지만, 제 1 트리 구조 획득부(110), 거리 평가값 획득부(120), 제 2 트리 구조 결정부(130), 트리 구조 선택부(140) 및 추적부(150)의 각 기능을 담당하는 장치는 반드시 물리적으로 인접할 필요는 없다. 따라서 실시 예에 따라 제 1 트리 구조 획득부(110), 거리 평가값 획득부(120), 제 2 트리 구조 결정부(130), 트리 구조 선택부(140) 및 추적부(150)가 분산되어 있을 수 있다. 도 1의 목표 대상 추적 장치(100)는 물리적 장치에 한정되지 않는다. 예를 들어 목표 대상 추적 장치(100)의 기능 중 일부는 하드웨어가 아닌 소프트웨어로 구현될 수도 있다.
제 1 트리 구조 획득부(110)는 목표 대상이 위치한 추적 영역들을 포함하는 프레임들을 분석하는 순서를 나타내는 제 1 트리 구조를 획득한다.
거리 평가값 획득부(120)는 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 프레임 그룹들 각각에 대하여, 프레임 그룹을 구성하는 두 개의 프레임들의 추적 영역들 간의 거리로 예측되는 거리 평가값들을 획득한다. 프레임 그룹들은 각각 두 개의 프레임으로 구성되어 있으며, 하나의 거리 평가값을 가진다.
예를 들어, 거리 평가값 획득부(120)는 프레임 그룹에 포함된 제 1 프레임 및 제 2 프레임 중 제 1 프레임의 추적 영역을 소정 개수의 제 1 분할 영역들로 분할한다. 제 2 프레임에서 제 1 프레임의 제 1 분할 영역들과 매칭되는 제 2 분할 영역들을 획득한다. 획득된 제 2 분할 영역들의 위치 및 제 1 프레임의 추적 영역의 위치에 기초하여 거리 평가값을 계산할 수 있다.
거리 평가값 획득부(120)는 계산된 거리 평가값을 획득할 수 있다. 따라서 거리 평가값 획득부(120)는 동일한 프레임들에 대하여 제 1 트리 구조를 최적화하는 과정이 반복될 경우, 이미 계산된 거리 평가값을 획득하여 연산량을 줄일 수 있다.
거리 평가값 획득부(120)는 유사한 추적 영역을 포함하는 프레임들 중 대표 프레임을 결정하고, 두 개의 대표 프레임들로 구성된 복수 개의 대표 프레임 그룹을 획득할 수 있다. 그리고 대표 프레임 그룹에 대해서만 거리 평가값을 획득할 수 있다. 예를 들어, 프레임 1 내지 프레임20의 추적 영역이 유사하고, 프레임 21 내지 프레임 40의 추적 영역이 유사한 경우, 거리 평가값 획득부(120)는 프레임 1을 프레임 1 내지 프레임 20의 대표 프레임으로 결정하고, 프레임 21을 프레임 21 내지 프레임 40의 대표 프레임으로 결정할 수 있다. 그리고 거리 평가값 획득부(120)는 대표 프레임인 프레임 1 과 프레임 21을 포함하는 대표 프레임 그룹을 획득하고, 획득된 대표 프레임 그룹의 거리 평가값만을 획득할 수 있다. 따라서 획득되는 거리 평가값들이 감소함으로써, 거리 평가값 획득부(120)의 연산량이 감소된다.
제 2 트리 구조 결정부(130)는 제 1 트리 구조와 거리 평가값들에 따라 제 2 트리 구조를 결정한다.
구체적으로 제 2 트리 구조 결정부(130)는 거리 평가값들에 기초하여, 제 1 트리 구조의 연결 부분을 삭제하고 새로운 연결 부분을 생성하여 제 2 트리 구조를 결정할 수 있다.
일 실시예에 따라, 제 2 트리 구조 결정부(130)는 제 1 트리 구조에 따라 연결 부분에 의하여 연결된 노드들에 대응되는 두 개의 프레임들을 포함하는 제 1 프레임 그룹들에 대한 거리 평가값들에 따라, 제 1 트리 구조의 연결 부분 중 하나를 절단하여 제 1 트리 구조와 상이한 트리 구조들, 예를 들어 제 3 트리 구조와 제 4 트리 구조가 획득될 수 있다.
트리 구조의 하위 노드는 하나의 상위 노드와 연결되므로, 연결 부분이 절단되면, 절단된 연결 부분과 연결된 하위 노드는 상위 노드와 단절된다. 따라서, 절단된 연결 부분과 연결된 하위 노드 중, 최상위 노드는 새로운 트리 구조의 루트 노드(root node)가 된다. 따라서 하나의 연결 부분이 절단되면, 두 개의 트리 구조가 생성된다.
제 2 트리 구조 결정부(130)는 제 1 프레임 그룹들에 대한 거리 평가값들 중 큰 거리 평가값을 가진 거리 평가값을 선택하여, 선택된 거리 평가값에 대응되는 연결 부분을 절단할 수 있다. 거리 평가값이 클수록 거리 평가값에 대응되는 프레임 그룹에 포함된 두 개의 프레임들의 추적 영역은 서로 비유사할 가능성이 높다. 따라서 추적 영역이 서로 비유사할 경우, 추적 영역의 비유사로 인한 에러가 하위 노드에서의 추적 과정에 전파될 수 있다. 따라서 큰 거리 평가값에 대응되는 연결 부분을 절단하여, 추적 영역의 비유사로 인한 에러의 전파를 막을 수 있다.
제 2 트리 구조 결정부(130)는 거리 평가값에 기초하여 제 1 트리 구조의 연결 부분을 절단하여 제 3 트리 구조와 제 4 트리 구조로 분할한 후, 제 3 트리 구조의 프레임들 중 하나의 프레임과 제 4 트리 구조의 프레임들 중 하나의 프레임으로 이루어진 제 2 프레임 그룹들에 대한 거리 평가값들에 따라, 제 3 트리 구조의 노드들 중 하나와 제 4 트리 구조의 노드들 중 하나를 연결하여 제 2 트리 구조를 결정할 수 있다.
제 2 트리 구조 결정부(130)는 제 2 프레임 그룹들에 대한 거리 평가값들 중 작은 거리 평가값을 선택하고, 선택된 거리 평가값에 대응되는 제 3 트리 구조의 노드들 중 하나와 제 4 트리 구조의 노드들 중 하나 간에 연결 부분을 생성할 수 있다. 거리 평가값이 작을수록 거리 평가값에 대응되는 프레임 그룹에 포함된 두 개의 프레임들의 추적 영역은 서로 유사할 가능성이 높다. 따라서 서로 유사한 추적 영역을 가진 프레임들에 대응되는 노드들을 연결하는 연결 부분이 생성될 경우, 추적 영역의 비유사로 인한 에러가 감소될 수 있다. 따라서 작은 거리 평가값에 대응되는 제 3 트리 구조의 노드들 중 하나와 제 4 트리 구조의 노드들 중 하나 간의 연결 부분을 생성하여, 제 1 트리 구조보다 더 효율적인 제 2 트리 구조를 생성할 수 있다.
위에서 언급한 절단될 연결부분의 선택과 연결될 노드들의 선택은 확률적으로 결정될 수 있다.
일 실시예에 따라, 제 2 트리 구조 결정부(130)는 제 1 프레임 그룹들에 대한 거리 평가값들에 따라 제 1 트리 구조의 연결 부분들이 절단될 절단 확률을 계산하며, 절단 확률에 따라 결정된 연결 부분을 절단할 수 있다.
마찬가지로 제 2 트리 구조 결정부(130)는 제 2 프레임 그룹들에 대한 거리 평가값에 따라 제 2 프레임 그룹의 프레임들이 연결된 연결 확률을 계산하고, 연결 확률에 따라 연결 부분이 생성될 제 3 트리 구조의 노드들 중 하나와 제 4 트리 구조의 노드들 중 하나를 연결하여 제 2 트리 구조를 결정할 수 있다.
제 2 트리 구조 결정부(130)는 절단 확률과 연결 확률을 이용함으로써 다양한 제 2 트리 구조를 결정할 수 있다.
제 2 트리 구조 결정부(130)의 제 2 트리 구조 결정 방법은 도 4a 내지 4c에서 더 자세히 설명된다.
트리 구조 선택부(140)는 제 2 트리 구조에 기초하여, 목표 대상을 추적하고, 제 2 트리 구조에 기초한 추적 결과에 기초하여, 제 1 트리 구조와 제 2 트리 구조 중 하나를 선택한다.
일 실시예에 따라, 트리 구조 선택부(140)는 제 2 트리 구조에 의하여 인접한 두 개의 프레임들에 포함된 추적 영역 간의 비유사도 (dissimilarity)에 기초하여 트리 에너지 (tree energy)을 결정하고, 추적 평가값에 따라 제 1 트리 구조와 제 2 트리 구조 중 트리 에너지가 작은 트리 구조를 더 높은 확률로 선택할 수 있다. 트리 에너지는 도 5 및 도 6을 참조하여 후술한다.
일 실시예에 따라 트리 구조 선택부(140)는 선택된 트리 구조를 새로운 제 1 트리 구조로 결정할 수 있다. 그리고 제 1 트리 구조 획득부(110)는 트리 구조 선택부(140)에서 결정된 새로운 제 1 트리 구조를 획득할 수 있다. 그 후 목표 대상 추적 장치(100)는 거리 평가값 획득부(120), 제 2 트리 구조 결정부(130) 및 트리 구조 선택부(140)의 기능을 수행하여 다시 새로운 제 1 트리 구조를 결정할 수 있다. 제 1 트리 구조는 반복적으로 제 1 트리 구조 획득부(110)에 의하여 획득되고, 제 1 트리 구조를 기초로 트리 구조 선택부(140)에서 새로운 제 1 트리 구조가 생성된다. 과정이 반복됨으로써 제 1 트리 구조는 최적화될 수 있다.
추적부(150)는 선택된 트리 구조에 따라 목표 대상을 추적한다.
상기된 목표 대상 추적 프로세스는 목표 대상 추적 장치(100)에서 수행될 수 있다.
도 2a 및 도 2b 는 종래의 목표 대상 추적 방법을 설명하기 위한 도면이다.
도 2a는 목표 대상을 추적하는 방법 중 선형 모델(200)을 나타낸다.
선형 모델(200)에는 영상에 포함된 프레임들이 시간의 순서에 따라 나열되어 있다. 따라서 프레임 A가 가장 앞선 프레임일 경우, 프레임 A의 목표 대상이 가장 먼저 추적된다. 그리고 프레임 A의 목표 대상이 위치한 추적 영역의 위치 및 추적 영역에 포함된 픽셀값들 중 적어도 하나에 기초하여 프레임 A의 다음 프레임인 프레임 B의 목표 대상이 추적된다.
그러므로 선형 모델(200)에서는 이전 프레임의 목표 대상이 위치한 추적 영역과 현재 프레임의 목표 대상이 위치한 추적 영역 간의 위치 및 추적 영역에 포함된 픽셀들에 현저한 차이가 있다면, 현재 프레임의 목표 대상이 추적되지 않는다. 예를 들어, 현재 프레임에서 목표 대상의 일부분을 다른 대상이 가리는 경우, 추적 장치는 이전 프레임의 목표 대상을 현재 프레임에서 추적할 수 없게 된다. 또한, 현재 프레임의 목표 대상이 이전 프레임의 목표 대상보다 어두운 경우, 추적 장치는 현재 프레임의 목표 대상과 이전 프레임의 목표 대상이 다르다고 인식할 수 있다.
즉, 선형 모델(200)에서는 목표 대상이 위치한 영역에 포함된 픽셀들에 급격한 변화가 있을 경우 오류가 발생할 수 있으며, 이러한 오류가 발생할 경우, 다음 프레임에도 이전의 오류가 전파(propagate)된다.
도 2b는 목표 대상을 추적하는 방법 중 고차원 마르코프(Markov) 모델(250)을 나타낸다.
고차원 마르코프 모델(250)에는 하나의 프레임이 목표 대상이 추적된 복수의 프레임들과 연결되어 있다. 예를 들어, 도 2b의 고차원 마르코프 모델(250)에서는 프레임 F는 프레임 A및 C와 연결되어 있으며, 가장 늦게 추적 대상이 되는 프레임 D는 프레임 A, B, C, E, F와 연결되어 있다.
그리고 프레임F의 경우, 프레임A와 C의 목표 대상이 위치한 추적 영역의 위치 및 상기 추적 영역에 포함된 픽셀들 등에 기초하여 프레임 F의 목표 대상이 추적된다. 마찬가지로 프레임 D의 경우, 프레임 A, B, C, E, F의 목표 대상이 위치한 추적 영역의 위치 및 픽셀들 중 적어도 하나에 기초하여 프레임 D의 목표 대상이 추적된다.
구체적으로 프레임 F의 경우, 프레임A와 C의 추적 영역에 포함된 픽셀들의 평균 또는 가중 평균이 이용될 수 있고, 프레임 D의 경우, 프레임 A, B, C, E, F의 추적 영역에 포함된 픽셀들의 평균 또는 가중 평균이 이용될 수 있다.
선형 모델(200)과 달리 고차원 마르코프 모델(250)에서는 복수 개의 프레임들에 기초하여 목표 대상을 추적하기 때문에, 선형 모델(200)보다 오류가 적다. 그러나 목표 대상의 일부분이 다른 이물질에 의해 가려진 프레임, 목표 대상의 다른 프레임들의 목표 대상보다 어두운 프레임이 현재 프레임의 목표 대상 추적시 제외되지 않는다. 따라서 고차원 마르코프 모델(250) 역시 이전 프레임에 오류가 발생할 경우, 다음 프레임에도 이전의 오류가 전파(propagate)된다.
도 3 은 도 2a에서 설명한 종래의 목표 대상 추적 방법의 문제점을 설명하기 위한 도면이다. 구체적으로 도 3은 도 2의 선형 모델(200)의 문제점을 설명하기 위한 도면이다.
선형 모델(200)에서는 이전 프레임의 목표 대상이 위치한 추적 영역의 위치를 중심으로, 추적 장치는 현재 프레임으로부터 이전 프레임의 추적 영역과 유사한 영역을 검출한다. 예를 들어 프레임 A 내지 F(310, 320, 330, 340, 350, 360)에는 목표 대상(302)인 자동차가 도시되어 있다. 프레임 A(310)와 프레임 B(320)는 서로 목표 대상(302)이 위치한 추적 영역(312, 322)의 위치와 추적 영역(312, 322)에 포함된 픽셀들이 유사하다. 따라서 프레임 B(320)의 추적 영역(322)은 프레임 A(310)로부터 쉽게 검출된다.
그러나 프레임 C(330)에는 모터사이클(304)이 목표 대상(302)의 일부를 가린다. 따라서 추적 장치는 프레임 B(320)의 추적 영역(322)과 유사한 영역을 프레임 C(330)로부터 검출할 수 없다. 그러므로 추적 장치는 프레임 C(330)로부터 목표 대상(302)을 검출할 수 없다.
이 오류는 프레임 D, E, F(340, 350, 360)에 그대로 전파(propagate)된다. 따라서 프레임 D, E, F(340, 350, 360)의 모터사이클(304)이 목표 대상(302)을 가리고 있지 않더라도, 추적 장치는 프레임 D, E, F(340, 350, 360)에 포함된 목표 대상(302)을 추적할 수 없다.
도 2(b)에 도시된 고차원 마르코프 모델(250)은 복수의 프레임을 참조하여 목표 대상을 추적하기 때문에 선형 모델(200)보다 오류가 적게 발생한다. 그러나 앞서 언급하였듯이, 목표 대상의 일부분이 다른 대상에 의해 가려진 프레임, 목표 대상의 다른 프레임들의 목표 대상보다 어두운 프레임 등이 제외되지 않는다는 문제점이 있다.
도 4a 내지 도 4c는 기존의 트리 구조(400)로부터 새로운 트리 구조(480)를 획득하는 방법을 설명하기 위한 도면이다.
새로운 트리 구조(480)를 획득하는 방법은 연결 부분 절단 단계, 연결 부분 생성 단계 및 연결 부분 변경 단계로 구성된다.
도 4a는 연결 부분 절단 단계를 설명하기 위한 도면이다. 도 4a의 노드 A 내지 노드 F (410, 420, 430, 440, 450, 460)는 선형으로 연결된 트리 구조를 구성한다. 그리고 노드 A 내지 노드 F (410, 420, 430, 440, 450, 460)는 각각 프레임 A 내지 프레임 F에 대응된다. 두 개의 노드들 사이에는 노드들을 연결하는 연결 부분들(401, 402, 403, 404, 405)이 있으며, 연결 부분 삭제 단계에서 연결 부분들(401, 402, 403, 404, 405) 중 하나가 삭제된다.
연결 부분 절단 단계에서 절단되는 연결 부분은 연결 부분이 연결하는 두 노드들에 대응되는 두 프레임들 간의 거리 평가값에 의하여 결정된다. 거리 평가값은 다음과 같은 방법으로 계산될 수 있다. 예를 들어 두 프레임들 중 제 1 프레임의 추적 영역은 소정 개수의 제 1 분할 영역들로 분할된다. 그리고 두 프레임들 중 제 2 프레임에서 제 1 프레임의 제 1 분할 영역들과 매칭되는 제 2 분할 영역들이 획득된다. 그 후 제 2 분할 영역들의 위치 및 제 1 프레임의 추적 영역의 위치에 기초하여 예를 들어, 거리 평가값은 하기 수학식1에 따라 결정될 수 있다.
Figure 112014120284691-pat00001
(수학식1)
수학식1에서 d(i,j)는 프레임i와 프레임j 간의 거리 평가값을 의미한다.
Figure 112014120284691-pat00002
은 프레임i의 m번째 제 1 분할 영역의 위치를 의미한다. 또한
Figure 112014120284691-pat00003
는
Figure 112014120284691-pat00004
에 대응되는 프레임j의 제 2 분할 영역의 위치를 의미한다. 그리고
Figure 112014120284691-pat00005
는
Figure 112014120284691-pat00006
와
Figure 112014120284691-pat00007
간의 거리 벡터를 의미한다. 따라서
Figure 112014120284691-pat00008
는 m개의 제 1 분할 영역과 제 2 분할 영역과의 거리 벡터 중 중간값을 의미한다.
그러므로 제 1 프레임의 추적 영역 전체와 완벽하게 대응되는 영역이 제 2 프레임에 없더라도, 제 1 프레임이 분할된 제 1 분할 영역들과 대응되는 제 2 분할 영역들을 이용하여 거리 평가값을 계산할 수 있다. 상기 방법으로 구해진 거리 평가값은 실제 목표 대상의 변위가 아니며, 추적 장치가 예측하는 변위이다.
각 연결 부분에 대응되는 거리 평가값을 구한 후, 거리 평가값에 기초하여 각 연결 부분의 절단 확률을 구한다. 거리 평가값이 클수록 제 1 프레임을 기초로 한 제 2 프레임의 목표 대상의 추적에 오류가 있을 가능성이 높다. 그러므로 거리 평가값이 큰 연결 부분이 절단되도록 절단 확률을 결정한다. 절단 확률은 하기 수학식2에 따라 결정될 수 있다.
Figure 112014120284691-pat00009
(수학식 2)
수학식2에서
Figure 112014120284691-pat00010
프레임i와 프레임j에 대응되는 노드들 사이의 연결 부분이 절단될 절단 확률을 나타낸다.
Figure 112014120284691-pat00011
는 트리 구조에서 연결 부분에 의하여 인접한 노드들에 대응되는 두 프레임들이 포함된 프레임 그룹들의 집합을 의미한다. 위 식에 따르면
Figure 112014120284691-pat00012
는 자연 상수를 밑(base)으로, 거리 평가값을 지수(exponent)로 한 값과 비례한다. 따라서 거리 평가값의 차이에 비하여,
Figure 112014120284691-pat00013
의 차이가 훨씬 크다.
각 연결 부분에 대응되는 절단 확률이 결정되면, 절단 확률에 따라 절단될 연결 부분을 결정한다. 절단될 연결 부분은 절단 확률에 의하여 임의로 결정되므로 반드시 거리 평가값이 가장 큰 연결 부분이 절단될 연결 부분으로 결정되지 않는다. 따라서 거리평가값이 작은 연결 부분이 절단될 수도 있다.
실시 예에 따라, 절단 확률을 구하지 않고 가장 큰 거리 평가값에 대응되는 연결 부분이 절단되도록 결정될 수도 있다.
도 4a에서는 상기 언급한 방법에 따라 노드B(420)와 노드C(430) 사이의 연결 부분(402)이 절단되었다. 따라서 기존의 트리 구조(400)는 노드 A(410)와 노드B(420)로 구성된 트리 구조(470)와 노드 C 내지 노드 F(430, 440, 450, 460)로 구성된 트리 구조(480)로 분할된다.
도 4b는 연결 부분 생성 단계를 설명하기 위한 도면이다.
연결 부분 생성 단계에서는 두 개의 트리 구조가 연결된다. 두 개의 트리 구조를 제 3 트리 구조 및 제 4 트리 구조라고 부를 때, 제 3 트리 구조의 노드들 중 하나와 제 4 트리 구조의 노드들 중 하나가 연결된다. 연결 부분 생성 단계에서 새로 생성된 연결 부분에 의하여 연결되는 노드들은 노드들에 대응되는 프레임 그룹의 거리 평가값에 따라 결정된다. 거리 평가값이 낮을수록 목표 대상의 추적에 오류가 있을 가능성이 낮다. 그러므로 거리 평가값이 낮은 프레임 그룹에 대응되는 노드들 사이에 연결 부분이 생성되도록 연결 확률을 결정한다. 연결 확률은 하기 수학식3에 따라 결정될 수 있다.
Figure 112014120284691-pat00014
(수학식3)
수학식3에서
Figure 112014120284691-pat00015
는 프레임i와 프레임j에 대응되는 노드들 사이의 연결 부분이 생성될 연결 확률을 나타낸다.
Figure 112014120284691-pat00016
는 트리 구조에서 서로 연결되지 않은 두 노드들에 대응되는 두 프레임들이 포함된 프레임 그룹들의 집합을 의미한다. 수학식3에 따르면
Figure 112014120284691-pat00017
는 자연 상수를 밑(base)으로, 거리 평가값의 음수값을 지수(exponent)로 한 값과 비례한다. 따라서 거리 평가값의 차이에 비하여,
Figure 112014120284691-pat00018
의 차이가 훨씬 크다.
Figure 112014120284691-pat00019
의 프레임 그룹들에 대응되는 연결 확률이 결정되면, 연결 확률에 기초하여 결정된 프레임 그룹에 대응되는 두 노드들 사이에 연결 부분을 생성한다. 생성될 연결 부분은 연결 확률에 의하여 임의로 결정되므로, 반드시 거리 평가값이 가장 작은 프레임 그룹에 연결 부분이 생성되는 것으로 결정되지 않는다. 따라서 거리 평가값이 큰 연결 부분이 생성될 수도 있다.
실시 예에 따라, 연결 확률을 구하지 않고 가장 작은 거리 평가값에 대응되는 연결 부분이 생성되도록 결정될 수도 있다.
도 4b에서는 트리 구조(470)와 트리 구조(480) 간에 8 개의 연결 부분(411, 412, 413, 414, 415, 416, 417, 418)이 생성될 수 있다. 트리 구조(470)의 노드 A(410)과 트리 구조(480)의 노드B 사이에 연결 부분(412)이 생성되었다. 따라서 트리 구조(470)와 트리 구조(480)가 연결된다.
도 4c에서는 연결 부분 변경 단계를 설명하기 위한 도면이다.
연결 부분 생성 단계에서 연결된 구조가 트리 구조가 되도록 각 연결 부분이 가리키는 방향은 상위 노드에서 하위 노드로 변경될 필요가 있다. 연결 부분 변경 단계의 결과 새로운 트리 구조가 획득된다.
예를 들어 도 4b에서는 노드 C(430)와 노드 D(440)간의 연결 부분(403)이 노드 C(430)에서 노드 D(440)를 향하는 방향이었으나, 도 4c에서는 노드D(440)가 노드C(430)의 상위 노드이기 때문에, 노드 C(430)와 노드 D(440)간의 연결 부분(421)이 노드 D(440)에서 노드 C(430)를 향하도록 변경되었다. 연결 부분 변경 단계를 거쳐 새로운 트리 구조(490)가 획득된다.
상기 과정을 거쳐 완성된 새로운 트리 구조는 반드시 기존의 트리 구조보다 목표 대상의 추적에 있어서 반드시 더 효율적이라고 할 수 없다. 그렇기 때문에 새로운 트리 구조가 기존의 트리 구조보다 더 효율적인지 검증하기 위한 방법이 필요하다.
도 5 및 6은 기존의 트리 구조와 새로운 트리 구조의 효율성을 비교하기 위하여, 트리 구조의 트리 에너지를 구하는 방법을 설명하기 위한 도면이다.
트리 에너지는 루트 노드로부터 추적 처리를 위한 트리 구조의 효율성을 측정하기 위하여 정의된 개념이다. 트리 에너지는 하기 수학식4와 같이 정의될 수 있다.
(수학식4)
수학식 4에서
Figure 112014120284691-pat00020
는 루트 노드에 대응되는 프레임에서 프레임i까지 목표 대상을 추적하는데 요구되는 추적 비용(tracking cost)를 의미한다.
Figure 112014120284691-pat00021
는 프레임i에 대응되는 노드의 상위 노드를 의미한다.
Figure 112014120284691-pat00022
는 트리 에너지를 의미하며,
Figure 112014120284691-pat00023
로 표현되는 트리가 추적에 얼마나 적합한지를 수치적으로 나타내는 값이다. 트리에 속한 모든 노드에 대해 계산된 추적 비용
Figure 112014120284691-pat00024
을 더하여 계산되기 때문에, 추적 비용이 낮을수록, 즉 추적이 더 용이한 트리일수록 낮은 값을 갖게 된다.
추적비용은
Figure 112014120284691-pat00025
와 같이 정의되므로
Figure 112014120284691-pat00026
는 프레임i의 상위 프레임에서의 추적 비용과 프레임i와 프레임i의 상위 프레임 간 거리 평가값 중 큰 값이 된다. 다른 말로 하면, 루트 노드에 대응되는 프레임에서 프레임i까지 추적 처리 과정이 이루어지면서 획득된 가장 큰 거리 평가값이 프레임i의 추적 비용이 된다.
트리 에너지는
Figure 112014120284691-pat00027
와 같이 정의된다. 따라서 루트 노드에 대응되는 프레임에서 프레임i까지 추적 처리 과정이 이루어지면서 획득된 모든 추적 비용의 합이 트리 에너지가 된다.
트리 에너지의 정의로부터 추적 에러(tracking error)가 발생하였을 경우, 추적 에러는 상위 노드에서 하위 노드로 전파(propagate)된다는 것을 알 수 있다. 또한 상위 노드에서 추적 에러가 발생한 경우가, 하위 노드에서 추적 에러가 발생한 경우보다 더 트리 구조의 효율성에 악영향을 준다는 것을 알 수 있다. 그러므로 도 4a 내지 도4c에서 설명한 새로운 트리 구조의 획득 과정을 반복하여 추적 에러가 큰 연결 부분을 제거하고, 추적 에러가 작은 연결 부분을 생성하여, 최종적으로 목표 대상을 추적하기 어려운 프레임을 트리 구조에서 리프 노드(leaf node)에 고립시켜야 함을 알 수 있다. 예를 들어, 프레임 G의 목표 대상을 프레임 A 내지 F를 기초로 추적하기 어려운 경우, 프레임 G에 대응되는 노드는 프레임 A 내지 F 중 프레임 G와 가장 유사한 프레임에 대응되는 노드의 하위 노드에 위치한다. 그리고 추적 에러의 전파를 막기 위하여, 프레임 G에 대응되는 노드는 하위 노드를 가질 수 없다.
트리 에너지는 거리 평가값에 기초하여 계산되며, 거리 평가값은 작을수록 거리 평가값에 대응되는 프레임 그룹의 프레임들 간에 추적 오류가 발생하지 않으므로, 트리 에너지가 작을수록 트리 구조가 효율적임을 알 수 있다.
계산된 트리 에너지를 기반으로, 기존의 트리 구조와 새롭게 획득된 트리 구조를 비교하여 어떤 트리를 선택할지에 대한 결정은 다음 수식에 의해 결정된다.
Figure 112014120284691-pat00028
(수학식 5)
Figure 112014120284691-pat00029
는 제 2 트리 구조가 새로운 제1 트리 구조로 승인될 확률을 결정하는데 이용되는 승인 비율(acceptance ratio)이다.
Figure 112014120284691-pat00030
는 제 1 트리 구조,
Figure 112014120284691-pat00031
는 제 2 트리 구조를 나타내며,
Figure 112014120284691-pat00032
는 제 1 트리 구조로부터 제 2 트리 구조가 제안될 확률을 나타내는 트리 제안 확률로 수학식 3과 수학식 4의 곱으로
Figure 112014120284691-pat00033
와 같이 표현된다. 반대로
Figure 112014120284691-pat00034
는 제 2 트리 구조에서 제 1 트리 구조가 제안될 확률을 나타내는 트리 제안 확률을 의미한다.
수학식 5에 의하면, 트리 제안 확률을 고려하지 않을 경우, 제 2 트리 구조의 트리 에너지가 제 1 트리 구조보다 낮다면 제 2 트리 구조는 무조건 선택되며 (
Figure 112014120284691-pat00035
=1), 그렇지 않을 경우 제 2 트리 구조와 제 1 트리 구조의 트리 에너지의 비에 비례하여 제 2 트리 구조가 새로운 제1 트리 구조로 승인될 확률을 결정한다. (
Figure 112014120284691-pat00036
=
Figure 112014120284691-pat00037
)
도 5에는 기존의 트리 구조가 도시되어 있다. 도 5에는 도 3의 6개의 프레임들(310, 320, 330, 340, 350, 360)에 대한 추적 처리 과정에서의 트리 에너지를 구한다. 각 프레임들(310, 320, 330, 340, 350, 360) 사이에 위치한 숫자들 중 아래에 위치한 숫자가 거리 평가값(502, 504, 506, 508, 510)을 의미한다. 그리고 위에 위치한 숫자가 추적 비용(512, 514, 516, 518, 520)을 의미한다. 프레임 A(310)와 프레임 B(320) 사이의 거리 평가값(502)은 10이고, 프레임A(310)가 루트 노드에 대응되는 프레임이므로 획득한 거리 평가값(502)이 하나밖에 없어서 프레임B의 추적 비용(512)도 10이 된다.
프레임B(320)와 프레임C(330) 사이의 거리 평가값(504)는 45이고, 프레임 A(310)와 프레임 B(320) 사이의 거리 평가값(502)인 10보다 크기 때문에 프레임C의 추적 비용(514)도 45가 된다. 그러나 그 이후로는 획득되는 거리 평가값들(506, 508, 510)은 각각 30, 5, 25이므로 모두 프레임B(320)와 프레임C(330) 사이의 거리 평가값(504)인 45보다 작다. 그러므로 프레임D 내지 프레임F(340, 350, 360)의 추적 비용(516, 518, 520)은 모두 45가 된다.
최종적으로 트리 에너지는 프레임 B 내지 프레임 F(320, 330, 340, 350, 360)의 추적 비용(512, 514, 516, 518, 520)을 모두 더한 값인 190이 된다.
도 6은 새롭게 획득된 트리 구조가 도시되어 있다. 새롭게 획득된 트리 구조는 세 방향으로 추적 처리 과정이 분리된다. 프레임 A(310) 에서 프레임 B(320)로 목표 대상을 추적하는 과정을 살펴보면, 프레임 A(310) 와 프레임 B(320) 사이의 거리 평가값(602)은 10이고 따라서 프레임 B (320)의 추적 비용은 10(612)이다. 그러므로 프레임 B (320)방향으로 추적 처리하는 과정에서 획득한 트리 에너지는 10이다.
프레임 A(310) 에서 프레임 C(330)로 추적되는 과정을 살펴보면 프레임 A(310) 와 프레임D(340)간의 거리 평가값은 10(604)이고, 프레임D(340)와 프레임C(330)간의 거리 평가값은 45(606)이다. 따라서 프레임 D(340)의 추적 비용은 10(614)이고, 프레임 C(330)의 추적 비용은 45(616)이다. 그러므로 프레임 C(330) 방향으로 추적 처리하는 과정에서 획득한 트리 에너지는 55이다.
프레임 A(310) 에서 프레임 F(360)로 추적되는 과정을 살펴보면 프레임 A(310) 와 프레임D(340)간의 거리 평가값(604)은 10이고, 프레임D(340)와 프레임E(350)간의 거리 평가값(608)은 15이고, 프레임E(350)와 프레임F(360)간의 거리 평가값(610)은 20이다. 따라서 프레임 D(340)의 추적 비용(614)은 10이고, 프레임 E(350)의 추적 비용(618)은 45이고, 프레임 F(360)의 추적 비용(620)은 20이다. 그러므로 프레임 F (360)방향으로 추적 처리하는 과정에서 획득한 트리 에너지는 45이다.
따라서 새로운 트리 구조의 세 가지 추적 방향을 모두 고려하였을 때, 가장 큰 트리 에너지는 프레임 A(310) 에서 프레임 C(330)로 추적되는 과정에서 발생한 트리 에너지인 55이다. 새로운 트리 구조에서 발생한 트리 에너지가 기존의 트리 구조에서 발생한 트리 에너지보다 작으므로, 새로운 트리 구조는 기존의 트리 구조보다 효율적이다. 따라서 이러한 경우, 추적 장치는 새로운 트리 구조를 선택한다.
위에서 설명된 방식으로 계속하여 트리 구조를 최적화할 경우, 선형 모델(200) 또는 고차원 마르코프 모델(250)의 문제점인 추적 오류의 전파 문제를 해결할 수 있다.
도 7은 동영상의 목표 대상을 추적하는 방법의 일 실시예를 설명하기 위한 도면이다.
단계 710에서, 목표 대상이 위치한 추적 영역을 포함하는 프레임들에 대한 추적 처리 순서를 나타내는 제 1 트리 구조를 획득한다.
단계 720에서, 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 프레임 그룹들 각각에 대하여, 두 개의 프레임들의 추적 영역들 간의 거리로서 예측되는 거리 평가값들을 획득한다.
단계 730에서, 단계 710에서 획득한 제 1 트리 구조와 단계 720에서 획득한 거리 평가값들에 따라 제 2 트리 구조를 획득한다.
단계 740에서, 단계 730에서 획득된 트리 구조에 따라 상기 목표 대상을 추적한다.
도 8은 동영상의 목표 대상을 추적하는 방법의 일 실시예를 설명하기 위한 도면이다.
단계 810에서, 목표 대상이 위치한 추적 영역을 포함하는 프레임들에 대한 추적 처리 순서를 나타내는 제 1 트리 구조를 획득한다.
단계 820에서, 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 프레임 그룹들 각각에 대하여, 두 개의 프레임들의 추적 영역들 간의 거리로서 예측되는 거리 평가값들을 획득한다.
단계 830에서, 단계 810에서 획득한 제 1 트리 구조와 단계 820에서 획득한 거리 평가값들에 따라 제 2 트리 구조를 획득한다.
단계 840에서, 단계 830에서 획득된 제 2 트리 구조에 기초하여, 목표 대상을 추적하고, 제 2 트리 구조에 기초한 추적 결과에 기초하여, 제 1 트리 구조와 제 2 트리 구조 중 하나를 새로운 제 1 트리 구조로 선택한다.
단계 850에서, 단계 840에서 선택된 제 1 트리 구조에 따라 상기 목표 대상을 추적한다.
도 9은 동영상의 목표 대상을 추적하는 방법의 또 다른 일 실시예를 설명하기 위한 도면이다.
N은 제 1 트리 구조를 최적화하기 위하여 단계 920 내지 단계 960을 반복한 횟수를 의미한다. N'은 제 1 트리 구조를 최적화하기 위하여 필요한 단계 920 내지 단계 960의 반복 횟수를 의미한다. N'은 일정한 크기의 숫자로 결정될 수 있으며, 또한 제 1 트리 구조의 트리 에너지 등에 적응적으로 결정될 수도 있다.
단계 910에서 N을 0으로 초기화한다.
단계 920에서, 목표 대상이 위치한 추적 영역을 포함하는 프레임들에 대한 추적 처리 순서를 나타내는 제 1 트리 구조를 획득한다.
단계 930에서, 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 프레임 그룹들 각각에 대하여, 두 개의 프레임들의 추적 영역들 간의 거리로서 예측되는 거리 평가값들을 획득한다.
실시 예에 따라, 프레임 그룹에 포함된 제 1 프레임의 추적 영역을 소정 개수의 제 1 분할 영역들로 분할하고, 프레임 그룹에 포함된 제 2 프레임에서 제 1 프레임의 제 1 분할 영역들과 매칭되는 제 2 분할 영역들을 획득하고, 제 2 분할 영역의 위치 및 추적 영역의 위치에 기초하여 결정된 거리 평가값이 획득될 수 있다.
단계 930에서 거리 평가값은 새롭게 계산될 수도 있고, 기존에 존재하던 거리 평가값이 획득될 수도 있다.
단계 940에서, 제 1 트리 구조에 따라 연결된 노드들에 대응되는 두 개의 프레임들을 포함하는 제 1 프레임 그룹들에 대한 거리 평가값들에 따라, 제 1 트리 구조의 연결 부분 중 하나를 절단하여 제 3 트리 구조와 제 4 트리 구조를 획득한다.
실시 예에 따라, 제 1 프레임 그룹들에 대한 거리 평가값들에 따라 인접한 제 1 트리 구조의 연결 부분들이 절단될 절단 확률이 계산되며, 절단 확률에 따라 절단될 연결 부분이 결정될 수 있다.
단계 950에서, 제 3 트리 구조의 프레임들 중 하나의 프레임과 상기 제 4 트리 구조의 프레임들 중 하나의 프레임으로 이루어진 제 2 프레임 그룹들에 대한 거리 평가값들에 따라, 제 3 트리 구조의 노드들 중 하나와 상기 제 4 트리 구조의 노드들 중 하나가 연결되어 제 2 트리 구조가 획득된다.
실시 예에 따라, 제 2 프레임 그룹들에 대한 거리 평가값에 따라 연결 확률이 계산되고, 연결 확률에 따라 연결 부분이 생성될 제 3 트리 구조의 노드와 제 4 트리 구조의 노드가 결정될 수 있다.
단계 960에서, 단계 950에서 결정된 제 2 트리 구조에 기초하여, 목표 대상을 추적하고, 제 2 트리 구조에 기초한 추적 결과에 기초하여, 제 1 트리 구조와 제 2 트리 구조 중 하나를 선택한다. 그리고 선택된 트리 구조는 새로운 제 1 트리 구조로 결정된다.
실시 예에 따라, 추적 결과는 인접한 두 개의 프레임들에 포함된 추적 영역 간의 비유사도에 기초하여 결정된 트리 에너지에 의하여 결정될 수 있다. 구체적으로, 제 1 트리 구조와 제 2 트리 구조의 트리 에너지에 기초하여 제 2 트리 구조가 새로운 제1 트리 구조로 선택될 확률의 결정에 이용되는 승인 비율이 결정될 수 있다. 승인 비율에 기초하여 제 1 트리 구조와 제 2 트리 구조 중 새로운 제 1 트리 구조를 선택함으로써 제 1 트리 구조와 제 2 트리 구조 중 트리 에너지가 작은 트리 구조가 더 높은 확률로 선택될 수 있다.
단계 970에서, N값은 1만큼 증가한다.
단계 980에서, N값이 N'값과 같은지 확인한다. 만약 N값이 N'값과 같다면 단계 990이 진행된다. 만약 N값이 N'값보다 작다면, 단계 920이 진행된다. 따라서 N값이 N'값과 같아질 때까지 단계 920 내지 단계 980이 반복된다. 단계 920 내지 단계 980이 반복되면서 제 1 트리 구조의 트리 에너지가 감소됨으로써, 제 1 트리 구조는 최적화된다.
단계 990에서, 단계 920 내지 단계 980이 N'번 반복된 후 최적화된 제 1 트리 구조에 따라 목표 대상이 추적된다.
한편, 상술한 본 발명의 일 실시예에 따른 추적 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

  1. 영상의 목표 대상을 추적하는 추적 장치가 상기 목표 대상을 추적하기 위한 방법에 있어서,
    상기 목표 대상이 위치한 추적 영역을 포함하는 프레임들에 대한 추적 처리 순서를 나타내는 제 1 트리 구조를 획득하는 단계;
    상기 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 상기 프레임 그룹들 각각에 대하여 거리 평가값들을 획득하는 단계;
    상기 제 1 트리 구조와 상기 거리 평가값들에 따라 제 2 트리 구조를 획득하는 단계;
    상기 획득된 제 2 트리 구조에 따라 상기 목표 대상을 추적하는 단계; 및
    상기 제 2 트리 구조에 기초한 추적 결과에 기초하여, 상기 제 1 트리 구조와 상기 제 2 트리 구조 중 하나를 새로운 제 1 트리 구조로 선택하는 단계를 포함하고,
    상기 거리 평가값은 상기 프레임 그룹을 구성하는 두 개의 프레임들에 포함된 추적 영역들의 위치 및 추적 영역들에 포함된 픽셀값들 중 적어도 하나에 의해 결정되고,
    상기 선택하는 단계는,
    상기 제 2 트리 구조에 의하여 연결된 프레임들에 포함된 추적 영역들 간의 비유사도를 결정하는 단계;
    상기 제 1 트리 구조와 상기 제 2 트리 구조 중 상기 비유사도가 작은 트리 구조를 더 높은 확률로 선택하는 단계를 포함하는 것을 특징으로 하는 추적 방법.
  2. 제 1 항에 있어서,
    상기 제 1 트리 구조 및 상기 제 2 트리 구조는,
    상기 프레임들에 대응되는 노드들과 상기 노드들을 연결하는 연결 부분들을 포함하고,
    상기 노드들 중 루트 노드에 대응되는 프레임부터 상기 목표 대상을 추적하여, 상기 루트 노드와 연결된 순서에 따라 각 노드들에 대응되는 프레임들의 목표 대상을 추적하는 것을 특징으로 하는 추적 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제 2 트리 구조를 획득하는 단계는,
    상기 거리 평가값들에 기초하여, 상기 제 1 트리 구조의 노드들 간의 연결 부분을 삭제하고 새로운 연결 부분을 생성하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 하는 추적 방법.
  5. 제 4 항에 있어서,
    상기 제 2 트리 구조를 획득하는 단계는,
    상기 제 1 트리 구조의 연결된 노드들에 대응되는 두 개의 프레임들을 포함하는 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라, 상기 제 1 트리 구조의 연결 부분 중 하나를 절단하여 제 3 트리 구조와 제 4 트리 구조를 획득하는 단계;
    상기 제 3 트리 구조의 프레임들 중 하나의 프레임과 상기 제 4 트리 구조의 프레임들 중 하나의 프레임으로 이루어진 제 2 프레임 그룹들에 대한 거리 평가값들에 따라, 상기 제 3 트리 구조의 상기 노드들 중 하나와 상기 제 4 트리 구조의 상기 노드들 중 하나를 연결하여 상기 제 2 트리 구조를 획득하는 단계를 포함하는 것을 특징으로 하는 추적 방법.
  6. 제 5 항에 있어서,
    상기 제 3 트리 구조와 제 4 트리 구조를 획득하는 단계는,
    상기 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라 상기 제 1 트리 구조의 상기 연결 부분들이 절단될 절단 확률을 계산하며, 상기 절단 확률에 따라 절단될 상기 연결 부분을 결정하고,
    상기 제 2 트리 구조를 획득하는 단계는,
    상기 제 2 프레임 그룹들에 대한 상기 거리 평가값에 따라 연결 확률을 계산하고, 상기 연결 확률에 따라 상기 연결 부분이 생성될 상기 제 3 트리 구조의 상기 노드와 상기 제 4 트리 구조의 상기 노드를 결정하는 것을 특징으로 하는 추적 방법.
  7. 제 1 항에 있어서,
    상기 거리 평가값을 획득하는 단계는,
    상기 프레임 그룹에 포함된 제 1 프레임의 상기 추적 영역을 소정 개수의 제 1 분할 영역들로 분할하고, 상기 프레임 그룹에 포함된 제 2 프레임에서 상기 제 1 프레임의 상기 제 1 분할 영역들과 매칭되는 제 2 분할 영역들을 획득하고, 상기 제 2 분할 영역의 위치 및 상기 추적 영역의 위치에 기초하여 결정된 거리 평가값을 획득하는 것을 특징으로 하는 추적 방법.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 목표 대상을 추적하는 단계는,
    상기 제 1 트리 구조를 획득하는 단계;
    상기 거리 평가값을 획득하는 단계;
    상기 제 2 트리 구조를 결정하는 단계; 및
    상기 제 1 트리 구조를 선택하는 단계를 반복하여 획득한 상기 제 1 트리 구조에 따라 상기 목표 대상을 추적하는 것을 특징으로 하는 추적 방법.
  10. 영상의 목표 대상을 추적하는 추적 장치에 있어서,
    상기 목표 대상이 위치한 추적 영역들을 포함하는 프레임들을 분석하는 순서를 나타내는 제 1 트리 구조를 획득하는 제 1 트리 구조 획득부;
    상기 프레임들로부터 두 개의 프레임들로 구성된 복수 개의 프레임 그룹들을 획득하고, 상기 프레임 그룹들 각각에 대하여 거리 평가값들을 획득하는 거리 평가값 획득부;
    상기 제 1 트리 구조와 상기 거리 평가값들에 따라 제 2 트리 구조를 획득하는 제 2 트리 구조 획득부;
    상기 획득된 트리 구조에 따라 상기 목표 대상을 추적하는 추적부; 및
    상기 제 2 트리 구조에 기초하여, 상기 목표 대상을 추적하고, 상기 제 2 트리 구조에 기초한 추적 결과에 기초하여, 상기 제 1 트리 구조와 상기 제 2 트리 구조 중 하나를 새로운 제 1 트리 구조로 선택하는 제 1 트리 구조 선택부를 포함하고,
    상기 거리 평가값은 상기 프레임 그룹을 구성하는 두 개의 프레임들이 포함된 추적 영역들의 위치 및 추적 영역들에 포함된 픽셀값들 중 적어도 하나에 의해 결정되고,
    상기 제 1 트리 구조 선택부는
    상기 제 2 트리 구조에 의하여 연결된 프레임들에 포함된 추적 영역들 간의 비유사도를 결정하고,
    상기 제 1 트리 구조와 상기 제 2 트리 구조 중 상기 비유사도가 작은 트리 구조를 더 높은 확률로 선택하는 것을 포함하는 것을 특징으로 하는 것을 특징으로 하는 추적 장치.
  11. 제 10 항에 있어서,
    상기 제 1 트리 구조 및 상기 제 2 트리 구조는,
    상기 프레임들에 대응되는 노드들과 상기 노드들을 연결하는 연결 부분들을 포함하고,
    상기 노드들 중 루트 노드에 대응되는 프레임부터 상기 목표 대상을 추적하여, 상기 루트 노드와 연결된 순서에 따라 각 노드들에 대응되는 프레임들의 목표 대상을 추적하는 것을 특징으로 하는 추적 장치.
  12. 삭제
  13. 제 10 항에 있어서,
    상기 제 2 트리 구조 획득부는,
    상기 거리 평가값들에 기초하여, 상기 제 1 트리 구조의 노드들 간의 연결 부분을 삭제하고 새로운 연결 부분을 생성하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 하는 추적 장치.
  14. 제 13 항에 있어서,
    상기 제 2 트리 구조 획득부는,
    상기 제 1 트리 구조에 따라 연결된 노드들에 대응되는 두 개의 프레임들을 포함하는 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라, 상기 제 1 트리 구조의 연결 부분 중 하나를 절단하여 제 3 트리 구조와 제 4 트리 구조를 획득하고,
    상기 제 3 트리 구조의 프레임들 중 하나의 프레임과 상기 제 4 트리 구조의 프레임들 중 하나의 프레임으로 이루어진 제 2 프레임 그룹들에 대한 거리 평가값들에 따라, 상기 제 3 트리 구조의 상기 노드들 중 하나와 상기 제 4 트리 구조의 상기 노드들 중 하나를 연결하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 하는 추적 장치.
  15. 제 14 항에 있어서,
    상기 제 2 트리 구조 획득부는,
    상기 제 1 프레임 그룹들에 대한 상기 거리 평가값들에 따라 인접한 상기 제 1 트리 구조의 상기 연결 부분들이 절단될 절단 확률을 계산하며, 상기 절단 확률에 따라 결정된 상기 연결 부분을 절단하여 상기 제 3 트리 구조와 제 4 트리 구조를 획득하고,
    상기 제 2 프레임 그룹들에 대한 상기 거리 평가값에 따라 연결 확률을 계산하고, 상기 연결 확률에 따라 상기 연결 부분이 생성될 상기 제 3 트리 구조의 상기 노드와 상기 제 4 트리 구조의 상기 노드를 연결하여 상기 제 2 트리 구조를 획득하는 것을 특징으로 하는 추적 장치.
  16. 제 10 항에 있어서,
    상기 거리 평가값 획득부는,
    상기 프레임 그룹에 포함된 제 1 프레임의 상기 추적 영역을 소정 개수의 제 1 분할 영역들로 분할하고, 상기 프레임 그룹에 포함된 제 2 프레임에서 상기 제 1 프레임의 상기 제 1 분할 영역들과 매칭되는 제 2 분할 영역들을 획득하고, 상기 제 2 분할 영역의 위치 및 상기 추적 영역의 위치에 기초하여 결정된 거리 평가값을 획득하는 것을 특징으로 하는 추적 장치.
  17. 삭제
  18. 제 10 항에 있어서,
    상기 추적부는,
    상기 제 1 트리 구조 획득부, 상기 거리 평가값 획득부, 상기 제 2 트리 구조 획득부 및 상기 제 1 트리 구조 선택부의 기능를 반복하여 획득한 상기 제 1 트리 구조에 따라 상기 목표 대상을 추적하는 것을 특징으로 하는 추적 장치.
  19. 제1항, 제2항, 제4항, 제5항, 제6항, 제7항, 제9항 중 어느 한 항에서 수행되는 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140177828A 2014-12-10 2014-12-10 목표 대상 추적 장치 및 방법 KR101631955B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140177828A KR101631955B1 (ko) 2014-12-10 2014-12-10 목표 대상 추적 장치 및 방법
US14/963,856 US9922262B2 (en) 2014-12-10 2015-12-09 Method and apparatus for tracking target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140177828A KR101631955B1 (ko) 2014-12-10 2014-12-10 목표 대상 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101631955B1 true KR101631955B1 (ko) 2016-06-20

Family

ID=56111466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140177828A KR101631955B1 (ko) 2014-12-10 2014-12-10 목표 대상 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US9922262B2 (ko)
KR (1) KR101631955B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005280A1 (ko) * 2022-06-29 2024-01-04 주식회사 쓰리아이 객체 추적 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3692500B2 (ja) * 2000-09-12 2005-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理方法、画像処理システムおよび記録媒体
SG150527A1 (en) 2006-07-11 2009-03-30 Agency Science Tech & Res Method and system for multi-object tracking
US8798357B2 (en) 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
US9613298B2 (en) * 2014-06-02 2017-04-04 Microsoft Technology Licensing, Llc Tracking using sensor data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. Hong, et al., "Orderless tracking through model-averaged posterior estimation," Computer Vision (ICCV), 2013 IEEE International Conference on. IEEE, 2013. *
S. Hong, et al., "Visual tracking by sampling tree-structured graphical models," ECCV 2014, September 2014.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005280A1 (ko) * 2022-06-29 2024-01-04 주식회사 쓰리아이 객체 추적 방법 및 시스템

Also Published As

Publication number Publication date
US9922262B2 (en) 2018-03-20
US20160171301A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
US10062207B2 (en) Method and system for reconstructing a three-dimensional model of point clouds
JP2010061439A (ja) 最適解関係表示装置、方法、及びプログラム
CN112102494B (zh) 骨架线引导的树状点云表面重建方法及装置
WO2021097156A1 (en) Occlusion-aware indoor scene analysis
KR102223484B1 (ko) 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법
CN108961294A (zh) 一种三维点云的分割方法及装置
KR101989700B1 (ko) 3차원 스캐닝을 통해 획득된 점군 데이터를 기반으로 피팅을 모델링하기 위한 3차원 모델링 장치 및 방법
JP5163472B2 (ja) パラメタ空間を分割してモデル化する設計支援装置、方法、及びプログラム
Wu et al. Skeleton-based conditionally independent gaussian process implicit surfaces for fusion in sparse to dense 3D reconstruction
KR101631955B1 (ko) 목표 대상 추적 장치 및 방법
CN111753953A (zh) 一种用于获取神经网络架构的方法及装置
JP6686262B2 (ja) 地形変化点抽出システム、及び地形変化点抽出方法
US10373373B2 (en) Systems and methods for reducing the stimulation time of physics based garment simulations
CN113902715A (zh) 用于提取血管中心线的方法、设备和介质
KR102076600B1 (ko) 오브젝트 추적 장치 및 그의 오브젝트 추적 방법
KR102537530B1 (ko) 가속 구조를 생성하는 방법 및 장치
CN111782904A (zh) 一种基于改进smote算法的非平衡数据集处理方法及系统
JP2005165969A (ja) 画像処理装置、及び方法
CN114241052B (zh) 基于布局图的多物体场景新视角图像生成方法及系统
EP2947626A1 (en) Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel
JP6725310B2 (ja) 画像処理装置及びプログラム
CN114092653A (zh) 基于2d图像重建3d图像方法、装置、设备及存储介质
JP7205630B2 (ja) ラベル推定装置、ラベル推定方法、及びラベル推定プログラム
KR102056810B1 (ko) 하이 오더 메쉬 구조를 갖는 그래픽 모델의 메쉬 품질 향상을 위한 그래픽 처리 장치 및 방법
JP6962450B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant