KR20110134086A - 물체 추적 장치 - Google Patents

물체 추적 장치 Download PDF

Info

Publication number
KR20110134086A
KR20110134086A KR1020100053873A KR20100053873A KR20110134086A KR 20110134086 A KR20110134086 A KR 20110134086A KR 1020100053873 A KR1020100053873 A KR 1020100053873A KR 20100053873 A KR20100053873 A KR 20100053873A KR 20110134086 A KR20110134086 A KR 20110134086A
Authority
KR
South Korea
Prior art keywords
template
weighted
image
matching
foreground
Prior art date
Application number
KR1020100053873A
Other languages
English (en)
Other versions
KR101153108B1 (ko
Inventor
최홍석
Original Assignee
(주)넥스리얼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스리얼 filed Critical (주)넥스리얼
Priority to KR1020100053873A priority Critical patent/KR101153108B1/ko
Publication of KR20110134086A publication Critical patent/KR20110134086A/ko
Application granted granted Critical
Publication of KR101153108B1 publication Critical patent/KR101153108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 물체 추적 장치에 대한 것으로서, 이 장치는 입력 이미지에 대하여 가중 매칭 또는 템플릿 매칭을 선택하는 모드 선택부, 초기 입력 이미지로부터 타겟 물체를 정의하는 템플릿을 추출하는 검출부, 상기 템플릿과 현재 입력 이미지에서의 후보 이미지에 대하여 전경에 속할 정도를 가중한 템플릿 가중 이미지 및 후보 가중 이미지를 생성하고, 상기 템플릿 가중 이미지 및 후보 가중 이미지의 화소 값을 곱하여 전경 가중 이미지를 생성하는 가중 이미지 연산부, 상기 템플릿 가중 이미지와 전경 가중 이미지를 이용하여 가중 매칭 움직임 매개변수를 연산하는 가중 매칭부, 그리고 상기 전경 가중 이미지, 상기 템플릿 그리고 상기 입력 이미지를 사용하여 템플릿 매칭움직임 매개변수를 연산하는 템플릿 매칭부를 포함한다. 따라서, 강인성 및 실시간 연산문제를 해결할 수 있는 알고리즘을 제안함으로써 관련 사업 분야에서 상품화하는데 기술적 우위를 선점할 수 있다. 또한, CPU와 메모리 사용량이 적어서 제작비용을 절감할 수 있다.

Description

물체 추적 장치 {THE OBJECT TRACKING DEVICE}
본 발명은 물체 추적 장치에 관한 것이다. 특히 본 발명은 전경 가중 요소와 구속 최적화 기법을 이용한 물체 추적 장치에 관한 것이다.
물체 추적 장치는 카메라 등에 장착되어 타겟 물체를 추적하면서 촬영을 진행할 수 있는 장치이다.
종래의 물체 추적 알고리즘은 영상에서 추적하고자 하는 물체를 정의하고, 이러한 물체에 대하여 다음 입력 이미지에서 유사한 이미지 영역이 있는 위치를 추적하는 방법으로 이루어진다.
그러나, 이러한 추적 방법은 물체의 형태나 조명상태가 변화하거나 물체가 배경에 일부 가려지는 경우에는 정확성이 떨어지는 단점이 있다. 또한 최근에 제시된 추적 방법들도 연산량이 많다는 문제점을 가지고 있다.
본 발명이 이루고자 하는 기술적 과제는, 영상에서 움직이는 물체를 강인하고 정확하게 실시간으로 추적할 수 있는 효율적인 방법을 제공하는 것이다.
본 발명에 따르면, 현재 입력 이미지에 대하여 가중 매칭 또는 템플릿 매칭을 선택하는 모드 선택부, 초기 입력 이미지로부터 타겟 물체를 정의하는 템플릿을 추출하는 검출부, 상기 템플릿과 상기 현재 입력 이미지을 이용하여 템플릿 가중 이미지 및 후보 가중 이미지를 생성하고, 상기 템플릿 가중 이미지 및 후보 가중 이미지를 이용하여 전경 가중 이미지를 생성하는 가중 이미지 연산부, 상기 템플릿 가중 이미지와 상기 전경 가중 이미지를 이용하여 가중 매칭 움직임 매개변수를 연산하는 가중 매칭부, 그리고 상기 전경 가중 이미지, 상기 템플릿 그리고 상기 현재 입력 이미지를 사용하여 템플릿 매칭 움직임 매개변수를 연산하는 템플릿 매칭부를 포함한다.
상기 가중 매칭부는 다음의 수학식의 함수 값의 최소를 충족하는 상기 가중매칭 움직임 매개변수를 연산할 수 있다.
Figure pat00001
(이때,
Figure pat00002
는 상기 움직임 매개변수,
Figure pat00003
는 상기 템플릿 가중 이미지,
Figure pat00004
는 상기 전경 가중 이미지를 각각 나타냄).
상기 템플릿 매칭부는
Figure pat00005
(
Figure pat00006
는 구속함수,
Figure pat00007
는 유효 영역을 나타냄)을 구속조건으로 사용하여 , 다음의 수학식의 함수 값의 최소를 충족하는 상기 템플릿 매칭 움직임 매개변수를 연산할 수 있다.
Figure pat00008
(이때, 벡터
Figure pat00009
는 i번째 원소의 값으로
Figure pat00010
과
Figure pat00011
의 i번째 원소들의 곱을 사용한다. 여기서
Figure pat00012
는 상기 전경 가중 이미지,
Figure pat00013
는 상기 템플릿,
Figure pat00014
는 상기 후보 이미지를 각각 나타냄.)
상기 모드 선택부는 상기 가중 매칭부 또는 상기 템플릿 매칭부를 선택적으로 구동하여 상기 가중 매칭 움직임 매개변수 또는 상기 템플릿 매칭 움직임 매개변수를 출력으로 정의할 수 있다.
상기 모드 선택부는 상기 가중 매칭부와 상기 템플릿 매칭부를 함께 구동할 수 있다.
상기 가중 매칭 움직임 매개변수와 상기 템플릿 매칭 움직임 매개변수의 합을 출력 물체 위치를 나타내는 움직임 매개변수로 정의할 수 있다.
상기 물체 추적 장치는 상기 템플릿 및 전경 정보를 저장하고 있는 메모리를 더 포함할 수 있다.
상기 메모리에 저장되어 있는 상기 템플릿 및 상기 전경 정보는 입력 이미지마다 업데이트될 수 있다.
본 발명에 따르면, 강인성 및 실시간 연산문제를 해결할 수 있는 물체 추적알고리즘을 제안함으로써 관련 사업 분야에서 상품화하는데 기술적 우위를 선점할 수 있다. 또한, CPU와 메모리 사용량이 적어서 제작비용을 절감할 수 있다.
이와 같이, CPU와 메모리를 적게 소모한다는 특징을 가지고 있어서 PC에 의존하던 기존의 물체추적 제품을 내장형(Embedded) 시스템에서 응용할 수 있다. 또한, 최적화 과정에서 수렴영역(convergence area)이 넓다는 알고리즘의 특징 때문에 빠르게 움직이는 물체나 움직이는 카메라(Pan-Tilt-Zoom camera)에도 적합하다.
도 1은 본 발명의 실시예에 따른 물체 추적 장치의 구성도이다.
도 2a 및 도 2b는 초기 입력 이미지와 현재 입력 이미지에서 관심 영역을 정의한 사진이다.
도 3는 본 발명의 실시예에 따른 전경 가중 이미지의 연산을 수행하는 도면이다.
도 4는 본 발명의 효과를 나타내는 사진이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 물체 추적 장치에서 작은 양의 연산으로 가중 매칭 또는 템플릿 매칭을 수행함으로써 강인성, 정확성 및 신속성을 얻는다.
이하에서는 도 1 을 참고하여 본 발명의 실시예에 따른 물체 추적 장치(100)에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 물체 추적 장치의 구성도이고, 도 2a 및 도 2b는 초기 입력 이미지와 현재 입력 이미지에서 관심영역을 정의한 사진이다.
도 1을 참고하면, 본 발명에 따른 물체 추적 장치(100)는 모드 선택부(110), 검출부(120), 가중 이미지 연산부(130), 메모리(160), 가중 매칭부(140) 및 템플릿 매칭부(150)를 포함한다.
모드 선택부(110)는 입력 이미지
Figure pat00015
를 수신하며, 가중 매칭부(140) 또는 템플릿 매칭부(150)에 대하여 어떤 모드를 선택하여 동작할 것을 명령한다. 또는 모드 선택부(110)는 가중 매칭 및 템플릿 매칭을 모두 선택할 수도 있다.
검출부(120)는 초기 입력 이미지
Figure pat00016
로부터 템플릿
Figure pat00017
을 추출하여 메모리(160)에 저장시킨다.
가중 이미지 연산부(130)는 입력 이미지
Figure pat00018
와 템플릿
Figure pat00019
를 수신하고, 메모리(160)에 저장되어 있는 전경 정보를 사용하여 템플릿 가중 이미지
Figure pat00020
와 후보 가중 이미지
Figure pat00021
및 전경 가중 이미지
Figure pat00022
를 연산한다.
가중 매칭부(140)는 템플릿 가중 이미지
Figure pat00023
와 전경 가중이미지
Figure pat00024
를 수신하고, 가중 매칭 목적 함수에 따라 연산하여 가중 매칭 움직임 매개변수
Figure pat00025
를 연산한다.
템플릿 매칭부(150)는 구속 함수
Figure pat00026
를 연산한다. 그리고 입력 이미지
Figure pat00027
, 전경 가중 이미지
Figure pat00028
와 템플릿
Figure pat00029
을 수신하고, 템플릿 매칭 목적 함수 및 구속 함수에 따라 연산하여 템플릿 매칭 움직임 매개변수
Figure pat00030
를 연산한다.
모드 선택부(110)에서 가중 매칭과 템플릿 매칭을 모두 선택하는 경우, 가중 매칭부(140)가 출력하는 가중 매칭 움직임 매개변수
Figure pat00031
및 템플릿 매칭부(150)가 출력하는 템플릿 매칭 움직임 매개변수
Figure pat00032
를 합하여 통합 움직임 매개변수를 출력한다.
메모리(160)는 템플릿
Figure pat00033
및 전경 정보를 저장하고 있으며, 각 입력 이미지에서 해당 데이터가 업데이트된다. 또한, 이전 입력 이미지에서 연산된 움직임 매개변수를 기억하고 있다.
본 발명의 물체 추적 장치(100)는 제어부(도시하지 않음)를 더 포함할 수 있으며, 제어부는 움직임 매개변수를 수신하고, 움직임 매개변수에 따라 물체 추적 장치(100)의 운동을 제어할 수 있다.
이하에서는 본 발명의 물체 추적 장치(100)에 대하여 상세히 설명한다.
도 2a는 초기 입력 이미지에서의 템플릿 영역과 검색 영역을 나타낸 것이고, 도 2b는 현재 입력 이미지에서의 타겟 이미지를 나타낸 것이다.
도 2a 및 도 2b를 참고하면, 초기 입력 이미지
Figure pat00034
에서 추적하고자 하는 물체(target object)를 사각형 모양의 이미지에서 표현하고, 그 밝기(brightness)를 나타내는 데이터를 템플릿
Figure pat00035
로 정의한다. 이러한 템플릿
Figure pat00036
의 정의는 검출부(120)에서 수행되며 검출부(120)는 생성된 템플릿
Figure pat00037
을 메모리(160)에 저장하고 필요에 따라 템플릿
Figure pat00038
을 업데이트한다.
n개의화소수를 가지는 사각형 모양의 템플릿
Figure pat00039
에서의 i번째 화소의 위치를
Figure pat00040
라고 한다면, 템플릿
Figure pat00041
은 수학식 1의 벡터로 표현한다.
[수학식 1]
Figure pat00042
위에서 t는 시간을 의미한다.
한편, 도 2b에서 현재 입력 이미지(t)에서의 검색영역(search area, 물체가 위치할 수 있는 후보 영역)은 직전 입력 이미지(t-1)에서의 움직임 매개변수를 이용하여 정의한다.
현재 입력 이미지(t)과 이전 입력 이미지(t-1) 사이에서 물체의 위치 이동을 움직임 매개변수
Figure pat00043
로 정의하고, 변환 함수
Figure pat00044
를 움직임 매개변수
Figure pat00045
를 사용하여 이전 입력 이미지의
Figure pat00046
의 위치에 있는 화소를 현재 입력 이미지에서의 후보 이미지
Figure pat00047
로 변환시키는 함수라고 한다면, 후보 이미지
Figure pat00048
는 수학식 2와 같이 현재 입력 이미지와 움직임 매개변수
Figure pat00049
로부터 정의할 수 있다.
[수학식 2]
Figure pat00050
한편,템플릿
Figure pat00051
과 후보 이미지 영역
Figure pat00052
은 실제로 타겟 물체에 해당하는 전경 화소 영역과 그 이외의 영역인 후경 화소 영역으로 구분된다.
그리고, 템플릿
Figure pat00053
과 후보 이미지
Figure pat00054
로부터 계산되는 가중 이미지를 각각 템플릿 가중 이미지
Figure pat00055
와 후보 가중 이미지
Figure pat00056
로 정의한다.
가중 이미지는
Figure pat00057
공간의 벡터로 정의되며 각 화소의 가중치 값은, 해당 픽셀이 전경에 속할 수 있는 정도를 나타내며 0과 1사이에서 정해진다. 예를 들어, 가중치 값이 1의 값을 가지면 해당 위치의 이미지 화소가 전경에 포함될 확률이 가장 높은 상태를 의미한다.
이때, 도 3과 같이 템플릿 가중 이미지
Figure pat00058
와 후보 가중 이미지
Figure pat00059
의 화소를 곱하여 수학식 3과 같이 전경 가중 이미지
Figure pat00060
를 정의한다.
[수학식 3]
Figure pat00061
Figure pat00062
는 도 3과 같이, 전경과 후경에 해당하는 임의의 화소의 값이 1과 0으로 주어진다면, 동일한 위치의 화소에서 템플릿 가중 이미지와 후보 가중 이미지가 동시에 1의 값을 가질 때에만 전경 가중 이미지 화소 값이 1을 갖게 된다.
한편, 본 발명에서는 사용하는 가중 이미지의 원소값은 다양한 방법으로 연산이 가능하다. 예를 들어 확률밀도함수(probability density function, pdf)를 이용하여 통계적으로 근사화할 수도 있고, 물체의 특성 정보를 이용하여 결정할 수도 있다.
가중 이미지 연산부(130)는 가중 이미지 생성을 위한 전경 정보를 메모리(160)에 저장하고 업데이트하는 역할을 한다.
다음으로 가중 매칭부(140) 및 템플릿 매칭부(150)는 가중 매칭 움직임 매개변수
Figure pat00063
와 템플릿매칭 매개변수
Figure pat00064
를 연산한다.
먼저 가중 매칭부(140)에서 수행되는 가중 매칭 움직임 매개변수
Figure pat00065
의 연산을 설명한다.
가중 매칭부(140)는 템플릿 가중 이미지
Figure pat00066
와 전경 가중 이미지
Figure pat00067
를 이용하여 수학식 4와 같은 가중 매칭 목적 함수를 사용한다.
[수학식 4]
Figure pat00068
Figure pat00069
는 L2 놈(norm)을 의미한다.
이때,
Figure pat00070
의 함수 값을 최소로 만드는 움직임 매개변수
Figure pat00071
를 구하여 추적 물체의 위치를 선정한다.
본 발명에 따른
Figure pat00072
의 함수를 최소로 하는 가중 매칭 움직임 매개변수
Figure pat00073
를 결정하는 방법으로는 반복적인 최적화기법(iterative optimization)을 사용한다. 루카스-카나데 알고리즘 (Lucas-Kanade algorithm)을 이용하면, k번째 스텝에서의 움직임 매개변수 변화량
Figure pat00074
을 수학식 5와 같이 정의할 수 있다.
[수학식 5]
Figure pat00075
여기에서
Figure pat00076
는 k번째 스텝에서의 움직임 매개변수 변화값을 의미하고
Figure pat00077
이다. 그리고
Figure pat00078
는
Figure pat00079
에 대한
Figure pat00080
의 야코비안 행렬(Jacobian matrix)을 나타낸다.
최종적으로 본 발명에 따른 가중 매칭부(140)에서의 가중 매칭 움직임 매개변수
Figure pat00081
는 수학식 6과 같다.
[수학식 6]
Figure pat00082
가중 매칭은 전경 정보를 이용하기 때문에 물체가 변형이 크거나 빠르게 움직이는 경우에도 강인한 물체 추적 결과를 얻을 수 있다. 예를 들어, 도 4와 같이 물체의 일부가 가려지는 경우를 포함하여 조명의 변화, 물체의 스케일이 변하거나 물체가 회전하는 경우 등에서도 물체 추적이 가능하다.
이러한 가중 매칭 목적 함수는 구속 조건이 없는 최적화 알고리즘을 사용하기에 적합하며, 이를 통해 물체 위치를 빠르게 계산할 수 있다.
한편, 공간(Spatial) 정보가 부족하여 물체와 비슷한 배경이 존재하는 경우에는 선별특성(물체와 배경을 구분하는 특성)이 높은 템플릿 매칭부(150)를 구동한다.
템플릿 매칭부(150)는 전경 가중 이미지
Figure pat00083
, 템플릿
Figure pat00084
과 후보 영상 이미지
Figure pat00085
를 사용하여 템플릿 매칭 목적 함수
Figure pat00086
와 구속 함수
Figure pat00087
를 생성한다.
[수학식 7]
Figure pat00088
여기서 벡터
Figure pat00089
는 i번째 원소의 값으로 전경 가중 이미지
Figure pat00090
과
Figure pat00091
의 i번째 원소들의 곱을 사용한다.
Figure pat00092
는 템플릿,
Figure pat00093
는 후보 이미지를 각각 나타낸다.
[수학식 8]
Figure pat00094
Figure pat00095
는 상수값으로 사용할 수도 있고 입력 이미지마다 설정할 수도 있다. 예를 들어
Figure pat00096
으로 사용할 수 있다.
템플릿 매칭부(150)는
Figure pat00097
조건에서
Figure pat00098
값을 최소로 만드는 템플릿 매칭 움직임 매개변수를 반복적인 최적화기법에 의해연산한다. 즉, 루카스-카나데 알고리즘을 이용하면, k번째 스텝에서의 움직임 매개변수 변화량
Figure pat00099
을 수학식 9와 같이 정의할 수 있다.
[수학식 9]
Figure pat00100
여기에서
Figure pat00101
는 k번째 스텝에서의 템플릿 매칭 움직임 매개변수값을 의미하고
Figure pat00102
이다. 그리고
Figure pat00103
는
Figure pat00104
에 대한
Figure pat00105
의 야코비안 행렬을 나타낸다.
본 발명은 수학식 9를 이용하는 과정에서 구속조건
Figure pat00106
를 검토한다. 만일 구속조건을 만족시키지 못할 경우에는 아래의 수학식 10과 수학식 11의 그레디언트 프로젝션 방법으로 움직임 매개변수에 대한 연산을 추가적으로 수행하도록 한다.
[수학식 10]
Figure pat00107
여기서
Figure pat00108
는 그레디언트 프로젝션 방법으로 계산된 템플릿 매칭 움직임 매개변수의 이동방향이고
Figure pat00109
이다.
[수학식 11]
Figure pat00110
여기서
Figure pat00111
는 그레디언트 프로젝션 방법으로 계산된 템플릿 매칭 움직임 매개변수의 크기를 의미하며
Figure pat00112
는 감쇠비율을 나타내는 상수이다 (예를 들어, 10%감소인 경우는 0.1).
한편, 구속함수
Figure pat00113
가 비선형 특성이 있는 경우에는 위의 수학식 10과 수학식 11의 결과가 구속조건을 만족하지 못하게 된다. 이런 경우에는 아래의 수학식 12와 같은 복귀(Restoration) 움직임 매개변수를 구한다.
[수학식 12]
Figure pat00114
위에서
Figure pat00115
는
Figure pat00116
이고
Figure pat00117
와
Figure pat00118
가 충분히 가까운 상태가 될 때까지 수학식 12의 반복적인 연산을 수행한다.
최종적으로 본 발명에 따른 템플릿 매칭부(150)에서의 움직임 매개변수
Figure pat00119
는 수학식 13과 같다.
[수학식 13]
Figure pat00120
이와 같이 템플릿 매칭부(150)는 전경 가중 이미지를 유사도 측정 함수에 적용하여 목적 함수를 생성하고 전경 픽셀수와 관련한 구속 함수를 정의한다.
이러한 템플릿 매칭부(150)는 전경 가중 이미지와 입력 이미지의 화소 정보를 이용하기 때문에 강인하고 정확한 물체 추적 결과를 얻을 수 있다.
또한, 주어진 목적 함수와 비선형 구속 함수는 구속최적화 문제로 구현하며, 복귀 벡터를 포함하는 그레디언트 프로젝션 방법을 이용하여 움직임 매개변수 값을 구하기에용이하다.
한편, 모드 선택부(110)가 가중 매칭부(140)와 템플릿 매칭부(150)를 모두 선택하는 경우, 가중 매칭의 결과값을 템플릿 매칭의 초기값으로 사용할 수 있다. 즉, 가중 매칭의 결과값을 템플릿 매칭의 시작 위치로 사용하고, 이전 입력 이미지(t-1)에서의 템플릿 매칭의 결과값을 현재 입력 이미지(t)에서의 가중 매칭의 시작 위치로 사용할 수 있다. 이렇게 하면, 가중 매칭과 템플릿 매칭을 순서대로 진행하면서 그 합을 움직임 매개변수로 계산할 수 있다.
현재 입력 이미지(t)에서 가중 매칭 움직임 매개변수
Figure pat00121
와 템플릿매칭 움직임 매개변수
Figure pat00122
을 사용하여, 시간 t에서 최적의 움직임 매개변수 값
Figure pat00123
을 다음의 수학식 14에서 연산할 수 있다.
[수학식 14]
Figure pat00124
한편, 메모리(160)는 움직임 매개변수, 전경 정보와 템플릿을 저장하고, 템플릿 매칭의 결과값을 이용하여 각 데이터를 업데이트할 수 있다.
가중 이미지 연산부(130)는 업데이트된 값들로부터 전경 가중 이미지를 생성할 수 있다.
이와 같이, 본 발명에 따른 물체 추적 장치를 사용하는 경우, 타겟 물체에 대하여 템플릿과 가중 이미지를 분석하면, 도 4와 같이 물체가 임의의 동작에 의해 식별이 어려운 상황에서 타겟 물체를 추적할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
물체 추적 장치(100)
모드 선택부(110)
검추부
가중 이미지 연산부(130)
가중 매칭부(140)
템플릿 매칭부(150)
메모리(160)

Claims (9)

  1. 입력 이미지에 대하여 가중 매칭 또는 템플릿 매칭을 선택하는 모드 선택부,
    초기 입력 이미지로부터타겟 물체를 정의하는 템플릿을 추출하는 검출부,
    상기 템플릿과 입력 이미지에 대하여 전경 정보를 이용한 템플릿 가중 이미지 및 후보 가중 이미지를 생성하고, 상기 템플릿 가중 이미지 및 후보 가중 이미지를 이용하여 전경 가중 이미지를 생성하는 가중 이미지 연산부,
    상기 템플릿 가중 이미지와 상기 전경 가중 이미지를 이용하여 가중 매칭 움직임 매개변수를 연산하는 가중 매칭부, 그리고
    상기 전경 가중 이미지, 상기 템플릿 그리고 상기 입력 이미지를 사용하여 템플릿 매칭 움직임 매개변수를 연산하는 템플릿 매칭부
    를 포함하는
    물체 추적 장치.
  2. 제1항에 있어서,
    상기 가중 이미지 연산부는
    복수의 이미지에서 공통적으로 전경 정보를 가지고 있는 화소를 연산하는
    물체 추적 장치.
  3. 제2항에있어서,
    상기 가중 매칭부는 다음의 수학식의 함수 값을 최소로 만드는 상기가중매칭 움직임 매개변수를 연산하는
    물체 추적 장치.
    Figure pat00125

    (이때,
    Figure pat00126
    는 상기 템플릿 가중 이미지,
    Figure pat00127
    는 상기 전경 가중 이미지를 각각 나타냄.)
  4. 제3항에 있어서,
    상기 템플릿 매칭부는
    Figure pat00128
    (
    Figure pat00129
    는 구속함수,
    Figure pat00130
    는 유효 영역 나타냄)을 구속조건으로 사용하여, 다음의 수학식의 함수 값을 최소로 만드는 상기 템플릿 매칭 움직임 매개변수를 연산하는
    물체 추적 장치.
    Figure pat00131

    (이때, 벡터
    Figure pat00132
    는 i번째 원소의 값으로 과
    Figure pat00134
    의 i번째 원소들의 곱을 사용한다.
    Figure pat00135
    는 상기 전경 가중 이미지,
    Figure pat00136
    는 상기 템플릿,
    Figure pat00137
    는 상기 후보 이미지를 각각 나타냄.)
  5. 제4항에있어서,
    상기 모드 선택부는
    상기 가중 매칭부 또는 상기 템플릿 매칭부를 선택적으로 구동하여 상기 가중 매칭 움직임 매개변수 또는 상기 템플릿 매칭 움직임 매개변수를 출력 물체 위치로 정의하는
    물체 추적 장치.
  6. 제4항에 있어서,
    상기 모드 선택부는
    상기 가중 매칭부와 상기 템플릿 매칭부를 함께 구동하는
    물체 추적 장치.
  7. 제6항에 있어서,
    상기 가중 매칭 움직임 매개변수와 상기 템플릿 매칭 움직임 매개변수의 합을 출력 물체 위치를 나타내는 움직임 매개변수로 정의하는
    물체 추적 장치.
  8. 제5항 또는 제7항에 있어서,
    상기 물체 추적 장치는
    상기 템플릿, 상기 움직임 매개변수 및 상기 전경정보를 저장하고 있는 메모리를 더 포함하는
    물체 추적 장치.
  9. 제8항에있어서,
    상기 메모리에 저장되어 있는 상기 템플릿, 상기 움직임 매개변수 및 상기 전경정보는 입력 이미지마다 업데이트되는
    물체 추적 장치.
KR1020100053873A 2010-06-08 2010-06-08 물체 추적 장치 KR101153108B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100053873A KR101153108B1 (ko) 2010-06-08 2010-06-08 물체 추적 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100053873A KR101153108B1 (ko) 2010-06-08 2010-06-08 물체 추적 장치

Publications (2)

Publication Number Publication Date
KR20110134086A true KR20110134086A (ko) 2011-12-14
KR101153108B1 KR101153108B1 (ko) 2012-06-04

Family

ID=45501553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100053873A KR101153108B1 (ko) 2010-06-08 2010-06-08 물체 추적 장치

Country Status (1)

Country Link
KR (1) KR101153108B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081020A1 (en) 2016-10-24 2018-05-03 Carlabs Inc. Computerized domain expert

Also Published As

Publication number Publication date
KR101153108B1 (ko) 2012-06-04

Similar Documents

Publication Publication Date Title
JP4633841B2 (ja) 歩行者の追跡による、ビデオ系列からの３次元道路配置の推定
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
Wang et al. Monocular 3d object detection with depth from motion
TW202101371A (zh) 視訊流的處理方法和裝置
Krull et al. 6-dof model based tracking via object coordinate regression
CN105957110B (zh) 用于检测对象的设备和方法
JP2017223648A (ja) 飛行時間型深度イメージングの際の消費電力の低減
Greene et al. Multi-level mapping: Real-time dense monocular slam
Zuo et al. Devo: Depth-event camera visual odometry in challenging conditions
CN108734120A (zh) 标注图像的方法、装置、设备和计算机可读存储介质
JP2021506017A (ja) 物体検出器及び物体検出方法
US20180005039A1 (en) Method and apparatus for generating an initial superpixel label map for an image
El Bouazzaoui et al. Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
Xiao et al. Accurate extrinsic calibration between monocular camera and sparse 3D lidar points without markers
Tosi et al. How nerfs and 3d gaussian splatting are reshaping slam: a survey
Ma et al. Deep feedback inverse problem solver
Park et al. Depth is all you need for monocular 3d detection
US11875518B2 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
CN116883897A (zh) 一种低分辨率目标识别方法
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
Su et al. An efficient human-following method by fusing kernelized correlation filter and depth information for mobile robot
KR101153108B1 (ko) 물체 추적 장치
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN111144441B (zh) 一种基于特征匹配的dso光度参数估计方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
AMND Amendment
E90F Notification of reason for final refusal
GRNT Written decision to grant
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20170519

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180620

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 8