KR100951793B1 - 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법 - Google Patents

타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법 Download PDF

Info

Publication number
KR100951793B1
KR100951793B1 KR1020080001428A KR20080001428A KR100951793B1 KR 100951793 B1 KR100951793 B1 KR 100951793B1 KR 1020080001428 A KR1020080001428 A KR 1020080001428A KR 20080001428 A KR20080001428 A KR 20080001428A KR 100951793 B1 KR100951793 B1 KR 100951793B1
Authority
KR
South Korea
Prior art keywords
model
head
ellipsoid
head tracking
tracking method
Prior art date
Application number
KR1020080001428A
Other languages
English (en)
Other versions
KR20090075536A (ko
Inventor
최석원
김대진
이주영
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020080001428A priority Critical patent/KR100951793B1/ko
Publication of KR20090075536A publication Critical patent/KR20090075536A/ko
Application granted granted Critical
Publication of KR100951793B1 publication Critical patent/KR100951793B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 의한 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법은, 입력된 영상에서 머리를 찾아 타원체 모델을 초기화하는 단계; 적응형 상태 전이 모델을 이용하여 움직임을 예측하여 파티클을 생성하는 단계; 최적의 파티클을 결정하는 단계; 최적의 파티클에서 완전 3차원 움직임 복구(full 3D motion recovery)를 수행하는 단계; 및 다음 입력될 영상을 위하여 관측 모델을 갱신하는 단계를 포함한다.
본 발명의 머리 추적 방법은 머리의 움직임이 아주 빠르고 좌우 회전이 큰 경우에도 그 움직임을 예측하여 파티클을 생성하기 때문에 적은 수의 파티클과 적은 연산 량으로 머리를 추적할 수 있는 효과를 얻을 수 있다.
본 발명은 기본적으로 C++ 언어를 이용하여 구현되었으며, 로봇에 탑재 가능한 형태로 설계되었다. 그리하여, C++언어를 컴파일하고, 실행할 수 있는 모든 플렛폼(Windows, Linux 등)에 탑재될 수 있다.

Description

타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법{Robust head tracking method using ellipsoidal model in particle filters}
본 발명은 표정 인식과 같은 컴퓨터 비전 시스템의 전단부에서 사용할 수 있는 머리(또는 얼굴) 추적 방법에 관한 것으로서, 보다 상세하게는 머리가 빠르게 이동하거나 포즈가 정면에서 심하게 벗어난 경우에도 머리 움직임을 예측하고 예측된 공간 주변에 파티클을 생성하여 머리를 추적하는 머리 추적 방법에 관한 것이다.
일반적으로 2차원 머리 모델을 이용하는 경우에는 속도가 빠르고 좋은 추적성능을 보이지만, 얼굴 포즈가 정면에서 벗어날 경우에는 추적이 상당히 힘들다.
이러한 약점을 보완하기 위해 3차원 머리 모델을 이용할 수 있는데, 3차원 머리 모델 중 타원체 모델이 머리를 가장 합리적으로 묘사한다. 기존의 실린더 모델과 같은 경우, 이마 부분의 곡선을 잘 표현하지 못하기 때문에 머리가 빠르게 끄덕일 때는 이를 잘 표현하지 못한다는 단점이 있었다.
그러나, 3차원 머리 모델 중 타원체 모델을 이용한 머리 추적 기술은 아직은 연구실 환경에서 연구되고 있는 첨단 분야로, 구체적인 제품으로 시장에 적용된 사 례는 없다.
머리 추적 기술에 대한 참고문헌으로서,
1) REAL-TIME HEAD TRACKING SYSTEM FOR COMPUTER GAMES AND OTHER APPLICATIONS (특허공개번호 : US 20070066393 A1),
2) Machine vision system and method for estimating and tracking facial pose (특허공개번호 : US 20050196018 A1)를 들 수 있으며, 그외 논문으로서
3) B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence, pp. 674-679, 1981,
4) A. D. Jepson, D. J. Fleet, and T. El-Maraghi, Robust online appearance model for visual tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 10, pp. 1296-1311, 2003,
5) S. Zhou, R. Chellappa, and B. Moghaddam, Visual tracking and recognition using appearance-adaptive models in particle filters, IEEE Transactions on Image Processing, vol. 13, no. 11, pp. 1491-1506, 2004 를 들 수 있다.
본 발명이 이루고자 하는 기술적 과제는 상술한 종래 기술의 문제점을 해결하기 위하여, 머리의 빠른 이동과 정면 포즈에서 벗어난 경우에도 강인한 추적 성능을 보이며, 특히 끄덕이는 머리 동작에서도 안정적인 성능을 보여주는 타원체와 같은 3차원 모델을 이용한 파티클 필터에서의 머리 추적 방법을 제공하는 데 있다.
본 발명의 기술적 과제를 달성하기 위하여, 본 발명은 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법에 있어서,
(a) 입력된 영상에서 머리를 찾아 타원체 모델을 초기화 하는 단계;
(b) 적응형 상태전이 모델을 이용하여 움직임을 예측하여 파티클을 생성하는 단계;
(c) 최적의 파티클을 결정하는 단계;
(d) 최적의 파티클에서 완전 3차원 움직임 복구(full 3D motion recovery)를 수행하는 단계; 및
(e) 다음 입력될 영상을 위하여 관측 모델을 갱신하는 단계를 포함하는 것을 특징으로 하는 파티클 필터에서의 머리 추적 방법을 제공한다.
상술한 바와 같이, 본 발명의 머리 추적 방법은 타원체 모델을 이용하기 때문에 머리의 포즈가 정면에서 벗어난 경우에도 잘 추적할 수 있다. 또한 머리의 위 치를 미리 예측하여 파티클을 생성하기 때문에, 파티클을 생성할 매개변수(parameter) 공간을 제한하여 필요한 파티클의 수를 줄일 수 있으며, 그에 따른 계산량의 감소를 기대할 수 있다. 따라서 빠르게 좌우로 움직이며 이동하는 머리를 실시간으로 추적할 수 있는 효과를 제공한다.
우선 본 발명의 머리 추적 방법에 적용되는 기술에 대하여 설명하기로 한다.
타원체 모델의 초기화 알고리즘은 아다부스트(AdaBoost) 학습에 기반한 얼굴 검출 알고리즘과 능동 외관 모델(Active Appearance Model;AAM)에 기반한 얼굴 맞춤(fitting) 알고리즘을 사용하여 타원체의 세 반지름과 카메라로부터의 상대적인 3차원 좌표를 초기화한다.
타원체 모델은 다른 모델에 비해 모델의 자유도가 작고 실제 머리 모형과 유사하기 때문에 얼굴 포즈변화에도 정확히 추적가능하며, 실린더 모델과 달리 이마의 곡선 모형을 잘 묘사하고 있어 끄덕이는 머리 동작에 대해서도 강인한 추적 성능을 보여준다.
파티클 필터의 상태전이 모델에 기존의 움직임 정보를 이용하여 움직이는 얼굴의 위치를 예측한다. 얼굴의 움직임이 등가속 모델(constant acceleration model)을 따른다고 가정하고, 다음 수학식 1과 같은 과정을 통하여 유효 속도(effective velocity) (
Figure 112008000879141-pat00001
)를 계산해낸다.
Figure 112008000879141-pat00002
Figure 112008000879141-pat00003
Figure 112008000879141-pat00004
Figure 112008000879141-pat00005
여기에서,
Figure 112008000879141-pat00006
는 t 시점에서의 파라미터 벡터이고,
Figure 112008000879141-pat00007
는 t 시점에서의 속도 벡터이고,
Figure 112008000879141-pat00008
는 t 시점에서의 가속도 벡터이고,
Figure 112008000879141-pat00009
는 t 시점에서의 예측된 속도 벡터이고,
Figure 112008000879141-pat00010
는 t+1 시점에서의 예측된 최종 속도 벡터이다.
위의 정보를 토대로 다음 수학식 2와 같은 적응형 상태전이 모델을 설계하여 파티클을 생성해낸다.
Figure 112008000879141-pat00011
여기서,
Figure 112008000879141-pat00012
는 t 시점에서의 파라미터 벡터이고,
Figure 112008000879141-pat00013
는 t+1 시점에서의 예측된 최종 속도 벡터이고,
Figure 112008000879141-pat00014
는 t+1 시점에서의 노이즈이다.
상기 파티클 필터에서 사용하는 관측 모델은 온라인 외관 모델(Online Appearance Model; OAM)에 기반한 적응형 관측 모델이다. 이 모델은 고정된 템플릿이나 이동형 (wandering) 모델과 같은 단순한 모델들의 단점을 보완하여 안정적인 관측 모델을 제공한다. 3차원 머리 추적을 위해 사용하는 수정 (Modified) OAM은 다음과 같은 가우시안 분포를 따르는 세 개의 컴포넌트로 이루어져 있다.
수정 OAM은 장기적인 외관 (appearance) 변화를 모델링하는 S 컴포넌트(component), 단기적인 외관 변화를 모델링하는 W 컴포넌트, 그리고 정면 얼굴의 외관을 모델링하는 T 컴포넌트로 이루어진다. 각 컴포넌트는 혼합 평균 (mixture mean), 즉
Figure 112008000879141-pat00015
, 혼합 분산(mixture variance), 즉
Figure 112008000879141-pat00016
, 혼합 확률(mixing probability), 즉
Figure 112008000879141-pat00017
와 같은 세 가지 값들에 의해 표현된다. 이러한 관측 모델을 이용하여 각 파티클의 가중치를 계산하는데, 이를 계산하는 관측 우호(observation likelihood) 식은 다음 수학식 3과 같다.
Figure 112008000879141-pat00018
Figure 112008000879141-pat00019
Figure 112008000879141-pat00020
Figure 112008000879141-pat00021
여기서,
Figure 112008000879141-pat00022
는 p번째 파티클의 텍스처 맵 이미지이고,
Figure 112008000879141-pat00023
는 t 시점에서의 파라미터 벡터이고,
Figure 112008000879141-pat00024
는 3가지 움직임의 가중(웨이트) 함수이고,
Figure 112008000879141-pat00025
와
Figure 112008000879141-pat00026
는 각각 상하(pitcing) 및 좌우(yawing) 운동 가중함수이고,
Figure 112008000879141-pat00027
는 2차원으로 투사(projection)되면서 밀도가 높은 곳에 있는 픽셀의 가중치(weight)이고,
Figure 112008000879141-pat00028
는 각 성분의 혼합 확률이고,
Figure 112008000879141-pat00029
는 각 성분의 평균이고,
Figure 112008000879141-pat00030
는 각 성분의 표준편차이다.
또한, 최적의 파티클에서 완전 3차원 움직임 복구(full 3D motion recovery)를 수행한다. 이를 위해 루카스-카나데(Lucas-Kanade)(L-K) 알고리즘을 적용한다.
L-K 알고리즘에서는 템플릿 이미지와 입력 영상 이미지 사이의 제곱 오차의 합(sum of squared error)을 최소화하는 매개변수(parameter)를 찾고자 최적화를 수행한다. 최적화를 하고자 하는 목적 함수(objective function)는 다음 수학식 4 와 같다.
Figure 112008000879141-pat00031
여기서,
Figure 112008000879141-pat00032
는 t시점에서의 템플릿 이미지이고,
Figure 112008000879141-pat00033
는 t+1시점에서의 입력 영상 이미지이고,
Figure 112008000879141-pat00034
는 파라미터 벡터이고,
Figure 112008000879141-pat00035
는 이미지의 픽셀 좌표이다.
중요한 픽셀에 더 가중치를 두는 픽셀 재-가중 정책(pixel re-weighting policy), 이전 프레임에서 맞춤(fitting)된 얼굴을 템플릿(template)으로 사용하는 동적 템플릿(dynamic template), 맞춤(fitting)이 잘 안되었을 경우 기준 데이터베이스(reference DB)의 데이터와 비교해서 다시 등록(registration)을 수행하는 재등록(re-registration) 등의 방법을 사용한다.
픽셀의 중요도는 다음 수학식 5와 같은 수식들을 통해 결정된다.
ωI는 사외 거주자(outlier)의 가중치를 줄이기 위해 사용하며, ωG는 중요 한 특징들에 더 많은 가중치를 주기 위해 사용하며, ωD는 밀집된 곳에 있는 샘플 포인트(sample point)들의 가중치를 줄이기 위해 사용하며, ωP와 ωY는 얼굴 중심부에 더 많은 가중치를 주기 위해 사용한다.
Figure 112009046599916-pat00076
Figure 112009046599916-pat00077
Figure 112009046599916-pat00078
Figure 112009046599916-pat00079
Figure 112009046599916-pat00080
여기서,
Figure 112008000879141-pat00041
는 각각 상수이고,
Figure 112008000879141-pat00042
는 t시점에서의 템플릿 이미지이고,
Figure 112008000879141-pat00043
는 t+1시점에서의 입력 영상 이미지이고,
Figure 112008000879141-pat00044
는 사외 거주자를 위한 분포의 표준편차이고,
Figure 112008000879141-pat00045
는 중요한 특징을 위한 분포의 표준편차이고,
Figure 112008000879141-pat00046
와
Figure 112008000879141-pat00047
는 각각 상하운동 각도(pitching angle)
Figure 112008000879141-pat00048
와 좌우운동 각도(yawing angle)
Figure 112008000879141-pat00049
의 표준편차이다.
관측 모델은 맞춤(fitting)이 잘 되었을 경우 갱신해준다. 수정 OAM 각 컴포넌트의 혼합 평균 (mixture mean), 혼합 분산(mixture variance), 혼합 확률(mixing probability) 값들을 갱신하는 방법은 다음 수학식 6과 같다. 우선, 후속 책임 확률(posterior responsibility probability) 과 혼합 확률(mixing probability), 이미지의 1차 모멘트(moment)와 2차 모멘트(moment)를 계산한다.
Figure 112009046599916-pat00085
여기서 ｕ는 픽셀 인덱스를 의미하며, γ는 망각 인자(forgetting factor)를 의미하는 상수이며,
Figure 112009046599916-pat00051
는 x의 가우시안 확률 밀도를 의미하고,
Figure 112009046599916-pat00052
는 3차원 움직임 매개변수(3D motion parameter)
Figure 112009046599916-pat00053
에 대응하는 템플릿 영상(template image)을 의미하는데,
Figure 112009046599916-pat00054
는 시간 t에서 추적된 결과의 3차원 움직임 매개변수를 의미한다. 각 컴포넌트의 혼합 평균 (mixture mean)과 혼합 분산(mixture variance)을 다음 수학식 7과 같이 갱신한다.
Figure 112009046599916-pat00086
여기서,
Figure 112008000879141-pat00056
는 각각 S, W, T 성분의 평균이고,
Figure 112008000879141-pat00057
는 각각 S, W, T 성분의 표준편차이다.
또한 수정 OAM을 갱신하는 방식은 다음과 같다. 3차원 타원체 머리 모델이 이미지 상의 머리에 제대로 맞춤(fitting) 되었을 때에만 수정 OAM의 갱신이 이루어져야 한다. 맞춤(Fitting)이 잘 되었는지를 판단하기 위해 다음과 같은 두 가지 양(quantity)를 정의한다.
첫째, 3차원 타원체(3D ellipsoid) 상의 픽셀 ｕ가 보이는 픽셀인지 아닌지를 결정해야 하는데 이는, 가시 벡터(view vector) υ와 법선벡터 n에 의해 다음 수학식 8과 같이 결정된다.
Figure 112008000879141-pat00058
둘째, 각 컴포넌트마다 사외 거주자(outlier)를 다음 수학식 9와 같이 정의한다.
Figure 112008000879141-pat00059
Figure 112008000879141-pat00060
는 t에서의 p번째 파티클의 텍스처 맵 이미지이고,
Figure 112008000879141-pat00061
는 각 성분의 평균이고,
Figure 112008000879141-pat00062
는 각 성분의 표준편차이다.
여기서
Figure 112008000879141-pat00063
는 픽셀이 사외 거주자(outlier)인지 아닌지를 결정하는 임계값이며, c는 컴포넌트 라벨을 의미하며 S, W, T 값을 가질 수 있다. 이 두 가지의 양(quantity)을 이용하여 전체 사외 거주자(outlier)의 수와 전체 보이는 픽셀 수간의 비율을 다음 수학식 10과 같이 구한다.
Figure 112009046599916-pat00083
따라서 맞춤(fitting)이 잘 되었는지 여부는 다음 수학식 11과 같이 판단한다.
Figure 112008000879141-pat00065
여기서
Figure 112008000879141-pat00066
는 맞춤(fitting)이 잘 되었는지를 판단하는 임계값이다. 맞춤(fitting)이 잘 되었을 경우, 각 컴포넌트를 갱신하고자 시도한다. S와 W 컴포넌트에서 픽셀 ｕ가 보이는 픽셀이라면 혼합 확률(mixing probability), 혼합 평균(mixture mean), 혼합 분산(mixture variance)을 갱신한다. T 컴포넌트의 경우, 얼굴이 정면이라는 조건 또한 만족할 때 갱신이 수행된다.
본 발명의 머리 추적 방법은 일반 PC환경에서 사용할 수 있다.
이하 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 의한 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법을 설명하기 위한 흐름도이다.
도 1에서, 본 발명의 머리 추적 방법은 입력된 영상에서 머리를 찾아 타원체 모델을 초기화 하는 단계(100), 적응형 상태전이 모델을 이용하여 움직임을 예측하는 단계(110), 예측된 곳 주변에 파티클을 생성하는 단계(120), 파티클들의 가중치를 계산하는 단계(130), 최적의 파티클을 결정하는 단계(140), 최적의 파티클에서 완전 3차원 움직임 복구(full 3D motion recovery)를 수행하여 얼굴을 추적하는 단계(150), 및 관측 모델을 갱신하는 단계(170)로 이루어져 있다.
본 발명의 머리 추적 방법은 얼굴 추적 단계(150) 후에 추적이 잘 되었는가를 판단하는 단계(160)를 더 포함하여, 얼굴 추적이 잘 되었다고 판단되면 단계 170으로 진행하여 관측 모델을 갱신하고, 얼굴 추적이 잘 되었다고 판단되지 않으면 단계 180으로 진행하여 이미지가 더 있는가를 판단한다. 단계 180에서 이미지가 더 있으면 루프 반복 횟수에 1을 가산하여(185) 단계 110으로 진행하여 상술한 단계 110 내지 단계 180의 과정을 반복하고, 단계 180에서 이미지가 더 이상 없으면 동작을 종료한다.
도 1에서 왼쪽에 있는 사진들은, 각 과정별로 추적이 진행되고 있는 상황을 보여주고 있다.
도 2는 실제 사람 얼굴의 왼쪽 면과 오른쪽 면에 실린더 모델과 타원체 모델을 맞춤(fitting)시켜 놓은 모습이다. 타원체 모델이 실린더 모델에 비해 사람의 얼굴 모형을 더 잘 표현하고 있다는 것을 알 수 있다. 특히 실린더 모델이 이마의 곡선을 표현하지 못하는데 비해, 타원체 모델은 이마의 곡선을 잘 표현하고 있음을 알 수 있다.
도 3은 일반적인 타원체(ellipsoid)를 보여주고 있다. 실제 텍스쳐 맵(texture map)을 얻어 내기 위해 타원체 표면의 점을 등각으로 샘플링(sampling) 한다. 각도
Figure 112008000879141-pat00067
와
Figure 112008000879141-pat00068
가 주어져 있을 때, 샘플링할 점은 다음과 같이 구할 수 있다.
Figure 112009046599916-pat00084
Figure 112008000879141-pat00070
는 타원체 표면의 위도이고,
Figure 112008000879141-pat00071
는 타원체 표면의 경도이다.
도 4는 재등록(re-registration)을 수행하는 방법을 설명해 놓은 순서도이다.
도 4에서 재등록(Re-registration)은 입력된 영상에서 머리를 찾아 타원체 모델과 템플릿(template) 을 초기화 하는 단계(400, 410), 등록(registration) 수행 단계(420), 등록(registration) 결과 평가 단계(425), 기준데이터베이스(reference DB)에 저장할지 여부를 결정하는 단계(430, 435), 재등록(re-registration) 수행 단계(440, 450), 재등록(re-registration) 평가 단계(455, 460, 470)로 이루어져 있다.
도 4에서, 입력된 영상에서 머리를 찾아 타원체 모델과 템플릿(template) 을 초기화 하는 단계(400, 410)는 타원체와 탬플릿을 초기화하는 단계(410)와 이전 이미지 패치를 탬플릿으로 초기화하는 단계(20)로 이루어진다. 등록(registration) 수행 단계(420)는 현재 입력 이미지와 탬플릿을 이용하여 등록을 수행한다. 등록(registration) 결과 평가 단계(425)는 단계 420에서 등록을 수행한 후 머리 추적이 실패하였는지를 판단하여 실패한 경우 단계 400으로 진행하여 타원체 모델과 템플릿(template) 을 초기화하고, 머리 추적이 성공되면 단계 430으로 진행한다. 기준데이터베이스(reference DB)에 저장할지 여부를 결정하는 단계(430, 435)는 단계 425에서 머리 추적이 성공되면, 머리 포즈가 기준 데이터베이스에 있는가를 판단하여(430), 머리 포즈가 기준 데이터베이스에 있으면 단계 440으로 진행하고, 머리 포즈가 기준 데이터베이스에 있지 않으면 단계 435에서 현재 입력 이미지와 포즈를 기준 데이터베이스에 입력한고 단계 410으로 진행하여, 이전 이미지 패치를 탬플릿으로 초기화한다. 재등록(re-registration) 수행 단계(440, 450)는 단계 440에서 맞춤 오차가 소정의 오차(δ) 보다 큰지를 판단하여 크다면 단계 450으로 진행하여 입력 이미지와 기준 이미지간의 재등록을 수행하고, 크지 않으면 단계 410으로 진행하여 이전 이미지 패치를 탬플릿으로 초기화한다. 재등록(re-registration) 평가 단계(455, 460, 470)는 단계 450에서 재등록이 수행된 후 맞춤 오차가 등록의 맞춤 오차보다 작은지를 판단하여(455), 작으면 단계 470으로 진행하여 재등록 결과를 수용하고, 작지 않으면 단계 460에서 등록 결과를 수용하고 단계 410으로 진행하여 이전 이미지 패치를 탬플릿으로 초기화한다.
상술한 바와 같이, 본 발명의 머리 추적 방법은 머리의 움직임이 아주 빠르고 좌우 회전이 큰 경우에도 그 움직임을 예측하여 파티클을 생성하기 때문에 적은 수의 파티클과 적은 연산 량으로 머리를 추적할 수 있는 효과를 얻을 수 있다.
또한, 본 발명의 머리 추적 방법은 움직임이 없거나, 움직이는 로봇에서의 사람 얼굴 검출이 가능하기 때문에 로봇이 사람 얼굴을 추적해야 하는 제품에는 기본적으로 응용 가능하다. 그리하여, 개인용 서비스 로봇에서의 사람 얼굴 추적(게임 및 기타 소프트웨어) 시스템에 응용할 수 있다.
이로써 본 발명의 머리 추적 방법은 로봇과 같은 이동형 플랫폼에서 사람 얼굴 추적하는 분야 및 움직이지 않는 플랫폼에서 사람 얼굴 추적하는 분야에 적용될 수 있다.
도 1은 본 발명에 의한 머리 추적 방법을 설명하기 위한 흐름도이다.
도 2는 실제 사람 얼굴의 왼쪽 면과 오른쪽 면에 실린더 모델과 타원체 모델을 맞춤(fitting)시켜 놓은 모습을 도시하는 개략도이다.
도 3은 일반적인 타원체(ellipsoid)를 보여주고 있다.
도 4는 재등록(re-registration)을 수행하는 방법을 설명해 놓은 순서도이다.

Claims (6)

  1. 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법에 있어서,
    (a) 입력된 영상에서 머리를 찾아 타원체 모델을 초기화 하는 단계;
    (b) 상기 파티클 필터의 적응형 상태전이 모델을 이용하여 머리의 움직임을 예측하여 파티클을 생성하는 단계;
    (c) 상기 파티클 필터에서 가장 작은 오차를 가지는 파티클을 결정하는 단계;
    (d) 상기 가장 작은 오차를 갖는 파티클의 완전 3차원 움직임 복구(full 3D motion recovery)를 수행하여 머리 추적하는 단계; 및
    (e) 다음 입력될 머리의 움직임에 대하여 상기 파티클 필터의 관측 모델을 상기 머리 추적 결과에 따라서 갱신하는 단계를 포함하는 것을 특징으로 하는 머리 추적 방법.
  2. 제1항에 있어서, 상기 타원체 모델을 초기화하는 단계 (a)는 아다부스트(AdaBoost) 학습에 기반한 얼굴 검출 알고리즘과 능동 외관 모델(Active Appearance Model;AAM)에 기반한 얼굴 맞춤(fitting) 알고리즘을 사용하여 타원체의 세 반지름과 카메라로부터의 상대적인 3차원 좌표를 초기화하는 것을 특징으로 하는 머리 추적 방법.
  3. 제1항 또는 제2항에 있어서, 완전 3차원 움직임 복구(Full 3D motion recovery)를 수행하는 단계 (d)는 픽셀 값의 차이가 크게 나지 않는 픽셀에 가중치를 주는 것을 특징으로 하는 머리 추적 방법.
  4. 제1항 또는 제2항에 있어서, 3차원 머리 추적을 위한 타원체 모델(ellipsoidal model)의 상기 관측 모델을 위하여 수정 온라인 외관 모델(modified OAM)을 사용하는 것을 특징으로 하는 머리 추적 방법.
  5. 제4항에 있어서, 3차원 타원체 모델 표면 상의 픽셀들이 2차원 이미지 상에 나타나는지 가려져서 안나타나는지를 결정해주는 가시(visibility) 함수와 입력 이미지 상의 픽셀이 동일한 위치에 있는 관측 모델 상의 픽셀과 크게 차이가 나는지 나지 않는지를 결정해주는 비가시(outlier) 함수를 이용하여 타원체 모델(ellipsoidal model)이 제대로 맞춤(fitting) 되었는지를 판별하는 것을 특징으로 하는 머리 추적 방법.
  6. 제1항 또는 제2항에 있어서, 상기 적응형 상태전이 모델을 이용하여 움직임을 예측하여 파티클을 생성하는 단계 (b)는 움직임을 예측하여, 예측된 곳 주변에만 파티클을 뿌려 빠른 추적이 가능하게 만드는 것을 특징으로 하는 머리 추적 방법.
KR1020080001428A 2008-01-04 2008-01-04 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법 KR100951793B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080001428A KR100951793B1 (ko) 2008-01-04 2008-01-04 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080001428A KR100951793B1 (ko) 2008-01-04 2008-01-04 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법

Publications (2)

Publication Number Publication Date
KR20090075536A KR20090075536A (ko) 2009-07-08
KR100951793B1 true KR100951793B1 (ko) 2010-04-07

Family

ID=41332738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080001428A KR100951793B1 (ko) 2008-01-04 2008-01-04 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법

Country Status (1)

Country Link
KR (1) KR100951793B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514242B1 (ko) 2013-09-30 2015-05-04 한양대학교 산학협력단 얼굴 특징을 추적하는 방법 및 장치
KR101998315B1 (ko) * 2018-02-13 2019-07-10 주식회사 유프로텍 객체 추적 알고리즘을 기반으로 한 영상 보호 처리 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000060745A (ko) * 1999-03-19 2000-10-16 윤덕용 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000060745A (ko) * 1999-03-19 2000-10-16 윤덕용 얼굴의 컬러 모델과 타원체 근사 모델을 이용한 실시간 얼굴 추적 방법 및 그 기록매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
박동선, 윤숙, 타원 모델링과 칼라정보를 이용한 효율적인 머리 추적 시스템 구현, 전자공학회논문지 제38권 SP편 제6호, pp. 86-93, 2001.11.
정동길, 강동구, 양유경, 나종범, Mean-Shift의 색 수렴성과 모양 기반의 재조정을 이용한 실시간 머리 추적 알고리즘, 전자공학회 논문지, 제 42권 SP편 제06호, pp. 771-778, 2005.11.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514242B1 (ko) 2013-09-30 2015-05-04 한양대학교 산학협력단 얼굴 특징을 추적하는 방법 및 장치
KR101998315B1 (ko) * 2018-02-13 2019-07-10 주식회사 유프로텍 객체 추적 알고리즘을 기반으로 한 영상 보호 처리 방법 및 장치

Also Published As

Publication number Publication date
KR20090075536A (ko) 2009-07-08

Similar Documents

Publication Publication Date Title
US11842517B2 (en) Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
Siarohin et al. Motion representations for articulated animation
US9298257B2 (en) Apparatus and method for controlling avatar using expression control point
Agarwal et al. Tracking articulated motion using a mixture of autoregressive models
Urtasun et al. 3d human body tracking using deterministic temporal motion models
KR101257207B1 (ko) 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP2018520425A (ja) 三次元空間のモデリング
WO2007053484A2 (en) Monocular tracking of 3d human motion with a coordinated mixture of factor analyzers
US20110208685A1 (en) Motion Capture Using Intelligent Part Identification
Choi et al. Robust head tracking using 3D ellipsoidal head model in particle filter
Zhang et al. 3D head tracking under partial occlusion
KR100951793B1 (ko) 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법
Lu et al. A particle filter without dynamics for robust 3d face tracking
Ni et al. A hybrid framework for 3-D human motion tracking
Menezes et al. Towards human motion capture from a camera mounted on a mobile robot
Ross et al. Unsupervised learning of skeletons from motion
Lefevre et al. Structure and appearance features for robust 3d facial actions tracking
Azad et al. Imagebased Markerless 3D Human Motion Capture using Multiple Cues
Sabbi et al. Particle filter based object tracking in a stereo vision system
CN111311648A (zh) 基于协作差分进化滤波的人手-物体交互过程跟踪方法
Taycher et al. Bayesian articulated tracking using single frame pose sampling
Jáuregui et al. Real-time 3D motion capture by monocular vision and virtual rendering
Moon et al. 3d shape-encoded particle filter for object tracking and its application to human body tracking
Jatesiktat et al. Sdf-net: Real-time rigid object tracking using a deep signed distance network
Patras et al. Tracking deformable motion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee