KR101514242B1 - 얼굴 특징을 추적하는 방법 및 장치 - Google Patents

얼굴 특징을 추적하는 방법 및 장치 Download PDF

Info

Publication number
KR101514242B1
KR101514242B1 KR1020130116104A KR20130116104A KR101514242B1 KR 101514242 B1 KR101514242 B1 KR 101514242B1 KR 1020130116104 A KR1020130116104 A KR 1020130116104A KR 20130116104 A KR20130116104 A KR 20130116104A KR 101514242 B1 KR101514242 B1 KR 101514242B1
Authority
KR
South Korea
Prior art keywords
particle
particles
frame image
weight
probability distribution
Prior art date
Application number
KR1020130116104A
Other languages
English (en)
Other versions
KR20150036983A (ko
Inventor
서일홍
조덕현
이상훈
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130116104A priority Critical patent/KR101514242B1/ko
Publication of KR20150036983A publication Critical patent/KR20150036983A/ko
Application granted granted Critical
Publication of KR101514242B1 publication Critical patent/KR101514242B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 특징을 추적하는 방법 및 장치에 관한 것으로서, 파티클 집합을 이전 프레임 영상으로부터 입력받고, 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 현재 프레임 영상과 파티클 집합으로부터 제 1 파티클 집합을 생성하고, 제 1 파티클 집합과 현재 프레임 영상을 이용하여 산출되는 가중치를 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성하고, 제 2 파티클 집합으로부터 현재 프레임 영상에 가장 적합한 파티클을 도출하되, 파티클은 얼굴 특징점 벡터이므로, 환경 변화에 강인하면서도 효율적으로 연산을 처리할 수 있다.

Description

얼굴 특징을 추적하는 방법 및 장치{Method and apparatus for tracking facial features}
본 발명은 얼굴 특징을 추적하는 방법에 관한 것으로, 특히 얼굴 특징 검출 및 추적에 이용되는 파티클의 개수를 상황에 맞게 조절하고 2개의 집단으로 나눔으로써, 환경변화에 강인하면서도 효율적으로 연산하는 방법에 관한 것이다.
최근 인간에게 도움을 줄 수 있는 지능형 서비스 로봇에 대한 관심과 수요가 늘어나고 있다. 로봇이 인간을 원활히 돕기 위해서는 인간과의 자연스러운 상호작용이 필요하다. 이를 위해서는 로봇이 인간의 감정, 의도, 상태 등을 인지할 수 있어야 한다.
메라비언의 법칙에 따르면 인간과 인간 사이의 의사소통에서 말의 내용은 7%의 영향 밖에 주지 못하고, 비언어적 신호가 93%의 영향을 준다고 한다. 즉, 인간의 감정, 의도, 상태 등을 인지하기 위해서는 먼저 인간의 비언어적신호를 이해하는 능력이 필요하다.
비언어적 신호들 중 가장 꾸준히 많은 정보를 전달하는 것은 얼굴 표정이다. 목소리의 톤, 음색은 말을 하지 않을 때는 정보를 전달할 수 없고, 몸짓, 손짓은 인간의 자세나 상황에 따라 제한될 수 있다. 반면 얼굴 표정은 일부러 얼굴을 가리지 않는 한 끊임없이 정보가 담긴 신호를 내보낸다. 뿐만 아니라 얼굴 표정은 대체로 문화권에 상관없이 보편적이며 선천적이다. 그래서, 얼굴 표정 인식 시스템은 자연스럽고 원활한 인간-로봇 상호작용(Human-Robot Interaction)을 위해서 꼭 필요하다.
얼굴 표정 인식 시스템은 크게 네 단계로 나누어볼 수 있다. 첫 번째 영상으로부터 얼굴을 찾는 단계, 두 번째 얼굴 영상에서 특징을 추출하는 단계, 세 번째 추출된 특징으로부터 "입꼬리가 올라갔다" 등의 얼굴 단위 움직임을 알아내는 단계, 네 번째 알아낸 얼굴 단위 움직임으로부터 감정, 의도, 상태 등을 인식하는 단계가 그것이다. 이중 세 번째 단계와 네 번째 단계는 먼저 첫 번째 단계와 두 번째 단계가 잘 되어야만 기본적인 성능을 보장받을 수 있다. 첫 번째 단계는 어느 정도 잘 되는 편이지만, 두 번째 단계는 여전히 도전적인 문제다.
얼굴은 얼굴 내부의 수많은 근육들의 움직임으로 정보를 전달한다. 이 움직임은 주로 눈썹, 눈, 코, 입을 통하여 표현된다. 즉, 얼굴 영상에서 추출해야할 특징은 눈썹, 눈, 코, 입의 위치와 모양이다.
한편, 이하에서 인용되는 선행기술 문헌에는 AAM 알고리즘을 이용한 얼굴검출 방법을 소개하고 있다. 상기 선행기술 문헌은 입력 영상에서 얼굴 윤곽을 검출하고, 얼굴 윤곽의 내부에서 하나 이상의 얼굴 특징부를 검출하고, 상기 얼굴 윤곽과 상기 얼굴 특징부를 기반으로 형상모델을 변환하며, 형상모델로 상기 얼굴 윤곽 내부의 얼굴 특징부를 AAM 검색함으로써, 얼굴윤곽 영역을 검출하고 있다. 하지만, AAM은 알고리즘의 특성상 초기값과 환경 변화에 민감하여 실제 서비스 상황에 적용하기에 많은 어려움이 있다는 치명적인 단점이 있다.
이와 같은 관점에서, 얼굴 특징을 추적함에 있어서, 환경 변화에 강인하고 효율적인 연산이 가능한 기술적 수단이 필요하다는 것을 알 수 있다.
KR 10-2007-0108386 (AAM을 이용한 얼굴검출 방법 및 장치, 에스케이텔레콤주식회사) 2007.10.26
따라서, 본 발명이 해결하고 하는 첫 번째 과제는 환경변화에 강인하고 효율적으로 연산량을 줄일 수 있는 얼굴 특징을 추적하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 환경변화에 강인하고 효율적으로 연산량을 줄일 수 있는 얼굴 특징 추적 장치를 제공하는 것이다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 파티클(particle) 집합을 이전 프레임 영상으로부터 입력받는 단계; 상기 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 제 1 파티클 집합을 생성하는 단계; 상기 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성하는 단계; 및 상기 제 2 파티클 집합으로부터 상기 현재 프레임 영상에 가장 적합한 파티클을 도출하는 단계를 포함하고, 상기 파티클은 얼굴 특징점 벡터인 것을 특징으로 하는 얼굴 특징을 추적하는 방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 제 1 파티클 집합을 생성하는 단계는,
상기 입력받은 파티클 집합을 형성하는 파티클들의 중요도에 따라 중요한 파티클 그룹과 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할하는 단계; 및 상기 중요한 파티클 그룹에 속한 파티클들에 형태(shape)와 질감(texture) 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성하는 단계를 포함하는 얼굴 특징을 추적하는 방법일 수 있다.
또한, 상기 파티클 집합을 형성하는 파티클들은 이전 프레임 영상에서 적용된 가중치가 클수록 상기 중요도가 비례하여 증가하는 것을 특징으로 하는 얼굴 특징을 추적하는 방법일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 제 2 파티클 집합을 생성하는 단계는, 상기 제 1 파티클 집합을 형성하는 각 파티클로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출하는 단계; 상기 산출된 가중치를 상기 각 파티클에 적용하는 단계; 상기 각 파티클에 적용된 가중치의 합이 1이 되도록 정규화하는 단계를 포함하는 얼굴 특징을 추적하는 방법일 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 현재 프레임 영상에 가장 적합한 파티클을 도출하는 단계는, 상기 제 2 파티클 집합을 형성하는 파티클들 중 가장 큰 상기 가중치가 적용된 파티클을 도출하는 것을 특징으로 하는 얼굴 특징을 추적하는 방법일 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 가중치의 크기에 비례하도록 상기 제 2 파티클 집합을 형성하는 파티클들을 리샘플링(resampling)하여 다음 프레임 영상으로 전달하는 단계를 더 포함하는 얼굴 특징을 추적하는 방법일 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 다음 프레임 영상으로 전달하는 단계는, 상기 다음 프레임 영상의 제 1 사후확률분포와 상기 제 2 파티클 집합으로부터 추정된 제 2 사후확률분포 간의 차이를 일정 수준 이하로 유지시킬 수 있는 최소한의 파티클 개수를 도출함으로써, 상기 최소한의 파티클 개수만큼 리샘플링하는 것을 특징으로 하는 얼굴 특징을 추적하는 방법일 수 있다.
본 발명의 또 다른 실시예에 의하면, 상태 공간(state space)은 얼굴의 위치, 얼굴의 포즈, 및 얼굴의 내부 변화를 고려할 수 있도록 정의되는 것을 특징으로 하는 얼굴 특징을 추적하는 방법일 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 파티클 집합을 이전 프레임 영상으로부터 입력받는 입력부; 상기 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 제 1 파티클 집합을 생성하고, 상기 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성하는 처리부; 및 상기 제 2 파티클 집합을 형성하는 파티클들 중 가장 큰 가중치를 적용받은 파티클을 상기 현재 프레임 영상에 가장 적합한 파티클로 도출하는 출력부를 포함하고, 상기 파티클은 얼굴 특징점 벡터인 것을 특징으로 하는 얼굴 특징 추적 장치를 제공한다.
본 발명의 일 실시예에 의하면, 상기 처리부는, 다음 프레임 영상의 제 1 사후확률분포와 상기 제 2 파티클 집합으로부터 추정된 제 2 사후확률분포 간의 차이를 일정 수준 이하로 유지시킬 수 있는 최소한의 파티클 개수를 도출함으로써, 상기 최소한의 파티클 개수만큼 리샘플링하여 다음 프레임 영상으로 전달하는 것을 특징으로 하는 얼굴 특징 추적 장치일 수 있다.
또한, 상기 처리부는, 상기 입력받은 파티클 집합을 형성하는 파티클들의 중요도에 따라 중요한 파티클 그룹과 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할하며, 상기 중요한 파티클 그룹에 속한 파티클들에 형태와 질감 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성하되, 상기 파티클 집합을 형성하는 파티클들은 이전 프레임 영상에서 적용된 가중치가 클수록 상기 중요도가 비례하여 증가하는 것을 특징으로 하는 얼굴 특징 추적 장치일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 처리부는, 상기 제 1 파티클 집합을 형성하는 각 파티클로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출하고, 상기 산출된 가중치를 상기 각 파티클에 적용하며, 상기 각 파티클에 적용된 가중치의 합이 1이 되도록 정규화하는 것을 특징으로 하는 얼굴 특징 추적 장치일 수 있다.
본 발명에 따르면, 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 파티클 집합을 분할하고, 중요한 그룹으로 분할된 파티클에만 통계적 모델을 적용함으로써, 현재 프레임 영상에 가장 적합한 파티클을 도출할 수 있다. 또한, 본 발명에 따르면, 최소한의 파티클 개수만큼 가중치의 크기에 비례하도록 파티클들을 리샘플링하여 다음 프레임 영상으로 전달함으로써, 효율적으로 연산량을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 특징을 추적하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 제 1 파티클 집합을 생성하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 제 2 파티클 집합을 생성하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 얼굴 특징을 추적하는 방법을 보다 세부적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 특징 추적 장치를 도시한 블록도이다.
도 6a는 본 발명의 다른 실시예에 따른 얼굴에 대한 표정과 포즈 변화가 있는 동일 인물의 학습 데이터의 구성을 도시한 도면이다.
도 6b는 본 발명의 다른 실시예에 따른 얼굴 특징을 추적하기 위한 서로 다른 환경에서 촬영한 연속 영상들을 도시한 도면이다.
도 6c는 종래의 얼굴 특징을 추적하는 방법을 이용하여 도출된 결과를 비교하여 도시한 도면이다.
도 6d는 본 발명의 다른 실시예에 따른 파티클 개수의 변화 추이를 비교하여 도시한 도면이다.
도 6e는 얼굴 특징을 추적하는 방법에 대한 종래기술과 본 발명이 제안하는 기술의 결과를 비교하여 도시한 도면이다.
본 발명의 실시예들을 설명하기에 앞서 본 발명의 실시예들이 구현, 활용되는 환경에서 발생하고 있는 문제점을 제시하고, 이에 기초하여 안출된 본 발명의 기본 아이디어를 제시하도록 한다.
얼굴 영상으로부터 눈썹, 눈, 코, 입의 위치와 모양을 찾는 연구는 AAM(Active Appearance Model)을 필두로 진행되어 왔다. AAM은 변형 가능한 객체의 특징점을 추출하는 데 활용되는 통계적 모델로 얼굴 표정 인식, 얼굴 영상 분석, 얼굴 인식, 눈 모델링, 의료 영상분석 등 다양한 분야에 응용되어 왔다.
하지만, AAM은 알고리즘의 특성상 초기값과 환경 변화에 민감하여 실제 서비스 상황에 적용하기에 많은 어려움이 존재한다는 치명적인 단점이 있다. 이러한 문제를 해결하기 위해 다양한 개선 방법들이 제안됐으나, 기존의 개선 방법들은 대부분 정지 영상을 기준으로 연구되었기 때문에 연속 영상을 처리해야 하는 실제 서비스 환경에는 적합하지 않다. 특히, 얼굴 표정을 분석하여 의도, 감정, 상태 등을 알기 위해서는 다양한 요인에 의해 시시각각 변화하는 얼굴 특징들의 순간적인 변화도 인지할 수 있어야 하기 때문에 연속해서 들어오는 영상을 효과적으로 처리하는 것은 상당히 중요하다.
기존의 연구들은 연속 영상에 적용하더라도 단순히 프레임별로 따로따로 처리하거나, 이전 영상의 결과를 다음 영상의 초기값으로 삼는 것이 대부분이다. 하지만, 이 방법은 환경 변화가 적을 땐 효과적이지만, 환경 변화가 많아지면 대응을 제대로 하지 못한다는 문제점이 있다. 또한, 연속하여 입력되는 영상에서 얼굴의 특징들을 강인하고 정확하게 추적하는 방법으로 파티클 필터(particle filter)를 활용하는 방법이 있다. 하지만, 상기 파티클 필터 역시 계산량이 증가하여 처리 속도가 느려지며, 느린 속도 때문에 결국에는 실제 서비스 상황에 적용하지 못하게 되는 치명적인 문제가 발생한다.
따라서, 본 발명의 실시예들은 연속 영상에서 얼굴 특징들을 효과적으로 추적하기 위해 AAM과 파티클 필터를 결합하여 활용하고, 상기 결합으로 인해 늘어난 연산량을 최대한 효율적으로 처리하면서도 정확도는 유지하기 위한 기술적 수단을 제안한다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다. 또한, 이하에서 설명하는 본 발명의 일 실시예에서는 상태 공간(State space)을 얼굴의 위치, 포즈뿐만 아니라 얼굴의 내부 변화도 고려할 수 있도록 정의한다. 즉, 상기 상태 공간은 포즈 파라미터와 AAM 파라미터의 파라미터 공간으로 정의하며, 상기 포즈 파라미터는 얼굴의 위치, 크기, 기울어진 정도를 표현하고, 상기 AAM 파라미터는 얼굴의 내부 상태를 표현함으로써,
Figure 112013088393919-pat00001
는 AAM 파라미터이고,
Figure 112013088393919-pat00002
는 포즈 파라미터라고 할 때, 프레임 영상(t)에서의 상태 벡터(state vector)는 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00003
여기서, 상기 포즈 파라미터의 차원은 4로 언제나 동일하지만 상기 AAM 파라미터는 모델에 따라 차원이 달라질 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 특징을 추적하는 방법을 도시한 흐름도로서, 파티클(particle) 집합을 이전 프레임 영상으로부터 입력받고, 상기 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 제 1 파티클 집합을 생성하고, 상기 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성하며, 상기 제 2 파티클 집합으로부터 상기 현재 프레임 영상에 가장 적합한 파티클을 도출한다.
보다 구체적으로, S110 단계에서, 파티클 집합을 이전 프레임 영상으로부터 입력받는다. 이전 프레임 영상에서 현재 프레임 영상으로 넘겨주는 정보는 파티클 집합으로, 상기 이전 프레임 영상에 적합한 얼굴 특징점 벡터의 분포를 말한다. 즉, 상기 파티클은 얼굴특징점벡터로 정의되며, 얼굴에 대한 특징을 나타내는 점의 집합일 수 있다. 여기서, 얼굴특징점이란 얼굴의 특징을 나타내는 눈꼬리, 입꼬리, 눈썹 등을 의미하며, 상기 각 얼굴특징점은 상기 프레임 영상에서 x, y 좌표를 포함할 수 있다. 따라서, 상기 얼굴특징점의 x, y 좌표를 모아놓은 벡터가 상기 얼굴특징점 벡터일 수 있고, 상기 얼굴특징점벡터가 하나의 파티클이며, 상기 파티클 집합은 얼굴특징점벡터인 상기 파티클이 여러 개 모인 것일 수 있다.
한편, 파티클 필터는 베이즈 필터의 사후 확률 분포(posterior probability distribution)를 상기 파티클 집합으로 표현하는 방법일 수 있으며,
Figure 112013088393919-pat00004
는 프레임 영상 t에서 i번째 파티클의 상태(state)이고,
Figure 112013088393919-pat00005
는 프레임 영상 t에서 i번째 파티클의 가중치라고 할 때, 상기 파티클 집합은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00006
S120 단계에서, 상기 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 제 1 파티클 집합을 생성한다.
보다 구체적으로 S120 단계는 이하에서 도 2를 통해 상세하게 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 제 1 파티클 집합을 생성하는 방법을 도시한 흐름도로서, 상기 입력받은 파티클 집합을 형성하는 파티클들의 중요도에 따라 중요한 파티클 그룹과 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할하고, 상기 중요한 파티클 그룹에 속한 파티클들에 형태(shape)와 질감(texture) 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성한다.
보다 구체적으로, S210 단계에서, 상기 입력받은 파티클 집합을 형성하는 파티클들의 중요도에 따라 중요한 파티클 그룹과 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할할 수 있다. 여기서, 상기 파티클 집합을 형성하는 파티클들은 이전 프레임 영상에서 적용된 가중치가 클수록 상기 중요도가 비례하여 증가할 수 있으며, 상기 파티클 집합을 형성하는 파티클들에 대한 분할은 K-means 알고리즘을 통해 입력된 파티클 집합에 따라 중요한 그룹과 중요하지 않은 그룹으로 분할이 가능할 수 있다.
상기 K-means 알고리즘은 비계층적 클러스터링(clustering) 기법이며, 임의의 클러스터 수를 미리 정하여 상기 임의의 클러스터 수만큼 그룹으로 분류하는 기법이다. 즉, 상기 임의의 클러스터 수를 파티클에 대한 중요한 그룹과 중요하지 않은 그룹으로 설정하고, 이전 프레임 영상에서 파티클들에 적용된 가중치를 고려하여 상기 파티클들을 상기 중요한 파티클 그룹과 중요하지 않은 파티클 그룹으로 분할할 수 있다.
S220 단계에서, 상기 중요한 파티클 그룹에 속한 파티클들에 형태(shape)와 질감(texture) 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성한다.
보다 구체적으로, AAM(Active Appearance Model)은 특징점 위치 정보를 모델링한 형태 모델(shape model)과 픽셀 정보를 모델링한 질감 모델(texture model)로 구성될 수 있다. 상기 형태 모델의 형태 벡터는 2차원 영상에 n개의 특징점들이 있는 경우, 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00007
여기서, 학습 데이터로부터 추출한 상기 형태 벡터들을 프로크루스테스 분석(procrustes analysis)를 이용하여 정렬한 뒤, 상기 정렬된 형태 벡터들에 PCA(Principal Component Analysis)를 적용하고,
Figure 112013088393919-pat00008
는 평균 형태 벡터이고,
Figure 112013088393919-pat00009
는 형태 모델의 기저 벡터들이고,
Figure 112013088393919-pat00010
는 형태 모델의 파라미터 벡터라고 할 때, 상기 형태 모델은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00011
또한, 상기 질감 모델의 질감 벡터는 영상을 평균 형태로 워핑(warping)하여 얻을 수 있으며, m개의 픽셀로 이루어진 영상의 질감 벡터는 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00012
여기서, 학습 데이터들로부터 추출한 질감 벡터들을 조명의 영향을 제거하기 위해 정규화시킨 뒤, 상기 PCA를 적용함으로써,
Figure 112013088393919-pat00013
는 평균 질감 벡터이고,
Figure 112013088393919-pat00014
는 질감 모델의 기저 벡터들이며,
Figure 112013088393919-pat00015
는 질감 모델의 파라미터 벡터라고 할 때, 상기 질감 모델은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00016
이후, 학습 데이터들의 형태 파라미터와 질감 파라미터를 이어붙인 뒤, 한번 더 상기 PCA를 적용함으로써,
Figure 112013088393919-pat00017
는 최종 AAM의 기저 벡터들이고, c는 최종 AAM의 파라미터 벡터라고 할 때, 최종 AAM 모델은 다음과 같이 표현할 수 있으며, 상기 형태 모델과 상기 질감 모델을 모두 제어할 수 있다.
Figure 112013088393919-pat00018
이제, 모델 파라미터를 변화시켜서 모델로부터 생성된 영상과 입력 영상의 차이를 최소화할 수 있으며,
Figure 112013088393919-pat00019
이고,
Figure 112013088393919-pat00020
는 입력 영상에서 얻은 질감 벡터,
Figure 112013088393919-pat00021
은 모델에서 생성한 질감 벡터라고 할 때, 상기 생성된 영상과 입력 영상의 차이를 최소화할 함수는 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00022
여기서, q는 포즈 파라미터로 크기 회전 정도, x축 위치, y축 위치를 의미하는 네 개의 파라미터로 구성될 수 있다.
또한, 상기 AAM은
Figure 112013088393919-pat00023
와 r(p) 사이에 고정된 선형관계
Figure 112013088393919-pat00024
이 존재한다고 가정하고, 상기 가정을 이용하여 파라미터를 업데이트할 수 있으며, 상기 업데이트는 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00025
수학식 8의 알고리즘은 수학식 9를 이용하여 파라미터를 업데이트하는 과정을 최적 파라미터로 수렴할 때까지 반복함으로써, 목표를 달성할 수 있다.
이와 같이, 상기 AAM은 변형 가능한 객체의 특징점을 추출할 수 있으나, 초기값과 환경 변화에 민감하여 환경 변화가 적을 땐 효과적이지만, 환경 변화가 많아지면 대응을 제대로 못한다는 치명적인 문제가 있다. 따라서, 본 발명에서는 연속하여 입력되는 영상에서 얼굴의 특징들을 강인하고 정확하게 추적하기 위하여 파티클 필터(particle filter)에 AAM을 이용하여 얼굴 특징을 추적할 수 있다.
S220 단계에서는, 파티클 필터를 이용하여 이전 프레임 영상(t-1)에서의 파티클 집합과 상기 파티클 필터의 예측 모델(prediction model)을 이용하여 현재 프레임 영상(t)에서의 파티클 집합을 예측하는 단계이며,
Figure 112013088393919-pat00026
는 현재 프레임 영상 t에서의 상태이고,
Figure 112013088393919-pat00027
은 프레임 영상 1부터 프레임 영상 t-1까지의 관측 값이며,
Figure 112013088393919-pat00028
가 상기 예측 모델이라 할 때, 상기 예측 단계에서의 상기 예측 모델은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00029
이제, 본 발명에서 제안하는 바와 같이
Figure 112013088393919-pat00030
는 예측된 파라미터의 변화량이고, 상기 예측된 파라미터의 변화량은 현재 프레임 영상(t)에 초기값으로 이전 프레임 영상(t-1)의 추정 결과 파라미터를 입력으로 했을 때의 AAM 알고리즘의 출력값이고, S는 노이즈 공분산 행렬이며, 상기 행렬은 노이즈의 범위를 정해주는 값일 수 있다. 여기서, AAM에서 기저에 대응하는 고유값은 해당 파라미터의 분산을 의미할 수 있다. 또한,
Figure 112013088393919-pat00031
는 평균 0, 표준편차 1을 갖는 가우시안 분포를 따라 발생하는 난수라고 할 때, 상기 AAM을 이용한 상기 예측 모델은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00032
하지만, 상기 AAM을 이용한 제 1 예측 모델은 좋은 성능을 보이지만, 모든 파티클들에 전부 적용하기에는 계산량이 많을 수 있다. 실제로 파티클 필터와 AAM을 결합한 방법에서 계산량을 가장 많이 차지하는 부분은 상기 예측 부분일 수 있다. 따라서, 본 발명이 제안하는 실시예에서는 계산량을 줄이도록 상대적으로 덜 중요한 파티클에는 계산량이 많지 않은 또 다른 예측 모델인 제 2 예측 모델을 사용할 수 있다. 상기 중요한 파티클 그룹과 중요하지 않은 파티클 그룹을 분할하는 것은 S210 단계에서 상세하게 설명하였으므로 생략하도록 한다.
이제, 전체 파티클 중 상위 가중치를 갖는 중요 파티클 그룹의 파티클에만 상기 AAM을 이용한 제 1 예측 모델인 수학식 11을 적용하고, 중요하지 않은 파티클 그룹의 파티클에는 이전 상태에서 랜덤 노이즈만을 추가하며, 상기 제 2 예측 모델은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00033
여기서, 상기 AAM의 성능은 초기 값에 영향을 많이 받을 수 있다. 즉, 초기 값이 나쁘면 AAM을 활용하는 수학식 11의 제 1 예측 모델은 성능을 제대로 발휘하지 못할 가능성이 상당히 높을 수 있다. 따라서, 초기값이 나쁠 확률이 높은, 즉 낮은 가중치가 적용되어 중요하지 않은 그룹에 포함된 파티클들에는 상기 AAM을 이용한 상기 제 1 예측 모델인 수학식 11을 적용하지 않아도 전체 성능에는 대체로 큰 영향을 주지 않는다. 또한, 상기 AAM에 나쁜 초기값을 입력함에 따라 발산할 위험이 커지기 때문에 낮은 가중치를 갖는 중요하지 않은 그룹에 포함된 파티클들에게는 수학식 11을 적용하지 않는다면 상기 위험을 미리 방지하는 효과가 생길 수 있으며, 성능에 이득을 가져올 수 있다.
이제 다시 도 1로 돌아가 S120 단계 이후를 설명하도록 한다.
S130 단계에서, 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성한다. 상기 제 2 파티클 집합을 생성하는 것은 이하에서 도 3을 통해 세부적으로 설명하도록 한다.
도 3은 본 발명의 다른 실시예에 따른 제 2 파티클 집합을 생성하는 방법을 도시한 흐름도이다.
S310 단계에서, 상기 제 1 파티클 집합을 형성하는 각 파티클로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출할 수 있다. 즉, 상기 제 1 파티클 집합을 형성하는 각 파티클이 포함하고 있는 모델 파라미터로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출할 수 있다.
S320 단계에서, 상기 산출된 가중치를 상기 각 파티클에 적용할 수 있다.
S330 단계에서, 상기 각 파티클에 적용된 가중치의 합이 1이 되도록 정규화할 수 있다. 즉, 관측된 정보와 관측 모델(obervation model)에 의해 각 파티클들에 가중치를 부여하는 단계이며, 상기 예측 단계에서 예측한 값을 보정할 수 있다. 여기서, 상기 가중치는 해당 파티클이 올바른 상태에 있을 가능성(likehood)을 의미할 수 있으며,
Figure 112013088393919-pat00034
가 상기 관측 모델이라 할 때, 상기 관측 모델은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00035
또한,
Figure 112013088393919-pat00036
은 수학식 7에서 정의한 오차 벡터로서, 상기 AAM 모델에서 생성한 영상과 입력 영상 사이의 차 벡터일 때, 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00037
이제 다시 도 1로 돌아가 S130 단계 이후를 설명하도록 한다.
S140 단계에서, 상기 제 2 파티클 집합으로부터 상기 현재 프레임 영상에 가장 적합한 파티클을 도출한다.
보다 구체적으로, 상기 제 2 파티클 집합을 형성하는 파티클들 중 S130 단계에서 가장 큰 상기 가중치가 적용된 파티클을 도출함으로써, 현재 프레임 영상에 가장 적합한 파티클을 도출할 수 있다. 또한, 상기 프레임 영상에 가장 적합한 파티클을 도출하는 방법은 적용하는 분야와 상황에 따라 또 다른 방법을 적용할 수 있으며, 파티클들의 가중 평균을 구하는 방법과 가중치가 높은 파티클들의 가중 평균을 구하는 방법이 상기 또 다른 방법일 수 있다.
한편, 상기 가중치의 크기에 비례하도록 상기 제 2 파티클 집합을 형성하는 파티클들을 리샘플링(resampling)하여 다음 프레임 영상으로 전달할 수 있다. 여기서, 상기 다음 프레임 영상의 제 1 사후확률분포와 상기 제 2 파티클 집합으로부터 추정된 제 2 사후확률분포 간의 차이를 일정 수준 이하로 유지시킬 수 있는 최소한의 파티클 개수를 도출함으로써, 상기 최소한의 파티클 개수만큼 리샘플링하여 다음 프레임 영상으로 전달할 수 있다.
보다 구체적으로, 상기 최소한의 파티클 개수만큼 리샘플링하는 것은 필요한 파티클의 개수를 계산하는 것으로서, 상기 제 1 사후확률분포와 상기 제 2 사후확률분포 간의 차이를 측정하는 방법일 수 있으며, 상기 제 1 사후확률분포는 다음 프레임 영상의 실제 사후확률분포로 정의될 수 있다. 여기서, 상기 제 1 사후확률분포 p(x)와 상기 제 2 사후확률분포 q(x)의 차이는 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00038
여기서, 파티클 필터의 목표는 파티클 집합으로 제 2 사후확률분포를 추정하는 것이다. 즉, 제 1 사후확률분포와 파티클 집합으로 추정된 제 2 사후확률분포 간의 차이를 일정 수준 이하로 유지시킬 수 있는 최소 파티클 개수를 찾아낼 수 있으며, p는 제 1 사후확률분포이고,
Figure 112013088393919-pat00039
는 파티클 집합으로 추정된 제 2 사후확률분포이며,
Figure 112013088393919-pat00040
은 상기 두 분포 간에 최대로 허용되는 에러 값이며,
Figure 112013088393919-pat00041
는 p와
Figure 112013088393919-pat00042
의 차이가
Figure 112013088393919-pat00043
이하일 확률이라고 할 때, 상기 최소 파티클 개수를 구하는 것은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00044
여기서, 쿨백-라이블러 발산(Kullback-Leibler Divergence)에 샘플 개수 n을 곱하면 우도비 검정통계량
Figure 112013088393919-pat00045
으로 나타낼 수 있고, 상기 우도비 검정통계량을 2배하면 자유도 k-1의 카이제곱분포로 근사하여 수학식 16에 적용하면 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00046
Figure 112013088393919-pat00047
Figure 112013088393919-pat00048
수학식 17이
Figure 112013088393919-pat00049
를 만족하려면
Figure 112013088393919-pat00050
이
Figure 112013088393919-pat00051
과 같아야한다. 상기
Figure 112013088393919-pat00052
는 분위수(quantile) 함수값으로 카이제곱분포의 누적분포함수의 역함수에 입력으로 상기
Figure 112013088393919-pat00053
를 넣은 값일 수 있다. 따라서, 필요한 최소 파티클 개수 n은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00054
이제, 카이제곱분포의 분위수 함수를 윌슨-힐퍼티 변환(Wilson-Hilferty transformation)에 의해 근사화 하면 필요한 파티클 수 n은 다음과 같이 표현할 수 있다.
Figure 112013088393919-pat00055
여기서,
Figure 112013088393919-pat00056
는 표준정규분포의 분위수 함수값으로, 표준정규분포표를 통해 간단히 찾을 수 있다.
따라서, 제 1 사후확률분포를 모르더라도 자유도 k-1의 함수로 필요한 파티클 개수를 구할 수 있음을 알 수 있다. 또한, 종래기술에서는 k는 non-empty bin의 개수로 정의할 수 있으며, 상기 non-empty bin은 하나 이상의 파티클이 존재하는 bin일 수 있다. 종래기술에서는 상기 bin의 크기를 임의로 지정해줬지만, 본 발명에서는 상태공간 상의 한 점과 하나의 bin을 동일시하여 처리할 수 있다. 왜냐하면, 종래기술에서는 3차원 상태공간을 다루는 반면, 본 발명에서는 10차원 이상의 고차원 상태공간을 다루며 각 차원의 물리적 의미도 AAM 모델에 따라 달라질 수 있기 때문이다.
실제 알고리즘에 적용할 때는 상기 리샘플링하는 단계에서 파티클을 하나 뽑을 때마다 필요한 파티클의 개수와 현재 뽑힌 파티클 개수를 비교하여, 현재 뽑힌 파티클 개수가 필요한 파티클 개수보다 적다면 한 번 더 리샘플링을 하고 그렇지 않다면 리샘플링 단계를 마무리하여 다음 영상프레임으로 파티클 집합을 전달할 수 있다.
따라서, 각 프레임 영상 마다 꼭 필요한 개수의 파티클만을 사용하여 성능을 유지하면서 계산량을 효과적으로 줄일 수 있다.
도 4는 본 발명의 다른 실시예에 따른 얼굴 특징을 추적하는 방법을 보다 세부적으로 도시한 도면이다.
보다 구체적으로, 이전 프레임 영상(41)에서 넘어온 파티클 집합은 현재 프레임 영상(42)과 함께 제 1 예측 모델(44) 및 제 2 예측 모델(45)에 입력될 수 있다. 제 1 예측 모델(44) 및 제 2 예측 모델(45)은 현재 프레임 영상(42)에 적합한 얼굴특징점 벡터의 분포를 예측할 수 있다. 여기서, 서로 다른 두 가지 예측 모델을 사용할 수 있다. 중요한 파티클들에는 AAM이 포함된 제 1 예측 모델(44)을 사용하고, 상대적으로 중요하지 않은 파티클들에는 AAM이 포함되지 않은 가벼운 제 2 예측 모델(45)을 사용할 수 있다. 이후, 제 1 예측 모델(44) 및 제 2 예측 모델(45)의 결과와 현재 프레임 영상(42)을 관측 모델(46)에 입력할 수 있다. 관측 모델(46)의 출력은 예측한 얼굴 특징점 벡터의 분포인 파티클에 가중치를 부여한 것으로서, 제 1 예측 모델(44) 및 제 2 예측 모델(45)의 결과를 보정하는 단계라고 볼 수 있다.
이제, 가장 큰 가중치를 갖는 파티클을 도출함으로써, 상기 도출된 파티클이 갖고 있는 얼굴 특징점 벡터(48)가 현재 프레임 영상(42)에 가장 적합한 얼굴 특징점 벡터(48)로 추정되는 최종 출력일 수 있다. 마지막으로, 가중치에 비례하여 파티클들을 리샘플링(47)해서 다음 프레임 영상(43)으로 전달 할 수 있다. 이때, 꼭 필요하다고 판단되는 만큼의 파티클들만 리샘플링(47)할 수 있다. 도 4에 대한 상세한 설명은 도 1, 도 2, 및 도 3에 대한 상세한 설명에 대응하는바, 도 1, 도 2, 및 도 3에 대한 상세한 설명으로 대신한다.
도 5는 본 발명의 일 실시예에 따른 얼굴 특징 추적 장치를 도시한 블록도로서, 얼굴 특징 추적 장치(50)는 앞서 기술한 도 1, 도 2, 및 도 3의 각 과정에 대응하는 구성을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위해 하드웨어 장치를 중심으로 그 기능을 약술하도록 한다.
입력부(51)는 파티클 집합을 이전 프레임 영상으로부터 입력받는다.
처리부(52)는 상기 파티클 집합을 형성하는 파티클들의 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 제 1 파티클 집합을 생성하고, 상기 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성한다.
출력부(53)는 상기 제 2 파티클 집합을 형성하는 파티클들 중 가장 큰 가중치를 적용받은 파티클을 상기 현재 프레임 영상에 가장 적합한 파티클을 도출하되, 상기 파티클은 얼굴 특징점 벡터인 것을 특징으로 한다.
또한, 처리부(52)는 다음 프레임 영상의 제 1 사후확률분포와 상기 제 2 파티클 집합으로부터 추정된 제 2 사후확률분포 간의 차이를 일정 수준 이하로 유지시킬 수 있는 최소한의 파티클 개수를 도출함으로써, 상기 최소한의 파티클 개수만큼 리샘플링하여 다음 프레임 영상으로 전달한다.
또한, 처리부(52)는 상기 입력받은 파티클 집합을 형성하는 파티클들의 중요도에 따라 중요한 파티클 그룹과 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할하며, 상기 중요한 파티클 그룹에 속한 파티클들에 형태와 질감 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성하되, 상기 파티클 집합을 형성하는 파티클들은 이전 프레임 영상에서 적용된 가중치가 클수록 상기 중요도가 비례하여 증가하는 것을 특징으로 한다.
또한, 처리부(52)는 상기 제 1 파티클 집합을 형성하는 각 파티클로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출하고, 상기 산출된 가중치를 상기 각 파티클에 적용하며, 상기 각 파티클에 적용된 가중치의 합이 1이 되도록 정규화한다.
이하에서는 실제 실험을 통해 종래기술과 본 발명이 제안하는 기술을 비교해 보도록 한다. 실험에 사용된 모든 영상의 해상도는 320x240 이며, PC의 사양은 Intel i7 3.4GHz, 16GB RAM이며 알고리즘의 구현은 C++과 OpenCV 2.0을 이용하였다.
도 6a는 본 발명의 다른 실시예에 따른 얼굴에 대한 표정과 포즈 변화가 있는 동일 인물의 학습 데이터의 구성을 도시한 도면으로서, 실험에 사용될 얼굴 AAM 모델을 만들기 위한 학습 데이터는 표정과 포즈 변화가 있는 동일 인물의 영상 총 30장으로 구성하였고, 각 영상에 58개의 특징점을 찍어주며, 도 6a 는 상기 학습 데이터의 일부를 나타낸다.
도 6b는 본 발명의 다른 실시예에 따른 얼굴 특징을 추적하기 위한 서로 다른 환경에서 촬영한 연속 영상들을 도시한 도면이다.
보다 구체적으로, 실험 데이터는 세 가지 서로 다른 환경에서 촬영한 연속 영상들로서, 상기 연속 영상들의 일부를 도 6b에서 나타낸다. 첫 번째 실험 데이터(71)는 심한 표정과 포즈 변화가 존재하며, 상기 포즈의 변화에 따라 생겨난 조명 변화 및 블러링 또한 존재한다. 두 번째 실험 데이터(72)는 복도를 걸어 다니는 상황으로서, 배경과 조명이 계속하여 변화하며 블러링도 존재한다. 세 번째 실험 데이터(73) 일상 대화를 하는 상황으로서, 복잡한 배경 하에서 표정, 포즈, 조명 변화가 존재한다.
도 6c는 종래의 얼굴 특징을 추적하는 방법을 이용하여 도출된 결과를 비교하여 도시한 도면이다.
보다 구체적으로, 종래기술인 AAM만 단독으로 이용한 경우와 파티클 필터를 결합하여 이용한 경우를 비교하여 파티클 필터 사용의 효과부터 보고자 한다. AAM을 단독으로 이용한 실험은 두 가지 방법으로 진행했고, 첫 번째는 매 프레임 마다 새로 초기화를 하여 처리하는 방법(frame by fram)이며, 두 번째는 이전 프레임의 결과를 다음 프레임의 초기 값으로 넣어주는 방법(image sequence)이다. 또한, 파티클 필터를 사용한 방법은 파티클 개수를 50개로 고정한 기본 파티클 필터를 사용하였다. 여기서, 그래프에 사용된 에러는 알고리즘의 결과로 나온 얼굴 특징점 위치 벡터와 그라운드 트루스(ground truth) 얼굴 특징점 위치 벡터 간의 차 벡터의 크기로 정의한다.
결과 그래프를 보면, 첫 번째 실험 데이터(71)를 이용한 결과 그래프(81), 두 번째 실험 데이터(72)를 이용한 결과 그래프(82), 및 세 번째 실험 데이터(73)를 이용한 결과 그래프(83) 모두 파티클 필터를 사용했을 때, 파티클 필터를 사용하지 않은 AAM을 단독으로 사용한 두 가지 방법들에 비해 안정적이고 정확한 성능을 보임을 알 수 있다.
도 6d는 본 발명의 다른 실시예에 따른 파티클 개수의 변화 추이를 비교하여 도시한 도면이다.
도 6e는 얼굴 특징을 추적하는 방법에 대한 종래기술과 본 발명이 제안하는 기술의 결과를 비교하여 도시한 도면으로서, 종래기술과 본 발명에서 제안하는 기술을 비교하여 프레임당 평균 에러, 프레임당 연산 속도, 및 프레임당 파티클 수를 테이블 화한 도면이다.
보다 구체적으로, 도 6e의 마지막 열(101)은 본 발명에서 제안하는 두 가지 방법인 최소한의 파티클 수를 찾기 위한 방법(Adaptive number of particle)과 중요한 그룹의 파티클에만 AAM을 적용하는 방법(Adaptive prediction model)을 동시에 적용한 실험의 결과이다. 기본 파티클 필터인 네 번째 열(99)과 비교하면 프레임당 평균 에러(mean error per frame)는 큰 차이가 없는 반면, 프레임당 연산 속도(mean computational time per frame)는 4배 정도 빨라졌음을 알 수 있다. 상기된 본 발명의 실시예들에 따르면, 다양한 환경 변화 아래서도 얼굴 특징을 안정적으로 추적하는 방법인 AAM과 파티클 필터를 결합한 방법의 효율성을 향상시키기 위한 두 가지 방법을 제안하였다. 첫 번째는 최소한의 파티클 수를 찾기 위한 방법(Adaptive number of particles)으로서, 상황에 따라 파티클의 개수를 조절하는 방법이다. 두 번째는 가중치가 높은 파티클에 AAM을 적용한 방법(Adaptive prediction model)으로서, 높은 가중치를 갖는 파티클들에만 AAM을 이용한 예측 모델을 적용하는 방법이다. 상기의 두 가지 방법을 종래의 기본 파티클 필터만을 사용한 방법과 비교한 결과, 성능을 유지한 채 연산 속도는 약 4배 향상됨을 알 수 있었다. 또한, 코드 최적화 등으로 연산 속도를 좀 더 향상시킬 수 있으며, 자연스러운 인간-로봇 상호작용(HRI: Human-Robot Interaction)을 위한 얼굴 표정 인식 시스템에도 적용 가능할 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
44 : 제 1 예측 모델(Prediction Model with AAM)
45 : 제 1 예측 모델(Prediction Model without AAM)
46 : 관측 모델(Observation Model)
50 : 얼굴 특징 추적 장치
51 : 입력부
52 : 처리부
53 : 출력부

Claims (12)

  1. 파티클(particle) 집합을 이전 프레임 영상으로부터 입력받는 단계;
    상기 파티클 집합을 형성하는 파티클들이 상기 이전 프레임 영상에서 적용된 가중치가 클수록 이에 비례하여 증가하는 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 영상의 사후확률분포를 파티클 집합으로 표현하는 파티클 필터에 변형 가능한 객체의 특징점을 추출하는데 활용되는 통계적 모델을 나타내는 AAM(Active Appearance Model)을 적용하여 제 1 파티클 집합을 생성하는 단계;
    상기 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성하는 단계; 및
    상기 제 2 파티클 집합을 형성하는 파티클 중 가장 큰 가중치를 적용받은 파티클을 상기 현재 프레임 영상에 가장 적합한 파티클로 도출하는 단계를 포함하고,
    상기 파티클은 얼굴 특징점 벡터인 것을 특징으로 하는 얼굴 특징을 추적하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 파티클 집합을 생성하는 단계는,
    상기 입력받은 파티클 집합을 형성하는 파티클들이 상기 이전 프레임 영상에서 적용된 가중치 중 기설정된 기준값 보다 높은 상위 가중치를 갖는 중요한 파티클 그룹과 기설정된 기준값보다 낮은 가중치를 갖는 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할하는 단계; 및
    상기 중요한 파티클 그룹에 속한 파티클들에 형태(shape)와 질감(texture) 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성하는 단계를 포함하는 얼굴 특징을 추적하는 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제 2 파티클 집합을 생성하는 단계는,
    상기 제 1 파티클 집합을 형성하는 각 파티클로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출하는 단계;
    상기 산출된 가중치를 상기 각 파티클에 적용하는 단계;
    상기 각 파티클에 적용된 가중치의 합이 1이 되도록 정규화하는 단계를 포함하는 얼굴 특징을 추적하는 방법.
  5. 제 1 항에 있어서,
    상기 현재 프레임 영상에 가장 적합한 파티클로 도출하는 단계는,
    상기 제 2 파티클 집합을 형성하는 파티클들 중 가장 큰 상기 가중치가 적용된 파티클을 도출하는 것을 특징으로 하는 얼굴 특징을 추적하는 방법.
  6. 제 1 항에 있어서,
    상기 가중치의 크기에 비례하도록 상기 제 2 파티클 집합을 형성하는 파티클들을 리샘플링(resampling)하여 다음 프레임 영상으로 전달하는 단계를 더 포함하는 얼굴 특징을 추적하는 방법.
  7. 제 6 항에 있어서,
    상기 다음 프레임 영상으로 전달하는 단계는,
    상기 다음 프레임 영상의 제 1 사후확률분포와 상기 제 2 파티클 집합으로부터 추정된 제 2 사후확률분포 간의 차이를 상기 제 1 사후확률분포와 상기 제 2 사후확률분포간에 허용되는 에러값 이하로 유지시킬 수 있는 최소한의 파티클 개수를 도출함으로써, 상기 최소한의 파티클 개수만큼 리샘플링하는 것을 특징으로 하는 얼굴 특징을 추적하는 방법.
  8. 삭제
  9. 파티클 집합을 이전 프레임 영상으로부터 입력받는 입력부;
    상기 파티클 집합을 형성하는 파티클들이 상기 이전 프레임 영상에서 적용된 가중치가 클수록 이에 비례하여 증가하는 중요도를 고려하여 현재 프레임 영상과 상기 파티클 집합으로부터 영상의 사후확률분포를 파티클 집합으로 표현하는 파티클 필터에 변형 가능한 객체의 특징점을 추출하는데 활용되는 통계적 모델을 나타내는 AAM(Active Appearance Model)을 적용하여 제 1 파티클 집합을 생성하고, 상기 제 1 파티클 집합과 상기 현재 프레임 영상을 이용하여 산출되는 가중치를 상기 제 1 파티클 집합을 형성하는 파티클들에 적용함으로써 제 2 파티클 집합을 생성하는 처리부; 및
    상기 제 2 파티클 집합을 형성하는 파티클들 중 가장 큰 가중치를 적용받은 파티클을 상기 현재 프레임 영상에 가장 적합한 파티클로 도출하는 출력부를 포함하고,
    상기 파티클은 얼굴 특징점 벡터인 것을 특징으로 하는 얼굴 특징 추적 장치.
  10. 제 9 항에 있어서,
    상기 처리부는,
    다음 프레임 영상의 제 1 사후확률분포와 상기 제 2 파티클 집합으로부터 추정된 제 2 사후확률분포 간의 차이를 상기 제 1 사후확률분포와 상기 제 2 사후확률분포간에 허용되는 에러값 이하로 유지시킬 수 있는 최소한의 파티클 개수를 도출함으로써, 상기 최소한의 파티클 개수만큼 리샘플링하여 다음 프레임 영상으로 전달하는 것을 특징으로 하는 얼굴 특징 추적 장치.
  11. 제 9 항에 있어서,
    상기 처리부는,
    상기 입력받은 파티클 집합을 형성하는 파티클들이 상기 이전 프레임 영상에서 적용된 가중치 중 기설정된 기준값보다 높은 상위 가중치를 갖는 중요한 파티클 그룹과 기설정된 기준값보다 낮은 가중치를 갖는 중요하지 않은 파티클 그룹으로 상기 입력받은 파티클 집합을 분할하며, 상기 중요한 파티클 그룹에 속한 파티클들에 형태와 질감 정보에 대한 통계적 모델을 적용함으로써, 상기 제 1 파티클 집합을 생성하되,
    상기 파티클 집합을 형성하는 파티클들은 이전 프레임 영상에서 적용된 가중치가 클수록 상기 중요도가 비례하여 증가하는 것을 특징으로 하는 얼굴 특징 추적 장치.
  12. 제 9 항에 있어서,
    상기 처리부는,
    상기 제 1 파티클 집합을 형성하는 각 파티클로부터 생성된 프레임 영상과 상기 현재 프레임 영상 간의 차를 이용하여 상기 가중치를 산출하고, 상기 산출된 가중치를 상기 각 파티클에 적용하며, 상기 각 파티클에 적용된 가중치의 합이 1이 되도록 정규화하는 것을 특징으로 하는 얼굴 특징 추적 장치.
KR1020130116104A 2013-09-30 2013-09-30 얼굴 특징을 추적하는 방법 및 장치 KR101514242B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130116104A KR101514242B1 (ko) 2013-09-30 2013-09-30 얼굴 특징을 추적하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130116104A KR101514242B1 (ko) 2013-09-30 2013-09-30 얼굴 특징을 추적하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150036983A KR20150036983A (ko) 2015-04-08
KR101514242B1 true KR101514242B1 (ko) 2015-05-04

Family

ID=53033056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130116104A KR101514242B1 (ko) 2013-09-30 2013-09-30 얼굴 특징을 추적하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101514242B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051044A1 (en) * 2020-08-14 2022-02-17 Fujitsu Limited Image processing apparatus and computer-readable storage medium for storing screen processing program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101701043B1 (ko) * 2015-06-05 2017-01-31 원광대학교산학협력단 파티클 필터를 이용한 폐 윤곽선 추출방법 및 추출장치
KR20230007019A (ko) * 2021-07-05 2023-01-12 주식회사 아이티스노우볼 얼굴 감정 인식 장치 및 그 동작방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172237A (ja) 2005-12-21 2007-07-05 Denso Corp 推定装置
KR100951315B1 (ko) 2007-10-26 2010-04-05 에스케이 텔레콤주식회사 Ａａｍ을 이용한 얼굴검출 방법 및 장치
KR100951793B1 (ko) 2008-01-04 2010-04-07 포항공과대학교 산학협력단 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172237A (ja) 2005-12-21 2007-07-05 Denso Corp 推定装置
KR100951315B1 (ko) 2007-10-26 2010-04-05 에스케이 텔레콤주식회사 Ａａｍ을 이용한 얼굴검출 방법 및 장치
KR100951793B1 (ko) 2008-01-04 2010-04-07 포항공과대학교 산학협력단 타원체 모델을 이용한 파티클 필터에서의 머리 추적 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:정보과학회논문지

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051044A1 (en) * 2020-08-14 2022-02-17 Fujitsu Limited Image processing apparatus and computer-readable storage medium for storing screen processing program
US11682188B2 (en) * 2020-08-14 2023-06-20 Fujitsu Limited Image processing apparatus and computer-readable storage medium for storing screen processing program

Also Published As

Publication number Publication date
KR20150036983A (ko) 2015-04-08

Similar Documents

Publication Publication Date Title
Mahmood et al. Facial expression recognition in image sequences using 1D transform and gabor wavelet transform
Wang et al. Hidden-markov-models-based dynamic hand gesture recognition
Song et al. Tracking body and hands for gesture recognition: Natops aircraft handling signals database
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
KR101198322B1 (ko) 얼굴 표정 인식 방법 및 시스템
US10068131B2 (en) Method and apparatus for recognising expression using expression-gesture dictionary
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
Zhang et al. Hybrid support vector machines for robust object tracking
Hussain et al. Hand gesture recognition system with real-time palm tracking
EP2786313A1 (en) System and method for tracking and recognizing people
Haber et al. A practical approach to real-time neutral feature subtraction for facial expression recognition
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
JP2019536164A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20190130179A (ko) 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
KR101514242B1 (ko) 얼굴 특징을 추적하는 방법 및 장치
CN113591763A (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
Vafadar et al. A vision based system for communicating in virtual reality environments by recognizing human hand gestures
KR101956166B1 (ko) 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치
Zhang et al. A posture recognition system for rat cyborg automated navigation
Li Hand shape estimation for south african sign language
Mayer et al. A real time system for model-based interpretation of the dynamics of facial expressions
Moreira et al. Fast and accurate gesture recognition based on motion shapes
US20230130397A1 (en) Determination method and information processing apparatus
Li et al. Character action recognition based on deep convolutional neural network and action sequence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 5