KR101257207B1

KR101257207B1 - 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101257207B1
Application number: KR1020120018736A
Authority: KR
Inventors: 유우주
Original assignee: 인텔 코오퍼레이션
Priority date: 2012-02-23
Filing date: 2012-02-23
Publication date: 2013-04-22
Also published as: WO2013125876A1; CN104145296A; US20140193035A1; US9299161B2

Abstract

본 발명은 헤드 트래킹을 수행하는 방법에 있어서, (a) 얼굴 영역이 포함된 이미지를 입력받는 단계, 및 (b) 상기 얼굴 영역의 이동을 트래킹하는 단계를 포함하되, 상기 (b) 단계는, (b-1) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계, 및 (b-2) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계를 포함하는 방법을 제공한다.
본 발명은 능동 외관 모델 알고리즘 방식과 동적 템플릿을 사용하는 방식이 가진 문제점을 보완하여 얼굴 영역을 트래킹함에 있어서 연산 속도를 향상시켜 얼굴 영역이 빠르게 좌우로 움직이는 경우에도 얼굴 영역을 실시간으로 추적할 수 있으며, 트래킹을 계속적으로 수행하더라도 에러가 누적되어 정확도가 떨어지는 현상이 발생하지 않도록 하는 효과가 있다. 또한, 얼굴 영역 트래킹 시작 시 최초 템플릿을 사용자가 수동으로 설정할 필요 없이 자동으로 초기화되는 효과가 있다.

Description

헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체{METHOD, APPARATUS AND COMPUTER-READABLE RECORDING MEDIUM FOR HEAD TRACKING}

본 발명은 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로 보다 상세히, 2D 이미지로부터 얼굴 영역을 검출한 뒤 상기 얼굴 영역을 3D로 추정하여 트래킹을 수행함에 있어, 얼굴 영역의 각도가 정면에서 소정 각도 이내일 경우 능동 외관 모델(Active Appearance Model;AAM) 알고리즘을 사용하고 소정 각도를 벗어나는 경우 동적 템플릿(dynamic template) 기술을 이용하여 헤드 위치를 추정하는 것을 특징으로 하는 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

얼굴을 검출하는 기술은 이동로봇, 감시 시스템, 인간과 로봇 사이의 상호작용, 헤드 트래킹을 이용한 명령 입력 등 많은 응용시스템에서 연구되고 있는 분야 중 하나이다. 현재의 비전 기술을 이용하여 실시간으로 얼굴을 검출하는 일은 어려운 일임에도 불구하고, 컴퓨터 성능의 발달로 인하여 영상처리 기법의 발전과 더불어 이에 관한 연구가 활발히 진행되고 있다.

특히, Bruce D. Lucas and Takeo Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, Proceedings of the 7th International Joint Conference on Artificial Intelligence (IJCAI '81), April, 1981, pp. 674-679.에 개시된 바와 같이 입력된 이미지로부터 템플릿 이미지의 위치를 찾는 알고리즘이 개발되면서 2D 이미지로부터 얼굴이 돌아가는 각도를 트래킹하는 알고리즘이 다양하게 발전하고 있다.

한편, 위와 같은 알고리즘에는 ACM(Active Contour Model), ASM(Active Shape Model), AAM(Active Appearance Model) 등의 방법이 사용되고 있다.

상기 ACM은 검색되는 형태가 뱀이 움직이는 모양과 유사하여 일명 Snake 모델이라고도 불린다. 이 모델은 물체의 윤곽선을 추적할 수 있는 변형적(deformable) 모델이다. 이 알고리즘은 비학습형이며, 오일러 식을 이용하여 비교적 빠르게 각 점들을 찾아낼 수 있지만 이미지(Image) 항과 컨스트레인트(Constraint) 항에 의한 수렴으로는 결과를 확신하기 힘들고, 오목한 모양(Concavity) 부분에서 윤곽선의 추적이 어려운 문제점이 있다.

상기 ASM은 Cootes 등에 의해 제안된 방법으로 상기 ACM 모델과 유사한 성격을 지닌다. 형상 모델(Shape Model)이란 어떤 물체의 위치, 크기, 회전 효과가 제거된 형태의 모든 기하학적인 정보를 말한다. 이러한 형상 모델을 이용하는 ASM은 물체 외형의 정보를 학습시키고 이 정보를 바탕으로 물체의 평균 형태에 변형을 가하여 새로운 이미지 내에서 물체를 찾는 방법이다. 이 방법은 학습된 지식을 기반으로 하기 때문에 물체의 형태를 유지하면서 검색을 수행하게 된다. 이 방법은 연산속도는 빠르지만, 새로운 이미지 내에서 물체를 찾을 때에 물체의 외형이 되는 부분을 정확하게 찾아야 하기 때문에 상기 ACM과 마찬가지로 윤곽선이 명확하지 않은 이미지의 경우 물체의 정확한 형태를 찾기가 어렵다는 문제점이 있다.

상기 AAM은 상기 ASM 방식을 개선한 것으로, 기존 ASM의 물체 형태 정보와 물체의 텍스쳐 정보가 포함되는 외관(Appearance)을 이용하여 이미지 내의 물체를 찾는 방법이다. 이 방법은 물체의 형태 정보와 텍스쳐 정보를 이용하여 물체의 형태를 유지하면서 학습된 텍스쳐 정보를 기반으로 가장 유사한 텍스쳐를 가지는 부분을 검색하여 보다 정확하게 물체의 형태 및 위치를 찾을 수 있도록 한다.

보다 상세히, 상기 AAM 방식은 텍스쳐 정보를 기반으로 외관(Appearance)을 완성하기 위한 작업을 수행한다. 동시에 특징점 추출을 통하여 형태 정보를 수집하고 이를 기초로 초기 형상 모델(Shape Model)을 생성한다. 상기 초기 형상 모델 및 상기 외관을 이용하여 AAM 모델을 조합할 수 있게 된다.

상기 AAM은 컴바인드(Combined) AAM과 인디펜던트(Independent) AAM으로 구분될 수 있는데, 컴바인드 AAM 알고리즘은 학습형이고, 형상(Shape)과 외관(Appearance)을 하나의 파라미터화하여 피팅하는 방식으로 비교적 피팅 속도가 느리다는 문제점이 있다. 인디펜던트 AAM 알고리즘은 학습형이며, 형상(Shape)과 외관(Appearance)이 독립적이기 때문에 벡터(Vector)의 길이가 무한대로 길어져, 비교 분석 시 검출율에서 컴바인드 AAM보다 우위를 보인다.

이와 같은 AAM은 Iain Matthews and Simon Baker, Active Appearance Models Revisited, International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164.에 상세히 기술되어 있다. 앞서 설명한 바와 같이 상기 AAM은 연산 속도가 느리기 때문에 빠르게 좌우로 움직이며 이동하는 얼굴 영역(즉, 머리의 움직임)을 실시간으로 추적할 수 없다는 문제점이 있다.

이와 같은 문제점을 해결하기 위하여 Wooju Ryu and Daijin Kim, Real-Time 3D Head Tracking Under Rapidly Changing Pose, Head Movement and Illumination, Lecture Notes in Computer Science, 2007, Volume 4633/2007, pp. 569-580에 개시된 바와 같이 동적 템플릿(Template)을 이용한 얼굴 영역 트래킹 기술이 개발되었다.

상기 동적 템플릿을 이용한 얼굴 영역 트래킹 기술은 연속적으로 입력되는 이미지 중 직전에 입력된 이미지를 템플릿으로 사용하여 현재 이미지와의 차이를 비교함으로써 얼굴 영역의 이동(즉, 머리의 움직임)을 탐색하게 된다. 이와 같은 동적 템플릿을 이용한 얼굴 영역 트래킹 기술은 템플릿으로 사용하는 이미지를 실시간으로 업데이트하기 때문에 빠르게 좌우로 이동하는 얼굴 영역을 실시간으로 추적하는데 적합하나 트래킹 결과가 한번 잘못되면 복구가 불가능하고, 입력되는 이미지를 템플릿으로 이용하여 얼굴 영역을 트래킹하므로 연속적으로 입력되는 각 이미지마다 에러가 누적되어 정확도가 떨어진다는 문제점이 있다. 또한, 얼굴 영역 트래킹 시 최초 템플릿을 사용자가 수동으로 설정해 주어야 하기 때문에 자동으로 초기화하는데 제약이 따르는 문제점이 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 능동 외관 모델 알고리즘 방식과 동적 템플릿을 사용하는 방식이 가진 문제점을 보완하여 얼굴 영역을 트래킹함에 있어서 연산 속도를 향상시켜 얼굴 영역이 빠르게 움직이는 경우에 효율적으로 대응할 수 있으며, 트래킹을 계속적으로 수행하더라도 에러가 누적되어 정확도가 떨어지는 현상이 발생하지 않도록 하는 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 헤드 트래킹을 수행하는 방법에 있어서, (a) 얼굴 영역이 포함된 이미지를 입력받는 단계, 및 (b) 상기 얼굴 영역의 이동을 트래킹하는 단계를 포함하되, 상기 (b) 단계는, (b-1) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계, 및 (b-2) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계를 포함하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, 헤드 트래킹을 수행하는 장치에 있어서, 얼굴 영역이 포함된 이미지를 입력받는 영상 입력부, 및 상기 얼굴 영역의 이동을 트래킹하는 얼굴 영역 트래킹부를 포함하되, 상기 얼굴 영역 트래킹부는, 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하고, 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 장치가 제공된다.

본 발명은 능동 외관 모델 알고리즘 방식과 동적 템플릿을 사용하는 방식이 가진 문제점을 보완하여 얼굴 영역을 트래킹함에 있어서 연산 속도를 향상시켜 얼굴 영역이 빠르게 좌우로 움직이는 경우에도 얼굴 영역을 실시간으로 추적할 수 있으며, 트래킹을 계속적으로 수행하더라도 에러가 크게 누적되지 않으므로 정확도가 떨어지는 현상이 발생하지 않도록 하는 효과가 있다.

또한, 얼굴 영역 트래킹 시작 시 최초 템플릿을 사용자가 수동으로 설정할 필요 없이 자동으로 초기화되는 효과가 있다.

도 1 은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치를 도시한 블럭도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 초기화 화면을 나타낸 도면이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 트래킹 화면을 나타낸 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 방법을 설명하는 플로우 차트이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

전체 장치의 구성

도 1 은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치를 도시한 블럭도이다.

본 발명의 일 실시예에 따른 헤드 트래킹 장치는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 타블렛 컴퓨터, 노트북 컴퓨터 등), PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대용 디지털 기기라면 얼마든지 본 발명에 따른 헤드 트래킹 장치로서 채택될 수 있다. 상기 헤드 트래킹 장치의 자세한 내부 구성에 대해서는 후술하기로 한다.

도 1을 참조하면, 본 발명의 헤드 트래킹 장치는 영상 입력부(100), 얼굴 영역 검출부(200), 얼굴 영역 트래킹부(300), 및 제어부(400)를 포함한다. 본 발명의 일 실시예에 따르면, 영상 입력부(100), 얼굴 영역 검출부(200), 얼굴 영역 트래킹부(300), 및 제어부(400)는 그 중 적어도 일부가 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 헤드 트래킹 장치에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치상에 저장될 수 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

먼저, 상기 영상 입력부(100)는 촬상 소자로부터 얼굴 영역이 포함된 2D 이미지를 입력받는 기능을 수행한다. 상기 2D 이미지는 동영상과 같은 연속적인 이미지일 수 있다. 바람직하게는 초기 입력되는 이미지는 정면을 바라보는 얼굴 영역이 포함된 것일 수 있으며, 상기 정면을 바라보는 얼굴 영역은 상기 헤드 트래킹 장치의 초기화에 사용될 수 있다.

다음으로, 상기 얼굴 영역 검출부(200)는 상기 영상 입력부(100)를 통하여 입력된 이미지로부터 얼굴 영역을 검출하여 초기화하는 기능을 수행한다. 상기 얼굴 영역을 검출하여 초기화하는 과정은 입력되는 2D 이미지로부터 FD(Face Detection), ED(Eye Detection), MD(Mouse Detection) 기술을 이용하여 얼굴 영역 내 특징점을 검출하는 과정과 상기 2D 이미지 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정하는 과정으로 이루어진다.

상기 FD 기술로는 종래 공지되어 있는 다양한 기술이 사용될 수 있으며, 예를 들어, 아다부스트 학습 알고리즘에 의해 학습되어 선택된 특징 패턴들을 이용하여 수행될 수 있다. 본 발명의 출원인은 이미지 속에서 얼굴을 검출하는 방법 및 장치에 대하여 출원번호 제10-2011-0114160호, 발명의 명칭 '얼굴 검출 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체'를 통하여 이미 출원한 바 있으며, 위 발명은 본 발명과 합체된다.

상기 얼굴 영역 내 특징점으로는 적어도 양 눈의 중앙과 양 입의 양 끝점을 포함할 수 있으며, 상기 얼굴 영역 검출부(200)는 입력되는 이미지로부터 상기 얼굴 영역 내 특징점을 검출하고, 상기 특징점들의 상대적 위치를 기초로 얼굴 영역의 초기 3D 위치를 추정하게 된다. 3D 상에서 상기 특징점들의 상대적 위치를 파악하기 위해서는 X 축을 기준으로 회전한 각도(Pitching), Y 축을 기준으로 회전한 각도(Yawing), Z 축을 기준으로 회전한 각도(Rolling), X 축을 기준으로 평행 이동한 거리, Y 축을 기준으로 평행 이동한 거리, Z 축을 기준으로 평행 이동한 거리를 포함하는 총 6개의 3D 위치 파라미터가 획득되어야 한다. 즉, 상기 얼굴 영역 검출부(200)는 상기 6개의 파라미터를 이용하여 상기 특징점의 상대적 위치를 검출하고 이를 기초로 하여 얼굴 영역의 초기 3D 위치를 추정함으로써 초기화를 수행할 수 있다. 상기 얼굴 영역의 초기 3D 위치를 추정하는 과정은 양쪽 눈 사이의 거리를 이용하여 얼굴의 넓이 및 높이를 추정하고, 양쪽 눈을 연결한 선과 수평선의 각도를 이용하여 롤(roll) 각도를 추정하여 얼굴의 회전 각도를 계산하게 된다.

한편, 상기 초기화를 수행함에 있어서, 상기 얼굴 영역이 정면으로부터 너무 많이 회전된 상태의 이미지가 입력되는 경우 상기 이미지로부터 얼굴 영역의 특징점을 검색하여 해당 특징점이 가지는 6개의 파라미터를 획득하는 것이 용이치 않을 수 있다. 그렇다고 상기 요(yaw), 피치(pitch), 롤(roll)의 각도가 허용되는 범위를 지나치게 좁게 설정하는 경우에는 초기화가 가능한 이미지가 한정되어 헤드 트래킹 장치의 사용에 불편이 초래될 수 있다. 본 발명의 출원인이 다수의 반복적인 시뮬레이션을 수행한 결과 얼굴 영역이 정면으로부터 ±22.5°범위 내에 위치하는 경우 초기화에 문제가 없음을 알 수 있었다. 따라서 상기 초기화를 수행함에 있어서, 얼굴 영역은 정면으로부터 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±22.5°범위 내에 위치하는 것이 바람직하다.

도 2는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 초기화 화면을 나타낸 도면이다.

도 2를 참조하면, 얼굴 영역이 정면으로부터 ±22.5°범위 내에 위치하는 경우 얼굴 영역이 3D 타원체 모델로 모델링될 수 있다. 상기 3D 타원체 모델 상에서 상기 얼굴 영역의 특징점의 6개 파라미터를 획득하여 상기 특징점의 3D 위치를 추정하게 된다.

한편, 상기 초기화를 수행한 이후에는 상기 얼굴 영역 트래킹부(300)에서 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정이 적어도 한번 수행될 수 있다. 바람직하게는 상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 능동 외관 모델(Active Appearance Model;AAM) 알고리즘을 사용하여 구현될 수 있다. 동적 템플릿을 이용하는 경우 현재 입력된 이미지 프레임 이전의 이미지 프레임이 입력되어야 이를 템플릿으로 사용하여 트래킹을 수행할 수 있다는 점에서 상기 초기화 과정에서는 상기 능동 외관 모델 알고리즘을 사용하여 트래킹을 수행하고, 이에 따르면 사용자가 템플릿을 수동으로 설정해 주어야 하는 불편을 미연에 차단할 수 있다.

위에서 설명한 바와 같이 상기 얼굴 영역 트래킹부(300)는 연속으로 입력되는 이미지 속에서 얼굴 영역이 이동(즉, 머리가 이동)하는 경우 이를 추적하여 얼굴 영역의 위치(즉, 머리의 이동)를 검출하는 기능을 수행한다. 보다 상세히, 상기 얼굴 영역 트래킹부(300)는 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정을 거치게 되고, 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정을 거쳐 얼굴 영역의 위치를 검출하게 된다.

상기 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 상기 특징점의 6개의 파라미터를 획득함으로써 이루어질 수 있다. 상기 6개의 파라미터는 X 축을 기준으로 회전한 각도(Pitching), Y 축을 기준으로 회전한 각도(Yawing), Z 축을 기준으로 회전한 각도(Rolling), X 축을 기준으로 평행 이동한 거리, Y 축을 기준으로 평행 이동한 거리, Z 축을 기준으로 평행 이동한 거리를 포함할 수 있다.

한편, 바람직하게는 상기 회전 각도는 얼굴 영역의 정면으로부터 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±5°범위 내로 설정될 수 있다.

상기 얼굴 영역의 회전 각도가 요(yaw), 피치(pitch), 롤(roll) 모두 ±5°이내일 경우 입력되는 영상 속에 포함된 얼굴 영역과 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하게 된다. 이를 위하여 능동 외관 모델(Active Appearance Model;AAM) 알고리즘이 사용될 수 있다.

상기 능동 외관 모델 알고리즘은 얼굴 영역을 형태(Shape)와 텍스처(Texture)로 나누어 모델링하며, 기본적으로 얼굴 학습 데이터를 이용하여 평균 얼굴을 구성하고 외부에서 들어오는 영상 내의 얼굴 영역을 정해주면 그 얼굴에 비슷하게 수렴할 때까지 평균 얼굴의 형태와 텍스처의 파라미터가 변해가도록 설계한다.

이를 위하여 상기 능동 외관 모델 알고리즘은 영상 입력부(100)로부터 제공되는 영상을 그레이 값으로 변환하고 상기 영상을 이루는 정수 값을 차후 얼굴 인식을 위한 플로팅 값으로 변환하는 과정을 포함하는 영상 전처리 과정을 거쳐 해당 얼굴 영역을 검출하고, 상기 얼굴 영역의 형태(Shape) 및 텍스쳐(Texture)로 구분하여 얼굴 특징점, 밝기 값 등을 포함하는 얼굴 특징 요소를 추출하며, 추출한 얼굴 특징 요소를 토대로 기 저장중인 통계학적 얼굴 모델(템플릿)을 변환하여 상기 얼굴 영역을 이루는 영상과 매칭하는 합성 얼굴 영상을 모델링한 후, 이렇게 형성한 합성 얼굴 영상에 맵핑 소스를 결합하는 랜더링 처리를 통해 상기 영상 입력부(100)로부터 제공된 영상을 3차원 얼굴 영상으로 자동 변환하게 된다.

이와 같은, 상기 능동 외관 모델 알고리즘은 대상물의 다양한 변형을 유연하게 표현할 수 있다는 장점이 있으므로, 얼굴 추적, 얼굴 특징점 추출, 표정 인식 등 다양한 분야에 적용되어 사용되고 있다.

그러나, 상기 능동 외관 모델 알고리즘은 입력되는 이미지마다 기 학습된 모델을 템플릿으로 사용하여 얼굴 영역의 위치를 추적하게 되므로 연산량이 많아 속도가 저하되는 문제점을 가지고 있다. 따라서 얼굴 영역이 빠른 속도로 이동하거나 이동(가령 회전)하는 각도가 큰 경우 이를 실시간으로 추적하는데 어려움이 발생할 수 있으므로 상기 능동 외관 모델 알고리즘만을 이용하여 얼굴 영역의 위치를 추적하는 것은 효율적이지 못하다.

따라서 본 발명의 경우 상기 얼굴 영역의 요(yaw), 피치(pitch), 롤(roll) 각도 중 어느 하나가 ±5°외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정을 거쳐 얼굴 영역의 위치를 검출하게 된다. 이를 위하여 동적 템플릿(dynamic template) 기술이 이용될 수 있다.

상기 동적 템플릿 기술은 연속적으로 입력되는 이미지 중 직전에 입력된 이미지를 템플릿으로 사용하여 현재 이미지와의 차이를 비교함으로써 얼굴 영역의 이동을 탐색하는 기술이다. 이와 같은 동적 템플릿을 이용한 얼굴 영역 트래킹 기술은 템플릿으로 사용하는 이미지를 실시간으로 업데이트하기 때문에 빠르게 좌우로 이동하는 얼굴 영역(또는 큰 각도로 회전하는 얼굴 영역)을 실시간으로 추적하는데 적합하다. 따라서, 상기 얼굴 영역의 요(yaw), 피치(pitch), 롤(roll) 각도 중 어느 하나가 ±5°외일 경우 얼굴 영역이 빠른 속도로 폭넓게 움직이는 것으로 추정할 수 있으므로 상기 동적 템플릿 기술을 이용함으로써 상기 능동 외관 모델과 비교하여 상대적으로 연산량이 작아 속도가 빠른 동적 템플릿 기술을 사용하여 상기 능동 외관 모델의 단점을 보완할 수 있다.

한편, 상기 동적 템플릿 기술의 경우 이전에 입력된 이미지를 템플릿으로 사용하게 되므로 트래킹 결과가 한번 잘못되면 복구가 불가능하고, 각 이미지를 트래킹하면서 발생하게 되는 에러가 누적되어 정확도가 떨어질 수 있다는 문제점이 있었으나 본 발명의 경우 상기 얼굴 영역의 요(yaw), 피치(pitch), 롤(roll) 각도 중 어느 하나가 ±5°외의 범위에서 ±5°내의 범위로 이동하는 경우 상기 얼굴 영역의 이동을 추적하기 위하여 동적 템플릿 기술에서 능동 외관 모델 알고리즘이 사용되게 되므로 동적 템플릿을 이용하면서 누적된 에러가 상기 능동 외관 모델 알고리즘을 사용함으로써 소멸되고, 결과적으로 보다 정확한 트래킹을 구현할 수 있게 된다.

도 3은 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 장치의 트래킹 화면을 나타낸 도면이다.

도 3을 참조하면, 얼굴 영역이 정면으로부터 회전하는 경우 상기 얼굴 영역이 정면으로부터 ±5°의 범위 내에서는 상기 능동 외관 모델 알고리즘을 이용하여 트래킹을 수행하고, ±5°의 범위를 벗어나는 경우에는 동적 템플릿 기술을 이용하여 트래킹을 수행한다. 상기 트래킹이 수행되는 경우 얼굴 영역이 회전함에 따라 3D 타원체 모델이 상기 얼굴 영역과 매칭되도록 회전하며 상기 3D 타원체 모델 상에서 상기 얼굴 영역의 특징점의 6개 파라미터를 획득하여 상기 특징점의 3D 위치를 추정하게 된다.

마지막으로, 상기 제어부(400)는 영상 입력부(100), 얼굴 영역 검출부(200), 및 얼굴 영역 트래킹부(300) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 상기 제어부(400)는 각 구성요소 간의 데이터의 흐름을 제어함으로써, 영상 입력부(100), 얼굴 영역 검출부(200), 및 얼굴 영역 트래킹부(300)에서 각각 고유 기능을 수행하도록 제어한다.

도 4는 본 발명의 바람직한 일 실시예에 따른 헤드 트래킹 방법을 설명하는 플로우 차트이다.

도 4를 참조하면, 먼저 영상 입력부(100)를 통하여 얼굴 영역이 포함된 2D 이미지를 입력 받는다(S100). 다음으로 헤드 트래킹 장치가 초기화 모드로 동작하는지 여부를 판단한다(S110). 만약 상기 헤드 트래킹 장치가 초기화 모드로 동작하는 경우에는 FD, ED, MD 기술을 이용하여 얼굴 영역 내 특징점을 검출하고(S120), 상기 2D 이미지 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정한다(S130). 이상과 같이 초기화가 완료되면, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색한다(S140). 상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 능동 외관 모델(Active Appearance Model;AAM) 알고리즘을 사용하여 구현될 수 있다.

한편, 상기 S110 단계에서 헤드 트래킹 장치가 초기화 모드로 동작하지 않는 경우 상기 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내인지 여부를 판단한다(S150). 바람직하게는 상기 회전 각도는 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±5°범위 내인지 여부를 기준으로 판단하게 된다. 상기 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, S140 단계로 진행하여 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하게 된다. 반면, 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하게 된다(S160).

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 영상 입력부
200: 얼굴 영역 검출부
300: 얼굴 영역 트래킹부
400: 제어부

Claims

헤드 트래킹을 수행하는 방법에 있어서,
(a) 얼굴 영역이 포함된 적어도 하나의 이미지 프레임을 입력받는 단계;
(b) 입력되는 상기 이미지 프레임으로부터 상기 얼굴 영역을 검출하여 초기화하는 단계; 및
(c) 상기 얼굴 영역의 회전 각도를 참조로 하여 기 학습된 템플릿과의 비교를 수행하는 알고리즘과 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 수행하는 알고리즘 중 어느 한 알고리즘을 선택적으로 이용함으로써 상기 얼굴 영역의 이동을 트래킹하는 단계를 포함하되,
상기 (c) 단계는,
(c-1) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계 - 상기 얼굴 영역을 초기화하는 단계 이후에는 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 적어도 한번 탐색함 -; 및
(c-2) 얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계를 포함하는 방법.
삭제
제1항에 있어서,
상기 얼굴 영역을 검출하여 초기화하는 단계는,
입력되는 2D 이미지 프레임으로부터 FD, ED, MD 기술을 이용하여 얼굴 영역 내 특징점을 검출하는 단계, 및
상기 2D 이미지 프레임 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
제3항에 있어서,
상기 얼굴 영역의 초기 3D 위치를 추정하는 단계는,
양쪽 눈 사이의 거리를 이용하여 얼굴의 넓이 및 높이를 추정하고, 양쪽 눈을 연결한 선과 수평선의 각도를 이용하여 롤(roll) 각도를 추정하여 얼굴의 회전 각도를 계산하는 것을 특징으로 하는 방법.
삭제
제1항에 있어서,
상기 초기화하는 단계는 얼굴 영역의 정면으로부터 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±22.5°범위 내에서 수행되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (c-1) 단계는,
능동 외관 모델(Active Appearance Model;AAM) 알고리즘을 사용하여 구현되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (c-2) 단계는,
동적 템플릿(dynamic template) 기술을 이용하여 얼굴 영역의 3D 위치를 추정하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 얼굴 영역 내 특징점의 위치 변화를 탐색하는 단계는 상기 특징점의 6개의 파라미터를 획득함으로써 이루어지는 것을 특징으로 하는 방법.
제9항에 있어서,
상기 6개의 파라미터는 X 축을 기준으로 회전한 각도(Pitching), Y 축을 기준으로 회전한 각도(Yawing), Z 축을 기준으로 회전한 각도(Rolling), X 축을 기준으로 평행 이동한 거리, Y 축을 기준으로 평행 이동한 거리, Z 축을 기준으로 평행 이동한 거리를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 얼굴 영역 내 특징점은 양 눈의 중앙과 입의 양 끝점을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 소정 각도는 얼굴 영역의 정면으로부터 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±5° 인 것을 특징으로 하는 방법.
헤드 트래킹을 수행하는 장치에 있어서,
얼굴 영역이 포함된 적어도 하나의 이미지 프레임을 입력받고, 입력된 상기 이미지 프레임으로부터 얼굴 영역을 검출하여 초기화하는 영상 입력부; 및
상기 얼굴 영역의 회전 각도를 참조로 하여 기 학습된 템플릿과의 비교를 수행하는 알고리즘과 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 수행하는 알고리즘 중 어느 한 알고리즘을 선택적으로 이용함으로써 상기 얼굴 영역의 이동을 트래킹하는 얼굴 영역 트래킹부를 포함하되,
상기 얼굴 영역 트래킹부는,
얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 내일 경우, 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하고 - 상기 얼굴 영역의 초기화를 수행한 이후에 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 적어도 한번 탐색함 -,
얼굴 영역의 회전 각도가 정면으로부터 소정 각도 범위 외일 경우, 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 장치.
삭제
제13항에 있어서,
상기 영상 입력부는,
입력되는 2D 이미지 프레임으로부터 FD, ED, MD 기술을 이용하여 얼굴 영역 내 특징점을 검출하고,
상기 2D 이미지 프레임 상의 얼굴 영역으로부터 얼굴 영역의 초기 3D 위치를 추정하는 것을 특징으로 하는 장치.
제15항에 있어서,
상기 얼굴 영역의 초기 3D 위치를 추정하는 것은,
양쪽 눈 사이의 거리를 이용하여 얼굴의 넓이 및 높이를 추정하고, 양쪽 눈을 연결한 선과 수평선의 각도를 이용하여 롤(roll) 각도를 추정하여 얼굴의 회전 각도를 계산하는 것을 특징으로 하는 장치.
삭제
제13항에 있어서,
상기 초기화는 얼굴 영역의 정면으로부터 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±22.5°범위 내에서 수행되는 것을 특징으로 하는 장치.
제13항에 있어서,
상기 기 학습된 템플릿과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은,
능동 외관 모델(Active Appearance Model;AAM) 알고리즘을 사용하여 구현되는 것을 특징으로 하는 장치.
제13항에 있어서,
상기 이전에 입력된 얼굴 영역 이미지 프레임과의 비교를 통하여 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은,
동적 템플릿(dynamic template) 기술을 이용하여 얼굴 영역의 3D 위치를 추정하는 것을 특징으로 하는 장치.
제13항에 있어서,
상기 얼굴 영역 내 특징점의 위치 변화를 탐색하는 과정은 상기 특징점의 6개의 파라미터를 획득함으로써 이루어지는 것을 특징으로 하는 장치.
제21항에 있어서,
상기 6개의 파라미터는 X 축을 기준으로 회전한 각도(Pitching), Y 축을 기준으로 회전한 각도(Yawing), Z 축을 기준으로 회전한 각도(Rolling), X 축을 기준으로 평행 이동한 거리, Y 축을 기준으로 평행 이동한 거리, Z 축을 기준으로 평행 이동한 거리를 포함하는 것을 특징으로 하는 장치.
제13항에 있어서,
상기 얼굴 영역 내 특징점은 양 눈의 중앙과 입의 양 끝점을 포함하는 것을 특징으로 하는 장치.
제13항에 있어서,
상기 소정 각도는 얼굴 영역의 정면으로부터 요(yaw), 피치(pitch), 롤(roll)의 각도가 각 ±5° 인 것을 특징으로 하는 장치.
제1항, 제3항, 제4항, 제6항 내지 제12항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.