KR20060027481A

KR20060027481A - 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법

Info

Publication number: KR20060027481A
Application number: KR1020040076244A
Authority: KR
Inventors: 김영욱; 박창우; 김주한; 성하경; 장승호; 백준기
Original assignee: 전자부품연구원
Priority date: 2004-09-23
Filing date: 2004-09-23
Publication date: 2006-03-28
Also published as: KR100587430B1

Abstract

본 발명은 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법에 관한 것으로, 팬(Pan)/틸트(Tilt) 동작 및 직선 운동으로 사람의 얼굴을 추적하여 얼굴 영상을 촬영하는 촬영부와; 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영된 특정인의 얼굴 영상들이 구축되어 있는 데이터 베이스와; 상기 촬영부에서 촬영된 얼굴 영상을 입력받아, 상기 입력된 얼굴 영상과 일정각도 기울어진 얼굴 포즈를 상기 데이터 베이스에 구축된 특정인의 얼굴 영상을 비교하고, 상기 미리 촬영된 얼굴 영상들로부터 상기 입력된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출할 수 있는 퍼지 추정부와; 상기 퍼지 추정부를 제어하고, 상기 퍼지 추정부의 신호를 받아 상기 촬영부를 제어하는 제어부로 이루어진다.

따라서, 본 발명은 최초 촬영된 얼굴 포즈가 정면얼굴로부터 일정각도로 기울어졌을 경우, 그 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 카메라를 이동시킴으로써, 정면 얼굴을 실시간으로 촬영할 수 있어 얼굴 인식률을 높일 수 있는 효과가 있다.

얼굴, 포즈, 보정, 정면, 이송

Description

얼굴 포즈를 보정하여 촬영하는 시스템 및 방법{System and method for photographing after correcting face pose}

도 1은 정면 얼굴 영상을 나타낸 사진

도 2a 내지 도 2c는 x,y,z 축에 의해 얼굴 포즈가 변환된 얼굴 영상을 나타낸 사진

도 3은 본 발명에 따른 얼굴 포즈를 보정하여 촬영하는 시스템의 구성도

도 4는 본 발명에 따른 팬(Pan)/틸트(Tilt) 카메라와 이송장치를 도시한 사시도

도 5는 본 발명에 따라 정면 얼굴에서 일정각도 기울어진 특정인의 얼굴 포즈를 각 각도별로 미리 촬영하여 데이터 베이스에 구축된 얼굴 사진

도 6은 본 발명에 적용된 팬/틸트 카메라의 개략적인 사시도

도 7a 내지 7d는 본 발명에 따른 얼굴 포즈를 보정하여 촬영하는 시스템으로 얼굴 포즈를 보정하는 개념을 설명하기 위한 개념도

도 8은 본 발명의 제 1 실시예에 따른 얼굴 포즈를 보정하여 촬영하는 방법의 플로우챠트

도 9는 본 발명의 제 2 실시예에 따른 얼굴 포즈를 보정하여 촬영하는 방법의 플로우챠트

<도면의 주요부분에 대한 부호의 설명>

50 : 팬(Pan)/틸트(Tilt) 카메라 60 : 이송 장치

100 : 촬영부 200 : 제어부

300 : 퍼지 추정부 400 : 데이터 베이스

본 발명은 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 최초 촬영된 얼굴 포즈가 정면얼굴로부터 일정각도로 기울어졌을 경우, 그 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 카메라를 이동시킴으로써, 정면 얼굴을 실시간으로 촬영할 수 있어 얼굴 인식률을 높일 수 있는 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법에 관한 것이다.

최근, 생체인식을 이용한 보안제품이 봇물을 이루고 있다.

생체인식의 종류에는 얼굴, 지문, 홍채, 망막, 음성, 정맥 등 인간의 고유한 특징을 추출하여 데이터 베이스화하고 입력이 들어 왔을 때 구축된 데이터 베이스와 비교하여 본인임을 인증하는 방식이다.

사용자의 인체 특징을 추출하기 위해서는 지문의 경우 접촉방식으로 취득하고, 홍채의 경우 또한 카메라에 근접하여 눈의 영상을 취득해야 하는 번거로움이 있고, 음성의 경우도 사용자가 마이크를 착용해야 한다는 단점이 있다.

그러나, 얼굴인식의 경우 사용자의 얼굴 정보를 취득할 때, 사용자가 의식을 하지 않은 상태에서 특징 취득이 가능한 장점이 있어 향후 가장 자연스러운 생체인식으로 각광받고 있다.

얼굴 인식은 향후 지능형 감시 시스템이나 모바일(Mobile) 로봇에서의 사용자와 시스템간의 인터랙티브(Interactive)한 서비스를 위해 반드시 필요한 기능으로 중요한 연구 분야가 되고 있고, 인식률을 높이기 위한 많은 방법이 제안되고 있다.

그러나, 얼굴인식의 경우 주변의 환경에 따라서 민감하게 인식률이 반응된다.

도 1은 정면 얼굴 영상을 나타낸 사진이고, 도 2a 내지 도 2c는 x,y,z 축에 의해 얼굴 포즈가 변환된 얼굴 영상을 나타낸 사진으로서, 얼굴포즈 변화의 경우, 도 1에 도시된 바와, 정면 얼굴 영상에서 x,y,z의 축으로 개인이 얼굴을 회전하기 되면, 도 2a 내지 도 2c와 같이, x,y,z 축으로 회전된 얼굴 포즈 변화가 발생한다.

이런 얼굴 포즈의 변화는 얼굴인식의 성능을 저하하는 주요한 요소이다.

종래의 기술에서는 z축으로의 변화는 간단한 어파인 변환(Affine transform)으로 보정하였으나, 어파인 변환으로는 y축으로 포즈를 보정하지 못하였다.

그리고, 다른 방법으로 x축 및 y축으로의 변화는 복수개의 스테레오 카메라를 이용하여 얼굴 영상을 합성하는 방법을 이용하였다.

이러한 복수개의 스테레오 카메라를 사용하는 것은 시스템 단가를 상승시키는 문제점이 있었고, 또한, 스테레오 카메라의 조정(Calibration)을 주기적으로 맞 추어야 하는 문제가 있고, 더불어 합성을 위한 복잡한 계산이 소요되는 문제점이 있었다.

또 다른 방법으로, x축 및 y축으로 회전된 얼굴 영상을 데이터 베이스에 구축하고 고유얼굴(Eigenface)상에서 입력된 얼굴영상의 포즈를 추정하고 소프트웨어로 합성하는 방법이 있었는데, 이 방법은 포즈별 고유얼굴 기반의 합성방식이 매우 어렵고, 실시간으로 구현되지 않는 문제점이 있었다.

이에 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 최초 촬영된 얼굴 포즈가 정면얼굴로부터 일정각도로 기울어졌을 경우, 그 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 카메라를 이동시킴으로써, 정면 얼굴을 실시간으로 촬영할 수 있어 얼굴 인식률을 높일 수 있는 얼굴 포즈를 보정하여 촬영하는 시스템 및 방법을 제공하는 데 그 목적이 있다.

상기한 본 발명의 목적들을 달성하기 위한 바람직한 양태(樣態)는, 팬(Pan)/틸트(Tilt) 동작 및 직선 운동으로 사람의 얼굴을 추적하여 얼굴 영상을 촬영하는 촬영부와;

일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영된 특정인의 얼굴 영상들이 구축되어 있는 데이터 베이스와;

상기 촬영부에서 촬영된 얼굴 영상을 입력받아, 상기 입력된 얼굴 영상과 일정각도 기울어진 얼굴 포즈를 상기 데이터 베이스에 구축된 특정인의 얼굴 영상을 비교하고, 상기 미리 촬영된 얼굴 영상들로부터 상기 입력된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출할 수 있는 퍼지 추정부와;

상기 퍼지 추정부를 제어하고, 상기 퍼지 추정부의 신호를 받아 상기 촬영부를 제어하는 제어부로 이루어진 얼굴 포즈를 보정하는 시스템이 제공된다.

상기한 본 발명의 목적들을 달성하기 위한 바람직한 다른 양태(樣態)는, 좌, 우 이송할 수 있는 팬(Pan)/틸트(Tilt) 카메라로 특정인의 얼굴을 추적한 후, 촬영하여 얼굴 영상을 획득하는 제 1 단계와;

정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들과 상기 획득된 얼굴 영상을 비교하여, 상기 미리 촬영된 얼굴 영상들로부터 상기 획득된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출하는 제 2 단계와;

상기 추출된 얼굴 영상으로부터 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 팬/틸트 카메라를 이동시키고, 팬/틸트 동작 수행하여 정면 얼굴을 촬영하는 제 3 단계로 구성된 얼굴 포즈를 보정하여 촬영하는 방법이 제공된다.

상기한 본 발명의 목적들을 달성하기 위한 바람직한 또 다른 양태(樣態)는, 좌, 우 이송할 수 있는 팬(Pan)/틸트(Tilt) 카메라로 특정인의 얼굴을 추적한 후, 촬영하여 얼굴 영상을 획득하는 제 1 단계와;

상기 획득된 얼굴 영상을, 정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들이 입력된 주성분분석(Principal Component Analysis, PCA)방법을 사용하여 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 계산하는 제 2 단계와;

상기 정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들의 기울어진 각 각도에 대하여 정면얼굴이 카메라 렌즈에 포착될 수 있는 카메라 이동 거리가 수록된 데이터 베이스에서 상기 카메라 이동 거리를 찾는 제 3 단계와;

상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각 각도에 대응되는 거리만큼 정면얼굴이 카메라 렌즈에 포착되도록 팬/틸트 카메라를 이동시키고, 팬/틸트 동작 수행하여 정면 얼굴을 촬영하는 제 4 단계로 구성된 얼굴 포즈를 보정하여 촬영하는 방법이 제공된다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하면 다음과 같다.

도 3은 본 발명에 따른 얼굴 포즈를 보정하여 촬영하는 시스템의 구성도로서, 팬(Pan)/틸트(Tilt) 동작 및 직선 운동으로 사람의 얼굴을 추적하여 얼굴 영상을 촬영하는 촬영부(100)와; 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영된 특정인의 얼굴 영상들이 구축되어 있는 데이터 베이스(400)와; 상기 촬영부(100)에서 촬영된 얼굴 영상을 입력받아, 상기 입력된 얼굴 영상과 일정각도 기울어진 얼굴 포즈를 상기 데이터 베이스(400)에 구축된 특정인의 얼굴 영상을 비교하 고, 상기 미리 촬영된 얼굴 영상들로부터 상기 입력된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출할 수 있는 퍼지 추정부(300)와; 상기 퍼지 추정부(300)를 제어하고, 상기 퍼지 추정부(300)의 신호를 받아 상기 촬영부(100)를 제어하는 제어부로 구성된다.

여기서, 상기 촬영부(100)는 팬(Pan)/틸트(Tilt) 동작 및 영상을 촬영할 수 있는 팬/틸트 카메라(50)와 상기 팬/틸트 카메라(50)를 고정시키고, 상기 팬/틸트 카메라(50)를 직선으로 이송할 수 있는 이송장치(60)로 이루어진다.

이 때, 상기 이송장치(60)는 도 4에 도시된 바와 같이, 슬라이딩 축(61)을 이용하여 좌, 우 직선운동을 수행할 수 있는 이송장치가 바람직하다.

그리고, 상기 팬/틸트 카메라(50)의 팬동작은 제 1 축을 기준으로 ±90°각도로 회동하고, 틸트동작은 제 2 축을 기준으로 ±45°각도로 회동하는 것이 바람직하다.

이렇게 구성된 본 발명에 따른 얼굴 포즈를 보정하여 촬영하는 시스템은 촬영부(100)의 팬/틸트 카메라(50)에서 팬/틸트 동작을 수행하여 특정인의 얼굴을 추적(Tracking)한 후 특정인의 얼굴을 촬영하면, 이 촬영된 얼굴 영상을 퍼지 추정부(300)로 출력하고, 상기 퍼지 추정부(300)는 정면 얼굴에서 일정각도 기울어진 특정인의 얼굴 포즈를 각 각도별로 미리 촬영하여 구축한 도 5와 같은 얼굴 영상들을 데이터 베이스(400)에서 가져와, 상기 팬/틸트 카메라(50)에서 촬영된 얼굴 영상과 비교하고, 상기 미리 촬영된 얼굴 영상들로부터 상기 팬/틸트 카메라(50)에서 촬영된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출한다.

그 후, 상기 퍼지 추정부(300)는 상기 추출된 얼굴 영상이 정면 얼굴로부터 기울어진 각도에 해당되는 거리만큼 상기 팬/틸트 카메라를 이동시키기 위하여, 제어부(200)로 신호를 전달하고, 상기 제어부(200)는 촬영부(100)의 이송장치(60)로 제어신호를 출력한다.

상기 이송장치(60)는 상기 제어부(200)의 제어신호를 수신받아, 상기 팬/틸트 카메라를 이동시켜, 특정인의 정면 얼굴을 촬영한다.

이로서, 본 발명의 시스템은 간단한 구성으로 실시간 정면 영상을 취득할 수 있게 된다.

한편, 본 발명의 시스템은 모바일 로봇(Mobile robot)에 장착되어 있을 경우, 모바일 로봇이 얼굴 각도를 보정하기 위하여 ±180°움직여 영상을 취득할 수 있기 때문에, 얼굴 포즈 변화에 대해서 100% 대응이 가능하게 됨으로, 얼굴 인식률을 높일 수 있게 된다.

보다 구체적으로 설명하면, 본 발명의 시스템은 상기 촬영부, 퍼지 추정부, 데이터 베이스와 제어부를 장착시킬 수 있는 모바일 로봇(Mobile robot)을 더 구비할 수 있다는 것이다.

도 6은 본 발명에 적용된 팬/틸트 카메라의 개략적인 사시도로서, 팬모터(1)가 장착되는 몸체(2)와, 상기 팬모터(1)에 타이밍벨트로 연결되어 구동되는 팬샤프트(4)의 일단을 회전가능하게 고정지지하는 팬케이스(5)와; 상기 팬샤프트(4) 타단에 일체형으로 고정지지되는 틸트케이스(6)와; 상기 틸트케이스(6) 측면에 고정되는 틸트모터(7)와; 상기 틸트모터(7)에 일단부가 커플링 결합되고 상기 틸트케이스 (6)에 타단부가 회전가능하게 고정지지되어 카메라(8)를 상하방향으로 회동운동시키는 틸트샤프트(9)와; 상기 틸트샤프트(9) 일단에 이격되어 일체형으로 고정되며 상기 카메라(8)가 고정되는 브라킷(10)으로 구성된다.

이렇게 구성된 팬/틸트 카메라는 팬모터(1)와 틸트모터(7)를 구동시키면, 카메라(8)는 팬, 틸트 동작을 수행하게 된다.

도 7a 내지 7d는 본 발명에 따른 얼굴 포즈를 보정하여 촬영하는 시스템으로 얼굴 포즈를 보정하는 개념을 설명하기 위한 개념도로서, 먼저, 도 7a에 도시된 바와 같이, 팬/틸트 카메라(50)로 특정인의 정면 얼굴을 촬영할 수 있는 상태에서, 팬/틸트 카메라(50) 렌즈(51)의 중심과 특정인의 얼굴 중심이 일치하는 가상 기준선(a)을 설정하면, 이 가상 기준선(a)과 특정인의 얼굴 중심이 일치하는 경우, 특정인의 정면 얼굴은 기울어지지 않게 되어 정면 얼굴을 촬영할 수 있다.

그리고, 도 7b와 같이, 전술된 가상 기준선(a)로부터 특정인의 얼굴 중심선이 일정각도(α)로 기울어진 경우, 도 7c와 같이, 본 발명에 따른 시스템에서는 팬/틸트 카메라(50)를 수평 이동시킨 다음, 도 7d와 같이, 팬/틸트 동작을 수행하여 팬/틸트 카메라(50) 렌즈(51)의 중심과 특정인의 얼굴 중심이 일치시킨 후, 촬영하면 정면 얼굴을 촬영할 수 있는 것이다.

도 8은 본 발명의 제 1 실시예에 따른 얼굴 포즈를 보정하여 촬영하는 방법의 플로우챠트로서, 좌, 우 이송할 수 있는 팬(Pan)/틸트(Tilt) 카메라로 특정인의 얼굴을 추적한 후, 촬영하여 얼굴 영상을 획득한다.(S10단계)

그 후, 정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬 영하여 구축된 얼굴 영상들과 상기 획득된 얼굴 영상을 비교하여, 상기 미리 촬영된 얼굴 영상들로부터 상기 획득된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출한다.(S20단계)

상기 추출된 얼굴 영상으로부터 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 팬/틸트 카메라를 이동시키고, 팬/틸트 동작 수행하여 정면 얼굴을 촬영한다.(S30단계)

여기서, 예를 들어, 팬/틸트 카메라를 이동시킬 거리는 상기 기울어진 각도별로 대응되어 테이블(Table)로 데이터 베이스에 구축되어 있고, 이 테이블에서 해당되는 각도에 대응되는 거리를 찾아, 그 거리만큼 전술된 이송장치를 제어하여 팬/틸트 카메라를 이동시키면 된다.

도 9는 본 발명의 제 2 실시예에 따른 얼굴 포즈를 보정하여 촬영하는 방법의 플로우챠트로서, 좌, 우 이송할 수 있는 팬(Pan)/틸트(Tilt) 카메라로 특정인의 얼굴을 추적한 후, 촬영하여 얼굴 영상을 획득한다.(S100단계)

그 후, 상기 획득된 얼굴 영상을, 정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들이 입력된 주성분분석(Principal Component Analysis, PCA)방법을 사용하여 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 계산한다.(S200단계)

상기 정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들의 기울어진 각 각도에 대하여 정면얼굴이 카메라 렌즈에 포착될 수 있는 카메라 이동 거리가 수록된 데이터 베이스에서 상기 카메라 이동 거리를 찾는다.(S300단계)

상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각 각도에 대응되는 거리만큼 정면얼굴이 카메라 렌즈에 포착되도록 팬/틸트 카메라를 이동시키고, 팬/틸트 동작 수행하여 정면 얼굴을 촬영한다.(S400단계)

여기서, 본 발명의 제 2 실시예에서는 상기 S200단계에서, 이미 알려진 주성성분석(Principal Component Analysis, PCA)방법을 이용하여, 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 계산하지만, 본 발명의 제 2 실시예에서는 독특한 하기 식(1)을 이용하여 각도를 계산한다.

획득된 영상이 정면 얼굴에서 기울어진 각도 = (-45°)/ (-45°의 PCA 출력값) + (-30°)/ (-30°의 PCA 출력값) + (-15°)/(-15°의 PCA 출력값) + (0°)/ (0°의 PCA 출력값) + (15°)/ (15°의 PCA 출력값) + (30°)/(30°의 PCA 출력값) + (45°)/(45°의 PCA 출력값) ------(1)

이 때, 상기 -45°, -30°, -15°, 0°, 15°, 30°, 45°의 PCA(Principal Component Analysis) 출력값은 상기 획득된 영상이 각 각도의 성분에 대한 값이다.

이상 상술한 바와 같이, 본 발명은 최초 촬영된 얼굴 포즈가 정면얼굴로부터 일정각도로 기울어졌을 경우, 그 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 카메라를 이동시킴으로써, 정면 얼굴을 실시간으로 촬영할 수 있어 얼굴 인식률을 높일 수 있는 효과가 있다.

본 발명은 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims

팬(Pan)/틸트(Tilt) 동작 및 직선 운동으로 사람의 얼굴을 추적하여 얼굴 영상을 촬영하는 촬영부와;

일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영된 특정인의 얼굴 영상들이 구축되어 있는 데이터 베이스와;

상기 촬영부에서 촬영된 얼굴 영상을 입력받아, 상기 입력된 얼굴 영상과 일정각도 기울어진 얼굴 포즈를 상기 데이터 베이스에 구축된 특정인의 얼굴 영상을 비교하고, 상기 미리 촬영된 얼굴 영상들로부터 상기 입력된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출할 수 있는 퍼지 추정부와;

상기 퍼지 추정부를 제어하고, 상기 퍼지 추정부의 신호를 받아 상기 촬영부를 제어하는 제어부로 이루어진 얼굴 포즈를 보정하여 촬영하는 시스템.
제 1 항에 있어서,

상기 촬영부는

팬(Pan)/틸트(Tilt) 동작 및 영상을 촬영할 수 있는 팬/틸트 카메라와,

상기 팬/틸트 카메라를 고정시키고, 상기 팬/틸트 카메라를 직선으로 이송할 수 있는 이송장치로 이루어인 것을 특징으로 하는 얼굴 포즈를 보정하여 촬영하는 시스템.
제 1 항 또는 제 2 항에 있어서,

상기 팬/틸트 카메라는,

팬동작은 제 1 축을 기준으로 ±90°각도로 회동하고, 틸트동작은 제 2 축을 기준으로 ±45°각도로 회동할 수 있는 카메라인 것을 특징으로 하는 얼굴 포즈를 보정하여 촬영하는 시스템.
제 1 항에 있어서,

상기 촬영부, 퍼지 추정부, 데이터 베이스와 제어부가 장착된 모바일 로봇(Mobile robot)이 더 구비되어 있는 것을 특징으로 하는 얼굴 포즈를 보정하여 촬영하는 시스템.
좌, 우 이송할 수 있는 팬(Pan)/틸트(Tilt) 카메라로 특정인의 얼굴을 추적한 후, 촬영하여 얼굴 영상을 획득하는 제 1 단계와;

정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들과 상기 획득된 얼굴 영상을 비교하여, 상기 미리 촬영된 얼굴 영상들로부터 상기 획득된 얼굴 영상에 해당하는 포즈(Pose)를 갖는 얼굴 영상을 추출하는 제 2 단계와;

상기 추출된 얼굴 영상으로부터 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 알아내고, 정면얼굴이 카메라 렌즈에 포착되도록 기울어진 각도에 대응되는 거리만큼 팬/틸트 카메라를 이동시키고, 팬/틸트 동작 수행하여 정면 얼굴을 촬영하는 제 3 단계로 구성된 얼굴 포즈를 보정하여 촬영하는 방법.
좌, 우 이송할 수 있는 팬(Pan)/틸트(Tilt) 카메라로 특정인의 얼굴을 추적한 후, 촬영하여 얼굴 영상을 획득하는 제 1 단계와;

상기 획득된 얼굴 영상을, 정면 얼굴에서 일정각도 기울어진 얼굴 포즈를 각 각도별로 미리 촬영하여 구축된 얼굴 영상들이 입력된 주성분분석(Principal Component Analysis, PCA) 방법을 사용하여 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 계산하는 제 2 단계와;

상기 제 2 단계에서 계산된 각도에 대하여 정면얼굴이 카메라 렌즈에 포착될 수 있는 카메라 이동 거리가 수록된 데이터 베이스에서 상기 카메라 이동 거리를 찾는 제 3 단계와;

상기 제 3 단계에서 찾은 카메라 이동 거리만큼 정면얼굴이 카메라 렌즈에 포착되도록 팬/틸트 카메라를 이동시키고, 팬/틸트 동작 수행하여 정면 얼굴을 촬영하는 제 4 단계로 구성된 얼굴 포즈를 보정하여 촬영하는 방법.
제 6 항에 있어서,

상기 제 2 단계에서, 주성성분석(Principal Component Analysis, PCA) 방법을 이용하여, 상기 획득된 얼굴 영상이 정면 얼굴에서 기울어진 각도를 계산하는 것은 하기 식(1)을 이용하는 것을 특징으로 하는 얼굴 포즈를 보정하여 촬영하는 방법.

획득된 영상이 정면 얼굴에서 기울어진 각도 = (-45°)/ (-45°의 PCA 출력값) + (-30°)/ (-30°의 PCA 출력값) + (-15°)/(-15°의 PCA 출력값) + (0°)/ (0°의 PCA 출력값) + (15°)/ (15°의 PCA 출력값) + (30°)/(30°의 PCA 출력값) + (45°)/(45°의 PCA 출력값) ------(1)