KR100700099B1

KR100700099B1 - 얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법

Info

Publication number: KR100700099B1
Application number: KR1020050109495A
Authority: KR
Inventors: 김태용
Original assignee: 엘지전자 주식회사
Priority date: 2005-11-16
Filing date: 2005-11-16
Publication date: 2007-03-28

Abstract

본 발명은 카메라를 통해 사용자 얼굴의 특정부분을 촬상하여 이니셜 템플리트로 설정하고 이 설정된 이니셜 템플리트를 이용하여 다양한 형태의 원근 템플리트를 만든다음 이를 통해 실제 카메라의 중심위치를 보정해주는 주제어부와, 상기 주제어부의 기능제어신호에 따라 카메라에 의해 촬상되는 사용자의 얼굴화상신호를 외부로 표시하는 디스플레이와, 상기 주제어부의 보정제어신호에 따라 카메라의 촬상위치를 조정하여 카메라가 항상 사용자의 얼굴중앙을 촬상하도록 제어하는 카메라 액츄레이터와, 상기 주제어부의 저장제어신호에 따라 이니셜 템플리트를 이용하여 만들어진 다양한 형태의 원근 템플리트 데이터와 더불어 이동통신단말기의 처리데이터를 저장하는 메모리를 포함하는 얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법을 제공한다.

상기와 같은 본 발명은 원근변환법으로 다양한 원근 템플레이트들을 작성저장하고 촬상된 사용자의 얼굴을 원근 템플레이들과 비교하여 매칭되는 템플레이트를 검색한 다음 그 검색된 템플레이트의 설정값을 이용하여 사용자의 얼굴이 화면중앙에 항상 위치되게 정렬하므로써, 화상단말기의 카메라 적응성을 극대화시킨다.

카메라, 얼굴위치, 눈부분, 이니셜 템플리트, 카메라 액츄레이터

Description

얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법{Mobile communication terminal having a face position array function and controlling method therefore}

도 1은 종래 화상통화가 가능한 이동통신단말기를 설명하는 설명도.

도 2는 본 발명 얼굴위치정렬기능이 구비된 이동통신단말기를 설명하는 설명도.

도 3은 본 발명의 플로우차트.

도 4는 본 발명의 이니셜 템플리트를 설명하는 설명도.

도 5는 본 발명에 의해 생성된 다양한 원근 템플리트들을 설명하는 설명도.

<부호의 상세한 설명>

1 : 이동통신단말기 2 : 카메라

3 : 주제어부 4 : 디스플레이

5 : 카메라 액츄레이터 6 : 메모리부

7 : 송수화폰 8 : 코덱부

9 : 무선모듈부 10: 키패널부

11: 기지국시스템부 12: 인터넷 서버

13: 단말기

본 발명은 얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법에 관한 것으로, 특히 원근변환법으로 다양한 원근 템플레이트들을 작성저장하고 촬상된 사용자의 얼굴을 원근 템플레이들과 비교하여 매칭되는 템플레이트를 검색한 다음 그 검색된 템플레이트의 설정값을 이용하여 사용자의 얼굴이 화면중앙에 항상위치하도록 정렬시키는 얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법에 관한 것이다.

일반적으로 무선 데이터 통신(wireless data communication)은 이동중인 사람이 무선 송수신이 가능한 휴대형 단말기를 이용하여 문자, 숫자, 영상 등 각종 데이터를 기지국 시스템을 통해 무선으로 주고받는 통신기능을 말한다. 즉, 셀룰러폰, 휴대용 컴퓨터, PDA 등 각종 단말기를 이용하여 이동중에 양방향으로 자료를 교환하거나 검색하는 이동 통신체계이다. 그런데, 최근에는 IMT-2000으로 불리는 제 3 세대 이동통신시스템이 개발되어 사용되는데, 이 시스템은 이동 사용자의 요구에 따라 PSTN/ISDN/B-ISDN 등과 같은 고정 통신망에 의해 지원되는 다양한 통신 서비스 예컨대, 음성 및 영상 데이터가 포함된 정보서비스망에 무선링크를 사용하여 접속을 가능케 하는 이동 통신시스템이다.

그러면, 상기와 같은 종래 화상통화용 이동통신시스템의 일례를 도 1을 참고로 살펴보면, 외부에 피사체를 촬상할 수 있는 카메라(70A-B)와 키패드(71A-B)가 구비된 이동통신단말기(72A-B)와, 상기 이동통신단말기(72A-B)로부터 송출된 화상데이터신호를 중계처리하는 기지국시스템부(73)를 포함한다.

여기서, 상기 폴더 커버부(74)의 외부 몸체의 일단에는 각종 그래픽 및 화상데이터를 표시하는 LCD패널(75A-B)이 구비된다.

한편, 상기와 같은 종래의 이동통신시스템의 동작을 살펴보면, 먼저, 단말기의 사용자가 자신의 폴더커버부(76)를 열게되면 이를 인식한 내부의 제어부(도시안됨)가 이를 인식하여 LCD패널(75A)상에 초기메뉴화면을 표시한다. 여기서 만약, 상기 단말기 사용자가 키패드(71A)를 통해 전화를 걸기위해 전화번호를 입력시켜줄 경우 단말기(72A)의 제어부는 입력된 전화번호신호를 일정신호처리한 다음 기지국시스템부(73)를 경유하여 상대편 단말기(72B)로 전송하여 무선호를 연결시킨다. 그리고, 상기와 같이 무선호가 연결된 상태에서 카메라(70A)를 통해 입사되는 각도범위에서 사용자의 얼굴을 촬상하여 상대편 단말기(72B)로 전송한다. 또한, 상기 단말기(72A)는 상대편 단말기(72B)로부터 수신받은 상대방 사용자의 얼굴신호를 LCD패널(75A)상에 표시한다. 마찬가지로, 상기 단말기(72B) 역시 LCD패널(75B)상에 단말기(72A)로부터 전송받은 단말기 사용자의 얼굴을 표시하므로 단말기(72A-B)들 상호간에 화상통화를 실행시킨다.

그러나, 상기와 같은 종래의 이동통신단말기는 단말기의 카메라가 카메라의 촬상범위에 들어오는 사용자의 얼굴만을 촬상하기 때문에 사용자가 움직일 경우 사용자의 얼굴을 정상적으로 촬상하지 못하므로 단말기간에 정상적인 화상통화를 실행하지 못하였으며, 또한, 사용자가 조금만 움직여도 카메라가 사용자의 얼굴을 LCD패널상의 중심위치에 표시할 수 없기 때문에 단말기의 사용자가 안정적으로 상대방의 얼굴을 보면서 통화를 할 수 없으므로 그에 따라 화상통화의 품질도 상당히 저하되는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 다양한 원근 템플레이트들을 미리 설정한 다음 이를 이용하여 얼굴위치를 추적하기 때문에 다양하게 변화하는 실제 사용자의 얼굴모양에 카메라가 적절히 대응할 수 있으므로 그에 따라 화상단말기의 카메라 적응성이 극대화되는 얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법을 제공함에 그 목적이 있다.

본 발명의 또다른 목적은 화상통화시 실제 사용자 얼굴의 중앙위치를 신속히 찾아내어 상대방과 통화하기 때문에 안정된 영상화면을 서로에게 제공하므로 그에 따라 화상통화서비스 품질도 극대화시키는 얼굴위치정렬기능이 구비된 이동통신단말기 및 그 제어방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 카메라를 이용하여 화상통화를 실행하는 이동통신단말기에서, 상기 카메라를 통해 사용자 얼굴의 특정부분을 촬상하여 이니셜 템플리트로 설정하고 이 설정된 이니셜 템플리트를 이용하여 다양한 형태의 원근 템플리트를 만든다음 이를 통해 실제 카메라의 중심위치를 보정해주는 주제어부와, 상기 주제어부의 기능제어신호에 따라 카메라에 의해 촬상되는 사용자의 얼굴화상신호를 외부로 표시하는 디스플레이와, 상기 주제어부의 보정제어신호에 따라 카메라의 촬상위치를 조정하여 카메라가 항상 사용자의 얼굴중앙을 촬상하 도록 제어하는 카메라 액츄레이터와, 상기 주제어부의 저장제어신호에 따라 이니셜 템플리트를 이용하여 만들어진 다양한 형태의 원근 템플리트 데이터와 더불어 이동통신단말기의 처리데이터를 저장하는 메모리를 포함하는 얼굴위치정렬기능이 구비된 이동통신단말기를 제공한다.

본 발명의 다른 특징은 이동통신단말기 사용자가 지정하는 얼굴의 특정부분을 촬상하여 이니셜 플레이트로 만든다음 이를 이용하여 이니셜 페이스(face)를 생성하여 저장시키는 이니셜 플레이트 작성단계와, 상기 이니셜 프레이트 작성단계후에 설정된 이니셜 플레이트를 기준으로 다양한 형태의 원근 플레이트를 작성하여 저장시키는 원근플레이트 작성단계와, 상기 원근플레이트 작성단계후에 화상통화를 위한 카메라 촬상기능이 실행되었을 경우 단말기 카메라로 얼굴신호를 검출하여 기저장된 다양한 원근플레이트들과 비교한 다음 최근접 플레이트를 설정하는 최근접 템플리트 선정단계와, 상기 최근접 템플리트 선정단계후에 산출된 최근접 플레이트를 이용하여 얼굴의 중앙위치를 산출하는 얼굴중앙위치 산출단계와, 상기 얼굴중앙위치 산출단계후에 산출된 보정신호에 따라 카메라의 촬상각도를 조절하고 사용자 얼굴의 중앙위치를 촬상하여 상대편 단말기로 전송한 다음 화상통화를 실행하는 화상보정단계로 이루어지는 얼굴위치정렬기능이 구비된 이동통신단말기의 제어방법을 제공한다.

이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.

본 발명은 도 2에 도시된 바와같이 이동통신단말기(1)의 일부 몸체에 설치되 어 카메라의 촬상범위내로 입사되는 피사체를 촬상하는 카메라(2)와, 상기 카메라(2)를 통해 사용자 얼굴의 특정부분 예컨대, 눈부분을 촬상하여 이니셜 템플리트(initial template)로 설정하고 이 설정된 이니셜 템플리트를 이용하여 SSD(sum of squared difference)방식으로 다양한 형태의 원근 템플리트를 만든다음 이를 통해 실제 카메라(2)의 중심위치를 보정해주며, 이동통신단말기(1)의 기능을 전반적으로 제어하는 주제어부(3)와, 상기 주제어부(3)의 기능제어신호에 따라 카메라(2)에 의해 촬상되는 사용자의 얼굴영상신호를 외부로 표시하는 디스플레이(4)와, 상기 주제어부(3)의 보정제어신호에 따라 카메라(2)의 촬상위치를 조정하여 카메라(2)가 항상 사용자의 얼굴중앙을 촬상하도록 제어하는 카메라 액츄레이터(5)와, 상기 주제어부(3)의 저장제어신호에 따라 이니셜 템플리트를 이용하여 SSD(sum of squared difference)방식으로 만들어진 다양한 형태의 원근 템플리트 데이터와 더불어 이동통신단말기(1)의 처리데이터를 저장하는 메모리부(6)와, 상기 주제어부(6)의 호연결 제어신호에 따라 송수화폰(7)을 통해 입력되는 아날로그 음성신호를 디지털신호로 변환하거나 디지털 음성신호를 아날로그신호로 변환하여 출력하는 코덱부(8)와, 상기 이동통신단말기(1)로 송수신되는 영상 및 음성신호가 포함된 무선호신호를 처리하는 무선모듈부(9)를 포함한다.

그리고, 상기 주제어부(6)의 일단에는 주제어부(6)로 사용자의 기능설정신호를 입력시키는 키패널부(10)가 연결된다.

다음에는 상기와 같은 장치에 적용되는 제어방법을 설명한다.

본 발명의 방법은 도 3에 도시된 바와같이 초기상태(S1)에서 이니셜 플레이 트 작성단계(S2)로 진행하여 단말기 사용자가 지정하는 얼굴의 특정부분을 촬상하여 이니셜 플레이트로 만든다음 이를 이용하여 이니셜 페이스(face)를 생성하여 저장시킨다. 그리고, 상기 이니셜 프레이트 작성단계(S2)후에 원근플레이트 작성단계(S3)로 진행하여 설정된 이니셜 플레이트를 기준으로 SSD 방식을이용하여 다양한 형태의 원근 플레이트를 작성하여 저장시킨다. 또한, 상기 원근플레이트 작성단계(S3)후에 화상통화 확인단계(S4)로 진행하여 현재 화상통화를 위한 카메라 촬상기능이 실행되었는 지를 확인한다. 이때, 상기 화상통화 확인단계중에 확인한결과 현재 화상통화를 위한 카메라 촬상기능이 실행되지 않았을 경우 일반기능 실행단계(S5)로 진행하여 단말기에 내장된 일반기능을 실행한다.

즉, 상기 본 발명 단말기(1)의 사용자가 키패널부(10)를 통해 무선인터넷을 위한 패킷 서비스기능을 설정하면 단말기(1)의 주제어부(3)는 예컨대, WAP이나 JAVA형태의 다양한 패킷서비스 메뉴화면을 디스플레이(4)상에 표시한다. 이때, 상기 단말기(1)의 사용자는 그 표시된 항목중에 자신이 원하는 항목이 있을 경우 키패널부(10)를 통해 디스플레이(4)상에 표시된 패킷서비스 메뉴화면상에서 해당 항목을 눌러준다. 그러면, 상기 단말기(70)의 주제어부(3)는 무선모듈부(9)를 통해 상기 선택된 패킷서비스 요청정보를 기지국시스템부(11)로 전송하고 그에 따라 상기 기지국시스템부(11)는 해당 패킷서비스 요청정보를 인터넷서버(12)로 전송한다. 그러면, 상기 기지국시스템부(11)는 입력된 패킷서비스 요청정보에 따라 해당 인터넷서버(12)로부터 단말기 사용자가 원하는 정보를 전송받아 패킷형태로 하여 단말기(1)로 전송한다. 따라서, 상기 단말기(1)는 자신이 선택한 정보를 패킷형태로 전 송받아 디스플레이(4)상에 표시한다.

그러나, 상기 화상통화 확인단계중에 확인한결과 현재 화상통화를 위한 카메라 촬상기능이 실행되었을 경우 최근접 템플리트 선정단계(S6)로 진행하여 단말기 카메라로 얼굴신호를 검출하여 기저장된 다양한 원근플레이트들과 비교한 다음 최근접 플레이트를 설정한다. 그리고, 상기 최근접 템플리트 선정단계(S6)후에 얼굴중앙위치 산출단계(S7)로 진행하여 산출된 최근접 플레이트를 이용하여 얼굴의 중앙위치를 산출한다. 또한, 상기 얼굴중앙위치 산출단계(S7)후에 화상보정단계(S8)로 진행하여 산출된 보정신호에 따라 카메라의 촬상각도를 조절하고 사용자 얼굴의 중앙위치를 촬상하여 상대편 단말기로 전송한 다음 화상통화를 실행시킨다.

다시말해서, 본 발명 단말기(1)의 주제어부(3)는 화상통화를 실행하기전에 카메라(2)로 단말기 사용자의 얼굴을 촬상한 다음 이 촬상된 얼굴이미지에서 사용자가 지정하는 얼굴의 특정부분 예컨대, 눈부분을 도 4에 도시된 바와같이 이니셜 플레이트로 만든다음 이 이니셜 플레이트를 이용하여 이니셜 페이스(face)를 생성하여 메모리부(6)에 저장시킨다. 그리고, 상기 주제어부(3)는 설정된 이니셜 플레이트를 기준으로 수학식 1에 도시된 바와같이 SSD 방식을 이용하여 다양한 형태의 원근(perspective) 플레이트(T_is)를 작성하여 저장시킨다.

여기서, T_pi: perspective parameter p_i에 의해 만들어진 템플리트 이미지,

에서 N은 속도를 고려해서 적절히 수정가능,

M(v,p)에서 v는 설정 템플리트의 중심으로부터의 움직임 벡터,

T(x)는 템플리트 이미지 T의 좌표 x에서의 intensity value,

I(x)는 입력 이미지 I의 좌표 x에서의 intensity value,

v: 템플리트 파라미터

p: 원근 파라미터(Perspective parameter)

한편, 상기 주제어부(3)는 상기 과정중에 사용자가 화상통화를 위해 전화번호를 눌러줄 경우 카메라(2)를 통해 사용자의 얼굴을 촬상한다. 그리고, 상기 주제어부(3)는 상기 카메라(2)에 의해 촬상된 얼굴에서 메모리부(6)에 저장된 도 5에 도시된 바와같이 다양한 형태의 원근 플레이트들을 서로 비교하여 매칭이 되는 부분을 검색한다. 이때, 상기 주제어부(3)는 현재 촬상된 사용자의 얼굴부분 즉, 눈부분과 가장 유사한 플레이트를 찾아낼 경우(최근접 플레이트) 이 산출된 최근접 플레이트를 이용하여 얼굴의 중앙위치까지의 보정값을 산출한다. 즉, 상기 기준이 되는 이니셜플레이트에서 현재 카메라(2)에 의해 촬상되는 사용자의 얼굴모숩이 가장 유사한 최근접 플레이트까지의 거리벡터나 사이즈를 계산하여 그 차신호를 산출하면 현재의 얼굴위치가 얼굴중앙위치로부터 얼마나 오차가 발생되는지를 명확히 확인할 수가 있다.

따라서, 상기 주제어부(3)는 상기와 같은 과정을 통해 얼굴중앙위치까지의 보정값이 산출될 경우 이 산출된 보정값을 카메라 액츄레이터(5)로 입력시킨다. 그 러면, 상기 카메라 액츄레이터(5)는 주제어부(3)로부터 입력된 보정신호에 따라 카메라(2)의 촬상각도를 조절하게 되는데, 이때, 상기 촬상각도가 보정된 카메라(2)가 사용자 얼굴의 중앙위치를 촬상하게된다.

그러므로, 상기와 같은 본 발명의 방법에 의하면, 상기 카메라(2)는 항상 보정된 값으로 사용자의 얼굴을 촬상하게되므로 그에 따라 카메라(2)는 항상 단말기 사용자의 얼굴중앙위치를 촬상하게된다.

그러면, 상기 단말기(1)의 주제어부(3)는 상기 촬상된 사용자의 얼굴신호를 무선모듈부(9)와 기지국시스템부(11)를 통해 상대편 단말기(13)로 전송하고 반대로, 상대편 단말기로부터 얼굴신호를 전송받아 디스플레이(4)상에 표시하므로 양 단말기 사용자들은 항상 상대방의 얼굴을 정면으로 보면서 안정감있게 화상통화를 실행한다.

이상 설명에서와 같이 본 발명은 원근변환법으로 다양한 원근 템플레이트들을 작성저장하고 촬상된 사용자의 얼굴을 원근 템플레이들과 비교하여 매칭되는 템플레이트를 검색한 다음 그 검색된 템플레이트의 설정값을 이용하여 사용자의 얼굴이 화면중앙에 항상위치하도록 정렬하므로써, 다양한 원근 템플레이트들을 미리 설정한 다음 이를 이용하여 얼굴위치를 추적하기 때문에 다양하게 변화하는 실제 사용자의 얼굴모양에 카메라가 적절히 대응할 수 있으므로 그에 따라 화상단말기의 카메라 적응성이 극대화되는 장점을 가지고 있다.

본 발명에 의하면, 화상통화시 실제 사용자 얼굴의 중앙위치를 신속히 찾아 내어 상대방과 통화하기 때문에 안정된 영상화면을 서로에게 제공하므로 그에 따라 화상통화서비스 품질도 극대화시키는 효과도 있다.

Claims

카메라를 이용하여 화상통화를 실행하는 이동통신단말기에 있어서,

상기 카메라를 통해 사용자 얼굴의 특정부분을 촬상하여 이니셜 템플리트로 설정하고 이 설정된 이니셜 템플리트를 이용하여 다양한 형태의 원근 템플리트를 만든다음 이를 통해 실제 카메라의 중심위치를 보정해주는 주제어부와, 상기 주제어부의 기능제어신호에 따라 카메라에 의해 촬상되는 사용자의 얼굴화상신호를 외부로 표시하는 디스플레이와, 상기 주제어부의 보정제어신호에 따라 카메라의 촬상위치를 조정하여 카메라가 항상 사용자의 얼굴중앙을 촬상하도록 제어하는 카메라 액츄레이터와, 상기 주제어부의 저장제어신호에 따라 이니셜 템플리트를 이용하여 만들어진 다양한 형태의 원근 템플리트 데이터와 더불어 이동통신단말기의 처리데이터를 저장하는 메모리를 포함하는 것을 특징으로 하는 얼굴위치정렬기능이 구비된 이동통신단말기.
제1항에 있어서, 상기 이니셜 템플리트는 사용자의 얼굴의 눈부분 영상신호를 이용하는 것을 특징으로 하는 얼굴위치정렬기능이 구비된 이동통신단말기.
제1항에 있어서, 상기 원근 템플리트는 SSD(sum of squared difference)방식으로 생성되는 것을 특징으로 하는 얼굴위치정렬기능이 구비된 이동통신단말기.
이동통신단말기 사용자가 지정하는 얼굴의 특정부분을 촬상하여 이니셜 플레이트로 만든다음 이를 이용하여 이니셜 페이스(face)를 생성하여 저장시키는 이니셜 플레이트 작성단계와, 상기 이니셜 프레이트 작성단계후에 설정된 이니셜 플레이트를 기준으로 다양한 형태의 원근 플레이트를 작성하여 저장시키는 원근플레이트 작성단계와, 상기 원근플레이트 작성단계후에 화상통화를 위한 카메라 촬상기능이 실행되었을 경우 단말기 카메라로 얼굴신호를 검출하여 기저장된 다양한 원근플레이트들과 비교한 다음 최근접 플레이트를 설정하는 최근접 템플리트 선정단계와, 상기 최근접 템플리트 선정단계후에 산출된 최근접 플레이트를 이용하여 얼굴의 중앙위치를 산출하는 얼굴중앙위치 산출단계와, 상기 얼굴중앙위치 산출단계후에 산출된 보정신호에 따라 카메라의 촬상각도를 조절하고 사용자 얼굴의 중앙위치를 촬상하여 상대편 단말기로 전송한 다음 화상통화를 실행하는 화상보정단계로 이루어지는 것을 특징으로 하는 얼굴위치정렬기능이 구비된 이동통신단말기의 제어방법.
제4항에 있어서, 상기 원근플레이트 작성단계에는 설정된 이니셜 플레이트를 기준으로 SSD 방식을 이용하여 원근 플레이트를 작성하는 SSD 방식사용단계를 더 포함하는 것을 특징으로 하는 얼굴위치정렬기능이 구비된 이동통신단말기의 제어방법.