KR100919104B1

KR100919104B1 - 발신자의 3차원 얼굴 표시장치 및 방법

Info

Publication number: KR100919104B1
Application number: KR1020080000775A
Authority: KR
Inventors: 전병기; 오석표; 정원석
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2008-01-03
Filing date: 2008-01-03
Publication date: 2009-09-28
Also published as: KR20090075022A

Abstract

본 발명은 발신자의 3차원 얼굴 표시장치 및 방법을 개시한다. 본 발명에 따른 발신자의 3차원 얼굴 표시장치는, 착발신 호 처리를 실행하기 위한 이동통신 시스템 및 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 이미지로부터 얼굴영역을 추출하고, 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 착신 단말장치를 포함한다. 따라서, 본 발명은 전화 수신시에 발신자의 이름 또는 등록되어 있는 발신자와 관련된 이미지(예컨데, 사진 또는 가상 캐릭터)를 전화화면에 디스플레이하도록 설정한 경우, 2차원의 이미지에 포함되는 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력함에 따라, 착신자로 하여금 더 사실적이고 실제와 가깝게 생성된 발신자의 3차원 얼굴이미지를 제공받을 수 있다.

Description

발신자의 3차원 얼굴 표시장치 및 방법{APPARATUS AND METHOD FOR INDICATING THREE DIMENSION-FACE OF CALLER}

본 발명은 3차원 얼굴 모델링과 관련한 기술에 관한 것으로, 더욱 상세하게는 전화 수신시에 발신자의 이름 또는 등록되어 있는 발신자와 관련된 이미지(예컨데, 사진 또는 가상 캐릭터)를 전화화면에 디스플레이하도록 설정한 경우, 2차원의 이미지에 포함되는 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 발신자의 3차원 얼굴 표시장치 및 방법에 관한 것이다.

일반적으로, 얼굴의 특징 검출에 관한 최근의 연구는 에지 정보를 이용한 방법, 휘도(Luminance), 색차(Chrominance), 얼굴의 기하학적인 외형 및 대칭에 기반한 접근법, 주성분 분석법(PCA; Principal Component Analysis), 템플릿 매칭을 이용한 방법, 얼굴의 곡률을 이용하는 접근법, 신경망을 이용하는 방법 등이 있다.

에지 정보를 이용하는 방법은 대부분 이진화 과정을 거쳐야 하므로 조명이 불균일할 경우 에지 정보 손실로 인해 안정적인 결과를 산출해내기가 어렵다.

또한, 주성분 분석법은 실시간 구현이 용이한 장점이 있으나 영역분리와 배경영상에 민감하며, 신경망에 의한 접근방식은 제한된 조건하에서는 안정적으로 작동할 수 있으나, 새로운 입력을 학습할 때 네트워크 변수의 조정이 어렵고 시간이 많이 걸린다는 단점이 있다.

더 나아가, 얼굴의 특징 검출에 관한 기술을 더욱 확장하여 평면상의 2차원 영상에 포함된 얼굴영역을 인식한 후, 이를 통해 3차원 영상으로 구현하기 위한 연구도 활발하게 진행되고 있다.

이러한 연구에서의 대부분은 4방향, 8방향, 또는 16방향 등에서의 여러 방향에 대한 2차원 영상을 합성하여 파노라마 형태의 얼굴 영상을 텍스쳐 영상으로 사용함에 따라, 특정 사람의 3차원 얼굴모델 영상을 하는 것이 대부분이다.

이와 같은 종래의 2차원 영상으로부터의 3차원 영상얼굴 모델링 방법은 특정 사람의 얼굴을 적어도 4방향에서 촬영한 여러 장의 2차원 텍스쳐 영상이 입력되면, 3차원 일반얼굴 모델을 텍스쳐 영상의 촬영 각도와 동일한 각도에서 2차원 영상평면 상에 프로젝션시키는 제 1 단계, 텍스쳐 영상에서 특징점들을 연결하는 특징선들을 구하는 제 2 단계, 프로젝션된 일반 얼굴 모델에서 특징점들을 연결하여 텍스쳐 영상의 특징선들과 대응되는 특징선들을 구하는 제 3 단계, 텍스쳐 영상의 특징선과 일치하도록 상기 일반 얼굴 모델의 특징선들을 변형시키는 제 4 단계, 모든 텍스쳐 영상에 대하여 제 1 단계 내지 제 4 단계를 반복하여 특정 사람의 얼굴과 비슷한 얼굴 모델을 구하는 제 5 단계, 모든 텍스쳐 영상을 반지름이 R인 실린더에 투영하는 제 6 단계, 인접한 두 텍스쳐 영상을 이용하여 임의의 각도에 대한 시각 영상을 구하는 제 7 단계, 임의의 각동 대한 두 개의 시각 영상을 보간하여 임의의 각도에서의 영상을 구하는 제 8 단계, 모든 각도(0도 내지 359도)에서 제 6 단계 내지 제 8 단계를 수행하여 파노라마 영상을 구하는 제 9 단계 및 특정사람의 얼굴과 비슷하게 변형된 얼굴 모델에 파노라마 영상을 텍스쳐 매핑하는 제 10 단계를 수행하여 3차원 영상얼굴 모델링 영상을 구하게 된다.

상기에서 확인할 수 있듯이, 종래의 3차원 영상얼굴 모델링 방법은 다양한 각도에서의 2차원 영상을 다수 획득하여야 하며, 이를 재조합하여 3차원 영상을 구현하기 위한 별도의 프로세싱을 구현하여야 한다. 이에 따라, 이러한 기법은 다양한 주변장치를 필요로 할 뿐만 아니라, 많은 시간을 필요로 하기 때문에 비효율적인 측면이 다분하여 이를 개선하기 위한 연구가 진행중에 있다.

이러한 연구의 일환으로, 이동통신 서비스에 대한 응용 부가서비스의 다양화를 위하여 착신자의 단말장치에 저장중인 이미지들을 토대로 전화 수신시에 발신자와 대응하는 2차원 얼굴이미지를 추출한 후, 추출한 2차원 얼굴이미지를 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 방안이 요구되고 있다.

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 전화 수신시에 발신자의 이름 또는 등록되어 있는 발신자와 관련된 이미지(예컨데, 사진 또는 가상 캐릭터)를 전화화면에 디스플레이하도록 설정한 경우, 2차원의 이미지에 포함되는 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 발신자의 3차원 얼굴 표시장치 및 방법을 제공하는 데 있다.

또한, 본 발명의 다른 목적은 전화 수신시에 발신자와 대응하는 2차원 이미지를 3차원 얼굴이미지로 변환한 후, 변환한 3차원 얼굴이미지에서의 입 모양을 발신자로부터 전달되는 음성을 토대로 동기화 실행하여 변환하기 위한 발신자의 3차원 얼굴 표시장치 및 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 발신자의 3차원 얼굴 표시장치는, 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 상기 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 착신 단말장치를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 발신자의 3차원 얼굴 표시장치는,

착발신 호 처리를 실행하기 위한 이동통신 시스템을 더 포함하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 상기 얼굴영역을 이루는 얼굴특징점을 토대로 기 저장중인 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하고, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 상기 3차원 얼굴이미지를 형성하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부, 상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 상기 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부, 상기 전처리된 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 얼굴영역 검출부, 상기 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부, 상기 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부 및 상기 3차원 얼굴이미지를 통화실행 전 또는 통화실행 중에 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 3차원 모델 데이터는 통계학적 얼굴모델을 기반으로 하여 형성되며, 상기 통계학적 얼굴모델은 AAM(Active Appearance Model) 방식을 포함하는 방식들 중 적어도 하나 이상을 통해 구현되는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 발신자의 3차원 얼굴 표시 방법은, (가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출하는 단계, (나) 상기 이미지로부터 얼굴영역을 추출한 후, 상기 얼굴영역을 3차원 얼굴이미지로 변환하는 단계 및 (다) 상기 3차원 얼굴이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 발신자의 3차원 얼굴 표시 방법은 상기 이미지를 토대로 얼굴인식 프로세싱을 실행하기 위한 제 1 알고리즘 및 상기 얼굴영역을 상기 3차원 얼굴이미지로 변환하는 프로세싱을 실행하기 위한 제 2 알고리즘을 제공받아 구비하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 발신자의 3차원 얼굴 표시장치는, 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 상기 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 착신 단말장치를 포함하고, 상기 착신 단말장치는 통화 실행되어 제공되는 발신자의 음성을 토대로 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 형성되는 동기화 이미지를 디스플레이 출력하는 것을 특징으로 한다.

바람직하게는, 상기 발신자의 3차원 얼굴 표시장치는 착발신 호 처리를 실행하기 위한 이동통신 시스템을 더 포함하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 상기 발신자의 음성을 기 설정된 소리 음 단위로 판별하여 적어도 하나 이상의 소리 음 패턴으로 분류한 후, 상기 소리 음 패턴과 매칭되는 입 모양을 기 설정된 입 모양 동기화 테이블로부터 추출하고, 상기 입 모양의 이미지를 상기 3차원 얼굴이미지에 결합하여 상기 동기화 이미지를 형성하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부, 상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 상기 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부, 상기 전처리된 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 얼굴영역 검출부, 상기 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부, 상기 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부, 통화 실행되어 제공되는 발신자의 음성을 기 설정된 소리 음 단위로 실행하여 적어도 하나 이상의 소리 음 패턴을 분류하기 위한 패턴 분류부, 상기 데이터베이스부에 기 저장중인 입 모양 동기화 테이블을 토대로 상기 소리 음 패턴과 매칭되는 입 모양의 이미지를 로딩하기 위한 이미지 로딩부, 상기 입 모양의 이미지를 상기 3차원 얼굴이미지에 결합하여 동기화 이미지를 형성하기 위한 동기화 실행부 및 상기 동기화 이미지를 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 입 모양 동기화 테이블은 상기 소리 음 패턴이 적어도 하나 이상의 모음에 대응하는 경우 각 모음에 대한 입 모양을 기 설정하여 매칭하고, 상기 소리 음 패턴이 적어도 하나 이상의 자음에 대응하는 경우 자음의 소리 유형별로 기 설정된 입 모양을 매칭하여 형성되는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 발신자의 3차원 얼굴 표시 방법은, (가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출하는 단계, (나) 상기 이미지로부터 얼굴영역을 추출한 후, 상기 얼굴영역을 3차원 얼굴이미지로 변환하는 단계, (다) 상기 3차원 얼굴이미지를 디스플레이 출력하는 단계, (라) 착발신 통화 실행되어 제공되는 발신자의 음성을 토대로 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 동기화 이미지를 형성하는 단계 및 (마) 상기 동기화 이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 발신자의 3차원 얼굴 표시 방법은 상기 이미지를 토대로 얼굴인식 프로세싱을 실행하기 위한 제 1 알고리즘, 상기 얼굴영역을 상기 3차원 얼굴이미지로 변환하는 프로세싱을 실행하기 위한 제 2 알고리즘 및 상기 발신자의 음성을 토대로 상기 동기화 이미지를 형성하는 프로세싱을 실행하기 위한 제 3 알고리즘을 제공받아 구비하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 5 관점에 따른 발신자의 3차원 얼굴 표시장치는, 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 저장하며, 상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 형성되는 결합 이미지를 디스플레이 출력하기 위한 착신 단말장치를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 상기 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 기 저장중인 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하고, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 상기 3차원 얼굴이미지를 형성한 후, 상기 적어도 하나 이상의 이미지에 대한 얼굴인식을 실행하여 상기 제 2 이미지의 얼굴영역을 추출하고, 상기 제 2 이미지의 얼굴영역에 대한 위치좌표를 토대로 상기 3차원 얼굴이미지를 맵핑하여 상기 결합 이미지를 형성하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부, 상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부, 상기 전처리된 제 1 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 제 1 얼굴영역 검출부, 상기 제 1 이미지의 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부, 상기 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부, 상기 적어도 하나 이상의 이미지에 대한 얼굴인식을 실행하여 상기 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지에 대한 얼굴영역을 추출하기 위한 제 2 얼굴영역 검출부, 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하기 위한 결합부 및 상기 결합 이미지를 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 제 2 얼굴영역 검출부는 상기 제 2 이미지가 적어도 둘 이상인 경우, 상기 제 1 이미지의 얼굴영역이 이루는 얼굴특징점과 맵핑되는 비례순위를 토대로 상기 제 2 이미지를 설정하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 6 관점에 따른 발신자의 3차원 얼굴 표시 방법은, (가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출하는 단계, (나) 상기 제 1 이미지로부터 얼굴영역을 추출한 후, 상기 제 1 이미지의 얼굴영역을 3차원 얼굴이미지로 변환하는 단계, (다) 상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하는 단계 및 (라) 상기 결합 이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 (다) 단계는 상기 적어도 하나 이상의 이미지에 대한 얼굴인식 프로세싱을 실행하여 상기 제 1 이미지의 얼굴영역과 예정된 레벨 이상으로 매칭되는 대상 이미지가 추출되는 경우, 상기 대상 이미지를 상기 제 2 이미지로 설정하고 상기 적어도 하나 이상의 이미지 중 얼굴인식 미실행된 잔여 이미지에 대한 얼굴인식 프로세싱을 중단하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 7 관점에 따른 발신자의 3차원 얼굴 표시장치는, 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 저장하며, 상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 형성되는 결합 이미지를 디스플레이 출력하기 위한 착신 단말장치를 포함하고, 상기 착신 단말장치는 통화 실행되어 제공되는 발신자의 음성을 토대로 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 형성되는 동기화 이미지를 디스플레이 출력하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 상기 발신자의 음성을 기 설정된 소리 음 단위로 판별하여 적어도 하나 이상의 소리 음 패턴으로 분류한 후, 상기 소리 음 패턴과 매칭되는 입 모양을 기 설정된 입 모양 동기화 테이블로부터 추출하고, 상기 입 모양의 이미지를 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지에 결합하여 상기 동기화 이미지를 형성하는 것을 특징으로 한다.

바람직하게는, 상기 착신 단말장치는 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부, 상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부, 상기 전처리된 제 1 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 제 1 얼굴영역 검출부, 상기 제 1 이미지의 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부, 상기 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부, 상기 적어도 하나 이상의 이미지에 대한 얼굴인식 프로세싱을 실행하여 상기 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출하고 상기 제 2 이미지에 대한 얼굴영역을 추출하기 위한 제 2 얼굴영역 검출부, 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하기 위한 결합부, 통화 실행되어 제공되는 발신자의 음성을 기 설정된 소리 음 단위로 실행하여 적어도 하나 이상의 소리 음 패턴을 분류하기 위한 패턴 분류부, 상기 데이터베이스부에 기 저장중인 입 모양 동기화 테이블을 토대로 상기 소리 음 패턴과 매칭되는 입 모양의 이미지를 로딩하기 위한 이미지 로딩부, 상기 입 모양의 이미지를 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지에 결합하여 동기화 이미지를 형성하기 위한 동기화 실행부 및 상기 동기화 이미지를 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 동기화 실행부는 상기 발신자의 음성을 토대로 변환되는 상기 입 모양의 이미지를 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지에 결합하는 프로세싱을 반복하여 동기화 실행하는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 제 8 관점에 따른 발신자의 3차원 얼굴 표시 방법은, (가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출하는 단계, (나) 상기 제 1 이미지로부터 얼굴영역을 추출한 후, 상기 제 1 이미지의 얼굴영역을 3차원 얼굴이미지로 변환하는 단계, (다) 상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하는 단계, (라) 상기 결합 이미지를 디스플레이 출력하는 단계, (마) 착발신 통화 실행되어 제공되는 발신자의 음성을 토대로 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 동기화 이미지를 형성하는 단계 및 (사) 상기 동기화 이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 (마) 단계는 기 저장중인 입 모양 동기화 테이블을 기반으로 상기 발신자의 음성과 대응하는 입 모양의 이미지를 추출하고, 상기 입 모양의 이미지를 상기 3차원 얼굴이미지의 얼굴구성요소에 대한 배치 비율에 따라 상기 입 모양의 이미지의 크기를 조절하는 것을 특징으로 한다.

따라서, 본 발명에서는 전화 수신시에 발신자의 이름 또는 등록되어 있는 발신자와 관련된 이미지(예컨데, 사진 또는 가상 캐릭터)를 전화화면에 디스플레이하도록 설정한 경우, 2차원의 이미지에 포함되는 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력함에 따라, 착신자로 하여금 더 사실적이고 실제와 가깝게 생성된 발신자의 3차원 얼굴이미지를 제공받을 수 있는 이점이 있다.

또한, 본 발명에서는 전화 수신시에 발신자와 대응하는 2차원 이미지를 3차원 얼굴이미지로 변환한 후, 변환한 3차원 얼굴이미지에서의 입 모양을 발신자로부터 전달되는 음성을 토대로 동기화 실행하여 실시간 변환함에 따라, 착신자로 하여금 발신자와 영상 통화하는 느낌을 가질 수 있도록 하는 이점이 있다.

도 1은 본 발명의 일실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도,

도 2는 도 1에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도,

도 3은 본 발명의 다른 실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도,

도 4는 도 3에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도,

도 5은 본 발명의 또 다른 실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도,

도 6은 도 5에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도,

도 7은 본 발명의 또 다른 실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도, 및

도 8은 도 7에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100, 300, 500, 700 : 발신 단말장치

200, 400, 600, 800 : 착신 단말장치

210, 410, 610, 810 : 인터페이싱부

220, 420, 620, 820 : 영상전처리부

230, 430 : 얼굴영역 검출부

240, 440, 640, 840 : 데이터베이스부

250, 450, 650, 850 : 3차원 모델링부

260, 460, 660, 860 : 3차원 얼굴이미지 생성부

270, 490-1, 690, 890-3 : 디스플레이부

470, 890 : 패턴 분류부

480, 890-1 : 이미지 로딩부

490, 890-2 : 동기화 실행부

630, 830 : 제 1 얼굴영역 검출부

670, 870 : 제 2 얼굴영역 검출부

680, 880 : 결합부

이하, 첨부도면들을 참조하여 본 발명에 따른 발신자의 3차원 얼굴 표시장치의 바람직한 실시예를 보다 상세히 설명하면 다음과 같다.

도 1은 본 발명의 일실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도이다. 도 1에 단지 예로써 도시된 바와 같이, 3차원 얼굴 표시장치는 발신자에 의한 발신 요청을 기점으로 하여 착발신 호 처리를 실행하기 위한 이동통신 시스템, 및 착발신 호 처리를 통해 형성되는 착신 호를 수신하여 기 저장중인 적어도 하나 이상의 이미지(예컨데, 사진 또는 케릭터 등) 중 발신자와 대응하는 이미지를 추출하고, 추출한 이미지로부터 발신자의 얼굴영역을 추출한 후 추출한 얼굴영역을 3차원 얼굴이미지로 변환하여 단말화면에 디스플레이 출력하기 위한 착신 단말장치(200)를 포함한다.

여기서, 착신 단말장치(200)는 얼굴영역을 이루는 얼굴특징점을 판별하고, 판별한 얼굴특징점을 토대로 기 저장중인 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하며, 형성한 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하게 된다.

상기 맵핑 소스라 함은 모델링 이미지에 대한 형태, 위치, 조명 등 외부의 정보에 따라 다르게 나타나는 그림자, 색상, 농도 등을 고려하여 입체감을 나타내기 위한 것을 일컫는다.

더욱 상세하게, 착신 단말장치(200)는 이동통신 시스템과 연결되어 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부(210), 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응하는 이미지를 추출하고, 추출한 이미지를 얼굴인식 실행을 위한 이미지로 변환 처리하는 영상전처리부(220), 전처리된 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 얼굴영역 검출부(230), 얼굴영역과 대비되기 위한 통계학적 얼굴모델(예컨데, AAM; Active Appearance Model)을 기반으로 하는 차원 모델 데이터 및 적어도 하나 이상의 이미지를 저장하는 데이터베이스부(240), 얼굴영역을 이루는 얼굴특징점을 토대로 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부(250), 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴 이미지를 형성하기 위한 3차원 얼굴이미지 생성부(260), 및 3차원 얼굴이미지를 통화실행 전 또는 통화실행 중에 디스플레이 출력하기 위한 디스플레이부(270)를 포함한다.

얼굴영역 검출부(230)는 전처리된 이미지를 기초로 얼굴영역을 추출하기 위한 분류자가 예정된 레벨 이하로 미비할 경우 대응하는 분류자의 형성을 위한 Adaboost 알고리즘 및 전처리된 이미지의 데이터를 최적의 특징 패턴으로 분류하기 위한 SVM(Support-Vector Machine) 알고리즘을 결합한 형태로 얼굴검출 알고리즘을 실행하여 해당하는 얼굴영역을 추출하는 것으로 구현되는 것이 가능하며, 이외의 얼굴영역의 추출을 위한 방식으로 구현되는 것도 가능하다.

3차원 모델링부(250)는 모델링 이미지가 얼굴영역을 이루는 이미지와 기 설정된 맵핑값 이내로 수렴할 때까지 3차원 모델 데이터를 이루는 파라미터를 변경하는 과정으로, 3차원 모델 데이터를 모델링하는 과정을 반복 실행한다. 또한, 얼굴특징요소를 이루는 얼굴특징점을 MPEG-4의 FAP 표준에 기반하여 추출하는 것이 바람직하다.

도 2는 도 1에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도이다. 발신자의 3차원 얼굴 표시 방법은 발신 단말장치(100)로부터의 발신 요청으로 형성되는 착발신 호 처리 과정을 통해 진행된다(S100 및 S102).

이후로, 착발신 호 처리 과정에서 형성되는 착신 호가 착신 단말장치(200)로 전달되고(S104), 이에 착신 단말장치(200)는 기 저장중인 적어도 하나 이상의 이미지 중에서 발신자와 대응하는 이미지를 추출한다(S106).

추출한 이미지로부터 발신자에 대한 얼굴영역을 추출한 후(S108), 추출한 얼굴영역을 3차원 얼굴이미지로 변환하는 과정을 실행한다(S110).

이후로, 형성된 3차원 얼굴이미지는 통화실행되기 전까지 단말화면에 디스플레이되거나, 통화실행되는 과정에도 단말화면에 디스플레이되도록 설정되는 것이 가능하다(S112).

도 3은 본 발명의 다른 실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도이다. 발신자의 3차원 얼굴 표시장치는 발신자에 의한 발신 요청을 기점으로 하여 착발신 호 처리를 실행하기 위한 이동통신 시스템, 및 착발신 호 처리를 통해 형성되는 착신 호를 수신하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응하는 이미지를 추출하고, 추출한 이미지로부터 발신자의 얼굴영역을 추출한 후 추출한 얼굴영역을 3차원 얼굴이미지로 변환하여 단말화면에 디스플레이 출력하며, 통화 실행되어 제공되는 발신자의 음성을 토대로 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 형성되는 동기화 이미지를 단말화면에 디스플레이 출력하기 위한 착신 단말장치(400)를 포함한다.

여기서, 착신 단말장치(400)는 발신자의 음성을 기 설정된 소리 음 단위(예컨데, 초성, 중성 및 종성으로 설정되는 단위)로 판별하여 적어도 하나 이상의 소리 음 패턴을 분류한 후, 소리 음 패턴과 매칭되는 입 모양을 기 설정된 입 모양 동기화 테이블로부터 추출하고, 추출한 입 모양의 이미지를 3차원 얼굴이미지에 결합하여 형성되는 동기화 이미지를 단말화면에 디스플레이 출력한다.

또한, 입 모양 동기화 테이블은 다양한 방식으로 형성되는 것이 가능하며, 그 다양한 방식 중 하나의 방식을 형성되는 입 모양 동기화 테이블은 소리 음 패턴이 적어도 하나 이상의 모음에 대응하는 경우에 각 모음에 대한 입 모양을 기 설정하여 상호 매칭되도록 테이블 형성하고, 또한 소리 음 패턴이 적어도 하나 이상의 자음에 대응하는 경우에 각 자음에 대한 소리 유형별(예컨데, 각 자음에 대한 입술 소리, 혀끝 소리 등)로 기 설정된 입 모양을 상호 매칭되도록 형성되는 것이 가능하다.

더욱 상세하게, 착신 단말장치(400)는 이동통신 시스템으로부터 착발신 호 처리과정을 거쳐 제공되는 착신 호를 수신하기 위한 인터페이싱부(410), 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부(420), 전처리된 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 얼굴영역 검출부(430), 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 적어도 하나 이상의 이미지를 저장하는 데이터베이스부(440), 얼굴영역을 이루는 얼굴특징점을 토대로 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부(450), 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부(460), 통화 실행되어 제공되는 발신자의 음성을 기 설정된 소리 음 단위로 판별하는 과정을 실행한 후 이를 통해 적어도 하나 이상의 소리 음 패턴을 분류하기 위한 패턴 분류부(470), 데이터베이스부(440)에 기 저장중인 입 모양 동기화 테이블을 토대로 소리 음 패턴과 매칭되는 입 모양의 이미지를 로딩하기 위한 이미지 로딩부(490), 로딩한 입 모양의 이미지를 3차원 얼굴이미지에 결합하여 동기화 이미지를 형성하기 위한 동기화 실행부(490), 및 동기화 이미지를 디스플레이 출력하기 위한 디스플레이부(490-1)를 포함한다.

도 4는 도 3에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도이다. 발신자의 3차원 얼굴 표시 방법은 발신자의 3차원 얼굴 표시 방법은 발신 단말장치(300)로부터의 발신 요청으로 형성되는 착발신 호 처리 과정을 통해 진행된다(S200 및 S202).

이후로, 착발신 호 처리 과정에서 형성되는 착신 호가 착신 단말장치(400)로 전달되고(S204), 이에 착신 단말장치(400)는 기 저장중인 적어도 하나 이상의 이미지 중에서 발신자와 대응하는 이미지를 추출한다(S206).

추출한 이미지로부터 발신자에 대한 얼굴영역을 추출한 후(S208), 추출한 얼굴영역을 3차원 얼굴이미지로 변환하는 과정을 실행한다(S210).

이후로, 형성된 3차원 얼굴이미지는 단말화면에 디스플레이 출력되고(S212). 발신 단말장치(300)와 착발신 통화를 실행하면서 발신자의 음성을 인식하게 된다(S214 및 S216).

이에, 착신 단말장치(400)는 인식한 발신자의 음성을 소리 음 단위로 판별한 후, 판별한 소리 음 단위를 토대로 관련한 소리 음 패턴을 형성하여 기 저장중인 입 모양 동기화 테이블로부터 대응하는 입 모양의 이미지를 로딩한다(S218 내지 S222).

로딩한 입 모양의 이미지와 3차원 얼굴이미지를 결합하여 동기화 이미지를 형성하고(S224), 형성한 동기화 이미지를 단말화면에 디스플레이 출력한다(S226).

도 5은 본 발명의 또 다른 실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도이다. 발신자의 3차원 얼굴 표시장치는 발신 단말장치(500)의 발신 요청을 기점으로 하여 착발신 호 처리를 실행하기 위한 이동통신 시스템, 및 착발신 호 처리를 통해 형성되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응하는 제 1 이미지를 추출한 후, 상기 제 1 이미지로부터 얼굴영역을 추출하여 3차원 얼굴이미지로 변환하여 저장하며, 이후로 기 저장중인 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 예정된 레벨 이상으로 매칭하는 제 2 이미지를 추가로 추출한 후 제 2 이미지의 얼굴영역에 3차원 얼굴이미지를 맵핑하여 별도의 결합 이미지를 형성하고, 형성한 결합 이미지를 단말화면에 디스플레이 출력하기 위한 착신 단말장치(600)를 포함한다.

여기서, 발신자와 대응하는 제 1 이미지를 추출하기 위하여는, 착신자로 하여금 발신 번호와 대응하는 제 1 이미지가 기 설정되는 것이 바람직하다.

착신 단말장치(600)는 제 1 이미지의 얼굴영역에 대한 3차원 얼굴이미지를 형성한 후, 기 저장중인 적어도 하나 이상의 이미지에 대한 얼굴인식을 모두 실행하여 예정된 레벨 이상으로 매칭되는 제 2 이미지를 판별하고, 판별한 제 2 이미지의 얼굴영역에 대한 위치좌표를 토대로 하여 3차원 얼굴이미지에 맵핑 처리함으로써 결합 이미지를 형성하게 된다.

더욱 상세하게, 착신 단말장치(600)는 이동통신 시스템으로부터 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부(610), 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 제 1 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부(620), 전처리된 제 1 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 제 1 얼굴영역 검출부, 제 1 이미지의 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 적어도 하나 이상의 이미지를 저장하는 데이터베이스부(640), 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부, 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부(660), 적어도 하나 이상의 이미지에 대한 얼굴인식을 순차적으로 실행하여 제 1 이미지의 얼굴영역과 예정된 레벨 이상으로 매칭하는 제 2 이미지를 추출한 후 제 2 이미지에 대한 얼굴영역을 추출하기 위한 제 2 얼굴영역 검출부, 제 2 이미지의 얼굴영역에 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하기 위한 결합부 및 결합 이미지를 디스플레이 출력하기 위한 디스플레이부(690)를 포함한다.

제 2 얼굴영역 검출부는 적어도 하나 이상의 이미지에 대한 순차적인 얼굴인식을 실행하는 과정에서 예정된 레벨 이상으로 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출하게 되면, 얼굴인식 실행하지 않은 잔여 이미지에 대한 얼굴인식 프로세싱을 중단하는 것으로 구현될 수 있다.

또한, 제 2 얼굴영역 검출부는 적어도 하나 이상의 이미지에 대한 얼굴인식 프로세싱으로 제 2 이미지가 적어도 둘 이상으로 추출되는 경우, 제 1 이미지의 얼굴영역이 이루는 얼굴특징점과 맵핑되는 비례순위를 토대로 맵핑 비율이 높은 이미지를 제 2 이미지로 설정하는 것으로 구현되는 것도 가능하다.

도 6은 도 5에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도이다. 도 6에 단지 예로써 도시된 바와 같이, 발신자의 3차원 얼굴 표시 방법은 발신 단말장치(500)로부터의 발신 요청으로 형성되는 착발신 호 처리 과정을 통해 진행된다(S300 및 S302).

이후로, 착발신 호 처리 과정에서 형성되는 착신 호가 착신 단말장치(600)로 전달되고(S304), 이에 착신 단말장치(600)는 기 저장중인 적어도 하나 이상의 이미지 중에서 발신자와 대응하는 제 1 이미지를 추출한다(S306).

추출한 이미지로부터 발신자에 대한 얼굴영역을 추출한 후(S308), 추출한 얼굴영역을 3차원 얼굴이미지로 변환하는 과정을 실행한다(S310).

이후로, 기 저장중인 적어도 하나 이상의 이미지에 대한 얼굴인식을 실행하여 발신자와 대응하는 제 2 이미지를 추출한다(S312 및 S314). 이에 따라, 추출한 제 2 이미지의 얼굴영역을 상기 3차원 얼굴이미지에 맵핑하는 과정을 거쳐 결합 이미지를 형성한다(S316 및 S318).

이와 같이 형성한 결합 이미지를 단말화면에 디스플레이하게 된다(S320).

도 7은 본 발명의 또 다른 실시 예에 따른 발신자의 3차원 얼굴 표시장치의 구성도이다. 도 7에 단지 예로써 도시된 바와 같이, 발신자의 3차원 얼굴 표시장치는 발신 단말장치(700)의 발신 요청을 기점으로 하여 착발신 호 처리를 실행하기 위한 이동통신 시스템, 및 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응하는 제 1 이미지를 추출한 후 추출한 제 1 이미지로부터 얼굴영역을 추출하고, 추출한 얼굴영역을 3차원 얼굴이미지로 변환하여 저장하며, 또한 기 저장중인 적어도 하나 이상의 이미지로부터 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 제 2 이미지의 얼굴영역과 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하고, 형성한 결합 이미지를 단말화면에 디스플레이 출력하도록 구현될 뿐만 아니라, 통화 실행되어 제공되는 발신자의 음성을 토대로 결합 이미지에 포함되는 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 형성되는 동기화 이미지를 디스플레이 출력하기 위한 착신 단말장치(800)를 포함한다.

더욱 상세하게, 착신 단말장치(800)는 이동통신 시스템으로부터 착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부(810), 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응하는 제 1 이미지를 추출한 후 제 1 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부(820), 전처리된 제 1 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 제 1 얼굴영역 검출부(830), 제 1 이미지의 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 적어도 하나 이상의 이미지를 저장하는 데이터베이스부(840), 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부(850), 모델링 이미지에 맵핑 소스를 결합하는 랜더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부(860), 적어도 하나 이상의 이미지에 대한 얼굴인식 프로세싱을 실행하여 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출하고 제 2 이미지에 대한 얼굴영역을 추출하기 위한 제 2 얼굴영역 검출부(870), 제 2 이미지의 얼굴영역과 3차원 얼굴이미지를 상호 맵핑하여 결합 이미지를 형성하기 위한 결합부, 통화 실행되어 제공되는 발신자의 음성을 기 설정된 소리 음 단위로 실행하여 적어도 하나 이상의 소리 음 패턴을 분류하기 위한 패턴 분류부(890), 데이터베이스부(840)에 기 저장중인 입 모양 동기화 테이블을 토대로 소리 음 패턴과 매칭되는 입 모양의 이미지를 로딩하기 위한 이미지 로딩부(890-1), 입 모양의 이미지를 결합 이미지에 포함되는 3차원 얼굴이미지에 결합하여 동기화 이미지를 형성하기 위한 동기화 실행부(890-2), 및 동기화 이미지를 디스플레이 출력하기 위한 디스플레이부(890-3)를 포함한다.

도 8은 도 7에 도시된 발신자의 3차원 얼굴 표시장치의 동작과정을 나타내는 순서도이다. 도 8에 단지 예로써 도시된 바와 같이, 발신자의 3차원 얼굴 표시 방법은 발신자의 3차원 얼굴 표시 방법은 발신 단말장치(700)로부터의 발신 요청으로 형성되는 착발신 호 처리 과정을 통해 진행된다(S400 및 S402).

이후로, 착발신 호 처리 과정에서 형성되는 착신 호가 착신 단말장치(800)로 전달되고(S404), 이에 착신 단말장치(800)는 기 저장중인 적어도 하나 이상의 이미지 중에서 발신자와 대응하는 제 1 이미지를 추출한다(S406).

추출한 제 1 이미지로부터 발신자에 대한 얼굴영역을 추출한 후, 추출한 얼굴영역을 3차원 얼굴이미지로 변환하는 과정을 실행한다(S408).

이후로, 기 저장중인 적어도 하나 이상의 이미지에 대한 각각의 얼굴인식 프로세싱을 실행하여 상기 제 1 이미지와 예정된 레벨 이상으로 맵핑하는 제 2 이미지를 추출한다(S410 및 S412).

이에 따라, 추출한 제 2 이미지의 얼굴영역을 상기 3차원 얼굴이미지에 맵핑하는 과정을 거쳐 결합 이미지를 형성하고, 형성한 결합 이미지를 단말화면에 디스플레이하게 된다(S414).

이후로, 발신 단말장치(700)와 착발신 통화를 실행하면서 발신자의 음성을 인식하게 된다(S416 및 S418).

이에, 착신 단말장치(800)는 인식한 발신자의 음성을 소리 음 단위로 판별한 후, 판별한 소리 음 단위를 토대로 관련한 소리 음 패턴을 형성하여 기 저장중인 입 모양 동기화 테이블로부터 대응하는 입 모양의 이미지를 로딩한다(S420 내지 S422).

로딩한 입 모양의 이미지와 3차원 얼굴이미지를 결합하여 동기화 이미지를 형성하고(S424), 형성한 동기화 이미지를 단말화면에 디스플레이 출력한다(S426).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

또한, 본 발명은 전화 수신시에 발신자의 이름 또는 등록되어 있는 발신자와 관련된 이미지(예컨데, 사진 또는 가상 캐릭터)를 전화화면에 디스플레이하도록 설정한 경우, 2차원의 이미지에 포함되는 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims

착신 호에 응답하여 하기 착신 단말장치에 기 저장중인 적어도 하나 이상의 이미지 중 상기 착신 호의 발신자와 대응되는 이미지를 추출한 후 상기 발신자와 대응하는 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 착신 단말장치를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 1 항에 있어서, 상기 발신자의 3차원 얼굴 표시장치는,

착발신 호 처리를 실행하기 위한 이동통신 시스템을 더 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 1 항 또는 제 2 항에 있어서, 상기 착신 단말장치는

상기 얼굴영역을 이루는 얼굴특징점을 토대로 기 저장중인 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하고, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 상기 3차원 얼굴이미지를 형성하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 1 항 또는 제 2 항에 있어서, 상기 착신 단말장치는

착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부;

상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 상기 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부;

상기 전처리된 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 얼굴영역 검출부;

상기 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부;

상기 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부;

상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부; 및

상기 3차원 얼굴이미지를 통화실행 전 또는 통화실행 중에 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 4 항에 있어서, 상기 3차원 모델 데이터는

통계학적 얼굴모델을 기반으로 하여 형성되며, 상기 통계학적 얼굴모델은 AAM(Active Appearance Model) 방식을 포함하는 방식들 중 적어도 하나 이상을 통해 구현되는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
(가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 착신 단말장치에 기 저장중인 적어도 하나 이상의 이미지 중 상기 착신 호의 발신자와 대응하는 이미지를 추출하는 단계;

(나) 상기 발신자와 대응하는 이미지로부터 얼굴영역을 추출한 후, 상기 얼굴영역을 3차원 얼굴이미지로 변환하는 단계; 및

(다) 상기 3차원 얼굴이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
제 6 항에 있어서, 상기 발신자의 3차원 얼굴 표시 방법은

상기 이미지를 토대로 얼굴인식 프로세싱을 실행하기 위한 제 1 알고리즘 및 상기 얼굴영역을 상기 3차원 얼굴이미지로 변환하는 프로세싱을 실행하기 위한 제 2 알고리즘을 제공받아 구비하는 단계를 더 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
착신 호에 응답하여 하기 착신 단말장치에 기 저장중인 적어도 하나 이상의 이미지 중 상기 착신 호의 발신자와 대응하는 이미지를 추출한 후 상기 발신자와 대응하는 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 디스플레이 출력하기 위한 착신 단말장치를 포함하고,

상기 착신 단말장치는,

통화 실행되어 제공되는 상기 발신자의 음성을 토대로 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 형성되는 동기화 이미지를 디스플레이 출력하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 8 항에 있어서, 상기 발신자의 3차원 얼굴 표시장치는,

착발신 호 처리를 실행하기 위한 이동통신 시스템을 더 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 8 항 또는 제 9 항에 있어서, 상기 착신 단말장치는

상기 발신자의 음성을 기 설정된 소리 음 단위로 판별하여 적어도 하나 이상의 소리 음 패턴으로 분류한 후, 상기 소리 음 패턴과 매칭되는 입 모양을 기 설정된 입 모양 동기화 테이블로부터 추출하고, 상기 입 모양의 이미지를 상기 3차원 얼굴이미지에 결합하여 상기 동기화 이미지를 형성하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 8 항 또는 제 9 항에 있어서, 상기 착신 단말장치는

착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부;

상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 이미지를 추출한 후 상기 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부;

상기 전처리된 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 얼굴영역 검출부;

상기 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부;

상기 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부;

상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부;

통화 실행되어 제공되는 발신자의 음성을 기 설정된 소리 음 단위로 실행하여 적어도 하나 이상의 소리 음 패턴을 분류하기 위한 패턴 분류부;

상기 데이터베이스부에 기 저장중인 입 모양 동기화 테이블을 토대로 상기 소리 음 패턴과 매칭되는 입 모양의 이미지를 로딩하기 위한 이미지 로딩부;

상기 입 모양의 이미지를 상기 3차원 얼굴이미지에 결합하여 동기화 이미지를 형성하기 위한 동기화 실행부; 및

상기 동기화 이미지를 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 11 항에 있어서, 상기 입 모양 동기화 테이블은

상기 소리 음 패턴이 적어도 하나 이상의 모음에 대응하는 경우 각 모음에 대한 입 모양을 기 설정하여 매칭하고,

상기 소리 음 패턴이 적어도 하나 이상의 자음에 대응하는 경우 자음의 소리 유형별로 기 설정된 입 모양을 매칭하여 형성되는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
(가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 착신 단말장치에 기 저장중인 적어도 하나 이상의 이미지 중 상기 착신 호의 발신자와 대응하는 이미지를 추출하는 단계;

(나) 상기 발신자와 대응하는 이미지로부터 얼굴영역을 추출한 후, 상기 얼굴영역을 3차원 얼굴이미지로 변환하는 단계;

(다) 상기 3차원 얼굴이미지를 디스플레이 출력하는 단계;

(라) 착발신 통화 실행되어 제공되는 상기 발신자의 음성을 토대로 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 동기화 이미지를 형성하는 단계; 및

(마) 상기 동기화 이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
제 13 항에 있어서, 상기 발신자의 3차원 얼굴 표시 방법은

상기 이미지를 토대로 얼굴인식 프로세싱을 실행하기 위한 제 1 알고리즘;

상기 얼굴영역을 상기 3차원 얼굴이미지로 변환하는 프로세싱을 실행하기 위한 제 2 알고리즘; 및

상기 발신자의 음성을 토대로 상기 동기화 이미지를 형성하는 프로세싱을 실행하기 위한 제 3 알고리즘을 제공받아 구비하는 단계를 더 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 저장하며,

상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 형성되는 결합 이미지를 디스플레이 출력하기 위한 착신 단말장치를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 15 항에 있어서, 상기 발신자의 3차원 얼굴 표시장치는,

착발신 호 처리를 실행하기 위한 이동통신 시스템을 더 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 15 항 또는 제 16 항에 있어서, 상기 착신 단말장치는

상기 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 기 저장중인 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하고, 상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 상기 3차원 얼굴이미지를 형성한 후,

상기 적어도 하나 이상의 이미지에 대한 얼굴인식을 실행하여 상기 제 2 이미지의 얼굴영역을 추출하고, 상기 제 2 이미지의 얼굴영역에 대한 위치좌표를 토대로 상기 3차원 얼굴이미지를 맵핑하여 상기 결합 이미지를 형성하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 15 항 또는 제 16 항에 있어서, 상기 착신 단말장치는

착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부;

상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부;

상기 전처리된 제 1 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 제 1 얼굴영역 검출부;

상기 제 1 이미지의 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부;

상기 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부;

상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부;

상기 적어도 하나 이상의 이미지에 대한 얼굴인식을 실행하여 상기 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지에 대한 얼굴영역을 추출하기 위한 제 2 얼굴영역 검출부;

상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하기 위한 결합부; 및

상기 결합 이미지를 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 18 항에 있어서, 상기 제 2 얼굴영역 검출부는

상기 제 2 이미지가 적어도 둘 이상인 경우, 상기 제 1 이미지의 얼굴영역이 이루는 얼굴특징점과 맵핑되는 비례순위를 토대로 상기 제 2 이미지를 설정하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
(가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출하는 단계;

(나) 상기 제 1 이미지로부터 얼굴영역을 추출한 후, 상기 제 1 이미지의 얼굴영역을 3차원 얼굴이미지로 변환하는 단계;

(다) 상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하는 단계; 및

(라) 상기 결합 이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
제 20 항에 있어서, 상기 (다) 단계는

상기 적어도 하나 이상의 이미지에 대한 얼굴인식 프로세싱을 실행하여 상기 제 1 이미지의 얼굴영역과 예정된 레벨 이상으로 매칭되는 대상 이미지가 추출되는 경우, 상기 대상 이미지를 상기 제 2 이미지로 설정하고 상기 적어도 하나 이상의 이미지 중 얼굴인식 미실행된 잔여 이미지에 대한 얼굴인식 프로세싱을 중단하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지로부터 얼굴영역을 추출하고, 상기 얼굴영역을 3차원 얼굴이미지로 변환하여 저장하며,

상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 형성되는 결합 이미지를 디스플레이 출력하기 위한 착신 단말장치를 포함하고,

상기 착신 단말장치는,

통화 실행되어 제공되는 발신자의 음성을 토대로 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 형성되는 동기화 이미지를 디스플레이 출력하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 22 항에 있어서, 상기 발신자의 3차원 얼굴 표시장치는,

착발신 호 처리를 실행하기 위한 이동통신 시스템을 더 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 22 항 또는 제 23 항에 있어서, 상기 착신 단말장치는

상기 발신자의 음성을 기 설정된 소리 음 단위로 판별하여 적어도 하나 이상의 소리 음 패턴으로 분류한 후, 상기 소리 음 패턴과 매칭되는 입 모양을 기 설정된 입 모양 동기화 테이블로부터 추출하고, 상기 입 모양의 이미지를 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지에 결합하여 상기 동기화 이미지를 형성하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 22 항 또는 제 23 항에 있어서, 상기 착신 단말장치는

착발신 호 처리를 통해 형성되는 착신 호를 수신하기 위한 인터페이싱부;

상기 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출한 후 상기 제 1 이미지를 얼굴인식 실행하기 위한 이미지로 변환 처리하는 영상전처리부;

상기 전처리된 제 1 이미지를 기초로 얼굴인식 프로세싱을 실행하여 얼굴영역을 추출하기 위한 제 1 얼굴영역 검출부;

상기 제 1 이미지의 얼굴영역과 대비되기 위한 3차원 모델 데이터 및 상기 적어도 하나 이상의 이미지를 저장하는 데이터베이스부;

상기 제 1 이미지의 얼굴영역을 이루는 얼굴특징점을 토대로 상기 3차원 모델 데이터를 변환하여 모델링 이미지를 형성하기 위한 3차원 모델링부;

상기 모델링 이미지에 맵핑 소스를 결합하는 렌더링 처리를 통해 3차원 얼굴이미지를 형성하기 위한 3차원 얼굴이미지 생성부;

상기 적어도 하나 이상의 이미지에 대한 얼굴인식 프로세싱을 실행하여 상기 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출하고 상기 제 2 이미지에 대한 얼굴영역을 추출하기 위한 제 2 얼굴영역 검출부;

상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하기 위한 결합부;

통화 실행되어 제공되는 발신자의 음성을 기 설정된 소리 음 단위로 실행하여 적어도 하나 이상의 소리 음 패턴을 분류하기 위한 패턴 분류부;

상기 데이터베이스부에 기 저장중인 입 모양 동기화 테이블을 토대로 상기 소리 음 패턴과 매칭되는 입 모양의 이미지를 로딩하기 위한 이미지 로딩부;

상기 입 모양의 이미지를 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지에 결합하여 동기화 이미지를 형성하기 위한 동기화 실행부; 및

상기 동기화 이미지를 디스플레이 출력하기 위한 디스플레이부를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
제 25 항에 있어서, 상기 동기화 실행부는

상기 발신자의 음성을 토대로 변환되는 상기 입 모양의 이미지를 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지에 결합하는 프로세싱을 반복하여 동기화 실행하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시장치.
(가) 착발신 호 처리의 실행으로 제공되는 착신 호에 응답하여 기 저장중인 적어도 하나 이상의 이미지 중 발신자와 대응되는 제 1 이미지를 추출하는 단계;

(나) 상기 제 1 이미지로부터 얼굴영역을 추출한 후, 상기 제 1 이미지의 얼굴영역을 3차원 얼굴이미지로 변환하는 단계;

(다) 상기 적어도 하나 이상의 이미지 중 제 1 이미지의 얼굴영역과 매칭하는 제 2 이미지를 추출한 후 상기 제 2 이미지의 얼굴영역에 상기 3차원 얼굴이미지를 맵핑하여 결합 이미지를 형성하는 단계;

(라) 상기 결합 이미지를 디스플레이 출력하는 단계;

(마) 착발신 통화 실행되어 제공되는 발신자의 음성을 토대로 상기 결합 이미지에 포함되는 상기 3차원 얼굴이미지의 얼굴구성요소 중 입 모양에 대한 동기화를 실행하여 동기화 이미지를 형성하는 단계; 및

(사) 상기 동기화 이미지를 디스플레이 출력하는 단계를 포함하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.
제 27 항에 있어서, 상기 (마) 단계는

기 저장중인 입 모양 동기화 테이블을 기반으로 상기 발신자의 음성과 대응하는 입 모양의 이미지를 추출하고, 상기 입 모양의 이미지를 상기 3차원 얼굴이미지의 얼굴구성요소에 대한 배치 비율에 따라 상기 입 모양의 이미지의 크기를 조절하는 것을 특징으로 하는 발신자의 3차원 얼굴 표시 방법.