KR101533065B1 - 화상통화 중 애니메이션 효과 제공 방법 및 장치 - Google Patents

Abstract

본 발명은 이동단말에서 화상통화 중 사용자 영상데이터와 상대방 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 통해 해당 영상데이터의 얼굴 상태정보를 획득하고, 상기 얼굴 상태정보에 대응하는 다양한 이벤트데이터를 추출하여 상기 영상데이터와 함께 출력할 수 있는 화상통화 중 애니메이션 효과 제공 방법 및 장치에 관한 것으로, 이러한 본 발명은 이동단말의 화상통화 방법에 있어서, 임의의 상대방 이동단말과 화상통화를 수행하는 과정과, 상기 화상통화 중 이벤트 실행을 감지할 시 설정된 이벤트모드를 판단하는 과정과, 상기 이벤트모드에 대응하여 특정 영상데이터에 대한 얼굴인식 프로세싱을 수행하는 과정과, 상기 얼굴인식 프로세싱에 의해 영상데이터의 상태정보를 획득하는 과정과, 상기 상태정보에 따른 이벤트데이터를 상기 영상데이터 상에 출력하는 과정을 포함한다.

이동단말, 화상통화, 음성통화, 애니메이션, 이벤트, 얼굴인식

Description

화상통화 중 애니메이션 효과 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING ANIMATION EFFECT ON VIDEO TELEPHONY CALL}

본 발명은 이동단말의 화상통화(VT Call, Video Telephony Call)에 관한 것으로, 특히 이동단말에서 화상통화 중에 화면을 통해 제공되는 사용자/상대방의 얼굴을 인식하여, 다양한 애니메이션 효과를 부여하여 제공할 수 있는 이동단말의 화상통화 방법 및 이를 위한 장치에 관한 것이다.

최근 들어, 통신 기술의 급속한 발전으로 사용자와 상대방 간의 음성통화만이 가능했던 이동단말에서의 기능이 점차 확대되면서 보다 다양한 사용자인터페이스(UI, User Interface) 기능이 제공되고 있다. 이러한 추세에 따라 음성, 화상, 데이터 통신이 가능한 통신 방식이 개발되고, 본격적인 고속 멀티미디어 서비스를 제공하는 것이 가능하게 하기 위한 방법이 계속적으로 연구되고 있다.

최근 사용자 편의를 위해 제공되는 기능들 중에 단순한 음성만을 이용한 통화가 아닌 서로 상대방의 모습을 보면서 통화하는 화상통화 기능이 있다. 이러한 화상통화는 마이크(Microphone) 등을 통해 입력되는 음성 데이터와 함께 카메라 등을 통해 입력되는 영상데이터를 동시에 전송함으로써 이루어진다. 이러한 화상통화 는 실시간 비디오 스트리밍(Streaming) 기술을 이용하여 상대방에게 영상데이터까지 전송함으로써, 서로 상대방의 모습을 보면서 통화할 수 있다. 또한 3세대 서비스가 보급됨에 따라 화상통화를 이용하는 사용자도 점차적으로 늘어나고 있는 실정이다.

따라서 사용자는 화상통화 이용에 따른 다양한 부가서비스를 희망하고 있다. 이에 이동단말에서 화상통화 중에도 사용자의 흥미를 유발할 수 있는 다양한 서비스의 필요성이 대두되고 있다.

본 발명의 목적은 이동단말에서 화상통화 중에 다양한 애니메이션 효과를 표시할 수 있는 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 이동단말에서 화상통화 중에 화면에 표시되는 사용자/상대방의 얼굴을 인식하고, 사용자/상대방의 얼굴 상태정보에 따라 다양한 애니메이션을 사용자/상대방의 영상데이터에 결합하여 표현할 수 있는 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 이동단말에서 화상통화 중 사용자 영상데이터와 상대방 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 통해 해당 영상데이터의 얼굴 상태정보를 획득하고, 상기 얼굴 상태정보에 대응하는 다양한 이벤트데이터를 추출하여 상기 영상데이터와 함께 출력할 수 있는 방법 및 장치를 제공함에 있다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 방법은, 이동단말의 화상통화 방법에 있어서, 임의의 상대방 이동단말과 화상통화를 수행하는 과정과; 상기 화상통화 중 이벤트 실행을 감지할 시 설정된 이벤트모드를 판단하는 과정과; 상기 이벤트모드에 대응하여 특정 영상데이터에 대한 얼굴인식 프로세싱을 수행하는 과정과; 상기 얼굴인식 프로세싱에 의해 영상데이터의 상태정보를 획득하는 과정과; 상기 상태정보에 따른 이벤트데이터를 상기 영상데이터 상에 출력하는 과정을 포함한다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 장치는, 화상통신을 지원하는 이동단말에 있어서, 화상통화 수행 시 사용자의 영상을 촬영하고, 촬영하는 영상에 대한 사용자 영상데이터를 출력하는 카메라모듈과; 상기 화상통화 수행 시 상기 사용자 영상데이터 및 상대 이동단말 사용자의 상대방 영상데이터를 분할된 표시영역을 통해 각각 표시하는 표시부와; 감정 아이템 및 액세서리 아이템으로 구분된 이벤트데이터들 및 이벤트모드의 다양한 설정정보를 저장하는 저장부와; 상기 화상통화에 의해 획득하는 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 제어하고, 상기 얼굴인식 프로세싱에 따른 해당 영상데이터 상에 특정 이벤트데이터의 출력을 제어하는 제어부를 포함한다.

상술한 바와 같이 본 발명에서 제안하는 화상통화 중 애니메이션 효과 제공 방법 및 장치에 따르면, 사용자는 화상통화를 이용한 중에 사용자 희망에 따른 다양한 애니메이션 효과를 영상데이터에 부가하여 표현할 수 있다. 특히, 사용자는 화상통화 중 이동단말의 카메라모듈을 통해 촬영하는 자신의 영상데이터 및 무선통신부를 통해 수신하는 상대방의 영상데이터 중 적어도 하나의 영상데이터에 자신이 희망하는 애니메이션을 부가하여 표시할 수 있다.

이와 같이, 이동단말은 화상통화 중에 사용자 요청에 따른 사용자 또는 상대방의 얼굴을 인식한 후 인식하는 얼굴의 상태정보를 분석하고, 상기 상태정보에 대응하는 애니메이션 효과를 영상데이터에 적응적으로 반영하여 제공할 수 있다. 이 에 따라 사용자의 화상통화 이용에 따른 흥미를 유발할 수 있다.

또한 본 발명에 따르면, 화상통화 중 사용자 희망에 따라 다양한 애니메이션 효과가 적용된 영상데이터를 실시간 캡쳐(정지영상, 동영상)하여 이동단말에 저장하거나, 상대방 이동단말로 전송 가능하므로, 사용자에게 화상통화 이용에 따른 새로운 부가서비스를 제공할 수 있다.

이러한 본 발명에 따르면, 사용자들의 화상통화 및 이동단말 이용률을 높일 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.

제안하는 본 발명은 화상통화(VT Call, Video Telephony Call) 기능을 지원하는 이동단말에 관한 것이다. 특히, 본 발명의 실시 예에서는 화상통화 중에 획득하는 영상데이터에 사용자 희망에 따른 다양한 애니메이션 효과를 반영하여 표시할 수 있다. 즉, 제안하는 본 발명은 이동단말에서 화상통화 중 사용자 영상데이터와 상대방 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 통해 해당 영상데이터의 얼굴 상태정보를 획득하고, 상기 얼굴 상태정보에 대응하는 다양한 이벤트데이터를 추출하여 상기 영상데이터와 함께 출력할 수 있는 화상통화 중 애니메이션 효과 제공 방법 및 장치에 관한 것이다.

본 발명의 실시 예에서, 상기 영상데이터는 이동단말 사용자의 영상데이터 및 상대방 이동단말 사용자의 영상데이터를 포함한다. 즉, 화상통화 중 이동단말이 카메라모듈을 통해 획득하는 사용자의 영상데이터와 무선통신부를 통해 획득하는 상대방의 영상데이터를 포함한다. 본 발명의 실시 예에서 상기 영상데이터는 얼굴데이터와 배경데이터로 분류할 수 있다. 이러한 영상데이터에 대한 상세 설명은 후술하기로 한다.

본 발명의 실시 예에서, 상기 애니메이션 효과는 미리 설정된 다양한 형태의 애니메이션 데이터(이벤트데이터)를 상기 영상데이터에 실시간 반영하여 표현하는 것을 의미한다. 상기 애니메이션 데이터는 상기 영상데이터 중 사용자 선택에 따라 상기 얼굴데이터 및 배경데이터 중 어느 하나 또는 각각의 데이터 모두에 적용할 수 있다.

이러한 본 발명의 동작을 위해서, 본 발명의 실시 예에서는 얼굴 인식(또는 안면 인식)(facial recognition) 기술을 응용하여 이용할 수 있다. 상기 얼굴 인식(안면 인식) 기술은 일반적으로 디지털 이미지를 통해 사용자의 얼굴을 자동으로 식별하는 기술을 나타낸다. 이는 카메라모듈 또는 무선통신부를 통해 획득하는 영상데이터에 나타나는 얼굴 특징과 미리 구현된 얼굴(안면) 데이터베이스를 서로 비교함으로써 이루어질 수 있다. 이러한 상기 얼굴 인식 기술은 주지 관용의 기술로, 이하에서는 상기 얼굴 인식 기술에 대한 상세 기술적 동작 설명은 생략하기로 한다.

한편, 본 발명에 실시 예에 따르면, 본 발명의 기능 실행을 위한 다양한 모 드(이벤트모드)를 설정하고, 본 발명에서 이용되는 각 모드에 대한 설정정보, 다양한 이벤트데이터 및 얼굴의 상태정보 등이 이동단말에 사전 저장할 수 있다.

이하, 본 발명에서 적용되는 상기 이벤트모드와, 상기 이벤트모드에 따른 상기 설정정보와, 상기 이벤트데이터 및 상기 상태정보에 대하여 하기 <표 1> 및 <표 2>를 참조하여 살펴보기로 한다. 또한, 하기 <표 1> 및 <표 2>에 따른 본 발명을 설명함에 있어서, 설명의 이해 및 편의를 위하여 첨부된 도면 도 6a 내지 도 6c를 결부하여 설명하기로 한다. 상기 도 6a 내지 도 6c는 본 발명의 실시 예에 따른 이동단말에서 영상데이터 상에 이벤트데이터가 출력되는 화면 예시를 나타낸 도면들이다.

먼저, 상기 도 6a 내지 도 6c를 간략히 살펴보면, 상기 도 6a는 화상통화 중 본 발명의 기능을 사용자의 영상데이터 특히, 얼굴데이터에 특정 이벤트데이터를 출력하는 화면 예시를 나타낸 것이고, 상기 도 6b는 화상통화 중 본 발명의 기능을 상대방의 영상데이터 특히, 얼굴데이터에 특정 이벤트데이터를 출력하는 화면 예시를 나타낸 것이고, 상기 도 6c는 화상통화 중 본 발명의 기능을 상대방의 영상데이터 특히, 얼굴데이터 및 사용자의 영상데이터 특히, 배경데이터 각각에 해당 특정 이벤트데이터를 동시에 출력하는 화면 예시를 나타낸 것이다.

다음으로, 상기 <표 1> 및 <표 2>와 상기 도 6a 내지 도 6c를 참조하여 본 발명에 대하여 간략히 살펴보기로 한다.

상기 <표 1>에 나타낸 바와 같이, 본 발명의 이벤트모드는 크게 선택모드 및 적용모드로 분류할 수 있다.

먼저, 상기 선택모드는 애니메이션 효과를 부여할 영상데이터를 설정하는 모드를 나타낸다. 사용자는 상기 선택모드에서 애니메이션 효과를 부여할 영상데이터를 지정할 수 있다. 그러면, 이동단말은 상기 선택모드의 설정에 따라 영상데이터가 표시되는 표시영역을 식별하고, 해당 표시영역의 영상데이터에 대한 얼굴인식 프로세싱(processing)을 수행할 수 있다.

예를 들면, 화상통화 시 표시부의 표시영역은 상기 도 6a 내지 도 6c에 나타낸 바와 같이, 상대방의 영상데이터를 표시하는 상대방 표시영역(610)과 사용자의 영상데이터를 표시하는 사용자 표시영역(620)으로 구분할 수 있다.

따라서 상기 <표 1>과 같은 예시의 상기 선택모드에서 사용자 영상데이터 항목이 설정될 시, 이동단말은 본 발명의 이벤트 실행에 따라, 상기 사용자 표시영역(620)에 표시되는 사용자의 영상데이터에 대해 얼굴인식 프로세싱을 수행할 수 있다. 또한, 상기 선택모드에서 상대방 영상데이터 항목이 설정될 시 이동단말은 본 발명의 이벤트 실행에 따라, 상기 상대방 표시영역(610)에 표시되는 상대방의 영상데이터에 대해 얼굴인식 프로세싱을 수행할 수 있다. 아울러, 상기 선택모드에서 모든 영상데이터(사용자/상대방 영상데이터) 항목이 설정될 시 이동단말은 본 발명의 이벤트 실행에 따라, 상기 사용자 표시영역(610)과 상대방 표시영역(620)에 표시되는 각 영상데이터들에 대해 얼굴인식 프로세싱을 수행할 수 있다.

다음으로, 상기 적용모드는 영상데이터 중 애니메이션 효과를 적용할 부분을 설정하는 모드를 나타낸다. 본 발명에서 상기 영상데이터는 적어도 두 개의 부분 영상데이터로 분류할 수 있다. 즉, 상기 영상데이터는 사용자의 얼굴 부분을 나타내는 얼굴데이터와, 상기 영상데이터에서 상기 얼굴데이터를 제외한 부분 즉, 배경 부분을 나타내는 배경데이터로 분류할 수 있다. 따라서 사용자는 상기 적용모드에서 애니메이션 효과를 부여할 적어도 하나의 부분 영상데이터를 지정할 수 있다. 그러면, 이동단말은 상기 적용모드의 설정에 따라 부분 영상데이터(얼굴데이터/배경데이터)를 식별하고, 해당 부분 영상데이터(얼굴데이터/배경데이터)에 본 발명에 따른 다양한 이벤트데이터를 적용하여 출력한다.

예를 들면, 상기 <표 1>과 같은 예시의 상기 적용모드에서 얼굴데이터 항목이 설정될 시 이동단말은 본 발명의 이벤트 실행에 따라 영상데이터 중 얼굴데이터 상에 이벤트데이터를 출력할 수 있다. 이러한 화면 예시가 상기 도 6a의 참조부호 630, 도 6b 및 도 6c의 참조부호 640에 나타나 있다. 상기 도 6a는 사용자 영상데이터 중 얼굴데이터 상에 이벤트데이터(안경아이템)(630)를 출력하는 예시를 나타낸 것이고, 상기 도 6b 및 도 6c는 상대방 영상데이터 중 얼굴데이터 상에 이벤트데이터(안경아이템)(640)를 출력하는 예시를 나타낸 것이다.

또한, 상기 적용모드에서 배경데이터 항목이 설정될 시 이동단말은 본 발명의 이벤트 실행에 따라 영상데이터 중 배경데이터 상에 이벤트데이터를 출력할 수 있다. 이러한 화면 예시가 상기 도 6c의 참조부호 650에 나타나 있다. 상기 도 6c는 사용자 영상데이터 중 배경데이터 상에 이벤트데이터(하트아이템)(650)를 출력하는 예시를 나타낸 것이다.

아울러, 상기 적용모드에서 모든 부분 영상데이터(얼굴/배경 데이터) 항목이 설정될 시 이동단말은 본 발명의 이벤트 실행에 따라 영상데이터 전체 즉, 얼굴데이터와 배경데이터 모두에 이벤트데이터를 출력할 수 있다. 이러한 화면 예시를 상기 도 6a 내지 도 6c의 응용에 의하여 살펴보면 다음과 같다. 즉, 상기 도 6a에서 사용자 영상데이터 표시영역(620)의 사용자 영상데이터 중 얼굴데이터에 상기 참조부호 620과 같은 이벤트데이터(650)를 출력하고, 아울러 상기 사용자 영상데이터 중 배경데이터에 상기 도 6c의 참조부호 650과 같은 이벤트데이터를 동시에 출력하는 경우에 해당할 수 있다.

한편, 본 발명에서는 상기 적용모드의 설정에 따라 영상데이터에 출력하는 이벤트데이터를 선별할 수도 있다. 예를 들어, 상기 적용모드에서 상기 얼굴데이터가 설정될 시, 상기 얼굴데이터 상에 표현할 수 있는 이벤트데이터의 그룹 예컨대, 후술하는 액세서리 아이템에 대응하는 이벤트데이터를 추출하도록 한다. 또한, 상기 적용모드에서 상기 배경데이터가 설정될 시, 상기 배경데이터 상에 표현할 수 있는 이벤트데이터의 그룹 예컨대, 후술하는 감정 아이템에 대응하는 이벤트데이터를 추출하도록 한다.

즉, 상기 얼굴데이터가 지정될 시, 이동단말은 사용자 영상데이터 또는 상대방 영상데이터 중 얼굴데이터 상에 상기 액세서리 아이템에 속하는 이벤트데이터들 중 적어도 하나의 이벤트데이터를 출력할 수 있다. 또한, 상기 배경데이터가 지정될 시, 이동단말은 사용자 영상데이터 또는 상대방 영상데이터 중 배경데이터 상에 상기 감정 아이템에 속하는 이벤트데이터들 중 적어도 하나의 이벤트데이터를 출력할 수 있다.

또한, 본 발명의 실시 예에 따르면, 상기 액세서리 아이템 및 감정 아이템을 상기 이동단말이 인식하는 얼굴 상태정보에 따라 선별할 수도 있다. 예를 들어, 상기 적용모드의 얼굴데이터가 설정될 시 얼굴데이터에 따른 사람의 얼굴 형태 식별에 의하여 동작하도록 하고, 상기 적용모드의 배경데이터가 설정될 시 얼굴데이터에 따른 사람의 얼굴 표정 식별에 의하여 동작하도록 할 수 있다. 이때, 상기 얼굴 형태 식별에 의하여 동작할 시, 각 얼굴 형태에 대응하여 상기 얼굴데이터 상에 사람의 얼굴을 꾸밀 수 있는 이벤트데이터의 그룹 예컨대, 후술하는 액세서리 아이템에 대응하는 이벤트데이터를 추출하도록 한다. 또한, 상기 얼굴 표정 식별에 의하여 동작할 시, 각 얼굴 표정에 대응하여 상기 얼굴데이터 또는 배경데이터 상에 사람의 감정을 표현할 수 있는 이벤트데이터의 그룹 예컨대, 후술하는 감정 아이템에 대응하는 이벤트데이터를 추출하도록 한다.

한편, 전술한 바와 같은 영상데이터, 얼굴데이터 및 배경데이터에 이벤트데이터를 출력하는 동작에 대해서는 후술하는 도면들을 참조하여 상세히 설명하기로 한다.

다음으로, 이하 본 발명에서 이용하는 기준 상태정보와 상기 기준 상태정보에 매핑되는 이벤트데이터에 대하여 하기 <표 2>를 참조하여 살펴보기로 한다.

상기 <표 2>에 나타낸 바와 같이, 본 발명의 이벤트데이터는 크게 액세서리 아이템(Accessory item)과 감정 아이템(Feeling item)으로 분류할 수 있다.

먼저, 상기 액세서리 아이템은 얼굴인식 프로세싱을 통해 획득하는 영상데이터에 다양한 액세서리 아이템에 의한 애니메이션 효과를 부여할 수 있는 이벤트데이터들의 그룹을 나타낸다. 예를 들면, 상기 액세서리 아이템은 안경아이템, 수염아이템, 귀걸이아이템, 가발아이템 등의 소분류로 구분되어 각 분류항목 내에 다양한 이벤트데이터를 포함할 수 있다. 예를 들어, 상기 안경아이템은 일반적인 테안경, 선글라스, 고글 등의 아이템과 다양한 모양의 안경아이템에 대응하는 적어도 하나의 이벤트데이터를 가질 수 있다.

다음으로, 상기 감정 아이템은 얼굴인식 프로세싱을 통해 획득하는 영상데이터에 사람의 다양한 감정을 표현할 수 있는 감정 표현 아이템에 의한 애니메이션 효과를 부여할 수 있는 이벤트데이터들의 그룹을 나타낸다. 예를 들면, 상기 감정 아이템은 사람의 감정 중 사랑 감정을 표현하는 사랑아이템, 기쁜 감정을 표현하는 기쁨아이템, 슬픈 감정을 표현하는 슬픔아이템, 분노 감정을 표현하는 분노아이템, 우울 감정을 표현하는 우울아이템 등의 소분류로 구분되어 각 분류항목 내에 다양한 이벤트데이터를 포함할 수 있다. 예를 들어, 상기 사랑아이템은 다양한 형태로 이루어진 하트, 폭죽, 사랑과 관련된 문자(LOVE 등) 등의 아이템과 각 아이템을 형태별로 구분하는 적어도 하나의 이벤트데이터를 가질 수 있다.

또한, 상기 액세서리 아이템의 경우는 본 발명의 실시 예에서 사람의 얼굴 형태에 따라 적용되는 이벤트데이터들을 포함할 수 있다. 사람의 얼굴 형태는 타원형, 사각형, 둥근형, 마름모형, 삼각형 및 역삼각형 등으로 분류할 수 있다. 따라서 상기 기준 상태정보는 상기 사람의 얼굴 형태에 따른 각 정보가 매핑될 수 있다. 그리고 상기 각 기준 상태정보에 따라 적어도 하나의 액세서리 아이템 즉, 해당 이벤트데이터가 매핑될 수 있다. 예를 들면, 기준 상태정보 중 삼각형의 상태정보에는 안경아이템1, 모자아이템2 등의 이벤트데이터가 매핑될 수 있고, 둥근형에는 고글아이템3, 수염아이템2, 귀걸이아이템1 등의 이벤트데이터가 매핑될 수 있고, 타원형에는 선글라스아이템2 등의 이벤트데이터가 매핑될 수 있다. 상기 얼굴 형태는 얼굴인식 기술에 의해 식별 가능하다. 예를 들면, PCA(Principal Components Analysis), 템플릿 매칭(Template Matching), 스네이크(Snakes) 등의 기법에 의하여 식별할 수 있다.

상기 감정 아이템의 경우는 본 발명의 실시 예에서 사람의 얼굴 표정에 따라 적용되는 이벤트데이터들을 포함한다. 즉, 상기 감정 아이템은 사람의 얼굴 표정에 대응하여 사람의 감정을 표현할 수 있는 이벤트데이터들을 포함할 수 있다. 사람의 얼굴 표정은 크게 슬픔, 기쁨, 분노, 우울, 사랑 등의 감정에 의해 나타날 수 있다. 따라서 본 발명의 실시 예에서도 사람의 감정 분류에 대응하여 기준 상태정보를 정의할 수 있다. 즉, 상기 기준 상태정보는 상기 사람의 얼굴 표정(또는 감정)에 따른 각 정보가 매핑될 수 있다. 그리고 상기 각 기준 상태정보에 따라 적어도 하나의 감정 아이템 즉, 해당 이벤트데이터가 매핑될 수 있다. 예를 들면, 기준 상태정보 중 사랑의 감정을 표현하는 얼굴 표정의 상태정보에는 하트아이템 등의 이벤트데이터가 매핑될 수 있고, 기쁨의 감정을 표현하는 얼굴 표정의 상태정보에는 꽃, 폭죽 등의 이벤트데이터가 매핑될 수 있다. 상기 얼굴 표정은 얼굴인식 기술에 의해 식별 가능하다. 예를 들면, AAM(Active Appearance Model), EFM(Enhanced Fisher linear discrimination Model), Gabor representation, 템플릿 매칭, 방향 모델, 방향 패턴 등의 기법에 의하여 식별할 수 있다.

본 발명의 실시 예에 따르면, 상기 액세서리 아이템에 따른 이벤트데이터와 상기 감정 아이템에 따른 이벤트데이터는 각각 영상데이터의 얼굴데이터 및 배경데이터 모두에 적용될 수 있다. 하지만, 이하에서는 본 발명의 실시 예를 설명함에 있어서, 그 설명의 편의를 위하여 액세서리 아이템의 이벤트데이터는 얼굴데이터 상에 제공되고, 감정 아이템의 이벤트데이터는 배경데이터 상에 제공하는 것으로 설명하기로 한다.

한편, 상기 <표 2>를 참조하여 살펴본 바와 같은, 본 발명의 이벤트데이터는 이모티콘, 정지영상(이미지), 애니메이션 이미지, 동영상 등의 데이터일 수 있다. 또한, 각 기준 상태정보에는 적어도 하나의 이벤트데이터가 매핑될 수 있음은 물론이다.

그러면 이하, 본 발명의 실시 예에 따른 이동단말에서 얼굴 인식 기술을 이용하여, 화상통화 중 사용자/상대방 영상데이터에 애니메이션 효과를 적용하여 표시하는 동작에 대하여 살펴보기로 한다. 하지만, 본 발명의 이동단말이 하기에서 기술하는 내용에 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.

도 1은 본 발명의 실시 예에 따른 이동단말에서 화상통화 중 애니메이션 효과를 출력하는 동작을 도시한 도면이다.

특히, 상기 도 1에서는 전술한 <표 1>을 참조한 설명 부분에서 설명한 바와 같이, 사용자의 다양한 설정정보에 의해 애니메이션 효과를 부여하는 동작의 예시를 나타낸 것이다.

상기 도 1을 참조하면, 먼저 이동단말은 사용자 요청에 응답하여 특정 상대방 이동단말과 화상통화를 수행할 수 있다(101단계). 이어서, 상기 이동단말은 상기 화상통화 수행 중에 이벤트 실행 요청이 있는지 체크할 수 있다(103단계). 본 발명에서 상기 이벤트는 애니메이션 효과를 부여하기 위한 이벤트일 수 있다. 즉, 상기 화상통화 수행에 의해 제공되는 영상데이터 상에 전술한 다양한 이벤트데이터를 출력하기 위한 이벤트일 수 있다.

상기 이벤트 실행은 본 발명의 이벤트 실행을 위한 기능이 설정된 상기 이동단말의 특정 기능키의 조작에 의해 입력될 수 있다. 상기 이벤트 실행 및 상기 기능키에 대한 상세한 설명은 후술하는 도면들을 참조하여 설명하기로 한다.

다음으로, 상기 이동단말은 사용자로부터 이벤트 실행을 감지하면, 미리 설정된 이벤트모드를 판단한다(105단계). 상기 이벤트모드는 전술한 <표 1>을 참조한 설명 부분에서 설명한 바와 같이, 선택모드 및 적용모드로 분류되며, 각 모드에서 사용자에 의한 설정이 이루어질 수 있다.

다음으로, 상기 이동단말은 상기 이벤트모드 특히, 상기 선택모드의 설정정보에 따라 특정 영상데이터를 이용하여 얼굴인식 프로세싱을 수행한다(107단계). 예를 들면, 사용자 표시영역의 영상데이터 및 상대방 표시영역의 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 수행할 수 있다.

다음으로, 상기 이동단말은 상기 얼굴인식 프로세싱에 의해 해당 영상데이터에서 얼굴에 대한 상태정보를 획득한다(109단계). 상기 얼굴 상태정보는 상기 이동단말 사용자의 얼굴 상태정보이거나, 또는 상대방의 얼굴 상태정보 중 적어도 하나의 상태정보일 수 있다.

다음으로, 상기 이동단말은 상기 획득하는 상태정보를 분석한다(111단계). 본 발명에서 상기 상태정보는 눈, 코, 입, 입술모양, 귀, 인중, 눈썹, 얼굴형태 등의 정보를 포함한다. 따라서 이동단말은 상기 획득하는 상태정보(획득 상태정보)와 미리 설정된 상태정보(기준 상태정보) 간의 비교에 의하여 상기 영상데이터의 획득 상태정보에 대응하는 기준 상태정보를 추출한다.

다음으로, 상기 이동단말은 상기 추출하는 기준 상태정보에 매핑된 이벤트데이터를 추출한다(113단계). 상기 기준 상태정보에 따른 이벤트데이터는 전술한 <표 2>를 참조한 설명 부분에서 설명한 바와 같다.

다음으로, 상기 이동단말은 상기 추출하는 이벤트데이터를 상기 영상데이터 상에 출력한다(115단계). 이때, 상기 출력은 설정된 이벤트모드에 따라 상기 영상데이터 중 얼굴데이터에 이벤트데이터를 출력하거나, 상기 영상데이터 중 배경데이터에 이벤트데이터를 출력하거나, 상기 영상데이터 모두(얼굴/배경 데이터)에 이벤트데이터를 출력할 수 있다.

또한, 상기 이벤트데이터는 상기 상태정보에 따라 얼굴데이터 및 배경데이터 중 적어도 하나의 부분 영상데이터에, 액세서리 아이템에 대응하는 적어도 하나의 이벤트데이터가 출력되거나, 얼굴데이터 및 배경데이터 중 적어도 하나의 부분 영상데이터에, 감정 아이템에 대응하는 적어도 하나의 이벤트데이터가 출력될 수 있다.

도 2는 본 발명의 실시 예에 따른 이동단말에서 화상통화 중 애니메이션 효과를 출력하는 동작을 도시한 도면이다.

특히, 상기 도 2에서는 전술한 <표 2>에 나타낸 바와 같은 다양한 이벤트데이터들 중 사용자 선택에 따른 이벤트데이터에 의해 애니메이션 효과를 부여하는 동작의 예시를 나타낸 것이다.

상기 도 2를 참조하면, 먼저 이동단말은 사용자 요청에 응답하여 특정 상대방 이동단말과 화상통화를 수행할 수 있다(201단계). 이어서, 상기 이동단말은 상기 화상통화 수행 중에 이벤트 실행 요청을 감지할 수 있다. 상기 이벤트 실행 감지는 상기 화상통화 중에 미리 설정된 특정 기능키가 입력될 시, 이를 상기 이벤트 실행 요청으로 감지할 수 있다.

다음으로, 상기 이동단말은 사용자로부터 이벤트 실행을 감지하면, 미리 설정된 이벤트모드를 판단한다(203단계). 상기 이벤트모드는 전술한 <표 1>을 참조한 설명 부분에서 설명한 바와 같이, 선택모드 및 적용모드로 분류되며, 상기 도 2에서는 상기 선택모드와 적용모드에 대해 사용자 설정이 이루어진 경우를 가정한다. 아울러, 상기 선택모드 및 적용모드는 상기 화상통화 중 사용자 요청에 응답하여 실시간 설정 가능함은 물론이다.

다음으로, 상기 이동단말은 이벤트데이터의 사용자 선택을 위한 선택창을 표시한다(205단계). 이때, 본 발명의 실시 예에서는 상기 이벤트데이터에 대하여 액세서리 아이템과 감정 아이템으로 세분화된다. 따라서 상기 이동단말은 먼저 상기 액세서리 아이템 또는 감정 아이템과 같이 대분류를 선택하는 선택창을 표시할 수 있다. 이어서, 상기 이동단말은 상기 선택창에 의해 감정 아이템 또는 액세서리 아이템이 선택될 시, 해당 분류에 속하는 이벤트데이터들을 추출하여 사용자 선택을 위한 이벤트데이터 선택창을 표시할 수 있다.

이후, 상기 이동단말은 상기 선택창에 의해 임의의 이벤트데이터 선택을 감지한다(207단계). 이때, 상기 이벤트데이터는 하나의 이벤트데이터 또는 사용자 요청에 대응하는 다수개의 이벤트데이터가 선택될 수 있다.

다음으로, 상기 이동단말은 상기 이벤트모드 특히, 상기 선택모드의 설정정보에 따라 특정 영상데이터를 이용하여 얼굴인식 프로세싱을 수행한다(209단계). 예를 들면, 사용자 표시영역의 영상데이터 및 상대방 표시영역의 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 수행할 수 있다.

다음으로, 상기 이동단말은 상기 얼굴인식 프로세싱에 의해 해당 영상데이터에서 얼굴에 대한 상태정보를 획득하여 분석한다(211단계). 상기 얼굴 상태정보는 상기 이동단말 사용자의 얼굴 상태정보이거나, 또는 상대방의 얼굴 상태정보 중 적어도 하나의 상태정보일 수 있다. 또한, 상기 상태정보는 해당 영상데이터에서 얼굴데이터에 해당하는 눈, 코, 입, 입술모양, 귀, 인중, 눈썹, 얼굴형태 등의 요소를 포함한다.

이러한 요소는 얼굴인식 기술 분야에서 구현되는 다양한 기술에 의해 추출 가능하며, 다만, 본 발명에서는 상기 기술에 의하여 상기 요소를 추출하고, 상기 추출하는 요소에 의하여 얼굴데이터 및 얼굴데이터를 구성하는 요소들의 위치정보를 획득할 수 있다. 따라서 상기 이동단말은 상기 상태정보에 의하여 상기 영상데이터의 얼굴데이터에 대한 위치와 각 구성요소의 위치를 확인할 수 있다.

다음으로, 상기 이동단말은 상기 205단계 및 207단계에 의해 선택된 이벤트데이터를 추출하고(213단계), 상기 이벤트데이터를 상기 영상데이터 상에 출력한다(215단계). 이때, 상기 이벤트데이터의 출력은 상기 이벤트모드에 설정된 설정정보와 상기 상태정보에 따라 상기 영상데이터의 얼굴데이터 및 배경데이터 중 적어도 하나에 출력될 수 있다.

여기서, 상기 209단계 내지 213단계는 내부적으로 백그라운드 처리되어 이루어질 수 있으며, 사용자 입장에서는 상기 이벤트데이터 선택 시 해당 이벤트데이터가 영상데이터에 바로 표시되는 것으로 인지할 수 있다.

도 3은 본 발명의 실시 예에 따른 이동단말에서 화상통화 중 애니메이션 효과를 출력하는 동작을 도시한 도면이다.

특히, 상기 도 3에서는 전술한 도 1 내지 도 2를 참조한 설명 부분에서 설명한 바와 같은 본 발명의 애니메이션 효과를 부여하는 기능을, 상기 이동단말에 미리 설정된 기능키들의 운용에 의하여 수행하는 동작의 예시를 나타낸 것이다.

상기 도 3을 참조하면, 먼저 이동단말은 사용자 요청에 응답하여 특정 상대방 이동단말과 화상통화를 수행할 수 있다(301단계). 이어서, 상기 이동단말은 상기 화상통화 수행 중에 이벤트 실행 요청을 감지할 수 있다(303단계).

상기 도 3에서 상기 이벤트 실행 감지는 상기 화상통화 중에 미리 설정된 특정 기능키가 입력될 시, 이를 상기 이벤트 실행 요청으로 감지할 수 있다. 이때, 상기 도 3에서 상기 특정 기능키는 전술한 <표 1> 및 <표 2>를 참조한 설명 부분에서 설명한 것에 대응하여 액세서리 아이템에 의한 애니메이션 효과를 부여하는 기능키이거나, 감정 아이템에 의한 애니메이션 효과를 부여하는 기능키 또는 본 발명의 랜덤 방식에 의한 애니메이션 효과를 부여하는 기능키 중 어느 하나일 수 있다. 즉, 본 발명의 실시 예에 따르면, 애니메이션 효과를 부여하기 위한 이벤트 키를 다수개로 구비할 수 있다.

다음으로, 상기 이동단말은 사용자로부터 이벤트 키 입력을 감지하면, 상기 입력되는 이벤트 키의 종류를 판단한다(305단계). 본 발명의 실시 예에서 상기 이벤트 키는 영상데이터의 얼굴 표정을 식별하여 감정 아이템에 따른 이벤트데이터를 출력하는 제1이벤트를 위한 제1이벤트 키와, 영상데이터의 얼굴 형태를 식별하여 액세서리 아이템에 따른 이벤트데이터를 출력하는 제2이벤트를 위한 제2이벤트 키를 포함할 수 있다. 아울러, 본 발명의 실시 예에 따르면 상기 액세서리 아이템 및 감정 아이템에 따른 모든 이벤트데이터들 중 임의의 개수의 이벤트데이터를 랜덤하게 출력하는 제3이벤트를 위한 제3이벤트 키를 추가적으로 더 포함할 수도 있다. 이하에서는, 제1이벤트 키, 제2이벤트 키 및 제3이벤트 키를 포함하는 경우를 예시로 하여 살펴보기로 한다.

다음으로, 상기 이동단말이 상기 305단계 수행에 의하여, 상기 이벤트 키가 제1이벤트(얼굴 표정 인식에 의한 감정 아이템의 이벤트데이터 출력 이벤트)를 위한 제1이벤트 키 입력으로 판단하면, 상기 이동단말은 미리 설정된 이벤트모드를 판단한다(311단계). 상기 이벤트모드는 전술한 <표 1>을 참조한 설명 부분에서 설명한 바와 같이, 선택모드 및 적용모드로 분류되며, 상기 도 3에서는 상기 선택모드에 대해 사용자 설정이 이루어진 경우를 가정한다. 아울러, 상기 선택모드는 상기 화상통화 중 사용자 요청에 응답하여 실시간 설정 가능함은 물론이다. 또한, 상기 선택모드는 본 발명의 기능을 실행하는 시점에 사용자 요청에 응답하여 설정할 수도 있음은 물론이다.

다음으로, 상기 이동단말은 상기 이벤트모드 특히, 상기 선택모드의 설정정보에 따라 특정 영상데이터를 이용하여 얼굴인식 프로세싱을 수행한다(313단계). 예를 들면, 사용자 표시영역의 영상데이터 및 상대방 표시영역의 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 수행할 수 있다.

다음으로, 상기 이동단말은 상기 얼굴인식 프로세싱에 의해 해당 영상데이터에서 얼굴에 대한 상태정보를 획득하여 분석한다(315단계). 상기 상태정보는 전술한 도 1 내지 도 2를 참조한 설명 부분에서 설명한 바에 대응한다. 이후, 상기 이동단말은 상기 획득하는 상태정보(획득 상태정보)와 미리 설정된 상태정보(기준 상태정보) 간의 비교에 의하여 상기 영상데이터의 획득 상태정보에 대응하는 기준 상태정보를 추출할 수 있다.

다음으로, 상기 이동단말은 상기 기준 상태정보에 매핑된 이벤트데이터를 추출한다(317단계). 이때, 상기 317단계에서의 상기 이벤트데이터는 상기 제1이벤트 키 입력에 대응하여 감정을 표현하는 이벤트데이터들로 이루어진 데이터베이스 즉, 감정 아이템 항목으로 분류된 이벤트데이터들에서 상기 기준 상태정보에 대응하는 적어도 하나의 이벤트데이터를 추출할 수 있다. 여기서, 상기 이벤트데이터는 상기 도 2에서 살펴본 바와 같이, 사용자 요청에 의하여 사용자 희망에 따른 해당 이벤트데이터를 지정할 수도 있음은 물론이다.

다음으로, 상기 이동단말은 상기 추출하는 이벤트데이터를 상기 영상데이터 상에 출력한다(319단계). 이때, 상기 출력은 적용모드의 설정정보에 따라 상기 영상데이터 중 얼굴데이터 상에 상기 이벤트데이터를 출력하거나, 상기 영상데이터 중 배경데이터 상에 상기 이벤트데이터를 출력할 수 있다. 특히, 상기 도 3에서는 상기 제1이벤트 키에 의하여, 상기 감정 아이템의 이벤트데이터를 상기 배경데이터 상에 출력하는 것이 바람직하다.

다음으로, 상기 이동단말이 상기 305단계 수행에 의하여, 상기 이벤트 키가 제2이벤트(얼굴 형태 인식에 의한 액세서리 아이템의 이벤트데이터 출력 이벤트)를 위한 제2이벤트 키 입력으로 판단하면, 상기 이동단말은 미리 설정된 이벤트모드를 판단한다(321단계). 상기 이벤트모드는 전술한 해당 동작 부분(311단계)에서 설명한 바에 대응한다.

다음으로, 상기 이동단말은 상기 이벤트모드 특히, 상기 선택모드의 설정정보에 따라 특정 영상데이터를 이용하여 얼굴인식 프로세싱을 수행한다(323단계). 예를 들면, 사용자 표시영역의 영상데이터 및 상대방 표시영역의 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 수행할 수 있다.

다음으로, 상기 이동단말은 상기 얼굴인식 프로세싱에 의해 해당 영상데이터에서 얼굴에 대한 상태정보를 획득하여 분석한다(325단계). 상기 상태정보는 전술한 해당 동작 부분(315단계)에서 설명한 바에 대응한다. 이후, 상기 이동단말은 상기 획득하는 상태정보(획득 상태정보)와 미리 설정된 상태정보(기준 상태정보) 간의 비교에 의하여 상기 영상데이터의 획득 상태정보에 대응하는 기준 상태정보를 추출할 수 있다.

다음으로, 상기 이동단말은 상기 기준 상태정보에 매핑된 이벤트데이터를 추출한다(327단계). 이때, 상기 327단계에서의 상기 이벤트데이터는 상기 제2이벤트 키 입력에 대응하여 얼굴을 꾸밀 수 있는 이벤트데이터들로 이루어진 데이터베이스 즉, 액세서리 아이템 항목으로 분류된 이벤트데이터들에서 상기 기준 상태정보에 대응하는 적어도 하나의 이벤트데이터를 추출할 수 있다. 여기서, 상기 이벤트데이터는 상기 도 2에서 살펴본 바와 같이, 사용자 요청에 의하여 사용자 희망에 따른 해당 이벤트데이터를 지정할 수도 있음은 물론이다.

다음으로, 상기 이동단말은 상기 추출하는 이벤트데이터를 상기 영상데이터 상에 출력한다(329단계). 이때, 상기 출력은 적용모드의 설정정보에 따라 상기 영상데이터 중 얼굴데이터 상에 상기 이벤트데이터를 출력하거나, 상기 영상데이터 중 배경데이터 상에 상기 이벤트데이터를 출력할 수 있다. 특히, 상기 도 3에서는 상기 제2이벤트 키에 의하여, 상기 액세서리 아이템의 이벤트데이터를 상기 얼굴데이터 상에 출력하는 것이 바람직하다.

다음으로, 상기 이동단말이 상기 305단계 수행에 의하여, 상기 이벤트 키가 제3이벤트(감정&액세서리 아이템의 이벤트데이터 출력 이벤트)를 위한 제3이벤트 키 입력으로 판단하면, 상기 이동단말은 미리 설정된 이벤트모드를 판단한다(331단계). 상기 이벤트모드는 전술한 해당 동작 부분(311단계, 321단계)에서 설명한 바에 대응한다.

다음으로, 상기 이동단말은 상기 이벤트모드 특히, 상기 선택모드의 설정정보에 따라 특정 영상데이터를 이용하여 얼굴인식 프로세싱을 수행한다(333단계). 예를 들면, 사용자 표시영역의 영상데이터 및 상대방 표시영역의 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 수행할 수 있다.

다음으로, 상기 이동단말은 상기 얼굴인식 프로세싱에 의해 해당 영상데이터에서 얼굴에 대한 상태정보를 획득하여 분석한다(335단계). 상기 상태정보는 전술한 해당 동작 부분(315단계, 325단계)에서 설명한 바에 대응한다. 이후, 상기 이동단말은 상기 획득하는 상태정보(획득 상태정보)와 미리 설정된 상태정보(기준 상태정보) 간의 비교에 의하여 상기 영상데이터의 획득 상태정보에 대응하는 기준 상태정보를 추출할 수 있다.

다음으로, 상기 이동단말은 상기 기준 상태정보에 매핑된 이벤트데이터를 추출한다(337단계). 이때, 상기 337단계에서의 상기 이벤트데이터는 상기 제3이벤트 키 입력에 대응하여 액세서리 아이템 항목 및 감정 아이템 항목의 이벤트데이터들에서 상기 기준 상태정보에 대응하는 적어도 하나의 이벤트데이터를 추출할 수 있다. 여기서, 상기 이벤트데이터는 상기 도 2에서 살펴본 바와 같이, 사용자 요청에 의하여 사용자 희망에 따른 해당 이벤트데이터를 지정할 수도 있음은 물론이다.

다음으로, 상기 이동단말은 상기 추출하는 이벤트데이터를 상기 영상데이터 상에 출력한다(339단계). 이때, 상기 출력은 적용모드의 설정정보에 따라 상기 영상데이터 중 얼굴데이터 상에 상기 이벤트데이터를 출력하거나, 상기 영상데이터 중 배경데이터 상에 상기 이벤트데이터를 출력할 수 있다. 특히, 상기 도 3에서는 상기 제3이벤트 키에 의하여, 상기 추출하는 이벤트데이터에 따라 상기 얼굴데이터 및 배경데이터 중 적어도 하나의 부분 영상데이터 상에 출력하는 것이 바람직하다.

도 4는 본 발명의 실시 예에 따른 이동단말에서 영상데이터 상에 이벤트데이터를 적용하는 동작을 도시한 도면이다.

상기 도 4를 참조하면, 먼저 이동단말은 상기 도 1 내지 도 3을 참조한 설명부분에서 설명한 바와 같은 절차에 의거하여, 사용자 표시영역의 영상데이터 및 상대방 표시영역의 영상데이터 중 적어도 하나의 영상데이터에 대한 얼굴인식 프로세싱을 수행한다(401단계).

다음으로, 상기 이동단말은 상기 얼굴인식 프로세싱에 의해 해당 영상데이터에서 얼굴에 대한 상태정보를 획득하여 분석한다(403단계). 상기 얼굴 상태정보는 상기 이동단말 사용자의 얼굴 상태정보이거나, 또는 상대방의 얼굴 상태정보 중 적어도 하나의 상태정보일 수 있다. 또한, 상기 상태정보는 해당 영상데이터에서 얼굴데이터에 해당하는 눈, 코, 입, 입술모양, 귀, 인중, 눈썹, 얼굴형태 등의 요소를 포함한다.

이러한 요소는 얼굴인식 기술 분야에서 구현되는 다양한 기술에 의해 추출 가능하며, 다만, 본 발명에서는 상기 기술에 의하여 상기 요소를 추출하고, 상기 추출하는 요소에 의하여 얼굴데이터 및 얼굴데이터를 구성하는 요소들의 위치정보를 획득할 수 있다. 따라서 상기 이동단말은 상기 상태정보에 의하여 상기 영상데이터의 얼굴데이터에 대한 위치와 각 구성요소의 위치를 확인할 수 있다. 즉, 상기 이동단말은 상기 상태정보 분석에 의하여, 상기 상태정보에 따른 얼굴데이터의 위치정보를 확인한다(405단계).

다음으로, 상기 이동단말은 상기 도 1 내지 도 3을 참조한 설명부분에서 설명한 바와 같은 절차에 의거하여, 상기 영상데이터 상에 표현할 이벤트데이터를 추출한다(407단계). 이때, 상기 405단계 및 407단계의 동작은 반드시 상기의 순서에 의하여 동작하는 것은 아니며, 어느 단계가 우선적으로 수행되어도 무방하다. 여기서, 상기 이벤트데이터 추출은 상기 도 1 내지 도 3을 참조한 설명부분에서 상기 이벤트데이터 추출에 대응하는 해당 동작을 설명한 바에 의하여 추출할 수 있다.

다음으로, 상기 이동단말은 상기 추출하는 이벤트데이터를 영상데이터 상에 출력한다(409단계). 이때, 상기 이벤트데이터의 출력은 상기 405단계에서 획득하는 얼굴데이터의 위치정보 및 상기 상태정보에 의하여 상기 이벤트데이터를 얼굴데이터 또는 배경데이터 상에 출력할 수 있다.

특히, 상기 이벤트데이터가 감정 아이템 분류에 속하는 이벤트데이터일 시 상기 위치정보와 상기 상태정보에 의거하여 얼굴데이터의 위치를 획득하고, 상기 얼굴데이터를 이루는 윤곽선을 기준으로 얼굴데이터 외의 배경데이터에 이벤트데이터를 출력할 수 있다. 또한 상기 이벤트데이터가 액세서리 아이템 분류에 속하는 이벤트데이터일 시 상기 위치정보와 상기 상태정보에 의거하여 얼굴데이터의 위치 및 얼굴데이터의 구성 요소를 획득하고, 상기 얼굴데이터를 이루는 각 구성요소를 기준으로 이벤트데이터를 출력할 수 있다.

한편, 상기 도 4의 설명에서는 생략하였으나, 상기 이동단말은 화상통화 중에 상기한 얼굴인식 프로세싱을 계속하여 수행할 수 있다. 이러한 얼굴인식 프로세싱을 사용자 요청 또는 화상통화 종료 시까지 수행할 수 있으며, 사용자 설정에 의해 설정된 시간단위로 주기적으로 수행하거나, 사용자 요청에 응답하여 적응적으로 수행할 수 있다. 또한 상기 이동단말은 상기 얼굴인식 프로세싱에 따른 결과를 체크하여 영상데이터의 변화를 확인할 수 있다.

다음으로, 상기 이동단말은 상기 영상데이터에 임의의 이벤트데이터를 출력하는 중에 변화를 감지할 수 있다(411단계). 즉, 상기 이동단말은 얼굴데이터의 변화를 감지할 수 있다. 상기 변화는 얼굴의 크기 변화, 표정 변화, 형태 변화, 위치 변화 등을 포함할 수 있다. 따라서 상기 이동단말은 상기 변화를 감지할 시 상기 변화에 따른 상기와 같은 변화 종류를 판단한다(413단계).

다음으로, 상기 이동단말은 상기 얼굴데이터에서 얼굴의 상태정보를 추적한다(415단계). 즉, 상기 이동단말은 상기 변화 종류에 대응하는 상태정보를 재분석할 수 있다. 예를 들면, 얼굴의 크기 변화를 감지할 시 상기 크기 변화에 따른 상태정보를 새로이 분석하고, 상기 표정 변화를 감지할 시 상기 표정 변화에 따른 상태정보를 새로이 분석하고, 상기 형태 변화를 감지할 시 상기 형태 변화에 따른 상태정보를 새로이 분석하고, 상기 위치 변화를 감지할 시 상기 위치 변화에 따른 상태정보를 새로이 분석할 수 있다.

상기 각 변화 감지는 이전에 획득한 상태정보와 지속하여 수행되는 얼굴인식 프로세싱에 의해 획득하는 상태정보 비교에 의하여 수행할 수 있다. 이때, 상기 비교는 설정된 오차범위 내에서 수행할 수 있다. 즉, 상태정보의 정확한 일치 값을 산출하는 것이 아니라, 설정된 범위 이내에 포함되는지 여부로 비교할 수 있다.

다음으로, 상기 이동단말은 상기 변화 종류에 대응하는 이벤트데이터를 새로이 추출하고(417단계), 상기 추출하는 이벤트데이터를 상기 변화되는 영상데이터 상에 출력한다(419단계).

예를 들면, 상기 변화가 얼굴의 크기 변화인 경우 변화된 크기에 대응하는 이벤트데이터를 추출하여 출력할 수 있다. 일예로, 상기 이벤트데이터가 얼굴데이터 내에 출력되는 안경아이템이고 얼굴의 크기가 이전의 얼굴데이터보다 커진 경우를 가정하면, 상기 이동단말은 상기 얼굴데이터의 크기에 맞추어 이전에 얼굴데이터에 표시하던 안경아이템 크기를 변화하거나, 또는 상기 크기에 대응하는 새로운 안경아이템을 추출하여 출력할 수 있다.

또는 상기 변화가 위치 변화인 경우 변화된 위치에 대응하여 이벤트데이터를 추출하여 출력할 수 있다. 일예로, 상기 이벤트데이터가 배경데이터에 출력되는 하트아이템이고 얼굴의 위치가 변화된 경우를 가정하면, 상기 이동단말은 상기 얼굴데이터의 변화된 위치에 맞추어 이전에 배경데이터에 표시하던 하트아이템의 위치를 상기 얼굴데이터 위치 변화에 대응하여 이동하여 출력할 수 있다.

한편, 전술한 도 1 내지 도 4를 참조한 설명 부분에서는 생략하였으나, 본 발명의 실시 예에 따르면, 전술한 바와 같이 영상데이터 상에 이벤트데이터를 출력하는 중에 사용자 요청에 응답하여 상기 이벤트데이터가 반영된 영상데이터를 캡쳐하여 저장하는 동작을 수행할 수 있다. 이때, 상기 캡쳐는 전술한 바에 의거하여, 현재 이벤트데이터가 제공 중인 영상데이터에 대하여 캡쳐를 자동 수행할 수 있다.

예를 들면, 사용자 표시영역의 사용자 영상데이터에 이벤트데이트가 출력 중인 경우, 상기 사용자 표시영역에서 상기 이벤트데이터가 반영된 사용자 영상데이터에 대한 캡쳐를 수행할 수 있다. 또한, 상대방 표시영역의 상대방 영상데이터에 이벤트데이터가 출력 중인 경우, 상기 상대방 표시영역에서 상기 이벤트데이터가 반영된 상대방 영상데이터에 대한 캡쳐를 수행할 수 있다. 아울러, 사용자 표시영역 및 상대방 표시영역의 각 영상데이터들에 본 발명의 이벤트데이터가 반영되는 경우, 상기 캡쳐는 각 영상데이터들에 대하여 수행할 수 있음은 물론이다.

이상에서는 본 발명의 실시 예에 따른 이동단말의 화상통화 중 본 발명의 기능인 애니메이션 효과를 영상데이터 상에 제공하는 방법에 대하여 설명하였다. 다음으로 이하에서는 상기 도 1 내지 도 4에서 살펴본 바와 같은 본 발명의 동작을 수행하는 이동단말에 대하여 살펴보기로 한다. 하지만, 본 발명의 이동단말이 하기에서 기술하는 내용에 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.

본 발명의 이동단말에 대한 상세한 설명에 앞서, 이하에서는 설명의 편의를 위해 본 발명의 이동단말을 이동통신 단말기로서 설명한다. 하지만, 본 발명이 반드시 이동통신 단말기에만 한정되지는 않는다. 즉, 본 발명은 상기 이동단말을 비롯하여, 적어도 하나의 상대방과 화상통화를 지원하는 퍼스널컴퓨터(PC, Personal Computer), 노트북(Notebook) 및 PMP(Portable Multimedia Player) 등 다양한 응용 기기에도 적용될 수 있음은 자명할 것이다. 아울러, 본 발명의 응용에 의하여 본 발명의 애니메이션 효과 부여는 화상통화 뿐만 아니라, 화상채팅 등에도 적용할 수 있음은 물론이다. 그러면, 이하 본 발명의 이동단말의 개략적인 구조를 하기 도 5를 참조하여 살펴보기로 한다.

도 5는 본 발명의 실시 예에 따른 이동단말의 구성을 개략적으로 도시한 도면이다. 특히, 상기 도 5에서는 본 발명의 이동단말이 이동통신 단말기인 경우를 일예로 하여 나타내었으나, 본 발명의 이동단말이 반드시 이동통신 단말기에 한정되지는 않는다.

상기 도 1 내지 도 5를 참조하면, 본 발명의 실시 예에 따른 이동단말은 제1 무선통신부(510)와, 제2 무선통신부(520)와, 입력부(530)와, 오디오처리부(540)와, 카메라모듈(550)과, 표시부(560)와, 저장부(570) 및 제어부(580) 등을 포함한다. 아울러, 상기 저장부(570)는 설정정보 저장영역(571) 및 데이터 저장영역(573) 등을 포함하고, 상기 제어부(580)는 이벤트 처리부(581) 및 얼굴 인식부(583) 등을 포함할 수 있다.

상기 제1 및 제2 무선통신부(510, 520)는 상기 이동단말의 통신을 수행한다. 상기 제1 및 제2 무선통신부(510, 520)는 각각 지원 가능한 이동통신 네트워크와 설정된 통신채널을 형성하여 음성통신, 화상통신 및 데이터통신 등과 같은 통신 중 어느 하나의 통신을 수행한다. 상기 제1 및 제2 무선통신부(510, 520)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함할 수 있다.

특히, 상기 제1 및 제2 무선통신부(510, 520) 중 어느 하나의 무선통신부는 3세대 네트워크와 설정된 방식의 통신채널을 형성하여 상기 이동단말의 통신을 처리하고, 다른 하나의 무선통신부는 2세대 네트워크와 설정된 방식의 통신채널을 형성하여 상기 이동단말의 통신을 처리할 수 있다. 예를 들면, 상기 제1 무선통신부(510)는 2세대 통신 방식에 의하여 할당된 통신채널을 통해 2세대 네트워크와 접속하여 RF 신호를 처리하는 모듈일 수 있으며, 상기 제2 무선통신부(520)는 3세대 통신 방식에 의하여 3세대 네트워크와 통신채널을 형성하여 RF 신호를 처리하는 모듈일 수 있다.

본 발명의 실시 예에 따른 상기 제1 및 제2 무선통신부(510, 520) 중 화상통신을 처리하는 무선통신부(예컨대, 제2 무선통신부(520))는 상대방 이동단말로부터 전달되는 상대방의 영상데이터를 이동통신 네트워크를 통해 수신한다. 특히, 상기 화상통신을 처리하는 무선통신부 즉, 상기 제2 무선통신부(520)는 상기 영상데이터를 상기 3세대 네트워크를 통해 수신한다. 상기 제2 무선통신부(520)는 상기 제어부(580)의 제어에 따라 상기 이동단말의 카메라모듈(550)을 통해 획득하는 사용자의 영상데이터를 상기 이동통신 네트워크를 통해 상기 상대방 이동단말로 송신한다.

상기 입력부(530)는 다양한 문자 정보를 입력받고, 각종 기능들의 설정 및 상기 이동단말의 기능 제어와 관련하여 입력되는 신호를 상기 제어부(580)로 전달한다. 상기 입력부(530)는 사용자의 행위에 따른 입력 신호를 발생하고, 이를 위한 키패드(Keypad)와 터치패드(Touch pad) 중 적어도 하나를 포함하여 구성될 수 있다. 상기 입력부(530)는 상기 표시부(560)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수도 있다. 특히, 상기 입력부(530)는 본 발명의 기능을 수행하기 위한 적어도 하나의 기능키(미도시)를 포함할 수 있다. 상기 기능키는 화상통화 중 본 발명의 애니메이션 효과를 부여하는 기능 실행을 위한 기능키를 비롯하여, 본 발명의 제1이벤트 실행을 위한 제1이벤트 키에 대응하는 기능키, 제2이벤트 실행을 위한 제2이벤트 키에 대응하는 기능키, 제3이벤트 실행을 위한 제3이벤트 키에 대응하는 기능키 등을 포함할 수 있다.

상기 오디오처리부(540)는 마이크(MIC, Microphone) 및 스피커(SPK, Speaker)와 접속되며, 상기 마이크(MIC)로부터 입력되는 음성신호를 데이터화하여 상기 제어부(580)로 출력하고, 상기 제어부(580)로부터 입력되는 음성신호를 상기 스피커(SPK)를 통해 가청음으로 변환하여 출력한다. 즉, 상기 오디오처리부(540)는 상기 마이크(MIC)로부터 입력된 아날로그 음성신호를 디지털 음성신호로 변환하거나, 상기 제어부(580)로부터 입력된 디지털 음성신호를 아날로그 음성신호로 변환하여 상기 스피커(SPK)를 통해 출력한다. 상기 오디오처리부(540)는 상기 이동단말에서 발생하는 다양한 오디오 성분(예컨대, MP3 파일 재생 등에 따른 오디오신호 등)을 사용자 선택에 따라 재생할 수 있다.

상기 카메라모듈(550)은 카메라 렌즈를 통해 입력되는 빛(광)을 센서(Sensor)를 통해 디지털 데이터로 변환한다. 상기 카메라모듈(550)은 입력된 광 신호를 전기적 신호로 변환하는 카메라센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부 등을 포함할 수 있다. 상기 카메라센서 및 신호처리부는 일체형으로 구현될 수 있으며, 또한 분리하여 구현될 수도 있다. 특히, 상기 카메라모듈(550)은 화상통화 중에 사용자의 영상을 촬영하고, 촬영하는 영상에 대한 영상데이터를 상기 표시부(560) 및 상기 제어부(580) 전달한다. 상기 카메라모듈(550)은 화상통화 수행 시 상기 제어부(580)의 제어에 따라 온(On)될 수 있다.

상기 표시부(560)는 상기 이동단말의 기능 수행 중에 발생하는 화면 데이터를 표시하고, 사용자의 키 조작 및 기능 설정 등에 따른 상태 정보를 표시한다. 상기 표시부(560)는 상기 제어부(580)의 제어 또는 사용자 제어에 따라 애니메이션 효과 부여에 따른 설정 선택창 및 이벤트데이터 선택창을 표시할 수 있다. 상기 표시부(560)는 상기 제어부(580)로부터 출력되는 여러 신호와 색 정보들을 시각적으로 표시한다. 상기 선택창은 팝업(Pop up) 형태로 제공될 수 있다. 상기 표시부(560)는 터치스크린(Touch-screen) 방식으로 구현되는 경우 사용자로부터 입력을 수신하는 입력수단으로 동작할 수도 있다.

특히, 상기 표시부(560)는 상기 이동단말의 화상통화 시 상기 카메라모듈(550)에서 출력되는 사용자의 영상데이터 및 상기 무선통신부(520)를 통해 상대 이동단말로부터 수신하는 상대 이동단말 사용자의 영상데이터를 표시한다. 즉, 상기 표시부(560)는 화상통화에서 사용자의 영상데이터 표시를 위한 사용자 표시영역과, 상대 이동단말 사용자의 영상데이터 표시를 위한 상대방 표시영역으로 구분할 수 있으며, 이러한 표시영역 구분은 사용자 설정에 따라 어느 하나의 표시영역만을 표시하거나 생략될 수도 있다.

상기 저장부(570)는 ROM(Read Only Memory)과 RAM(Random Access Memory) 등으로 구성될 수 있다. 상기 저장부(570)는 상기 이동단말에서 생성 및 활용되는 다양한 데이터 등을 저장할 수 있다. 상기 데이터는, 상기 이동단말의 어플리케이션 실행에 따라 발생하는 데이터 및 상기 이동단말을 이용하여 생성하거나 외부(기지국, 상대 이동단말, 퍼스널 컴퓨터 등)로부터 수신하여 저장 가능한 모든 형태의 데이터 등을 포함한다. 특히, 상기 데이터는 본 발명의 애니메이션 효과 부여를 위한 다양한 이벤트데이터를 포함하며, 아울러, 상기 이동단말에서 제공되는 사용자인터페이스, 상기 이동단말 이용에 따른 여러 설정정보 등을 포함할 수 있다. 상기 저장부(570)는 상기 제1 및 제2 무선통신부(510, 520)를 통한 통신에 필요한 데이터를 저장할 수 있다.

특히, 상기 저장부(570)는 본 발명의 애니메이션 효과를 부여하는 기능 실행을 위한 다양한 설정정보를 저장한다. 상기 설정정보는 전술한 <표 1>을 참조한 설명 부분에서 설명한 바에 대응하며, 이러한 설정정보는 설정정보 저장영역(571)에 저장할 수 있다. 또한, 상기 저장부(570)는 본 발명의 애니메이션 효과를 부여하는 기능 실행에 필요한 다양한 데이터를 저장한다. 상기 다양한 데이터는 전술한 <표 2>를 참조한 설명 부분에서 설명한 바와 같은 이벤트데이터 및 기본 상태정보 등을 포함하며, 이러한 다양한 데이터는 데이터 저장영역(573)에 저장할 수 있다.

아울러, 상기 저장부(570)는 상기 이동단말의 일반적인 동작을 제어하기 위한 어플리케이션 및 본 발명의 애니메이션 효과를 제어하기 위한 어플리케이션을 저장할 수 있다. 이러한 어플리케이션은 전술한 도 1 내지 도 6c에서 설명한 바와 같은 본 발명의 동작에 대응하는 어플리케이션일 수 있다. 이러한 어플리케이션은 상기 저장부(570)의 어플리케이션 저장영역(미도시)에 저장할 수 있다.

또한, 상기 저장부(570)는 전술한 어플리케이션 실행 중에 발생하는 데이터를 일시 저장하는 하나 이상의 버퍼(buffer)를 포함할 수 있다. 또한 상기 저장부(570)는 상기 이동단말의 내부에 구성될 수 있으며, 또한 스마트카드(Smart card) 등과 같이 외부에 구성될 수 있으며, 내부/외부의 모든 저장 매체를 포함할 수 있음은 물론이다. 상기 저장부(570)는 ROM, RAM, 및 플래시 메모리(Flash Memory) 등을 포함할 수 있고, 상기 저장부(570)는 상기 ROM, RAM, 및 플래시 메모리 등으로 각각 구성되거나 통합된 하나의 메모리 또는 두 개의 메모리 예를 들면, MCP(Multi Chip Package) 메모리로 구성될 수 있다. 추가적으로, 상기 저장부(570)는 데이터 공유를 위해 할당되는 DPRAM(Dual-Ported RAM)을 더 포함할 수도 있다.

상기 제어부(580)는 상기 이동단말에 대한 전반적인 제어 기능을 수행하며, 상기 이동단말 내의 상기 각 블록들 간 신호 흐름을 제어한다. 상기 제어부(580)는 상기 제1 무선통신부(510)와, 상기 제2 무선통신부(520)와, 상기 입력부(530)와, 상기 오디오처리부(540)와, 상기 카메라모듈(550)과, 상기 표시부(560) 및 상기 저장부(570) 등과 같은 각 구성 간의 신호 흐름을 제어한다.

특히, 상기 제어부(580)는 본 발명의 실시 예에 따라 이동단말의 애니메이션 효과 부여 동작과 관련된 일련의 기능을 제어한다. 상기 제어부(580)는 화상통화와 관련된 일련의 통신 기능을 제어하고, 상기 화상통화 중 획득하는 사용자 영상데이터 및 상대방 영상데이터의 표시를 제어한다. 상기 제어부(580)는 상기 화상통화 중 입력되는 사용자 요청에 응답하여 본 발명의 기능을 활성화하고, 상기 기능 활성화에 따른 얼굴인식 프로세싱을 처리한다. 상기 제어부(580)의 기능 활성화는 본 발명의 애니메이션 효과를 부여하는 기능 실행을 위한 기능키 입력에 의해 수행할 수 있다.

또한, 상기 제어부(580)는 상기 화상통화 중 상기 기능 활성화 시, 설정된 이벤트모드에 대응하여 상기 영상데이터 상에 특정 이벤트데이터를 출력하는 일련의 동작을 제어한다. 또한, 상기 제어부(580)는 상기 화상통화 중 상기 기능 활성화 시, 제1이벤트 키, 제2이벤트 키 및 제3이벤트 키 중 어느 하나의 기능키 입력에 대응하여 상기 영상데이터 상에 특정 이벤트데이터를 출력하는 일련의 동작을 제어한다. 이러한 상기 제어부(580)는 전술한 본 발명의 애니메이션 효과 이벤트에 대한 처리를 담당하는 이벤트 처리부(581)와, 사용자 영상데이터 및/또는 상대방 영상데이터에 대한 얼굴인식 프로세싱을 담당하는 얼굴 인식부(583)를 포함한다.

또한, 본 발명의 실시 예에 따르면, 상기 제어부(580)는 전술한 바와 같이 영상데이터 상에 이벤트데이터를 출력하는 중에 사용자 요청에 응답하여 상기 이벤트데이터가 반영된 영상데이터를 캡쳐하여 저장하는 동작을 수행할 수 있다. 이때, 상기 캡쳐는 전술한 바에 의거하여, 현재 이벤트데이터가 제공 중인 영상데이터에 대하여 캡쳐를 자동 수행할 수 있다.

예를 들면, 사용자 표시영역의 사용자 영상데이터에 이벤트데이트가 출력 중인 경우, 상기 제어부(580)는 상기 사용자 표시영역에서 상기 이벤트데이터가 반영된 사용자 영상데이터에 대한 캡쳐를 수행할 수 있다. 또한, 상대방 표시영역의 상대방 영상데이터에 이벤트데이터가 출력 중인 경우, 상기 제어부(580)는 상기 상대방 표시영역에서 상기 이벤트데이터가 반영된 상대방 영상데이터에 대한 캡쳐를 수행할 수 있다. 아울러, 사용자 표시영역 및 상대방 표시영역의 각 영상데이터들에 본 발명의 이벤트데이터가 반영되는 경우, 상기 제어부(580)의 캡쳐는 각 영상데이터들에 대하여 수행할 수 있음은 물론이다.

이상에서와 같은 동작을 제어하는 상기 제어부(580) 및 상기 제어부(580)의 일부 기능을 담당하는 상기 이벤트 처리부(581)와 얼굴 인식부(583)는 전술한 도 1 내지 도 6c를 참조한 설명 부분에서 설명한 바와 같은 본 발명의 전반적인 동작을 제어할 수 있다. 상기 제어부(580)의 전술한 기능 제어는 소프트웨어로 구현되어 본 발명의 동작을 처리할 수도 있다.

한편, 본 발명의 실시 예에서는 설명의 편의를 위하여 제1 무선통신부(510)를 통한 신호 송수신 및 제2 무선통신부(520)를 통한 신호 송수신이 하나의 제어부 즉, 상기 제어부(580)에 의해 제어되는 것으로 설명하지만 제1 통신을 위한 제1 무선통신부(510)를 제어하는 제어부와 제2 통신을 위한 제2 무선통신부(520)를 제어하는 제어부가 분리되어 구비될 수 있다. 이때, 제1 무선통신부(510)를 제어하는 제어부 또는 제2 무선통신부(520)를 제어하는 제어부가 해당 통신 및 이동단말의 전반적인 동작을 제어하는 주(Main) 제어부가 될 수 있고, 나머지 제어부는 해당 통신만을 제어하는 부(Sub) 제어부가 될 수 있다.

아울러, 상기 제어부(580)는 상기 이동단말의 이동통신 서비스를 위한 베이스밴드(Baseband) 모듈을 구비할 수 있다. 상기 베이스밴드 모듈은 전송될 신호를 채널 코딩(channel coding) 및 인터리빙(interleaving) 등을 통해 변환한 후 변조하여 RF 모듈로 제공할 수 있으며, RF 모듈로부터 제공되는 신호를 복조, 등화(Equalization), 채널 디코딩(Channel decoding) 및 디인터리빙(Deinterleaving)할 수 있다. 여기에서는 베이스밴드 모듈이 상기 제어부(580)에 구비되는 것으로 설명하였으나, 상기 베이스밴드 모듈은 상기 제어부(580), 상기 제1 무선통신부(510) 및 제2 무선통신부(520)에 각각 구비될 수 있거나, 상기 제어부(580), 상기 제1 무선통신부(510) 및 제2 무선통신부(520)와 분리되어 구비될 수 있다.

한편, 상기 도 5에서는 설명의 편의를 위하여 상기 이동단말의 개략적인 구성 예를 도시하였다. 하지만, 본 발명의 상기 이동단말이 반드시 상기한 구성에 한정되지는 않는다.

따라서 본 발명의 상기 이동단말은 그 제공 형태에 따라 디지털방송수신모듈, 근거리통신모듈 및 인터넷통신모듈 등과 같이 상기에서 언급되지 않은 구성들을 추가적으로 더 포함할 수 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 이동단말에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 상기 이동단말은 그 제공 형태에 따라 상기한 구성에서 특정 블록들이 제외되거나 다른 블록으로 대체될 수도 있음은 물론이다. 이는 본 기술 분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

도 1은 본 발명의 실시 예에 따른 이동단말에서 화상통화 중 애니메이션 효과를 출력하는 동작을 도시한 도면,

도 2는 본 발명의 실시 예에 따른 이동단말에서 화상통화 중 애니메이션 효과를 출력하는 동작을 도시한 도면,

도 3은 본 발명의 실시 예에 따른 이동단말에서 화상통화 중 애니메이션 효과를 출력하는 동작을 도시한 도면,

도 4는 본 발명의 실시 예에 따른 이동단말에서 영상데이터 상에 이벤트데이터를 적용하는 동작을 도시한 도면,

도 5는 본 발명의 실시 예에 따른 이동단말의 구성을 개략적으로 도시한 도면,

도 6a 내지 도 6c는 본 발명의 실시 예에 따른 이동단말에서 영상데이터 상에 이벤트데이터가 출력되는 화면 예시를 나타낸 도면들.

Claims (31)

1. 이동단말의 화상통화 방법에 있어서,

   상기 화상통화 시, 이벤트 데이터 출력 기능 설정여부를 확인하는 과정,

   상기 이벤트 데이터 출력 기능 설정 시, 상기 화상통화 중 송신자(calling party) 및 수신자(called party)의 영상 데이터 중 사용자에 의해 선택된 적어도 하나에 대한 얼굴인식 프로세싱을 수행하는 과정,

   상기 얼굴인식 프로세싱에 의해 상기 송신자 및 상기 수신자 중 적어도 하나의 상기 영상 데이터로부터 얼굴 상태정보를 획득하는 과정,

   기준 얼굴 상태정보와 상기 획득한 얼굴 상태정보를 비교하여 상기 획득한 얼굴 상태정보를 분석하는 과정,

   상기 분석된 얼굴 상태정보에 대응하는 이벤트 데이터를 추출하는 과정, 및

   상기 추출된 이벤트 데이터를 상기 화상통화 중 영상 데이터와 함께 표시창에 표시하는 과정을 포함하는 방법.
2. 제1항에 있어서,

   상기 이벤트 데이터는, 사용자 설정에 의해 추가되는 방법.
3. 제1항에 있어서,

   상기 이벤트 데이터는 감정 아이템 및 액세서리 아이템으로 구분하는 방법.
4. 삭제
5. 제1항에 있어서, 상기 분석하는 과정은,

   상기 얼굴 상태정보에 대응하는 기준 얼굴 상태정보를 추출하는 과정, 및

   상기 기준 얼굴 상태정보에 매핑된 이벤트 데이터를 획득하는 과정을 포함하는 방법.
6. 제1항에 있어서,

   복수의 이벤트 키들로부터 하나의 이벤트 키의 입력을 수신하는 과정을 더 포함하고,

   상기 복수의 이벤트 키들은,

   상기 영상 데이터의 얼굴 표정을 식별하여 감정 아이템에 따른 이벤트 데이터를 표시하는 제1 이벤트를 위한 제1 이벤트 키, 및 상기 영상 데이터의 얼굴 형태를 식별하여 액세서리 아이템에 따른 이벤트 데이터를 표시하는 제2 이벤트를 위한 제2 이벤트 키를 포함하는 방법.
7. 제6항에 있어서,

   기설정된 이벤트 키의 입력을 수신하는 과정을 더 포함하고,

   상기 기설정된 이벤트키는 상기 감정 아이템 및 상기 액세서리 아이템에 따른 모든 이벤트 데이터들 중 임의의 개수의 이벤트 데이터를 랜덤하게 표시하는 제3 이벤트를 위한 제3 이벤트 키인 방법.
8. 제6항에 있어서,

   상기 제1 이벤트 키가 입력될 시, 상기 감정 아이템의 이벤트 데이터를 배경 데이터 상에 표시하는 과정, 및

   상기 제2 이벤트 키가 입력될 시, 상기 액세서리 아이템의 이벤트 데이터를 얼굴 데이터 상에 표시하는 과정을 더 포함하는 방법.
9. 제1항에 있어서, 상기 표시하는 과정은,

   상기 영상 데이터와 함께 상기 이벤트 데이터를 표시하는 중에 상기 영상 데이터의 변화를 감지할 시, 이전에 표시된 이벤트 데이터를 이동하여 상기 변화된 영상 데이터와 함께 상기 이동된 이벤트 데이터를 표시하는 과정, 또는

   상기 변화된 영상 데이터에 기초하여 새로운 이벤트 데이터를 추출하여 표시하는 과정을 포함하는 방법.
10. 제1항에 있어서,

    상기 영상 데이터와 함께 상기 이벤트 데이터를 표시하는 중에, 사용자 요청에 응답하여 해당 표시영역에 상기 이벤트 데이터가 반영된 영상 데이터를 캡쳐하여 저장하는 과정, 또는

    상기 영상 데이터를 수신자 이동단말로 송신하는 과정을 더 포함하는 방법.
11. 제1항에 있어서,

    상기 이벤트 데이터 출력 기능 설정 시, 사용자로부터 선택모드 또는 적용모드를 선택받은 과정을 더 포함하는 방법.
12. 제11항에 있어서, 상기 선택모드 또는 상기 적용모드의 설정에 따라 영상 데이터가 표시되는 표시영역을 식별하는 과정을 더 포함하는 방법.
13. 제12항에 있어서, 상기 표시하는 과정은,

    상기 선택모드에 따라 모든 영상 데이터, 송신자 영상 데이터 및 수신자 영상 데이터 중 적어도 하나로 구성된 영상 데이터와 함께 상기 이벤트 데이터를 표시하는 과정을 포함하는 방법.
14. 제12항에 있어서, 상기 표시하는 과정은,

    모든 부분 영상 데이터, 상기 영상 데이터의 얼굴 부분을 제외한 배경 부분을 나타내는 배경 데이터 및 상기 영상 데이터에 사용자의 얼굴 부분을 나타내는 얼굴 데이터 중 적어도 하나로 구성된 영상 데이터와 함께 상기 이벤트 데이터를 표시하는 과정을 포함하는 방법.
15. 제1항에 있어서, 상기 얼굴 상태정보는,

    눈, 코, 입, 입술모양, 귀, 인중, 눈썹 및 얼굴형태에 대한 적어도 하나의 정보를 포함하는 방법.
16. 제1항에 있어서,

    상기 기준 얼굴 상태정보는, 사전에 저장된 방법.
17. 제1항에 있어서,

    상기 이벤트 데이터는, 감정 아이템, 액세서리 아이템 및 애니메이션 효과 중 적어도 하나인 방법.
18. 제1항에 있어서,

    상기 영상 데이터의 부분은, 얼굴 데이터 및 배경 데이터 중 적어도 하나로 구성되는 것인 방법.
19. 화상통화를 지원하는 이동단말에 있어서,

    상기 화상통화를 지원하는 이동통신 네트워크와 설정된 방식의 통신채널을 형성하여 상기 화상통화에 따른 데이터를 수신 및 송신을 처리하는 무선 통신부,

    상기 화상통화 수행 시 사용자의 영상을 촬영하는 카메라 모듈,

    상기 화상통화 수행 시 상기 사용자 영상 데이터 및 상대방 이동단말 사용자의 상대방 영상 데이터를 분할된 표시영역을 통해 각각 표시하는 표시부,

    상기 사용자 영상 데이터 및 상대방 영상 데이터와 함께 표시할 이벤트 데이터들을 저장하는 저장부, 및

    상기 화상통화 수행 시, 상기 사용자에 의해 선택된 적어도 하나의 영상 데이터에 대한 얼굴인식 프로세싱을 제어하고, 상기 얼굴인식 프로세싱에 의해 상기 사용자 영상 데이터 또는 상대방 영상 데이터 중 적어도 하나의 얼굴 상태정보에 따른 영상 데이터에 대응하는 특정 이벤트 데이터의 출력을 제어하는 제어부를 포함하는 이동단말.
20. 제19항에 있어서, 상기 제어부는,

    이벤트를 처리하는 이벤트 처리부, 및

    적어도 하나의 상기 사용자 영상 데이터 및 상기 상대방 영상 데이터에 대한 상기 얼굴인식 프로세싱을 수행하는 얼굴 인식부를 포함하는 이동단말.
21. 제20항에 있어서, 상기 제어부는,

    이벤트 모드 중 선택모드의 설정정보에 따라 상기 얼굴인식 프로세싱을 위한 영상 데이터를 결정하는 이동단말.
22. 제21항에 있어서, 상기 제어부는,

    상기 얼굴인식 프로세싱으로부터 영상 데이터의 얼굴 상태정보를 획득하고, 상기 획득한 얼굴 상태정보에 대응하는 기준 얼굴 상태정보를 추출하고, 상기 기준 얼굴 상태정보에 매핑된 이벤트 데이터를 추출하고, 상기 기준 얼굴 상태정보와 비교하여 상기 획득한 얼굴 상태정보를 분석하고, 상기 분석된 결과에 대응하여 상기 영상 데이터 상에 상기 이벤트 데이터를 제공하는 이동단말.
23. 제22항에 있어서, 상기 제어부는,

    상기 이벤트 모드 중 적용모드의 설정정보에 따라 상기 영상 데이터의 배경 부분을 나타내는 배경 데이터 및 상기 영상 데이터에 사용자의 얼굴 부분을 나타내는 얼굴 데이터의 적어도 하나의 부분 영상 데이터 상에 상기 이벤트 데이터를 제공하는 이동단말.
24. 제19항에 있어서,

    상기 이동단말의 기능 제어와 관련하여 입력되는 신호를 상기 제어부로 전달하고, 상기 화상통화 시, 이벤트 실행을 위한 기능키 및 복수의 이벤트 키들로 구성되는 입력부를 더 포함하고,

    상기 복수의 이벤트키들은,

    상기 영상 데이터의 얼굴 표정을 식별하여 감정 아이템에 따른 이벤트 데이터를 출력하는 제1 이벤트를 위한 제1 이벤트 키, 및

    상기 영상 데이터의 얼굴 형태를 식별하여 액세서리 아이템에 따른 이벤트 데이터를 출력하는 제2 이벤트를 위한 제2 이벤트 키를 포함하는 이동단말.
25. 제24항에 있어서, 상기 입력부는,

    기설정된 이벤트 키로서, 상기 감정 아이템 및 상기 액세서리 아이템에 따른 모든 이벤트 데이터들 중 임의의 개수의 이벤트 데이터를 랜덤하게 출력하는 제3 이벤트를 위한 제3 이벤트 키를 포함하는 이동단말.
26. 제24항에 있어서, 상기 제어부는,

    상기 제1 이벤트 키가 입력될 시, 상기 감정 아이템의 이벤트 데이터를 배경 데이터 상에 출력을 제어하고, 상기 제2 이벤트 키가 입력될 시, 상기 액세서리 아이템의 이벤트 데이터를 얼굴 데이터 상에 출력을 제어하는 이동단말.
27. 제19항에 있어서, 상기 제어부는,

    상기 영상 데이터의 변화를 감지할 시, 이전에 출력된 이벤트 데이터를 이동하여 상기 변화된 영상 데이터 상에 상기 이동된 이벤트 데이터를 출력하고, 상기 변화된 영상 데이터에 기초하여 새로운 이벤트 데이터를 추출하여 출력하는 이동단말.
28. 제19항에 있어서, 상기 제어부는,

    상기 영상 데이터 상에 상기 이벤트 데이터를 출력하는 중에, 상기 사용자 요청에 응답하여 해당 표시영역에 상기 이벤트 데이터가 반영된 영상 데이터를 캡쳐하여 저장하거나, 또는 상기 영상 데이터를 상대방 이동단말로 송신하는 이동단말.
29. 제19항에 있어서, 상기 저장부는,

    이벤트 모드에 따른 적용모드 및 선택모드의 설정정보를 저장하는 설정 정보 저장영역, 및

    기본 상태정보 및 상기 이벤트 데이터를 저장하는 데이터 저장영역을 포함하는 이동단말.
30. 삭제
31. 삭제

Images