KR20140059556A - 단말 장치 및 그 제어 방법 - Google Patents

단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20140059556A
KR20140059556A KR1020120126133A KR20120126133A KR20140059556A KR 20140059556 A KR20140059556 A KR 20140059556A KR 1020120126133 A KR1020120126133 A KR 1020120126133A KR 20120126133 A KR20120126133 A KR 20120126133A KR 20140059556 A KR20140059556 A KR 20140059556A
Authority
KR
South Korea
Prior art keywords
avatar
user
information
touch input
terminal device
Prior art date
Application number
KR1020120126133A
Other languages
English (en)
Other versions
KR101987806B1 (ko
Inventor
정길수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120126133A priority Critical patent/KR101987806B1/ko
Publication of KR20140059556A publication Critical patent/KR20140059556A/ko
Application granted granted Critical
Publication of KR101987806B1 publication Critical patent/KR101987806B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

단말 장치가 개시된다. 본 단말 장치는 사용자 이미지에 기초하여 사용자 아바타에 대한 정보를 생성하는 아바타 정보 생성부, 생성된 사용자 아바타에 대한 정보를 타 단말 장치로 전송하고, 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신하는 통신부, 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성하는 아바타 생성부, 상대방 아바타를 디스플레이하는 디스플레이부, 사용자로부터 터치 입력을 수신하는 입력부 및 수신된 터치 입력의 종류를 판단하고, 판단된 터치 입력의 종류에 따라 디스플레이된 아바타가 변형되도록 제어하는 제어부를 포함한다.

Description

단말 장치 및 그 제어 방법{TERMINAL APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 단말 장치 및 그 제어 방법에 관한 것으로 보다 상세하게는 영상 통화를 제공할 수 있는 단말 장치 및 그 제어 방법에 관한 것이다.
최근 멀티미디어 통신 서비스가 대중화되어 가면서 지역적으로 멀리 떨어진 상대방의 얼굴을 마주 보면서 대화를 할 수 있는 영상 통화 서비스가 제공되고 있다. 이러한 영상 통화 서비스는 다수의 사용자가 참여하므로 여러 지역을 연결할 수 있는 네트워크를 통해 각 사용자의 단말 장치로 정보를 송수신할 수 있다.
다만, 영상 통화 서비스는 실시간으로 사용자를 촬상한 사용자 이미지를 전송함으로써 사용자가 원하지 않는 경우에도 사용자의 현재 위치, 표정 등의 정보가 상대방에게 제공될 수 있어 사용자는 영상 통화 서비스를 이용하는데 부담감을 느낄 수 있으며 개인 정보 보호문제가 발생할 수도 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 사용자 아바타를 이용해 영상 통화 서비스를 제공할 수 있는 단말 장치 및 그 제어 방법을 제공함에 있다.
이상의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 단말 장치는, 사용자 이미지에 기초하여 사용자 아바타에 대한 정보를 생성하는 아바타 정보 생성부, 상기 생성된 사용자 아바타에 대한 정보를 타 단말 장치로 전송하고, 상기 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신하는 통신부, 상기 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성하는 아바타 생성부, 상기 상대방 아바타를 디스플레이하는 디스플레이부, 사용자로부터 터치 입력을 수신하는 입력부; 및 상기 수신된 터치 입력의 종류를 판단하고, 판단된 터치 입력의 종류에 따라 상기 디스플레이된 아바타가 변형되도록 제어하는 제어부를 포함한다.
여기서, 상기 아바타 생성부는, 상기 사용자 아바타에 대한 정보에 기초하여 사용자 아바타를 생성하고, 상기 디스플레이부는, 상기 상대방 아바타와 함께 상기 사용자 아바타를 디스플레이할 수 있다.
그리고, 상기 아바타 정보 생성부는, 사용자 이미지를 촬상하는 촬상부, 상기 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출하는 얼굴 검출부 및 상기 검출된 사용자 얼굴 영역로부터 상기 사용자 아바타에 대한 정보로서 특징점 좌표 정보를 추출하는 특징점 추출부를 포함할 수 있다.
또한, 터치 입력의 종류에 따른 특징점 좌표의 변형 정보를 저장하는 저장부;를 더 포함할 수 있으며, 상기 제어부는, 사용자로부터 터치 입력이 수신되면, 수신된 터치 입력에 대응되는 특징점 좌표의 변형 정보를 이용하여 상기 아바타가 변형되도록 제어할 수 있다.
그리고, 상기 저장부는, 터치 입력의 종류에 따른 그래픽 효과 정보를 저장하며, 상기 제어부는, 상기 아바타 변형과 함께 상기 수신된 터치 입력에 대응되는 그래픽 효과를 표시하도록 제어할 수 있다.
그리고, 상기 통신부는, 상기 타 단말 장치로부터, 상기 타 단말 장치에 수신된 터치 입력에 대응되는 상기 사용자 아바타에 대한 특징점 좌표의 변형 정보를 수신하며, 상기 제어부는, 상기 수신된 특징점 좌표의 변형 정보를 이용하여 상기 사용자 아바타가 변형되도록 제어할 수 있다.
또한, 상기 통신부는, 상기 터치 입력에 따라 상기 타 단말 장치에 디스플레이되는 상대방 아바타가 변형되도록 상기 수신된 터치 입력에 대응되는 특징점 좌표의 변형 정보를 상기 타 단말 장치로 전송할 수 있다.
그리고, 상기 아바타는 3D 모델링 된 아바타일 수 있다.
그리고, 상기 단말 장치는, 상기 상대방 아바타를 영상 통화의 상대방 영상으로 이용하여 영상 통화 서비스를 제공할 수 있다.
한편, 본 발명의 일 실시 예에 따른 단말 장치의 제어 방법은, 사용자 이미지에 기초하여 사용자 아바타에 대한 정보를 생성하는 단계, 상기 생성된 사용자 아바타에 대한 정보를 타 단말 장치로 전송하고, 상기 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신하는 단계, 상기 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성하는 단계, 상기 상대방 아바타를 디스플레이하는 단계, 사용자로부터 터치 입력이 수신되면 상기 수신된 터치 입력의 종류를 판단하는 단계 및 상기 판단된 터치 입력의 종류에 따라 상기 디스플레이된 아바타가 변형되도록 제어하는 단계를 포함한다.
또한, 상기 사용자 아바타에 대한 정보에 기초하여 사용자 아바타를 생성하는 단계 및 상기 생성된 사용자 아바타를 디스플레이하는 단계를 더 포함할 수 있다.
그리고, 상기 사용자 아바타에 대한 정보를 생성하는 단계는, 사용자 이미지를 촬상하는 단계, 상기 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출하는 단계 및 상기 검출된 사용자 얼굴 영역으로부터 상기 사용자 아바타에 대한 정보로서 특징점 좌표 정보를 추출하는 단계를 포함할 수 있다.
그리고, 상기 제어하는 단계는, 사용자로부터 터치 입력이 수신되면, 기 저장된 터치 입력의 종류에 따른 특징점 좌표의 변형 정보를 이용하여 상기 아바타가 변형되도록 제어할 수 있다.
그리고, 기 저장된 터치 입력의 종류에 따른 그래픽 효과 정보를 이용하여 상기 수신된 터치 입력에 대응되는 그래픽 효과를 표시하는 단계를 더 포함할 수 있다.
또한, 타 단말 장치로부터, 상기 타 단말 장치에 수신된 터치 입력에 대응되는 상기 사용자 아바타에 대한 특징점 좌표의 변형 정보를 수신하는 단계 및 상기 타 단말 장치로부터 수신된 특징점 좌표의 변형 정보를 이용하여 상기 사용자 아바타가 변형되도록 제어하는 단계를 더 포함할 수 있다.
그리고, 상기 터치 입력에 따라 타 단말 장치에 디스플레이되는 상대방 아바타가 변형되도록 상기 수신된 터치 입력에 대응되는 특징점 좌표의 변형 정보를 상기 타 단말 장치로 전송하는 단계를 더 포함할 수 있다.
여기서, 상기 아바타는 3D 모델링 된 아바타일 수 있다.
그리고, 상기 단말 장치는, 상기 상대방 아바타를 영상 통화의 상대방 영상으로 이용하여 영상 통화 서비스를 제공할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 단말 장치의 제어 방법은 사용자 아바타 및 상대방 아바타를 생성하는 단계, 상기 사용자 아바타 및 상기 상대방 아바타를 이용하여 타 단말 장치와 영상 통화를 수행하는 단계, 사용자로부터 터치 입력이 수신되면, 수신된 터치 입력의 종류를 판단하는 단계 및 상기 판단된 터치 입력이 기 설정된 터치 입력이면, 상기 판단된 터치 입력의 종류에 따라 상기 사용자 아바타 또는 상기 상대방 아바타가 변형되도록 제어하는 단계를 포함한다.
여기서, 상기 사용자 아바타를 생성하는 단계는, 사용자 이미지를 촬상하는 단계, 상기 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출하는 단계; 상기 검출된 사용자 얼굴 영역으로부터 특징점 좌표 정보를 추출하는 단계 및 상기 특징점 좌표 정보를 이용하여 사용자 아바타를 생성하는 단계를 포함할 수 있으며, 상기 상대방 아바타를 생성하는 단계는, 상기 타 단말 장치로부터 상대방 아바타를 생성하기 위한 특징점 좌표 정보를 수신하는 단계 및 상기 타 단말 장치로부터 수신된 특징점 좌표 정보를 이용하여 상대방 아바타를 생성하는 단계를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 단말 장치의 사용자는 아바타를 이용해 상대방과 영상 통화를 수행할 수 있으며, 아바타를 통해 다양한 엔터테인먼트 서비스를 제공받을 수 있다.
도 1은 본 발명의 일 실시 예에 따른 아바타를 이용한 통신 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 아바타 정보 생성부의 구체적인 구성을 설명하기 위한 도면이다.
도 4는 사용자의 터치 입력의 종류를 설명하기 위한 도면이다.
도 5는 터치 입력의 종류에 따른 아바타의 변형 및 그래픽 효과의 표시를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다.
도 7은 특징점 좌표의 변형 정보 및 그래픽 효과 정보를 저장하는 맵테이블의 일 실시예를 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 아바타를 이용한 통신 시스템을 나타내는 도면이다. 도 1에 따르면 단말 장치(100-1, 100-2)는 서로 네트워크를 통해 영상 통화 서비스를 제공할 수 있다. 다만, 아바타를 이용한 영상 통화 시스템은 기존의 영상 통화 시스템과 달리 사용자 이미지 대신 사용자 이미지를 이용하여 생성한 아바타를 이용한다. 즉, 단말 장치(100-1, 100-2)는 사용자 이미지를 촬상한 영상 데이터를 그대로 타 단말 장치로 전송하지 않고 사용자 이미지를 이용하여 아바타를 생성하여 전송함으로써 아바타를 이용한 영상 통화 서비스를 제공할 수 있다.
한편, 단말 장치(100-1, 100-2)는 영상 통화 중 사용자의 터치 입력에 따라 디스플레이된 아바타가 변형되도록 제어할 수 있다. 구체적으로, 사용자가 단말 장치(100-1, 100-2)에 디스플레이된 아바타를 터치하는 경우 아바타는 터치 입력에 반응하여 변화된 표정 또는 행동을 취할 수 있다. 그리고, 아바타의 표정 또는 행동은 터치 입력의 종류에 따라 다양하게 변화할 수 있다.
그리고, 터치 입력에 따른 아바타의 변형 정보는 영상 통화 상대방 단말 장치로 전송되어 상대방 단말 장치에서 디스플레이되는 아바타의 표정 또는 행동이 변화되게 할 수 있다.
이에 따라, 단말 장치(100-1, 100-2) 사용자는 자신의 감정 등을 아바타를 통해 표현할 수 있으며 단순한 영상 통화 서비스가 아닌 아바타를 통한 다양한 엔터테인먼트 서비스를 제공받을 수 있다.
한편, 단말 장치(100-1, 100-2)는 와이파이(Wifi), LTE(Long Term Evolution), IRDA(Infrared Data Association), LAN, WLAN, HR WPAN, WAN, LR WPAN, UWB, 인터넷, 전화망, 이동통신망 등과 같은 다양한 유/무선 통신 기술 및 네트워크를 통해 서로 통신할 수 있다.
그리고, 상술한 실시 예에 서는 아바타를 이용한 통신 시스템을 이용하여 영상 통화 서비스를 제공하는 것으로 설명하였으나, 아바타를 이용한 통신 시스템은 영상 통화 서비스에 한정되지 않고 복수의 사용자간 텍스트 또는 음성으로 통신을 수행하는 어떠한 서비스에도 적용할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다. 도 2를 참조하면 단말 장치(100)는 아바타 정보 생성부(110), 통신부(120), 아바타 생성부(130), 디스플레이부(140), 입력부(150) 및 제어부(160)를 포함한다. 이러한 단말 장치(100)는 TV, 휴대폰, 스마트폰, PDA(Personal Digital Assistant), 노트북 PC, 태블릿 PC, 전자 책, 전자 액자, 키오스크 등과 같은 다양한 장치로 구현될 수 있다.
아바타 정보 생성부(110)는 사용자 이미지에 기초하여 사용자 아바타에 대한 정보(또는, 사용자 아바타 생성 정보)를 생성한다. 도 3을 참고하여 아바타 정보 생성부(110)에 대해 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시 예에 따른 아바타 정보 생성부의 구체적인 구성을 설명하기 위한 도면이다. 도 3에 따르면, 아바타 정보 생성부(110)는 촬상부(111), 얼굴 검출부(112) 및 특징점 추출부(113)를 포함한다.
촬상부(111)는 사용자 이미지를 촬상한다. 촬상부(111)는 실시 예에 따라 일반적인 카메라뿐만 아니라 IR 카메라 또는 3D 카메라 등의 촬상 장치로 구현될 수 있으며 복수개의 카메라를 포함할 수도 있다. 촬상부(111)는 TV, 휴대폰, 노트북 PC등과 같은 다양한 유형의 단말 장치(100)에 내장되어 구현될 수 있으며, 실시 예에 따라서는 단말 장치(100)와 유/무선으로 연결된 외부 장치로 구현될 수도 있다.
얼굴 검출부(112)는 촬상부(111)에서 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출한다. 사용자 이미지로부터 사용자의 얼굴 영역을 검출하는 방법으로는 크게 지식 기반 방법, 특징 기반 방법, 템플릿 매칭 방법 및 외형 기반 방법 등 다양한 방법이 있으며 각각의 방법에 따라 다양한 얼굴 검출 알고리즘이 존재한다. 이들은 이미 알려진 기술로서 이에 대한 자세한 설명은 생략하기로 한다.
특징점 추출부(113)는 얼굴 검출부(112)에서 검출된 사용자 얼굴 영역으로부터 특징점 좌표 정보를 추출한다. 특징점 추출부(113)는 사용자의 얼굴 영역을 매우 작게 분할하여 그 중 눈, 코 입 등 얼굴의 특징적인 부분을 특징점으로 추출할 수 있다. 사용자의 얼굴 영역에서 특징점을 추출하는 다양한 알고리즘이 존재하며 대표적으로 AdaBoost 알고리즘을 예로 들수 있다. 촬상부(111)가 3D 카메라로 구현되는 경우 특징점 추출부(113)는 특징점 좌표 정보를 3D 좌표로 산출할 수도 있다.
특징점 추출부(113)에 의해 추출된 특징점 좌표 정보는 아바타를 생성하는데 필요한 아바타에 대한 생성 정보로 사용될 수 있다. 즉, 사용자 이미지로부터 추출한 특징점 좌표 정보는 사용자 아바타를 생성하는 아바타 생성 정보로 이용될 수 있다.
한편, 아바타 정보 생성부(110)는 아바타를 생성하는데 이용될 수 있는 사용자 피부색 정보 등 다른 추가적인 정보를 생성하기 위한 구성을 더 포함할 수 있다.
통신부(120)는 아바타 정보 생성부(110)에서 수신된 아바타에 대한 정보를 타 단말 장치로 전송하고, 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신한다. 상대방 아바타에 대한 정보는 타 단말 장치에서 생성된 영상 통화 상대방 사용자의 이미지를 이용해 추출된 특징점 좌표 정보를 포함할 수 있다.
또한, 통신부(120)는 영상 통화를 위해 필요한 음성 데이터 또는 텍스트 데이터를 타 단말 장치로 전송하고, 타 단말 장치로부터 음성 데이터 또는 텍스트 데이터를 수신할 수 있다.
아바타 생성부(130)는 아바타에 대한 정보에 기초하여 아바타를 생성한다. 구체적으로, 아바타 생성부(130)는 통신부(120)에서 수신된 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성할 수 있다. 특히, 특징점 좌표 정보가 3D 좌표로 산출된 경우에는 아바타 생성부(130)는 3D 모델링을 통한 3D 아바타를 생성할 수 있다.
그리고, 아바타 생성부(130)는 상대방 아바타뿐만 아니라 아바타 정보 생성부(110)에서 생성된 사용자 아바타에 대한 정보에 기초하여 사용자 아바타를 생성할 수도 있다.
아바타 생성부(130)는 아바타 정보 생성부(110)에서 아바타에 대한 정보가 업데이트되거나 통신부(120)를 통해 업데이트된 상대방 아바타에 대한 정보가 수신되면 업데이트된 정보에 따라 변형된 아바타를 생성할 수 있다. 즉, 사용자의 얼굴 표정이나 위치가 변화하면 그에 따라 아바타의 얼굴 표정 및 위치가 변화할 수 있다.
디스플레이부(140)는 아바타 생성부(130)에서 생성된 아바타를 디스플레이 한다. 구체적으로, 디스플레이부(140)는 아바타 생성부(130)에서 생성된 상대방 아바타를 기 설정된 인터페이스에 따라 디스플레이할 수 있다. 이에 따라, 단말 장치(100)는 상대방 아바타를 영상 통화 상대방 영상으로 이용하여 영상 통화 서비스를 제공할 수 있다.
그리고, 아바타 생성부(130)에서 사용자 아바타를 생성한 경우에는 디스플레이부(140)는 상대방 아바타와 함께 사용자 아바타를 디스플레이할 수 있다. 예를 들어, 도 1에서와 같이 상대방 아바타를 메인 화면으로 사용자 아바타를 서브 화면으로 제공할 수 있다.
한편, 디스플레이부(140)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등 다양한 디스플레이 패널로 구현될 수 있으며, 투명 디스플레이 패널 또는 플렉서블 디스플레이 패널 등으로 구현될 수도 있다.
입력부(150)는 사용자로부터 터치 입력을 수신한다. 구체적으로, 입력부(150)는 디스플레이부(140)에 디스플레이된 사용자 아바타 또는 상대방 아바타를 제어하기 위한 터치 입력을 수신할 수 있다. 이를 위해 입력부(150)는 터치 패널 또는 터치 스크린으로 구현될 수 있다. 입력부(150)가 터치 스크린으로 구현되는 경우 디스플레이부(140)와 입력부(150)는 하나의 구성으로 구현될 수 있다. 입력부(150)에 수신되는 사용자의 터치 입력의 종류에 대해 도 4를 참고하여 보다 구체적으로 설명하기로 한다.
도 4는 사용자의 터치 입력의 종류를 설명하기 위한 도면이다. 도 4에 따르면 입력부(150)는 다양한 터치 입력을 수신할 수 있다. 입력부(150)에 입력되는 터치 입력은 그 종류에 따라 찌르기, 꼬집기, 때리기, 뺨때리기, 쓰다듬기 등의 동작으로 구분될 수 있다.
도 4(a)는 찌르기에 대응되는 터치 입력을 나타낸다. 싱글 터치로 탭 동작을 수행하는 경우 찌르기 동작에 해당한다. 도 4(b)는 꼬집기 동작에 대응되는 터치 입력을 나타낸다. 줌 아웃 동작 즉, 멀티 터치를 한 후 중심 방향으로 멀티 터치 위치를 이동하는 동작은 경우 꼬집기 동작에 해당한다. 도 4(c)는 때리기에 대응되는 터치 입력을 나타낸다. 트리플 터치로 탭 동작을 수행하는 경우 때리기 동작에 해당한다. 도 4(d)는 뺨때리기에 대응되는 터치 입력을 나타낸다. 트리플 터치 후 특정 방향으로 트리플 터치의 위치를 이동하는 경우 즉, 트리플 터치에 의한 플릭 동작은 뺨때리기 동작에 해당한다. 도 4(e)는 쓰다듬기에 대응되는 터치 입력을 나타낸다. 트리플 터치 후 트리플 터치의 위치를 특정 방향으로 왔다갔다 하는 동작은 쓰다듬기 동작에 해당한다. 한편, 도 4(c) 내지 도 4(e)에서는 때리기, 뺨때리기 또는 쓰다듬기 동작에 대응하는 터치 입력에 대하여 트리플 터치로 해당 동작을 수행하는 것으로 설명하였다. 그러나, 이는 일 실시 예에 불과하며 세 포인트 이상의 터치로 해당 동작을 수행할 수도 있다. 예를 들어, 주먹을 화면에 터치하여 세포인트 이상의 탭 동작이 수행되는 경우 때리기 동작으로 인식될 수 있다. 또한, 뺨때리기 또는 쓰다듬기의 경우에도 실제로 뺨을 때리거나 쓰다듬듯이 손 전체를 이용하여 터치를 하여 세 포인트 이상의 터치 입력 이후 특정 방향으로 터치 위치가 이동되거나 특정 방향으로 왔다갔다 하는 동작이 수행되면 뺨때리기 또는 쓰다듬기 동작으로 인식될 수 있다. 그리고, 도 4에 도시된 터치 입력의 종류는 일 실시 예에 불과하며 이 외에 다양한 터치 입력이 존재할 수 있다.
한편, 입력부(150)는 터치 패널 또는 터치 스크린뿐만 아니라 단말 장치(100)를 제어하기 위한 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)를 더 포함할 수 있다.
제어부(160)는 단말 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(160)는 단말 장치(100)의 각 구성을 제어하여 아바타를 통한 영상 통화를 제공하도록 제어할 수 있다.
구체적으로, 제어부(160)는 입력부(150)에 입력된 터치 입력의 종류를 판단할 수 있다. 제어부(160)는 입력부(150)에 입력되는 터치 입력의 위치 및 시간을 이용하여 터치 입력의 종류를 판단할 수 있다. 예를 들어, 제어부(160)는 도 4(b)에서와 같이 줌 아웃 동작 즉, 멀티 터치를 한 후 중심 방향으로 멀티 터치 위치를 이동하는 동작이 입력된 경우 꼬집기 동작으로 판단하며, 도 4(e)에서와 같이 트리플 터치 후 트리플 터치의 위치를 특정 방향으로 왔다갔다 하는 동작이 입력된 경우 쓰다듬기 동작으로 판단할 수 있다.
그리고, 제어부(160)는 터치 입력의 종류가 판단되면, 판단된 터치 입력의 종류에 따라 디스플레이부(140)에 디스플레이된 아바타가 변형되도록 제어할 수 있다. 구체적으로, 제어부(160)는 아바타를 생성하는데 이용되는 특징점 좌표, 피부색 정보 등을 변경하여 디스플레이함으로써 디스플레이된 아바타가 변형되도록 제어할 수 있다. 또한, 제어부(160)는 아바타의 변형과 함께 터치 입력에 대응되는 그래픽 효과를 표시하도록 제어할 수 있다. 터치 입력에 대응되는 그래픽 효과의 표시로 단말 장치(100)는 아바타의 변형된 표정 및 행동을 보다 능동적으로 표시할 수 있다. 그리고, 제어부(160)는 터치 입력의 위치 정보를 고려하여 디스플레이된 아바타를 변형하거나 그래픽 효과를 표시할 수 있다. 이에 대해 도 5를 참조하여 구체적으로 설명한다.
도 5는 터치 입력의 종류에 따른 아바타의 변형 및 그래픽 효과의 표시를 설명하기 위한 도면이다. 도 5를 참조하면 수신된 터치 입력의 종류에 따라 아바타(10)는 다양한 형태로 변형할 수 있으며, 터치 입력의 종류에 대응되는 그래픽 효과(20)가 표시될 수 있다.
도 5(a)는 수신된 터치 입력이 찌르기 동작에 해당한다고 판단된 경우를 나타낸다. 제어부(160)는 찌르기 동작이 입력되었다고 판단되면, 디스플레이된 아바타(10)가 놀라는 표정을 짓도록 변형하고, 추가적인 그래픽 효과(20)를 표시하도록 제어할 수 있다. 도 5(b)는 수신된 터치 입력이 꼬집기 동작에 해당한다고 판단된 경우를 나타낸다. 제어부(160)는 꼬집기 동작이 입력되었다고 판단되면, 디스플레이된 아바타(10)가 우는 표정을 짓도록 변형하고, 눈물과 같은 추가적인 그래픽 효과(20)를 표시하도록 제어할 수 있다. 도 5(c)는 수신된 터치 입력이 때리기 동작에 해당한다고 판단된 경우를 나타낸다. 제어부(160)는 때리기 동작이 입력되었다고 판단되면, 디스플레이된 아바타(10)가 정신이 없는 것처럼 변형하고, 머리위에 별이 돌아다니는 것과 같은 그래픽 효과(20)를 표시하도록 제어할 수 있다. 도 5(d)는 수신된 터치 입력이 뺨때리기 동작에 해당한다고 판단된 경우를 나타낸다. 제어부(160)는 뺨때리기 동작이 입력되었다고 판단되면, 디스플레이된 아바타(10)의 뺨이 붉은색으로 표시되도록 변형할 수 있다. 이 때, 터치 입력의 위치 정보를 이용하여 오른쪽 또는 왼쪽 뺨 중 하나가 붉은색으로 표시되도록 변형할 수 있다. 도 5(e)는 수신된 터치 입력이 쓰다듬기 동작에 해당한다고 판단된 경우를 나타낸다. 제어부(160)는 쓰다듬기 동작이 입력되었다고 판단되면, 디스플레이된 아바타(10)가 행복한 표정을 짓도록 변형하고, 하트모양과 같은 그래픽 효과(20)를 표시하도록 제어할 수 있다.
한편, 도 5는 편의상 아바타의 변형된 형태만을 도시하였으나 디스플레이된 아바타가 도 5에 도시된 표정으로 변형되기까지 연속적인 동작으로 수행될 수 있음은 물론이다. 또한, 도 5에서는 아바타의 변형된 표정만을 도시하였으나 아바타의 행동 등이 변형될 수도 있다.
통신부(120)는 사용자 터치 입력에 따른 아바타의 변형에 대한 정보(또는 아바타 변형 정보) 및/또는 그래픽 효과에 대한 정보를 영상 통화 상대방 단말 장치로 전송하도록 통신부(120)를 제어할 수 있다. 이에 따라 단말 장치(100)에 수신된 터치 입력에 따른 아바타의 변형 및/또는 그래픽 효과를 영상 통화 상대방 단말 장치에서도 표시할 수 있게 된다. 여기서, 아바타 변형 정보는 특징점 좌표의 변형 정보일 수 있다. 또한, 통신부(120)는 영상 통화 상대방 단말 장치에 수신된 터치 입력에 대응되는 아바타 변형 정보 및/또는 그래픽 효과 정보를 수신할 수 있으며, 제어부(160)는 영상 통화 상대방 단말 장치로부터 수신된 아바타 변형 정보를 이용하여 아바타를 변형하고 그래픽 효과를 표시할 수 있다. 영상 통화 서비스를 제공하는 각 단말 장치는 변형된 아바타가 아닌 아바타의 변형 정보를 송수신함으로써 송수신되는 데이터의 양이 감소하는 효과가 있다.
도 6은 본 발명의 다른 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다. 도 6에 따르면 단말 장치(100)는 도 2에 도시된 아바타 정보 생성부(110), 통신부(120), 아바타 생성부(130), 디스플레이부(140), 입력부(150) 및 제어부(160) 외에 저장부(170)를 더 포함할 수 있다.
저장부(170)는 터치 입력의 종류에 따른 아바타 변형 정보를 저장할 수 있다. 구체적으로, 저장부(170)는 터치 입력의 종류에 따른 특징점 좌표의 변형 정보를 저장할 수 있다. 또한, 저장부(170)는 터치 입력의 종류에 따른 그래픽 효과 정보를 저장할 수 있다.
제어부(160)는 입력부(150)에 터치 입력이 수신되면 수신된 터치 입력의 종류를 판단하고, 저장부(170)에 저장된 정보를 이용하여 터치 입력에 대응되도록 아바타를 변형하고 그래픽 효과를 표시하도록 제어할 수 있다.
도 7은 특징점 좌표의 변형 정보 및 그래픽 효과 정보를 저장하는 맵테이블의 일 실시예를 나타내는 도면이다. 도 7에서와 같이 터치 입력의 종류에 따른 특징점 좌표의 변형 정보 및 그래픽 효과 정보는 맵 테이블 형태로 저장부(170)에 저장될 수 있다. 구체적으로, 맵 테이블은 터치 입력의 종류를 나타내는 특정 파라미터와 그에 대응되는 특징점 좌표 변형 정보 및 그래픽 효과 정보를 포함할 수 있다. 제어부(160)는 입력부(150)에 터치 입력이 수신되면 수신된 터치 입력의 종류를 판단하여 특정 파라미터에 대한 정보로 변환하고, 저장부(170)에 저장된 맵 테이블을 참조하여 파라미터에 대응되는 특징점 좌표의 변형 정보 및 그래픽 효과 정보에 따라 아바타를 변형하고 그래픽 효과를 표시할 수 있다.
상술한 실시 예들에서는 아바타 정보 생성부에서 생성된 아바타에 대한 정보를 이용하여 아바타를 생성하고 디스플레이하는 것으로 설명하였으나, 단순히 사용자에 의해 설정된 아바타를 디스플레이할 수도 있다. 예를 들어, 단말 장치(100)는 기 설정된 복수의 아바타를 저장하고 사용자가 영상 통화를 수행하는 경우 사용자에 의해 기 실정된 아바타를 사용자 아바타로 이용할 수 있다. 이 경우, 단말 장치(100)는 아바타 정보 생성부 및 아바타 생성부를 생략하여 구현될 수도 있다.
이상에서 아바타를 이용한 통신 시스템에 대해, 보다 구체적으로는 아바타를 이용한 영상 통화 시스템에 대해 설명하였다. 그러나, 본 발명의 기술적 사상은 아바타를 이용한 영상 통화 시스템뿐만 아니라 사용자 이미지 자체를 활용한 일반적인 영상 통화 시스템에도 적용할 수 있다. 이하에서는 본 발명의 다른 실시 예에 따른 사용자 이미지를 이용한 일반적인 영상 통화 시스템에 대해 설명한다. 사용자 이미지를 이용한 영상 통화 시스템은 아바타를 이용한 영상 통화 시스템과 그 구성 및 동작이 유사하므로 중복되는 내용은 생략하고 차이점을 위주로 설명하기로 한다.
본 발명의 다른 실시 예에 따른 사용자 이미지를 이용한 영상 통화 시스템은 기존의 영상 통화 시스템과 유사하게 사용자 이미지를 이용하여 영상 통화 서비스를 제공한다. 그리고, 상술한 아바타를 이용한 영상 통화 시스템 유사하게 영상 통화 중 사용자의 터치 입력에 따라 디스플레이된 사용자 이미지가 변형되도록 제어할 수 있다. 구체적으로, 사용자가 영상 통화에 참여하는 단말 장치에 디스플레이된 상대방 이미지를 터치하는 경우 디스플레이된 상대방 이미지는 터치 입력에 반응하여 변화된 표정 또는 행동을 취할 수 있다. 그리고, 상대방 이미지의 표정 또는 행동은 터치 입력의 종류에 따라 다양하게 변화할 수 있다.
그리고, 터치 입력에 따른 상대방 이미지의 변형 정보는 영상 통화 상대방 단말 장치로 전송되어 상대방 단말 장치에서 디스플레이되는 상대방 이미지의 표정 또는 행동이 변화되게 할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다. 도 8에 따르면 단말 장치(200)는 특징점 정보 생성부(210), 통신부(220), 디스플레이부(230), 입력부(240) 및 제어부(250)를 포함한다. 단말 장치(200)는 도 2에 도시된 단말 장치(100)의 아바타 생성부(130)를 제외하고 그 구성이 유사하다.
특징점 정보 생성부(210)는 사용자 이미지를 촬상하고, 사용자 이미지에 기초하여 특징점 정보를 생성한다. 특징점 정보 생성부(210)는 도 3에 도시된 아바타 정보 생성부와 같이 촬상부(미도시), 얼굴 검출부(미도시) 및 특징점 추출부(미도시)를 포함할 수 있으며 그 기능이 동일하므로 구체적인 설명은 생략하기로 한다.
한편, 실시 예에 따라 특징점 정보 생성부(210)는 촬상부(미도시)에서 촬상된 사용자 이미지가 아닌 통신부(220)에서 수신된 상대방 이미지로부터 특징점 정보를 생성할 수 있다. 즉, 사용자 이미지에 대한 특징점 정보는 실시 예에 따라 사용자 단말 장치 또는 상대방 단말 장치에서 생성될 수 있다.
통신부(220)는 특징점 정보 생성부(210)에서 촬상된 사용자 이미지를 타 단말 장치로 전송하고, 타 단말 장치로부터 상대방 이미지를 수신한다.
그리고, 특징점 정보 생성부(210)에서 사용자 이미지에 대한 특징점 정보를 생성한 경우 통신부(220)는 타 단말 장치로 사용자 이미지에 대한 특징점 정보를 전송하고, 타 단말 장치로부터 상대방 이미지에 대한 특징점 정보를 수신할 수 있다.
또한, 통신부(220)는 영상 통화를 위해 필요한 음성 데이터 또는 텍스트 데이터를 타 단말 장치로 전송하고, 타 단말 장치로부터 음성 데이터 또는 텍스트 데이터를 수신할 수 있다.
디스플레이부(230)는 통신부(220)에서 수신된 상대방 이미지를 디스플레이한다. 구체적으로, 디스플레이부(230)는 통신부(220)에서 수신된 상대방 이미지를 기 설정된 인터페이스에 따라 디스플레이할 수 있다. 그리고, 디스플레이부(230)는 특징점 정보 생성부(210)에서 촬상된 사용자 이미지를 디스플레이할 수도 있다.
입력부(240)는 사용자로부터 터치 입력을 수신한다. 구체적으로, 입력부(240)는 디스플레이부(230)에 디스플레이된 사용자 이미지 또는 상대방 이미지를 제어하기 위한 터치 입력을 수신할 수 있다.
제어부(250)는 단말 장치(200)의 전반적인 동작을 제어한다. 구체적으로, 제어부(250)는 단말 장치(200)의 각 구성을 제어하여 사용자 이미지를 이용한 영상 통화 서비스를 제공하도록 제어할 수 있다.
구체적으로, 제어부(250)는 입력부(240)에 입력된 터치 입력의 위치 및 시간을 이용하여 터치 입력의 종류를 판단할 수 있다. 그리고, 제어부(250)는 터치 입력의 종류가 판단되면, 판단된 터치 입력의 종류에 따라 디스플레이부(230)에 디스플레이된 사용자 이미지 또는 상대방 이미지가 변형되도록 제어할 수 있다. 구체적으로, 터치 입력에 따라 아바타가 변형되는 것과 유사하게 디스플레이된 사용자 이미지 또는 상대방 이미지가 변형되도록 제어할 수 있다. 또한, 제어부(250)는 사용자 이미지 또는 상대방 이미지의 변형과 함께 터치 입력에 대응되는 그래픽 효과를 표시하도록 제어할 수 있다.
한편, 단말 장치(200)는 도 6에 도시한 단말 장치와 같이 터치 입력의 종류에 따른 사용자 이미지 또는 상대방 이미지의 변형 정보 및 터치 입력의 종류에 따른 그래픽 효과 정보를 저장하는 저장부(미도시)를 더 포함할 수 있다. 저장부(미도시)에 대한 구체적인 내용은 도 6의 저장부(170)와 유사하므로 구체적인 설명은 생략하기로 한다.
도 9는 본 발명의 일 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다. 도 9에 따르면 단말 장치(100)는 사용자 이미지에 기초하여 사용자 아바타에 대한 정보를 생성한다(S910). 예를 들어, 사용자 이미지를 촬상하고, 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출한 후, 검출된 사용자 얼굴 영역으로부터 사용자 아바타에 대한 정보로서 특징점 좌표 정보를 추출하여 사용자 아바타에 대한 정보를 생성할 수 있다. 그리고, 생성된 사용자 아바타에 대한 정보를 타 단말 장치로 전송하고, 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신한다(S920). 그리고 수신된 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성하고(S930), 생성된 상대방 아바타를 디스플레이한다(S940). 이에 따라 단말 장치는 상대방 아바타를 영상 통화의 상대방 영상으로 이용하여 영상 통화 서비스를 제공할 수 있다. 여기서, 아바타에 대한 정보가 3D 모델링에 대한 정보를 포함하는 경우 3D 아바타를 생성하여 디스플레이할 수 있다. 그리고, 단말 장치는 상대방 아바타뿐만 아니라 사용자 아바타에 대한 정보를 이용하여 사용자 아바타를 생성하고, 디스플레이할 수 있다. 이에 따라 단말 장치의 사용자는 상대방 아바타뿐만 아니라 사용자 아바타를 포함하는 영상을 이용해 영상 통화를 서비스를 이용할 수 있다.
이후, 사용자로부터 터치 입력이 수신되었는지 판단한다(S950). 사용자로부터 터치 입력이 수신되지 않으면(S950-N), S910 내지 S940 단계를 다시 수행하며, 이에 따라 단말 장치는 업데이트된 사용자 및 상대방 아바타를 디스플레이할 수 있다. 사용자로부터 터치 입력이 수신되면(S950-Y), 수신된 터치 입력의 종류를 판단한다(S960). 그리고, 판단된 터치 입력의 종류에 따라 디스플레이된 아바타가 변형되도록 제어한다(S970). 구체적으로, 사용자로부터 터치 입력이 수신되면, 기 저장된 터치 입력의 종류에 따른 특징점 좌표의 변형 정보를 이용하여 아바타가 변형되도록 제어할 수 있다. 그리고, 단말 장치의 제어 방법은 기 저장된 터치 입력의 종류에 따른 그래픽 효과 정보를 이용하여 수신된 터치 입력에 대응되는 그래픽 효과를 표시할 수도 있다.
또한, 단말 장치는 타 단말 장치로부터, 타 단말 장치에 수신된 터치 입력에 대응되는 아바타의 변형 정보를 수신하고 타 단말 장치로부터 수신된 아바타의 변형 정보를 이용하여 아바타가 변형되도록 제어할 수 있다. 그리고, 수신된 터치 입력에 대응되는 아바타 변형 정보를 타 단말 장치로 전송할 수도 있다. 이에 따라 영상 통화 서비스를 이용하는 단말 장치는 타 단말 장치에 수신된 사용자 터치 입력에 따른 아바타의 변형을 표시할 수 있게 된다.
도 10은 본 발명의 다른 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다. 도 10에 따르면 먼저 아바타를 생성하고(S1010), 생성된 아바타를 이용하여 영상 통화를 수행한다(S1020). 구체적으로는, 사용자 아바타 및/또는 상대방 아바타를 생성하여 영상 통화를 수행할 수 있다. 사용자 아바타의 경우 사용자 이미지를 촬상하고, 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출한 후, 사용자 얼굴 영역으로부터 특징점 좌표 정보를 추출한다. 그리고, 특징점 좌표 정보를 이용하여 사용자 아바타를 생성할 수 있다. 또한, 상대방 아바타의 경우 타 단말 장치로부터 상대방 아바타를 생성하기 위한 정보로 특징점 좌표 정보를 수신하고, 수신된 특징점 좌표 정보를 이용하여 상대방 아바타를 생성할 수 있다. 이후, 사용자로부터 터치 입력이 수신되었는지 판단한다(S1030). 사용자로부터 터치 입력이 수신되지 않으면(S1030-N), 생성된 아바타를 이용하여 계속 영상 통화를 수행한다. 사용자로부터 터치 입력이 수신되면(S1030-Y), 수신된 터치 입력의 종류를 판단한다(S1040). 그리고, 판단된 터치 입력의 종류에 따라 디스플레이된 아바타가 변형되도록 제어한다(S1050).
도 11은 본 발명의 또 다른 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다. 도 11에 따르면 단말 장치(200)는 사용자 이미지를 촬상한다(S1110). 그리고, 촬상된 사용자이미지를 타 단말 장치로 전송하고, 타 단말 장치로부터 상대방 이미지를 수신한다(S1120). 그리고 수신된 상대방 이미지에 기초하여 특징점 정보를 생성한다(S1130). 한편, 상대방 이미지에 대한 특징점 정보는 타 단말 장치로부터 수신할 수도 있다. 이 경우, 상대방 이미지에 기초하여 특징점 정보를 생성하는 단계는 생략할 수 있다. 그리고, 단말 장치(200)는 S1110에서 촬상된 사용자 이미지에 기초하여 특징점 정보를 생성하고 생성된 특징점 정보를 타 단말 장치로 전송할 수도 있다.
이후, 수신된 상대방 이미지를 디스플레이한다(S1140). 단말 장치(200)의 사용자는 디스플레이된 상대방 이미지를 이용하여 영상 통화를 수행할 수 있다. 그리고, 단말 장치(200)는 상대방 이미지뿐만 아니라 촬상된 사용자 이미지도 디스플레이할 수 있다.
그리고, 사용자로부터 터치 입력이 수신되었는지 판단한다(S1150). 사용자로부터 터치 입력이 수신되지 않으면(S1150-N), S1110 내지 S1140 단계를 다시 수행하며, 이에 따라 단말 장치는 업데이트된 사용자 및/또는 상대방 이미지를 디스플레이할 수 있다. 사용자로부터 터치 입력이 수신되면(S1150-Y), 수신된 터치 입력의 종류를 판단한다(S1160). 그리고, 판단된 터치 입력의 종류에 따라 디스플레이된 이미지가 변형되도록 제어한다(S1170). 구체적으로, 사용자로부터 터치 입력이 수신되면, 기 저장된 터치 입력의 종류에 따른 이미지 변형 정보를 이용하여 사용자 이미지 또는 상대방 이미지가 변형되도록 제어할 수 있다. 그리고, 기 저장된 터치 입력의 종류에 따른 그래픽 효과 정보를 이용하여 수신된 터치 입력에 대응되는 그래픽 효과를 표시할 수도 있다.
또한, 단말 장치(200)는 타 단말 장치로부터, 타 단말 장치에 수신된 터치 입력에 대응되는 이미지 변형 정보를 수신하고, 수신된 이미지 변형 정보를 이용하여 사용자 이미지 또는 상대방 이미지가 변형되도록 제어할 수 있다. 그리고, 수신된 터치 입력에 대응되는 이미지 변형 정보를 타 단말 장치로 전송할 수도 있다. 이에 따라 영상 통화 서비스를 이용하는 단말 장치는 타 단말 장치에 수신된 사용자 터치 입력에 따른 사용자 이미지 또는 상대방 이미지의 변형을 표시할 수 있게 된다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 단말 장치의 제어 방법은 단말 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 단말 장치 110 : 아바타 정보 생성부
120 : 통신부 130 : 아바타 생성부
140 : 디스플레이부 150 : 입력부
160 : 제어부

Claims (20)

  1. 단말 장치에 있어서,
    사용자 이미지에 기초하여 사용자 아바타에 대한 정보를 생성하는 아바타 정보 생성부;
    상기 생성된 사용자 아바타에 대한 정보를 타 단말 장치로 전송하고, 상기 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신하는 통신부;
    상기 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성하는 아바타 생성부;
    상기 상대방 아바타를 디스플레이하는 디스플레이부;
    사용자로부터 터치 입력을 수신하는 입력부; 및
    상기 수신된 터치 입력의 종류를 판단하고, 판단된 터치 입력의 종류에 따라 상기 디스플레이된 아바타가 변형되도록 제어하는 제어부;를 포함하는 단말 장치.
  2. 제1항에 있어서,
    상기 아바타 생성부는,
    상기 사용자 아바타에 대한 정보에 기초하여 사용자 아바타를 생성하고,
    상기 디스플레이부는,
    상기 상대방 아바타와 함께 상기 사용자 아바타를 디스플레이하는 것을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    상기 아바타 정보 생성부는,
    사용자 이미지를 촬상하는 촬상부;
    상기 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출하는 얼굴 검출부; 및
    상기 검출된 사용자 얼굴 영역로부터 상기 사용자 아바타에 대한 정보로서 특징점 좌표 정보를 추출하는 특징점 추출부;를 포함하는 것을 특징으로 하는 단말 장치.
  4. 제1항에 있어서,
    터치 입력의 종류에 따른 특징점 좌표의 변형 정보를 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    사용자로부터 터치 입력이 수신되면, 수신된 터치 입력에 대응되는 특징점 좌표의 변형 정보를 이용하여 상기 아바타가 변형되도록 제어하는 것을 특징으로 하는 단말 장치.
  5. 제4항에 있어서,
    상기 저장부는,
    터치 입력의 종류에 따른 그래픽 효과 정보를 저장하며,
    상기 제어부는,
    상기 아바타 변형과 함께 상기 수신된 터치 입력에 대응되는 그래픽 효과를 표시하도록 제어하는 것을 특징으로 하는 단말 장치.
  6. 제4항에 있어서,
    상기 통신부는,
    상기 타 단말 장치로부터, 상기 타 단말 장치에 수신된 터치 입력에 대응되는 상기 사용자 아바타에 대한 특징점 좌표의 변형 정보를 수신하며,
    상기 제어부는,
    상기 수신된 특징점 좌표의 변형 정보를 이용하여 상기 사용자 아바타가 변형되도록 제어하는 것을 특징으로 하는 단말 장치.
  7. 제4항에 있어서,
    상기 제어부는,
    상기 터치 입력에 따라 상기 타 단말 장치에 디스플레이되는 상대방 아바타가 변형되도록 상기 수신된 터치 입력에 대응되는 특징점 좌표의 변형 정보를 상기 타 단말 장치로 전송하도록 제어하는 것을 특징으로 하는 단말 장치.
  8. 제1항에 있어서,
    상기 아바타는 3D 모델링 된 아바타인 것을 특징으로 하는 단말 장치.
  9. 제1항에 있어서,
    상기 단말 장치는,
    상기 상대방 아바타를 영상 통화의 상대방 영상으로 이용하여 영상 통화 서비스를 제공하는 것을 특징으로 하는 단말 장치.
  10. 단말 장치의 제어 방법에 있어서,
    사용자 이미지에 기초하여 사용자 아바타에 대한 정보를 생성하는 단계;
    상기 생성된 사용자 아바타에 대한 정보를 타 단말 장치로 전송하고, 상기 타 단말 장치로부터 상대방 아바타에 대한 정보를 수신하는 단계;
    상기 상대방 아바타에 대한 정보에 기초하여 상대방 아바타를 생성하는 단계;
    상기 상대방 아바타를 디스플레이하는 단계;
    사용자로부터 터치 입력이 수신되면 상기 수신된 터치 입력의 종류를 판단하는 단계; 및
    상기 판단된 터치 입력의 종류에 따라 상기 디스플레이된 아바타가 변형되도록 제어하는 단계;를 포함하는 단말 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 사용자 아바타에 대한 정보에 기초하여 사용자 아바타를 생성하는 단계; 및
    상기 생성된 사용자 아바타를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 단말 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 사용자 아바타에 대한 정보를 생성하는 단계는,
    사용자 이미지를 촬상하는 단계;
    상기 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출하는 단계; 및
    상기 검출된 사용자 얼굴 영역으로부터 상기 사용자 아바타에 대한 정보로서 특징점 좌표 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 단말 장치의 제어 방법.
  13. 제10항에 있어서,
    상기 제어하는 단계는,
    사용자로부터 터치 입력이 수신되면, 기 저장된 터치 입력의 종류에 따른 특징점 좌표의 변형 정보를 이용하여 상기 아바타가 변형되도록 제어하는 것을 특징으로 하는 단말 장치의 제어 방법.
  14. 제13항에 있어서,
    기 저장된 터치 입력의 종류에 따른 그래픽 효과 정보를 이용하여 상기 수신된 터치 입력에 대응되는 그래픽 효과를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 단말 장치의 제어 방법.
  15. 제13항에 있어서,
    타 단말 장치로부터, 상기 타 단말 장치에 수신된 터치 입력에 대응되는 상기 사용자 아바타에 대한 특징점 좌표의 변형 정보를 수신하는 단계; 및
    상기 타 단말 장치로부터 수신된 특징점 좌표의 변형 정보를 이용하여 상기 사용자 아바타가 변형되도록 제어하는 단계;를 더 포함하는 것을 특징으로 하는 단말 장치의 제어 방법.
  16. 제13항에 있어서,
    상기 터치 입력에 따라 타 단말 장치에 디스플레이되는 상대방 아바타가 변형되도록 상기 수신된 터치 입력에 대응되는 특징점 좌표의 변형 정보를 상기 타 단말 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 단말 장치의 제어 방법.
  17. 제10항에 있어서,
    상기 아바타는 3D 모델링 된 아바타인 것을 특징으로 하는 단말 장치의 제어 방법.
  18. 제10항에 있어서,
    상기 단말 장치는,
    상기 상대방 아바타를 영상 통화의 상대방 영상으로 이용하여 영상 통화 서비스를 제공하는 것을 특징으로 하는 단말 장치의 제어 방법.
  19. 단말 장치의 제어 방법에 있어서,
    사용자 아바타 및 상대방 아바타를 생성하는 단계;
    상기 사용자 아바타 및 상기 상대방 아바타를 이용하여 타 단말 장치와 영상 통화를 수행하는 단계;
    사용자로부터 터치 입력이 수신되면, 수신된 터치 입력의 종류를 판단하는 단계; 및
    상기 판단된 터치 입력이 기 설정된 터치 입력이면, 상기 판단된 터치 입력의 종류에 따라 상기 사용자 아바타 또는 상기 상대방 아바타가 변형되도록 제어하는 단계;를 포함하는 단말 장치의 제어 방법.
  20. 제19항에 있어서,
    상기 사용자 아바타를 생성하는 단계는,
    사용자 이미지를 촬상하는 단계;
    상기 촬상된 사용자 이미지로부터 사용자 얼굴 영역을 검출하는 단계;
    상기 검출된 사용자 얼굴 영역으로부터 특징점 좌표 정보를 추출하는 단계; 및
    상기 특징점 좌표 정보를 이용하여 사용자 아바타를 생성하는 단계;를 포함하며,
    상기 상대방 아바타를 생성하는 단계는,
    상기 타 단말 장치로부터 상대방 아바타를 생성하기 위한 특징점 좌표 정보를 수신하는 단계; 및
    상기 타 단말 장치로부터 수신된 특징점 좌표 정보를 이용하여 상대방 아바타를 생성하는 단계;를 포함하는 것을 특징으로 하는 단말 장치의 제어 방법.
KR1020120126133A 2012-11-08 2012-11-08 단말 장치 및 그 제어 방법 KR101987806B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120126133A KR101987806B1 (ko) 2012-11-08 2012-11-08 단말 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120126133A KR101987806B1 (ko) 2012-11-08 2012-11-08 단말 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140059556A true KR20140059556A (ko) 2014-05-16
KR101987806B1 KR101987806B1 (ko) 2019-06-11

Family

ID=50889344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126133A KR101987806B1 (ko) 2012-11-08 2012-11-08 단말 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101987806B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136387A1 (ko) * 2022-01-17 2023-07-20 엘지전자 주식회사 인공 지능 장치 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025719A (ko) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 상대방의 감정을 전달하는 영상통화 시스템 및 방법
KR20110041065A (ko) * 2009-10-15 2011-04-21 에스케이텔레콤 주식회사 영상통화 중 햅틱컨텐츠 전달 시스템, 서버, 단말기 및 방법
KR20110056664A (ko) * 2009-11-23 2011-05-31 삼성전자주식회사 이동통신 단말기에서 영상 통화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025719A (ko) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 상대방의 감정을 전달하는 영상통화 시스템 및 방법
KR20110041065A (ko) * 2009-10-15 2011-04-21 에스케이텔레콤 주식회사 영상통화 중 햅틱컨텐츠 전달 시스템, 서버, 단말기 및 방법
KR20110056664A (ko) * 2009-11-23 2011-05-31 삼성전자주식회사 이동통신 단말기에서 영상 통화 방법 및 장치

Also Published As

Publication number Publication date
KR101987806B1 (ko) 2019-06-11

Similar Documents

Publication Publication Date Title
US11503377B2 (en) Method and electronic device for processing data
KR102266888B1 (ko) 영상 통화 서비스를 제공하는 단말기 및 서버
US10013083B2 (en) Utilizing real world objects for user input
EP3506626A1 (en) Video call with added icon corressponding to facial expression of the user
EP3506628A1 (en) Terminal and server for providing video call service
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
US11170580B2 (en) Information processing device, information processing method, and recording medium
JP5012968B2 (ja) 会議システム
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
KR102247251B1 (ko) 이동 단말기 및 이의 제어방법
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
CN108712603B (zh) 一种图像处理方法及移动终端
KR20180112599A (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
CN111045511B (zh) 基于手势的操控方法及终端设备
US20120229509A1 (en) System and method for user interaction
CN109496293B (zh) 扩展内容显示方法、装置、系统及存储介质
KR20110056664A (ko) 이동통신 단말기에서 영상 통화 방법 및 장치
WO2022188305A1 (zh) 信息展示方法及装置、电子设备、存储介质及计算机程序
WO2012119371A1 (zh) 一种用户交互系统和方法
CN110855893A (zh) 一种视频拍摄的方法及电子设备
US11308694B2 (en) Image processing apparatus and image processing method
EP3641280A1 (en) Unlocking of a mobile terminal by face-recognition of a slidable camera
CN105631804A (zh) 图片处理方法及装置
CN106557672A (zh) 头戴式显示器的解锁控制方法及装置
KR101537625B1 (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant