KR101189052B1 - 영상통화 중 감정 전달 시스템 및 방법 - Google Patents

영상통화 중 감정 전달 시스템 및 방법 Download PDF

Info

Publication number
KR101189052B1
KR101189052B1 KR1020090075613A KR20090075613A KR101189052B1 KR 101189052 B1 KR101189052 B1 KR 101189052B1 KR 1020090075613 A KR1020090075613 A KR 1020090075613A KR 20090075613 A KR20090075613 A KR 20090075613A KR 101189052 B1 KR101189052 B1 KR 101189052B1
Authority
KR
South Korea
Prior art keywords
avatar
user
terminal
video call
gesture
Prior art date
Application number
KR1020090075613A
Other languages
English (en)
Other versions
KR20110018026A (ko
Inventor
홍상우
박명순
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090075613A priority Critical patent/KR101189052B1/ko
Publication of KR20110018026A publication Critical patent/KR20110018026A/ko
Application granted granted Critical
Publication of KR101189052B1 publication Critical patent/KR101189052B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/10—Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016—Telecontrol
    • H04M2203/1025—Telecontrol of avatars
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 영상통화 중 감정 전달 시스템 및 방법에 관한 것으로, 영상통화 중 사용자가 특정 제스처를 취하게 되면 상대방 단말기로 특정 제스처에 대응하는 아바타를 전송하여 사용자의 감정상태를 상대방에게 전달하기 위한 것이다. 본 발명에 따르면, 통신망을 매개로 상대방 단말기와 영상통화 중인 사용자 단말기가 사용자 단말기의 사용자가 특정 제스처를 취하는 지를 모니터링한다. 모니터링 중 사용자가 특정 제스처를 취하면, 사용자 단말기가 특정 제스처에 대응하는 아바타를 저장부에서 추출한다. 그리고 사용자 단말기가 추출한 아바타를 포함하는 영상통화 트래픽을 통신망을 통하여 상대방 단말기로 전송한다. 이때 상대방 단말기는 수신한 아바타를 포함한 사용자 영상을 화면에 표시하기 때문에, 상대방은 화면에 표시된 아바타를 통하여 사용자의 감정상태를 쉽게 알 수 있다.
제스처, 감정, 감성, 아바타, 영상통화

Description

영상통화 중 감정 전달 시스템 및 방법{System and method for delivering feeling during video call}
본 발명은 영상통화기술에 관한 것으로, 더욱 상세하게는 영상통화 중 사용자가 특정 제스처를 취하게 되면 상대방 단말기로 특정 제스처에 대응하는 아바타를 전송하여 사용자의 감정상태를 상대방에게 전달하는 영상통화 중 감정 전달 시스템 및 방법에 관한 것이다.
음성통화 위주의 통화패턴에서 고속정보통신이 현실화되면서 통신단말기를 통한 영상통화기술이 주목을 받고 있다. 또한 영상통화가 가능한 통신단말기(이하 '영상통화 단말기'라 함)의 보급이 확대되면서 영상통화의 빈도수가 날로 증가하고 있는 추세이다.
영상통화 단말기는 영상통화 중 상대방의 영상을 화면에 표시하고, 상대방의 음성을 출력하기 때문에, 단순히 음성만으로 통화를 하는 것에 비해서 영상통화자 간에 서로의 감정상태를 쉽게 교환할 수 있다.
하지만 여전히 영상통화 중 자신의 감정상태를 표정이나 목소리만으로 상대방에게 전달해야 하므로, 자신의 다양한 감정상태를 정확히 영상통화 단말기를 통 하여 상대방에게 전달하는 데는 한계가 있다. 그리고 현재의 영상통화는 단순히 상대방의 영상을 보면서 통화를 수행하는 데 그치고 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대하는 데도 한계가 있다.
따라서 본 발명의 목적은 영상통화를 통하여 자신의 다양한 감정상태를 정확히 상대방에게 전달할 수 있는 영상통화 중 감정 전달 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 영상통화자의 흥미를 유발시켜 영상통화의 사용을 확대할 수 있는 영상통화 중 감정 전달 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 영상통화 중 사용자가 특정 제스처를 취하게 되면 상대방 단말기로 특정 제스처에 대응하는 아바타를 전송하여 사용자의 감정상태를 상대방에게 전달하는 영상통화 중 감정 전달 시스템 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 통신망 및 아바타 제공서버를 포함하여 구성되는 제스처 인식을 통한 영상통화 중 감정 전달 시스템을 제공한다. 상기 통신망은 영상통화 중인 발신 단말기 또는 착신 단말기로부터 아바타 제공 요청 신호를 수신하면, 아바타 제공서버와 상기 발신 단말기 간의 세션 및 상기 아바타 제공서버와 상기 착신 단말기 간의 세션을 설정한다. 상기 아바타 제공서버는 상기 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하고, 상기 수신한 영상데이터를 분석하여 상기 사용자가 특정 제스처를 취하는 지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면 상기 특정 제스처에 대응하는 아바타를 데이터베이스부에서 추출하고, 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송한다.
본 발명은 또한, 통신망 및 아바타 제공서버를 포함하여 구성되는 제스처 인식을 통한 영상통화 중 감정 전달 시스템을 제공한다. 상기 통신망은 영상통화 중인 발신 단말기 또는 착신 단말기로부터 아바타 제공 요청 신호를 수신하면, 아바타 제공서버와 상기 발신 단말기 간의 세션 및 상기 아바타 제공서버와 상기 착신 단말기 간의 세션을 설정한다. 상기 아바타 제공서버는 상기 아바타 제공 요청 신호를 발신한 단말기로부터 촬영된 사용자의 영상데이터를 수신하고, 상기 수신한 영상데이터를 분석하여 상기 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적하고, 상기 사용자가 설정한 아바타를 데이터베이스부에서 호출하고, 상기 호출한 아바타를 상기 추적한 특정영역에 대응되게 변형하고, 상기 변형된 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송한다.
본 발명에 따른 감정 전달 시스템에 있어서, 상기 통신망은 상기 발신 단말기로부터 발신된 영상 호를 수신하면 상기 발신 단말기와 착신 단말기 간의 영상 호 경로를 설정하고, 상기 아바타 제공 요청 신호가 수신되면 상기 영상 호 경로를 해제하고 상기 아바타 제공서버와 발신 단말기 간의 세션 및 상기 아바타 제공서버와 상기 착신 단말기 간의 세션을 설정한다.
본 발명은 또한, 송수신부, 데이터베이스부 및 제어부를 포함하여 구성되는 제스처 인식을 통한 영상통화 중 감정 전달 시스템의 아바타 제공서버를 제공한다. 상기 송수신부는 통신망, 발신 단말기 및 착신 단말기와 통신을 수행한다. 상기 데이터베이스부는 상기 발신 단말기 또는 착신 단말기 사용자의 특정 제스처에 대응하는 아바타를 저장한다. 그리고 상기 제어부는 영상통화 중인 상기 발신 단말기 또는 착신 단말기의 아바타 제공 요청 신호에 따라 상기 통신망에 의해 상기 발신 단말기 및 착신 단말기와 각각 세션을 설정하고, 상기 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하고, 상기 수신한 영상데이터를 분석하여 상기 사용자가 특정 제스처를 취하는 지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 특정 제스처에 대응하는 아바타를 상기 데이터베이스부에서 추출하고, 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송한다.
본 발명은 또한, 송수신부, 데이터베이스부 및 제어부를 포함하여 구성되는 제스처 인식을 통한 영상통화 중 감정 전달 시스템의 아바타 제공서버를 제공한다. 상기 송수신부는 통신망, 발신 단말기 및 착신 단말기와 통신을 수행한다. 상기 데이터베이스부는 상기 발신 단말기 또는 착신 단말기 사용자가 설정한 아바타를 저장한다. 그리고 상기 제어부는 영상통화 중인 상기 발신 단말기 또는 착신 단말기의 아바타 제공 요청 신호에 따라 상기 통신망에 의해 상기 발신 단말기 및 착신 단말기와 각각 세션을 설정하고, 상기 아바타 제공 요청 신호를 발신한 단말기로부터 촬영된 사용자의 영상데이터를 수신하고, 상기 수신한 영상데이터를 분석하여 상기 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적하고, 상기 사용자가 설정한 아바타를 상기 데이터베이스부에서 호출하고, 상기 호출한 아바타를 상기 추적한 특정영역에 대응되게 변형하고, 상기 변형된 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송한다.
본 발명은 또한, 통신부, 카메라부, 저장부 및 단말제어부를 포함하여 구성되는 제스처 인식을 통한 영상통화 중 감정 전달 시스템의 영상통화 단말기를 제공한다. 상기 통신부는 통신망을 매개로 상대방 단말기와 영상통화를 수행한다. 상기 카메라부는 영상통화시 사용자를 촬영한다. 상기 저장부는 사용자의 특정 제스처에 대응하는 아바타를 저장한다. 그리고 상기 단말제어부는 상기 통신부를 통한 영상통화 중 사용자가 특정 제스처를 취하는 지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 특정 제스처에 대응하는 아바타를 상기 저장부에서 추출하고, 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상기 통신망을 통하여 상기 상대방 단말기로 전송한다.
본 발명은 또한, 통신부, 카메라부, 저장부 및 단말제어부를 포함하여 구성되는 제스처 인식을 통한 영상통화 중 감정 전달 시스템의 영상통화 단말기를 제공한다. 상기 통신부는 통신망을 매개로 상대방 단말기와 영상통화를 수행한다. 상기 카메라부는 영상통화시 사용자를 촬영한다. 상기 저장부는 사용자가 설정한 아바타를 저장한다. 그리고 상기 단말제어부는 상기 통신부를 통한 영상통화 중 촬영된 사용자의 영상데이터를 분석하여 상기 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적하고, 상기 사용자가 설정한 아바타를 상기 저장부에서 호출하고, 상 기 호출한 아바타를 상기 추적한 특정영역에 대응되게 변형하고, 상기 변형된 아바타를 포함하는 영상통화 트래픽을 상기 통신망을 통하여 상기 상대방 단말기로 전송한다.
본 발명은 또한, 아바타 제공서버가 영상통화 중인 발신 단말기 또는 착신 단말기의 아바타 제공 요청 신호에 따라 통신망에 의해 상기 발신 단말기 및 착신 단말기와 각각 세션을 설정하는 세션 설정 단계, 상기 아바타 제공서버가 상기 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하는 수신 단계, 상기 아바타 제공서버가 상기 수신한 영상데이터를 분석하여 상기 사용자가 특정 제스처를 취하는 지를 모니터링하는 모니터링 단계, 상기 아바타 제공서버가 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 특정 제스처에 대응하는 아바타를 데이터베이스부에서 추출하는 추출 단계, 상기 아바타 제공서버가 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송하는 전송 단계를 포함하는 제스처 인식을 통한 영상통화 중 감정 전달 방법을 제공한다.
본 발명은 또한, 아바타 제공서버가 영상통화 중인 발신 단말기 또는 착신 단말기의 아바타 제공 요청 신호에 따라 통신망에 의해 상기 발신 단말기 및 착신 단말기와 세션을 설정하는 세션 설정 단계, 상기 아바타 제공서버가 상기 아바타 제공 요청 신호를 발신한 단말기로부터 촬영된 사용자의 영상데이터를 수신하는 수신 단계, 상기 아바타 제공서버가 상기 수신한 영상데이터를 분석하여 상기 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적하는 추적 단계, 상기 아바타 제공서버가 상기 사용자가 설정한 아바타를 데이터베이스부에서 호출하고, 상기 호 출한 아바타를 상기 추적한 특정영역에 대응되게 변형하는 변형 단계, 상기 아바타 제공서버가 상기 변형된 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송하는 전송 단계를 포함하는 제스처 인식을 통한 영상통화 중 감정 전달 방법을 제공한다.
본 발명은 또한, 통신망을 매개로 상대방 단말기와 영상통화 중인 사용자 단말기가 상기 사용자 단말기의 사용자가 특정 제스처를 취하는 지를 모니터링하는 모니터링 단계, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 사용자 단말기가 상기 특정 제스처에 대응하는 아바타를 저장부에서 추출하는 추출 단계, 상기 사용자 단말기가 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상기 통신망을 통하여 상기 상대방 단말기로 전송하는 전송 단계를 포함하는 제스처 인식을 통한 영상통화 중 감정 전달 방법을 제공한다.
그리고 본 발명은 또한, 통신망을 매개로 상대방 단말기와 영상통화 중인 사용자 단말기가 촬영한 영상데이터에서 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적하는 추적 단계, 상기 사용자 단말기가 저장부에서 사용자가 설정한 아바타를 호출하고, 상기 호출한 아바타를 상기 추적한 특정영역에 대응되게 변형하는 변형 단계, 상기 사용자 단말기가 상기 변형된 아바타를 포함하는 영상통화 트래픽을 상기 통신망을 통하여 상기 상대방 단말기로 전송하는 전송 단계를 포함하는 제스처 인식을 통한 영상통화 중 감정 전달 방법을 제공한다.
본 발명에 따르면, 영상통화 중 사용자가 특정 제스처를 취하게 되면 상대방 단말기로 특정 제스처에 대응하는 아바타를 전송하여 사용자의 감정상태를 상대방에게 전달할 수 있다. 즉 사용자는 자신 영상 및 음성 뿐만 아니라 아바타를 이용하여 자신의 감정상태를 상대방에게 효과적으로 전달할 수 있다.
본 발명에 따른 영상통화 단말기는 사용자의 특정 제스처에 대응하는 아바타를 상대방 단말기로 전송하면서 영상통화를 수행할 수 있고, 사용자는 영상통화시 사용할 아바타를 자신이 직접 설정하여 사용할 수 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있다. 즉 사용자는 영상통화 단말기를 통하여 자신의 적어도 하나의 특정 제스처에 대응하는 아바타의 모습이나 행동 방식을 직접 설정할 수 있기 때문에, 사용자의 개성을 추구하면서 보다 흥미롭게 영상통화를 사용할 수 있는 환경을 제공할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)에 대해서 도 1 및 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 1은 본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)을 보여주는 블록도이다. 도 2는 도 1의 발신 단말기(20)의 구성을 보여주는 블록도이다.
제1 실시예에 따른 영상통화 중 감정 전달 시스템(100; 이하 '감정 전달 시스템'이라 함)은 영상통화 중 사용자가 취한 특정 제스처에 대응하는 아바타를 출 력하여 상대방에게 자신의 감정상태를 전달한다. 즉 영상통화 중 사용자가 취하는 얼굴표정, 손동작, 머리동작 등과 같은 특정 제스처는 사용자의 감정상태와 관련되기 때문에, 제1 실시예에 따른 감정 전달 시스템(100)은 영상통화 중 사용자가 특정 제스처를 취하면 특정 제스처에 대응하는 사용자의 감정상태를 표현할 수 있는 아바타를 상대방 단말기의 화면에 출력시킴으로써 상대방에게 자신의 감정상태를 전달할 수 있다.
제1 실시예에 감정 전달 시스템(100)은 통신망(10)을 매개로 연결되어 영상통화를 수행하는 발신 단말기(20) 및 착신 단말기(40)를 포함하여 구성된다.
통신망(10)은 발신 단말기(20)와 착신 단말기(40) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 통신망(10)은 IP를 통하여 대용량 데이터의 송수신 서비스 및 끊김없는 데이터 서비스를 제공하는 IP망으로, IP를 기반으로 서로 다른 망을 통합한 IP망 구조인 ALL-IP망일 수 있다. 또한 통신망(10)은 유선통신망, 이동통신망, WiBro(Wireless Broadband)망, HSDPA(High-Speed Downlink Packet Access)망, 위성통신망 중에 하나일 수 있다.
통신망(10)은 호제어기(14)와 위치등록기(16)를 포함하여 구성된다.
호제어기(14)는 호 및 세션처리에 관련된 기능을 담당하는 부분으로서, CSCF(Call State Control Function) 또는 MSC(Mobile Switching Center) 중에 하나일 수 있다. 특히 CSCF로 구현된 호제어기(14)는 인입호에 대한 게이트웨이로서의 기능, 호 제어 기능, SPD(Serving Profile Database) 기능, 주소 처리 기능 등을 수행한다. 특히 호제어기(14)는 발신 단말기(20) 또는 착신 단말기(40)의 요청에 따라 아바타를 포함한 영상통화 트래픽을 상대방 단말기로 전송한다.
위치등록기(16)는 가입자의 마스터 데이터베이스로서, 가입자와 관련된 서비스의 마스터 목록을 유지하거나 가입자의 위치정보에 대한 관리를 수행함으로써 엑세스 수단을 추적하는 역할을 담당한다. 위치등록기(16)는 가입자가 가입한 부가서비스 가입정보를 저장한다. 위치등록기(16)로는 HLR(Home Location Register) 또는 All-IP망에서 가입자 정보 관리를 수행하는 HSS(Home Subscriber Server) 중에 하나일 수 있다.
그리고 발신 단말기(20)와 착신 단말기(40)는 통신망(10)을 매개로 서로 간에 영상통화를 수행한다. 발신 단말기(20) 또는 착신 단말기(40)로부터 아바타 제공 요청 신호가 입력되면, 아바타 제공 요청 신호를 발신한 단말기는 상대방 단말기로 사용자가 취한 특정 제스처에 대응하는 아바타를 영상통화 트래픽에 실어서 전송한다. 발신 단말기(20)와 착신 단말기(40)는 통신망(10)을 통하여 영상통화가 가능한 유무선 통신단말기로서, 이동통신단말기, 유선통신단말기, 인터넷전화기 등을 포함한다. 이때 상대방 단말기는 수신한 아바타를 포함한 사용자 영상을 표시한다. 따라서 상대방은 수신한 아바타를 통하여 사용자의 감정상태를 알 수 있다.
제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)의 발신 단말기(20) 및 착신 단말기(40)는 동일한 구성을 갖기 때문에, 도 2에 도시된 발신 단말기(20)의 구성을 중심으로 설명하면 다음과 같다. 발신 단말기(20)는 통신부(21), 입력부(22), 저장부(23), 카메라부(24), 표시부(25), 음원처리부(26) 및 단말제어부(27)를 포함한다.
통신부(21)는 통신망(10)을 매개로 착신 단말기(40)와의 영상통화를 위한 데이터를 송수신한다. 통신부(21)는 단말제어부(27)의 제어에 따라 아바타가 포함된 영상통화 트래픽을 착신 단말기(40)로 전송한다.
입력부(22)는 발신 단말기(20)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 단말제어부(27)에 전달한다. 사용자는 입력부(22)를 통해 영상통화 요청 신호와, 영상통화 중 아바타 제공 요청 신호를 입력할 수 있다. 입력부(22)로는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.
저장부(23)는 발신 단말기(20)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 저장부(23)는 영상통화 중 아바타 제공 요청 신호에 따른 착신 단말기(40)로 아바타를 전송하기 위한 실행프로그램을 저장한다. 저장부(23)는 사용자의 특정 제스처에 대응하는 아바타 또는 사용자가 설정한 아바타를 저장한다.
이때 특정 제스처는 사용자가 취하는 제스처 중 사용자의 감정상태와 관련된 제스처이다. 예컨대 사용자가 고개를 좌우로 흔드는 제스처를 취하는 경우, 거부, 싫음 등과 같은 부정적인 감정상태를 표현하고자 할 때 취하는 제스처이다. 사용자가 고개를 상하로 흔드는 제스처를 취하는 경우, 승락, 좋음 등과 같은 긍정적인 감정상태를 표현하고자 할 때 취하는 제스처이다.
아바타는 사용자(객체)가 취한 특정 제스처에 대응하는 설정된 행동 방식으 로 동작할 수 있다. 예컨대, 사용자가 고개를 좌우로 흔드는 제스처를 취하면, 아바타는 사용자의 부정적인 감정상태를 설정된 표정이나 행동을 통하여 표현한다. 또는 아바타는 사용자가 취한 특정 제스처에 대응하는 행동 방식으로 동작할 수 있다. 예컨대, 사용자가 고개를 좌우로 흔들면, 아바타 또한 사용자의 제스처와 동일하게 고개를 좌우로 흔드는 동작을 수행한다.
카메라부(24)는 통신부(21)를 통해 전송하기 위한 사용자(발신자)의 영상데이터를 획득한다. 즉 카메라부(24)는 입력부(22)를 통한 영상통화의 승낙에 따라 사용자의 영상을 촬영하여 영상데이터를 획득한다. 이때 카메라부(24)는 이미지 센서, 신호처리부 및 영상처리부를 포함하여 구성될 수 있다. 이미지 센서는 촬영한 영상의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처리하여 영상데이터를 획득하며, 획득된 영상데이터를 통신부(21)나 표시부(25)를 통해 출력하거나 저장부(23)에 저장한다. 또한 영상처리부는 통신부(21)를 통해 입력되는 상대방(착신자)의 영상데이터를 처리하여 표시부(25)를 통해 출력하거나 저장부(23)에 저장한다.
표시부(25)는 발신 단말기(20)에서 실행되는 각종 기능 메뉴를 비롯하여 저장부(23)에 저장된 정보를 표시한다. 표시부(25)는 단말제어부(27)의 제어에 따라 상대방의 영상 또는 아바타를 표시한다. 표시부(25)로는 LCD(Liquid Crystal Display)나 터치 스크린이 사용될 수 있다. 터치 스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한다.
음원처리부(26)는 단말제어부(27)의 제어에 따라 마이크(MIC)로 입력되는 음성을 디저털화하여 음성정보를 획득하고, 통신부(21)를 통해 수신된 음성정보를 복조하여 스피커(SPK)를 통해 출력한다.
그리고 단말제어부(27)는 발신 단말기(20)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)이다. 특히 단말제어부(27)는 영상통화 중 사용자의 제스처 인식을 통한 착신 단말기(40)로의 아바타 전송을 제어한다.
여기서 단말제어부(27)는 영상통화 중 사용자의 제스처 인식을 통하여 아바타를 전송할 때 아래와 같은 방식으로 전송할 수 있다.
먼저 단말제어부(27)는 통신부(21)를 통한 영상통화 중 사용자가 특정 제스처를 위하는 지를 모니터링한다. 단말제어부(27)는 모니터링 중 사용자가 특정 제스처를 취하면, 특정 제스처에 대응하는 아바타를 저장부(23)에서 추출하고, 추출한 아바타를 포함하는 영상통화 트래픽을 통신망(10)을 통하여 착신 단말기(40)로 전송한다.
이때 단말제어부(27)는 다음과 같이 모니터링을 수행할 수 있다. 즉 단말제어부(27)는 영상통화 중 촬영한 영상에서 사용자 영상을 추출한다. 단말제어부(27)는 추출된 사용자 영상에서 사용자가 취한 제스처를 인식한다. 그리고 단말제어부(27)는 인식한 제스처가 저장부(23)에 저장된 특정 제스처에 포함되는 지를 판단한다. 예컨대, 단말제어부(27)는 촬영한 영상의 배경에서 사용자 영상(객체)을 분리하기 위해서, PCA(principal component analysis)를 통해 adaboost로 객체의 형태를 추출할 수 있다.
아바타는 사용자가 취한 특정 제스처에 대응하는 설정된 행동 방식으로 동작한다. 특정 제스처에 대응되게 서로 다른 아바타가 설정될 수도 있고, 동일한 아바타에 대해서 행동 방식을 다르게 설정할 수도 있다.
다음으로 단말제어부(27)는 통신부(12)를 통한 영상통화 중 촬영된 사용자의 영상데이터를 분석하여 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적한다. 단말제어부(27)는 추적한 관심영역에 대응되게 아바타를 변형한다. 그리고 단말제어부(27)는 변형된 아바타를 포함하는 영상통화 트래픽을 통신망(10)을 통하여 착신 단말기(40)로 전송한다. 즉 아바타는 단말제어부(27)의 제어에 따라 사용자가 취한 제스처에 대응하는 행동 방식으로 동작한다.
이때 단말제어부(27)는 다음과 같이 관심영역을 추적할 수 있다. 즉 단말제어부(27)는 영상통화 중 촬영한 영상에서 사용자 영상을 추출한다. 단말제어부(27)는 추출된 사용자 영상에서 관심영역을 추출한다. 그리고 단말제어부(27)는 추출된 관심영역의 변화를 추적한다.
관심영역은 영상통화 중인 사용자의 감정상태를 상대방에게 전달할 수 있는 사용자 영상에서 선택될 수 있으며, 예컨대 사용자의 얼굴, 양 손, 양 발 중에 적어도 하나를 포함한다. 관심영역이 사용자의 얼굴인 경우, 단말제어부(27)는 추출된 사용자 얼굴에서 표정 변화를 감지하고, 감지한 표정 변화에 대응되게 아바타 얼굴 표정을 변형할 수 있다. 단말제어부(27)는 사용자의 얼굴 표정 변화를 눈, 눈썹, 입, 코 등의 위치변화로부터 감지할 수 있다.
그리고 착신 단말기(40)는 수신한 아바타를 포함한 사용자 영상을 표시한다. 따라서 착신 단말기(40) 사용자는 수신한 아바타를 통하여 발신 단말기(20) 사용자의 감정상태를 알 수 있다.
한편 상기한 설명에서는 발신 단말기(20)가 착신 단말기(40)로 아바타를 포함한 사용자 영상을 전송하는 예를 개시하였지만, 발신 단말기(20) 또는 착신 단말기(40)에서도 아바타를 포함한 사용자 영상을 상대방 단말기로 전송할 수 있다.
이와 같이 제1 실시예에 따른 감정 전달 시스템(100)은 영상통화 중 사용자가 특정 제스처를 취하게 되면 상대방 단말기로 특정 제스처에 대응하는 아바타를 전송하여 사용자의 감정상태를 상대방에게 전달할 수 있다. 즉 사용자는 자신 영상 및 음성 뿐만 아니라 아바타를 이용하여 자신의 감정상태를 상대방에게 효과적으로 전달할 수 있다.
그리고 영상통화 단말기(20,40)는 사용자의 특정 제스처에 대응하는 아바타를 상대방 단말기로 전송하면서 영상통화를 수행할 수 있고, 사용자는 영상통화시 사용할 아바타를 자신이 직접 설정하여 사용할 수 있기 때문에, 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있다. 즉 사용자는 영상통화 단말기(20,40)를 통하여 자신의 적어도 하나의 특정 제스처에 대응하는 아바타의 모습이나 행동 방식을 직접 설정할 수 있기 때문에, 사용자의 개성을 추구하면서 보다 흥미롭게 영상통화를 사용할 수 있는 환경을 제공할 수 있다.
제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)의 감정 전달 방법의 일 예에 대해서 도 1 내지 도 3을 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 방법의 일 예에 따른 흐름도이다.
먼저 S51단계에서 발신 단말기(20)가 영상 호를 발신하면, S53단계에서 통신망(10)은 이를 수신하여 착신 단말기(40)로 영상 호 착신을 요청한다. 즉, 발신 단말기(20)가 영상 호를 발신하면, 호제어기(14)는 위치등록기(16)로 발신 및 착신 단말기(20,40)의 가입자 정보(위치 정보 및 부가 서비스 정보)를 요청한다. 호제어기(14)는 수신한 가입자 정보를 토대로 라우팅 정보를 획득한다. 호제어기(14)는 획득한 라우팅 정보를 이용하여 착신 단말기(40)로 영상 호 착신을 요청한다.
다음으로 S55단계에서 착신 단말기(40)가 영상 호에 대한 수락을 통신망(10)으로 전송하면, S57단계에서 통신망(10)은 발신 단말기(20)와 착신 단말기(40) 간에 영상통화를 위한 영상 호 경로를 설정한다. 즉 호제어기(14)는 착신 단말기(40)를 페이징하여 착신을 요청하고, 착신 단말기(40)가 착신 요청에 대하여 호를 수락하면, 호제어기(14)는 발신 단말기(20)와 착신 단말기(40) 간에 영상 호 경로를 설정한다.
이와 같이 발신 단말기(20)와 착신 단말기(40) 간에 영상 호 경로가 설정된 후, 설정된 영상 호 경로를 통해 발신 단말기(20)와 착신 단말기(40)는 영상통화를 수행하게 된다.
다음으로 S59단계에서 영상통화 중 발신 단말기(20)가 사용자로부터 아바타 제공 요청 신호가 입력되는 지의 여부를 판단한다. 이때 사용자는 입력부(22)를 통하여 아바타 제공 요청 신호를 입력할 수 있다.
S59단계의 판단 결과 입력되지 않은 경우, 발신 단말기(20)는 S57단계에 따른 영상통화를 계속적으로 수행한다.
S59단계의 판단 결과 입력된 경우, S61단계 내지 S65단계에서 발신 단말기(20)는 발신 단말기(20)의 사용자가 특정 제스처를 취하는 지의 여부를 모니터링한다. 모니터링 단계를 구체적으로 설명하면 다음과 같다.
S61단계에서 발신 단말기(20)는 촬영한 영상에서 사용자 영상을 추출한다. 이어서 S63단계에서 발신 단말기(20)는 추출한 사용자 영상에서 사용자가 취한 제스처를 인식한다. 이때 발신 단말기(20)는 추출한 사용자 영상에서 다음과 같은 방식으로 사용자가 취한 제스처를 인식할 수 있다. 즉 발신 단말기(20)는 추출한 사용자 영상에서 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적한다. 발신 단말기(20)는 추적한 관심영역을 이용하여 사용자의 제스처를 인식한다.
다음으로 S65단계에서 발신 단말기(20)는 인식한 제스처가 저장부(23)에 저장된 특정 제스처인지의 여부를 판단한다. 예컨대 발신 단말기(20)는 인식한 제스처에 포함된 관심영역과 저장된 특정 제스처의 관심영역을 비교하여 일치하는 특정 제스처가 있는 지의 여부로 S65단계를 수행할 수 있다.
S65단계의 판단 결과 저장된 특정 제스처가 아닌 경우, 발신 단말기(20)는 S61단계부터 다시 수행한다.
S65단계의 판단 결과 저장된 특정 제스처인 경우, S67단계에서 발신 단말기(20)는 특정 제스처에 대응하는 아바타를 저장부(23)에서 추출한다.
다음으로 S69단계에서 발신 단말기(20)는 추출한 아바타를 포함하는 영상통 화 트래픽을 통신망(10)으로 전송한다. 이어서 S71단계에서 통신망(10)은 수신한 아바타를 포함하는 영상통화 트래픽을 착신 단말기(40)로 전달한다.
그리고 S73단계에서 착신 단말기(40)는 수신한 아바타가 포함된 사용자 영상을 화면에 표시한다. 예컨대 아바타는 화면에 표시될 때, 사용자 영상에 중첩되어 표시되거나 PIP(Picture In Picture) 형태로 표시될 수 있다. 따라서 착신 단말기(40)의 사용자는 출력되는 아바타를 통하여 발신 단말기(20) 사용자의 감정상태를 쉽게 알 수 있다.
한편 상기한 설명에서는 발신 단말기(20)가 착신 단말기(40)로 아바타를 포함한 사용자 영상을 전송하는 예를 개시하였지만, 발신 단말기(20) 또는 착신 단말기(40)에서도 아바타를 포함한 사용자 영상을 상대방 단말기로 전송할 수 있다.
제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)의 감정 전달 방법의 다른 예에 대해서 도 1, 도 2 및 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 4는 본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 방법의 다른 예에 따른 흐름도이다.
먼저 S51단계 내지 S61단계까지는 도 3의 감정 전달 방법에 따른 일 예와 동일하게 진행되기 때문에 상세한 설명은 생략하고, S61단계에 따른 촬영한 영상에서 사용자 영상을 추출하는 단계 이후부터 설명하면 다음과 같다.
다음으로 S62단계에서 발신 단말기(20)는 추출한 사용자 영상에서 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적한다.
다음으로 S64단계에서 발신 단말기(20)는 추적한 관심영역에 대응되게 아바 타를 변형한다. 즉 발신 단말기(20)는 저장부(23)로부터 사용자가 설정한 아바타를 호출한다. 이어서 발신 단말기(20)는 추적한 관심영역에 대응되는 아바타의 관심영역을 추적한 관심영역에 대응되게 변형한다. 예컨대, 관심영역이 사용자의 얼굴인 경우, 발신 단말기(20)는 추출된 사용자 얼굴에서 표정 변화를 감지하고, 감지한 표정 변화에 대응되게 아바타 얼굴 표정을 변형할 수 있다. 이때 발신 단말기(20)는 사용자의 얼굴 표정 변화를 눈, 눈썹, 입, 코 등의 위치변화로부터 감지할 수 있다.
여기서 아바타는 발신 단말기(20)의 사용자가 설정한 아바타이다. 사용자는 착신 단말기(40)의 사용자에 따라서 아바타를 다르게 설정할 수도 있다.
다음으로 S66단계에서 발신 단말기(20)는 변형한 아바타를 포함하는 영상통화 트래픽을 통신망(10)으로 전송한다. 이어서 S68단계에서 통신망(10)은 수신한 아바타를 포함하는 영상통화 트래픽을 착신 단말기(40)로 전달한다.
그리고 S70단계에서 착신 단말기(40)는 수신한 아바타가 포함된 사용자 영상을 화면에 표시한다. 따라서 착신 단말기(40)의 사용자는 수신한 아바타를 통하여 발신 단말기(20) 사용자의 감정상태를 쉽게 알 수 있다.
한편 상기한 설명에서는 발신 단말기(20)가 착신 단말기(40)로 아바타를 포함한 사용자 영상을 전송하는 예를 개시하였지만, 발신 단말기(20) 또는 착신 단말기(40)에서도 아바타를 포함한 사용자 영상을 상대방 단말기로 전송할 수 있다.
그리고 제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)은 아바타 제공 요청 신호를 입력하는 사용자의 요청에 따라 상대방 단말기로 아바타를 전송하 는 예를 개시하였지만 이에 한정되는 것은 아니다. 예컨대 영상통화 단말기(20,40)는 사용자의 설정에 따라 사용자가 아바타 제공 요청 신호를 입력하지 않더라도 영상통화 시 사용자의 제스처에 따른 아바타를 추출하여 상대방 단말기로 전송할 수도 있다.
한편 제1 실시예에 따른 영상통화 중 감정 전달 시스템(100)은 발신 단말기(20) 또는 착신 단말기(40)에서 상대방 단말기로 아바타를 전송하는 예를 개시하였지만 이에 한정되는 것은 아니다. 즉 도 5에 도시된 바와 같이 발신 단말기(20) 또는 착신 단말기(40)의 요청에 따라 아바타 제공서버(30)를 통하여 아바타가 상대방 단말기로 전송될 수 있다.
본 발명의 제2 실시예에 따른 영상통화 중 감정 전달 시스템(200)은, 도 5에 도시된 바와 같이, 통신망(10)을 매개로 연결된 발신 단말기(20), 아바타 제공서버(30) 및 착신 단말기(40)를 포함하여 구성된다.
발신 단말기(20)와 착신 단말기(40)는 통신망(10)을 매개로 서로 간에 영상통화를 수행한다. 발신 단말기(20) 또는 착신 단말기(40)로부터 아바타 제공 요청 신호가 입력되면, 아바타 제공 요청 신호를 발신한 단말기는 아바타 제공 요청 신호를 통신망(10)을 통하여 아바타 제공서버(30)로 전송한다.
통신망(10)은 발신 단말기(20), 아바타 제공서버(30) 및 착신 단말기(40) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 특히 통신망(10)은 영상통화 중인 발신 단말기(20) 또는 착신 단말기(40)로부터 아바타 제공 요청 신호를 수신하면, 아바타 제공서버(30)와 발신 단말기(20) 간의 세션 및 아바타 제공서버(30)와 착신 단말기(40) 간의 세션을 설정한다. 즉 발신 단말기(20)로부터 영상 호를 수신하면, 통신망(10)은 발신 단말기(20)와 착신 단말기(30) 간의 영상통화를 위한 영상 호 경로를 설정한다. 통신망(10)이 영상통화 중 발신 단말기(20) 또는 착신 단말기(40)로부터 아바타 제공 요청 신호를 수신하면, 통신망(10)은 발신 단말기(20) 및 착신 단말기(40) 간의 설정된 영상 호 경로를 해제하고, 아바타 제공서버(30)와 발신 단말기(20) 간의 세션 및 아바타 제공서버(30)와 착신 단말기(40) 간의 세션을 설정한다.
그리고 아바타 제공서버(30)는 통신망(10)을 매개로 발신 단말기(20) 및 착신 단말기(30)와 통신을 수행한다. 아바타 제공서버(30)는 발신 단말기(20) 또는 착신 단말기(40)로부터 아바타 제공 요청 신호를 수신하면, 아바타 제공 요청 신호를 발신한 단말기의 사용자가 취한 특정 제스처에 대응하는 아바타를 영상통화 트래픽에 실어서 상대방 단말기로 전송한다. 이때 상대방 단말기는 수신한 아바타를 포함한 사용자 영상을 표시한다. 따라서 상대방은 수신한 아바타를 통하여 사용자의 감정상태를 알 수 있다.
특히 제2 실시예에 따른 아바타 제공서버(30)는 송수신부(31), 데이터베이스부(33) 및 제어부(35)를 포함하여 구성된다.
송수신부(31)는 통신망(10)을 매개로 발신 단말기(20) 및 착신 단말기(40)와 통신을 수행한다. 송수신부(31)는 제어부(35)의 제어에 따라 발신 단말기(20) 또는 착신 단말기(40)로부터 아바타 제공 요청 신호를 수신한다. 송수신부(31)는 제어부(35)의 제어에 따라 아바타 제공 요청 신호를 발신한 단말기의 사용자가 취한 특 정 제스처에 대응하는 아바타를 영상통화 트래픽에 실어서 상대방 단말기로 전송한다.
데이터베이스부(33)는 발신 단말기(20) 또는 착신 단말기(40)를 포함하는 영상통화 단말기의 특정 제스처에 대응하는 아바타를 저장한다. 또한 데이터베이스부(33)는 영상통화 단말기(20,40)의 사용자에 의해 설정된 아바타를 저장할 수 있다.
그리고 제어부(35)는 아바타 제공서버(30)의 전반적인 제어 동작을 수행한다. 특히 제어부(35)는 영상통화 중 사용자의 제스처 인식을 통한 상대방 단말로의 아바타 전송을 제어한다.
이때 제어부(35)는 영상통화 중 사용자의 제스처 인식을 통하여 아바타를 전송할 때 아래와 같은 방식으로 전송할 수 있다.
먼저 제어부(35)는 영상통화 중인 발신 단말기(20) 또는 착신 단말기(40)의 아바타 제공 요청 신호에 따라 통신망(10)에 의해 발신 단말기(20) 및 착신 단말기(40)와 각각 세션을 설정한다. 제어부(35)는 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하고, 사용자의 영상데이터를 분석하여 사용자가 특정 제스처를 취하는 지를 모니터링한다. 제어부(35)는 모니터링 중 사용자가 특정 제스처를 취하면, 특정 제스처에 대응하는 아바타를 데이터베이스부(33)에서 추출한다. 그리고 제어부(35)는 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송한다.
이때 아바타는 사용자가 취한 특정 제스처에 대응하는 설정된 행동 방식으로 동작한다. 특정 제스처에 대응되게 서로 다른 아바타가 설정될 수도 있고, 동일한 아바타에 대해서 행동 방식을 다르게 설정할 수도 있다.
다음으로 제어부(35)는 영상통화 중인 발신 단말기(20) 또는 착신 단말기(40)의 아바타 제공 요청 신호에 따라 통신망(10)에 의해 발신 단말기(20) 및 착신 단말기(40)와 각각 세션을 설정한다. 제어부(35)는 아바타 제공 요청 신호를 발신한 단말기로부터 촬영된 사용자의 영상데이터를 수신하고, 영상데이터를 분석하여 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적한다. 제어부(35)는 추적한 관심영역에 대응되게 아바타를 변형한다. 그리고 제어부(35)는 변형된 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송한다. 이때 제어부(35)는 사용자가 설정한 아바타를 데이터베이스부(33)에서 호출하며, 사용자가 취한 제스처에 대응하는 행동 방식으로 동작하도록 호출한 아바타를 변형한다.
이때 제어부(35)는 다음과 같이 관심영역을 추적할 수 있다. 즉 제어부(35)는 수신한 촬영된 영상에서 사용자 영상을 추출한다. 제어부(35)는 추출된 사용자 영상에서 관심영역을 추출한다. 그리고 제어부(35)는 추출된 관심영역의 변화를 추적한다.
관심영역은 영상통화 중인 사용자의 감정상태를 상대방에게 전달할 수는 사용자 영상에서 선택될 수 있으며, 예컨대 사용자의 얼굴, 양 손, 양 발 중에 적어도 하나를 포함한다.
그리고 착신 단말기(40)는 아바타 제공서버(30)로부터 수신한 아바타를 포함한 사용자 영상을 표시한다. 따라서 착신 단말기(40) 사용자는 수신한 아바타를 통 하여 발신 단말기(20) 사용자의 감정상태를 알 수 있다.
한편 상기한 설명에서는 아바타 제공서버(30)가 발신 단말기(20)가 요청한 아바타를 포함한 사용자 영상을 착신 단말기(40)로 전송하는 예를 개시하였지만, 발신 단말기(20) 또는 착신 단말기(40)가 요청한 아바타를 상대방 단말기로 전송할 수 있다.
제2 실시예에 따른 영상통화 중 감정 전달 시스템(200)의 감정 전달 방법의 일 예에 대해서 도 5 및 도 6을 참조하여 설명하면 다음과 같다. 여기서 도 6은 본 발명의 제2 실시예에 따른 영상통화 중 감정 전달 방법의 일 예에 따른 흐름도이다.
먼저 S151단계 내지 S157단계까지는 도 3의 감정 전달 방법에 따른 일 예의 S51단계 내지 S57단계와 동일하게 진행되기 때문에 상세한 설명은 생략하고, S157단계 다음에 수행되는 S159단계부터 설명하면 다음과 같다.
S159단계에서 영상통화 중 발신 단말기(20)가 사용자로부터 아바타 제공 요청 신호가 입력되는 지의 여부를 판단한다. 이때 사용자는 입력부(22)를 통하여 아바타 제공 요청 신호를 입력할 수 있다.
S159단계의 판단 결과 입력되지 않은 경우, 발신 단말기(20)는 S157단계에 따른 영상통화를 계속적으로 수행한다.
S159단계의 판단 결과 입력된 경우, S161단계 내지 S175단계에서 발신 단말기(20)의 사용자가 특정 제스처를 취하는 지의 여부를 모니터링하는 단계를 수행한다.
즉 S161단계에서 발신 단말기(20)는 아바타 제공 요청 신호를 통신망(10)으로 전송한다. S163단계에서 통신망(10)은 수신한 아바타 제공 요청 신호를 아바타 제공서버(30)로 전달한다. 동시에 S165단계 및 S167단계에서 통신망(10)은 아바타 제공서버(30)와 발신 단말기(20) 간의 세션 및 아바타 제공서버(30)와 착신 단말기(40) 간의 세션을 설정한다. 이때 통신망(10)은 S157단계에서 설정된 영상 호 경로를 해제한다. 발신 단말기(20)와 착신 단말기(40)는 각각 아바타 제공서버(30)와 세션이 설정된다.
다음으로 S169단계에서 발신 단말기(20)는 촬영된 영상데이터를 아바타 제공서버(30)로 전송한다.
다음으로 S171단계에서 아바타 제공서버(30)는 수신한 영상에서 사용자 영상을 추출한다. 이어서 S173단계에서 아바타 제공서버(30)는 추출한 사용자 영상에서 사용자가 취한 제스처를 인식한다.
이때 아바타 제공서버(30)는 추출한 사용자 영상에서 다음과 같은 방식으로 사용자가 취한 제스처를 인식할 수 있다. 즉 아바타 제공서버(30)는 추출한 사용자 영상에서 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적한다. 아바타 제공서버(30)는 추적한 관심영역을 이용하여 사용자의 제스처를 인식한다.
다음으로 S175단계에서 아바타 제공서버(30)는 인식한 제스처가 데이터베이스부(33)에 저장된 특정 제스처인지의 여부를 판단한다. 예컨대 아바타 제공서버(30)는 인식한 제스처에 포함된 관심영역과 저장된 특정 제스처의 관심영역을 비교하여 일치하는 특정 제스처가 있는 지의 여부로 S175단계를 수행할 수 있다.
S175단계의 판단 결과 저장된 특정 제스처가 아닌 경우, 아바타 제공서버(30)는 S171단계부터 다시 수행한다.
S175단계의 판단 결과 저장된 특정 제스처인 경우, S177단계에서 아바타 제공서버(30)는 특정 제스처에 대응하는 아바타를 데이터베이스부(33)에서 추출한다.
다음으로 S179단계에서 아바타 제공서버(30)는 추출한 아바타를 포함하는 영상통화 트래픽을 착신 단말기(40)로 전송한다.
그리고 S181단계에서 착신 단말기(40)는 수신한 아바타가 포함된 사용자 영상을 화면에 표시한다. 예컨대 아바타는 화면에 표시될 때, 사용자 영상에 중첩되어 표시되거나 PIP 형태로 표시될 수 있다. 따라서 착신 단말기(40)의 사용자는 출력되는 아바타를 통하여 발신 단말기(20) 사용자의 감정상태를 쉽게 알 수 있다. 한편 상기한 설명에서는 발신 단말기(20)의 요청에 따라 아바타 제공서버(30)가 아바타를 포함한 사용자 영상을 착신 단말기(40)로 전송하는 예를 개시하였지만, 발신 단말기(20) 또는 착신 단말기(40)의 요청에 따라 아바타 제공서버(30)가 아바타를 포함한 사용자 영상을 상대방 단말기로 전송할 수 있다.
제2 실시예에 따른 영상통화 중 감정 전달 시스템(200)의 감정 전달 방법의 다른 예에 대해서 도 5 및 도 7을 참조하여 설명하면 다음과 같다. 여기서 도 7은 본 발명의 제2 실시예에 따른 영상통화 중 감정 전달 방법의 다른 예에 따른 흐름도이다.
먼저 S151단계 내지 S171단계는 도 6의 감정 전달 방법에 따른 일 예와 동일하게 진행되기 때문에 상세한 설명은 생략하고, S171단계 다음에 수행되는 S172단 계부터 설명하면 다음과 같다.
다음으로 S172단계에서 아바타 제공서버(30)는 추출한 사용자 영상에서 사용자가 취하는 제스처에 따른 관심영역을 추출하여 추적한다.
다음으로 S174단계에서 아바타 제공서버(30)는 추적한 관심영역에 대응되게 아바타를 변형한다. 즉 아바타 제공서버(30)는 데이터베이스부(33)로부터 사용자에 의해 설정된 아바타를 호출한다. 이어서 아바타 제공서버(30)는 추적한 관심영역에 대응되는 아바타의 관심영역을 추적한 관심영역에 대응되게 변형한다. 예컨대, 관심영역이 사용자의 얼굴인 경우, 아바타 제공서버(30)는 추출된 사용자 얼굴에서 표정 변화를 감지하고, 감지한 표정 변화에 대응되게 아바타 얼굴 표정을 변형할 수 있다. 이때 아바타 제공서버(30)는 사용자의 얼굴 표정 변화를 눈, 눈썹, 입, 코 등의 위치변화로부터 감지할 수 있다.
여기서 아바타는 발신 단말기(20)의 사용자가 설정한 아바타이다. 사용자는 착신 단말기(40)의 사용자에 따라서 아바타를 다르게 설정할 수도 있다.
다음으로 S176단계에서 아바타 제공서버(30)는 변형한 아바타를 포함하는 영상통화 트래픽을 착신 단말기(40)로 전송한다.
그리고 S178단계에서 착신 단말기(40)는 수신한 아바타가 포함된 사용자 영상을 화면에 표시한다. 예컨대 아바타는 화면에 표시될 때, 사용자 영상에 중첩되어 표시되거나 PIP 형태로 표시될 수 있다. 따라서 착신 단말기(40)의 사용자는 출력되는 아바타를 통하여 발신 단말기(20) 사용자의 감정상태를 쉽게 알 수 있다.
한편 상기한 설명에서는 발신 단말기(20)의 요청에 따라 아바타 제공서 버(30)가 아바타를 포함한 사용자 영상을 착신 단말기(40)로 전송하는 예를 개시하였지만, 발신 단말기(20) 또는 착신 단말기(40)의 요청에 따라 아바타 제공서버가 아바타를 포함한 사용자 영상을 상대방 단말기로 전송할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 제스처 인식을 통한 영상통화 중 감정 전달 시스템 및 방법에 관한 것으로, 영상통화 중 사용자가 취하는 특정 제스처에 대응하는 아바타를 상대방 단말기로 전송하면서 영상통화를 수행할 수 있고, 사용자는 영상통화시 사용할 아바타를 자신이 직접 설정하여 사용할 수 있기 때문에 영상통화자의 다양한 요구를 충족시키면서 영상통화자의 흥미를 유발하여 영상통화의 사용을 확대할 수 있고, 또한 사용자는 영상통화 단말기를 통하여 자신의 적어도 하나의 특정 제스처에 대응하는 아바타의 모습이나 행동 방식을 직접 설정할 수 있기 때문에 사용자의 개성을 추구하면서 보다 흥미롭게 영상통화를 사용할 수 있는 환경을 제공한다.
도 1은 본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 시스템을 보여주는 블록도이다.
도 2는 도 1의 영상통화 단말기의 구성을 보여주는 블록도이다.
도 3은 본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 방법의 일 예에 따른 흐름도이다.
도 4는 본 발명의 제1 실시예에 따른 영상통화 중 감정 전달 방법의 다른 예에 따른 흐름도이다.
도 5는 본 발명의 제2 실시예에 따른 영상통화 중 감정 전달 시스템을 보여주는 블록도이다.
도 6은 본 발명의 제2 실시예에 따른 영상통화 중 감정 전달 방법의 일 예에 따른 흐름도이다.
도 7은 본 발명의 제2 실시예에 따른 영상통화 중 감정 전달 방법의 다른 예에 따른 흐름도이다.
* 도면의 주요 부분에 대한 설명 *
10 : 통신망
20 : 발신 단말기
30 : 아바타 제공서버
40 : 착신 단말기
100, 200 : 감정 전달 시스템

Claims (20)

  1. 영상통화 중인 발신 단말기 또는 착신 단말기로부터 아바타 제공 요청 신호를 수신하면, 아바타 제공서버와 상기 발신 단말기 간의 세션 및 상기 아바타 제공서버와 상기 착신 단말기 간의 세션을 설정하는 통신망;
    상기 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하고, 상기 수신한 영상데이터를 분석하여 상기 사용자가 특정 제스처를 취하는 지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면 상기 특정 제스처에 대응하는 아바타가 데이터베이스부에 존재하는 지 판단하고, 존재할 경우, 상기 데이터베이스부에서 상기 특정 제스처에 대응하는 아바타를 추출하고, 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송하는 상기 아바타 제공서버;
    를 포함하는 것을 특징으로 제스처 인식을 통한 영상통화 중 감정 전달 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 통신망은,
    상기 발신 단말기로부터 발신된 영상 호를 수신하면 상기 발신 단말기와 착신 단말기 간의 영상 호 경로를 설정하고, 상기 아바타 제공 요청 신호가 수신되면 상기 영상 호 경로를 해제하고 상기 아바타 제공서버와 발신 단말기 간의 세션 및 상기 아바타 제공서버와 상기 착신 단말기 간의 세션을 설정하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 시스템.
  4. 통신망, 발신 단말기 및 착신 단말기와 통신을 수행하는 송수신부;
    상기 발신 단말기 또는 착신 단말기 사용자의 특정 제스처에 대응하는 아바타를 저장하는 데이터베이스부;
    영상통화 중인 상기 발신 단말기 또는 착신 단말기의 아바타 제공 요청 신호에 따라 상기 통신망에 의해 상기 발신 단말기 및 착신 단말기와 각각 세션을 설정하고, 상기 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하고, 상기 수신한 영상데이터를 분석하여 상기 사용자가 특정 제스처를 취하는 지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 특정 제스처에 대응하는 아바타가 상기 데이터베이스부에 존재하는 지 판단하고, 존재할 경우, 상기 데이터베이스부에서 상기 특정 제스처에 대응하는 아바타를 추출하고, 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송하는 제어부;
    를 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 시스템의 아바타 제공서버.
  5. 삭제
  6. 통신망을 매개로 상대방 단말기와 영상통화를 수행하는 통신부;
    영상통화시 사용자를 촬영하는 카메라부;
    사용자의 특정 제스처에 대응하는 아바타를 저장하는 저장부;
    상기 통신부를 통한 영상통화 중 사용자가 특정 제스처를 취하는 지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 특정 제스처에 대응하는 아바타가 상기 저장부에 존재하는 지 판단하고, 존재할 경우, 상기 저장부에서 상기 특정 제스처에 대응하는 아바타를 추출하고, 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상기 통신망을 통하여 상기 상대방 단말기로 전송하는 단말제어부;
    를 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 시스템의 영상통화 단말기.
  7. 삭제
  8. 아바타 제공서버가 영상통화 중인 발신 단말기 또는 착신 단말기의 아바타 제공 요청 신호에 따라 통신망에 의해 상기 발신 단말기 및 착신 단말기와 각각 세션을 설정하는 세션 설정 단계;
    상기 아바타 제공서버가 상기 아바타 제공 요청 신호를 발신한 단말기로부터 사용자의 영상데이터를 수신하는 수신 단계;
    상기 아바타 제공서버가 상기 수신한 영상데이터를 분석하여 상기 사용자가 특정 제스처를 취하는 지를 모니터링하는 모니터링 단계;
    상기 아바타 제공서버가 상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 특정 제스처에 대응하는 아바타가 데이터베이스부에 존재하는 지 판단하는 단계;
    상기 특정 제스처에 대응하는 아바타가 상기 데이터베이스부에 존재하는 것으로 판단되면, 상기 특정 제스처에 대응하는 아바타를 데이터베이스부에서 추출하는 추출 단계;
    상기 아바타 제공서버가 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상대방 단말기로 전송하는 전송 단계;
    를 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  9. 제8항에 있어서, 상기 아바타 제공서버는,
    상기 데이터베이스부에 상기 사용자가 취한 적어도 하나의 특정 제스처에 대응하는 아바타를 저장하고 있는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  10. 제9항에 있어서, 상기 모니터링 단계는,
    상기 아바타 제공서버가 상기 수신한 영상데이터에서 상기 사용자 영상을 추출하는 추출 단계;
    상기 아바타 제공서버가 상기 추출된 사용자 영상에서 상기 사용자가 취한 제스처를 인식하는 인식 단계;
    상기 아바타 제공서버가 상기 인식한 제스처가 상기 저장된 특정 제스처에 포함되는 지를 판단하는 판단 단계;
    를 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 통신망을 매개로 상대방 단말기와 영상통화 중인 사용자 단말기가 상기 사용자 단말기의 사용자가 특정 제스처를 취하는 지를 모니터링하는 모니터링 단계;
    상기 모니터링 중 상기 사용자가 특정 제스처를 취하면, 상기 사용자 단말기가 상기 특정 제스처에 대응하는 아바타가 저장부에 존재하는 지 판단하는 단계;
    상기 특정 제스처에 대응하는 아바타가 상기 저장부에 존재하는 것으로 판단되면, 상기 특정 제스처에 대응하는 아바타를 상기 저장부에서 추출하는 추출 단계;
    상기 사용자 단말기가 상기 추출한 아바타를 포함하는 영상통화 트래픽을 상기 통신망을 통하여 상기 상대방 단말기로 전송하는 전송 단계;
    를 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  15. 제14항에 있어서, 상기 모니터링 단계 이전에 수행되는,
    상기 사용자 단말기가 상기 사용자가 취한 적어도 하나의 특정 제스처에 대응하는 아바타를 설정하여 저장부에 저장하는 저장 단계;
    를 더 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  16. 15항에 있어서, 상기 설정 단계에서,
    상기 설정된 아바타는 상기 사용자가 취한 특정 제스처에 대응하는 행동 방식으로 동작하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  17. 제15항에 있어서, 상기 모니터링 단계는,
    상기 사용자 단말기는 영상통화 중 촬영한 영상데이터에서 상기 사용자 영상을 추출하는 추출 단계;
    상기 사용자 단말기는 상기 추출된 사용자 영상에서 상기 사용자가 취한 제스처를 인식하는 인식 단계;
    상기 사용자 단말기는 상기 인식한 제스처가 상기 저장된 특정 제스처에 포함되는 지를 판단하는 판단 단계;
    를 포함하는 것을 특징으로 하는 제스처 인식을 통한 영상통화 중 감정 전달 방법.
  18. 삭제
  19. 삭제
  20. 삭제
KR1020090075613A 2009-08-17 2009-08-17 영상통화 중 감정 전달 시스템 및 방법 KR101189052B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090075613A KR101189052B1 (ko) 2009-08-17 2009-08-17 영상통화 중 감정 전달 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090075613A KR101189052B1 (ko) 2009-08-17 2009-08-17 영상통화 중 감정 전달 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110018026A KR20110018026A (ko) 2011-02-23
KR101189052B1 true KR101189052B1 (ko) 2012-10-10

Family

ID=43775841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090075613A KR101189052B1 (ko) 2009-08-17 2009-08-17 영상통화 중 감정 전달 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101189052B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312771B1 (ko) * 2011-12-14 2013-09-27 건국대학교 산학협력단 아바타를 사용한 영상 채팅 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065684A (ja) 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065684A (ja) 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム

Also Published As

Publication number Publication date
KR20110018026A (ko) 2011-02-23

Similar Documents

Publication Publication Date Title
US11134144B2 (en) Additional information on a caller
US20190199963A1 (en) Terminal and server for providing video call service
CN109379497B (zh) 语音信息播放方法、移动终端及计算机可读存储介质
US10142588B2 (en) Information-processing device, communication system, storage medium, and communication method
KR101205189B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
CN107231470B (zh) 图像处理方法、移动终端及计算机可读存储介质
KR20210060196A (ko) 아바타 메시지 서비스를 제공하는 서버, 방법 및 사용자 단말
CN113032065B (zh) 屏幕刷新控制方法、移动终端及计算机可读存储介质
CN109256151B (zh) 通话语音调控方法、装置、移动终端及可读存储介质
KR101274471B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
KR20200129772A (ko) 단말기, 서버 및 그것의 동작 방법
KR20110020131A (ko) 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법
KR20110041065A (ko) 영상통화 중 햅틱컨텐츠 전달 시스템, 서버, 단말기 및 방법
CN107682541B (zh) 屏幕投影的音频控制方法、移动终端及存储介质
RU2615683C2 (ru) Способ и устройство для выполнения идентификации связи
US20190281106A1 (en) System and method of transmitting data by using widget window
CN112492340B (zh) 直播音频采集方法、移动终端及计算机可读存储介质
KR101337229B1 (ko) 영상통화 시 사용자의 감정상태 제공 시스템, 햅틱서버 및 방법
KR101189052B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
KR101179465B1 (ko) 상대방의 감정을 전달하는 영상통화 시스템 및 방법
KR20110026137A (ko) 영상통화 중 감정 전달 시스템 및 방법
KR101169323B1 (ko) 단말기 및 그의 통화 중 기능 실행 방법
KR101677622B1 (ko) 영상 표시 방법 및 그 장치
JP2015115926A (ja) 携帯端末装置、読唇通信方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161005

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170711

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181004

Year of fee payment: 7