KR101170338B1 - 화상 통화 방법 및 시스템 - Google Patents

화상 통화 방법 및 시스템 Download PDF

Info

Publication number
KR101170338B1
KR101170338B1 KR1020090083724A KR20090083724A KR101170338B1 KR 101170338 B1 KR101170338 B1 KR 101170338B1 KR 1020090083724 A KR1020090083724 A KR 1020090083724A KR 20090083724 A KR20090083724 A KR 20090083724A KR 101170338 B1 KR101170338 B1 KR 101170338B1
Authority
KR
South Korea
Prior art keywords
avatar
terminal
video call
execution code
image
Prior art date
Application number
KR1020090083724A
Other languages
English (en)
Other versions
KR20110025718A (ko
Inventor
홍상우
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090083724A priority Critical patent/KR101170338B1/ko
Publication of KR20110025718A publication Critical patent/KR20110025718A/ko
Application granted granted Critical
Publication of KR101170338B1 publication Critical patent/KR101170338B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 화상 통화 방법 및 시스템에 관한 것으로, 화상 통화 시 화자의 얼굴 인식을 통하여 화자의 기분 변화 등과 관련된 요소를 추출하고, 이를 기반으로 아바타의 표정이나 동작 등을 제어하기 위한 것이다. 이러한 본 발명은 제1 단말기와 제2 단말기 간의 화상 통화 채널이 형성되면, 제1 단말기가 제2 단말기에 대응하는 상대측 아바타를 화상 데이터와 함께 출력하고, 제2 단말기로부터 수신되는 아바타 실행 코드에 따라 상대측 아바타의 상태 및 동작 중 적어도 하나를 조절하도록 하며, 이때 아바타 실행 코드는 제2 단말기의 화자의 얼굴 인식을 기반으로 생성한다. 본 발명에 따르면, 화상 통화 중 상대방의 다양한 감정 상태를 아바타를 통하여 사용자에게 전달할 수 있다.
단말기, 화상 통화, 아바타, 얼굴, 표정

Description

화상 통화 방법 및 시스템{Method For Video Call And System thereof}
본 발명은 화상 통화 기술에 관한 것으로, 더욱 상세하게는 화상 통화 시 화자의 얼굴 인식을 통하여 화자의 기분 변화 등과 관련된 요소를 추출하고, 이를 기반으로 아바타의 표정이나 동작 등을 제어할 수 있는 화상 통화 방법 및 시스템에 관한 것이다.
최근 들어, 휴대 단말기는 배터리의 전기적 용량을 유지하면서 그 크기를 소형화시키는 기술의 비약적인 발전에 힘입어 다양한 옵션 기능을 구현할 수 있게 되었다. 예를 들면, 휴대 단말기는 미리 저장해 놓은 음악이나 학습영어 등의 오디오 파일 및 비디오 파일을 재생 청취할 수 있는 파일 재생 기능을 가지고 있다. 또한, 휴대 단말기는 정지영상을 촬영하는 카메라 기능, 움직이는 영상을 추적하며 촬영하는 비디오카메라 기능 등 다양한 부가기능을 포함하고 있다.
한편, 휴대 단말기는 카메라를 장착하게 되면서, 특정 피사체에 대한 영상을 수집할 수 있는 기능을 통화 기능과 연계하여 지원하고 있다. 이에 따라, 단말기 사용자는 단말기에 장착된 카메라를 기반으로 타 단말기 사용자와 화상 통화 기능을 이용할 수 있다. 이러한 화상 통화 기능은 단순히 음성으로만 통화를 수행하던 시기에 비하여 상대방의 얼굴이나 배경을 확인하면서 통화를 하기 때문에, 단순히 음성만으로 통화하는 것에 비해서 사용자의 감정 상태를 상대방에게 보다 잘 전달할 수 있는 이점이 있다.
하지만 현재의 화상 통화는 다양한 환경적 조건 예를 들면, 대역폭, 전송 속도, 단말기의 데이터 처리 용량 등에 따라 제약을 받기 때문에, 영상이 끊어지거나 제대로 전송되지 않는 경우가 많다. 이에 따라, 화상 통화를 수행하더라도 상대방의 대체적인 얼굴이나 배경은 확인할 수 있으나, 화자의 면밀한 기분 상태 등을 신속하고 빠르게 파악할 수 없는 문제점이 있다.
따라서 본 발명의 목적은 화상 통화 시 화자의 얼굴 변화에 대응하여 아바타의 상태 및 동작 중 적어도 하나를 조절한 후, 조절된 아바타를 출력하여 화상 통화 중 상대방의 다양한 감정 상태를 사용자에게 전달할 수 있는 화상 통화 방법 및 시스템을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위하여, 본 발명은 제1 단말기 및 제2 단말기를 포함하여 구성되는 화상 통화 시스템을 제공한다. 상기 제1 단말기는 화상 통화 채널이 형성되면, 제2 단말기에 대응하는 아바타를 출력하고, 상기 제2 단말기로부터 수신한 아바타 실행 코드를 기반으로 출력된 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다. 상기 제2 단말기는 카메라가 수집한 영상의 얼굴 인식을 통하여 아바타의 상태 및 동작 중 적어도 하나를 조절하기 위한 상기 아바타 실행 코드를 생성하고, 상기 생성한 아바타 실행 코드를 상기 제1 단말기에 전송한다.
본 발명은 또한, 통신망 및 아바타 제공서버를 포함하여 구성되는 화상 통화 시스템을 제공한다. 상기 통신망은 제1 단말기와 제2 단말기 간의 화상 통화를 제어한다. 상기 아바타 제공서버는 상기 통신망을 매개로 화상 통화 채널이 형성된 후, 상기 제1 또는 제2 단말기로부터 아바타 요청 신호를 수신하면, 상기 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송하고, 상기 아바타 를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하고, 상기 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성하고, 상기 생성한 아바타 실행 코드를 상기 아바타를 수신한 단말기로 전송한다.
본 발명은 또한, 송수신부 및 서버제어부를 포함하여 구성되는 화상 통화 시스템의 아바타 제공서버를 제공한다. 상기 송수신부는 통신망을 매개로 제1 단말기 또는 제2 단말기와 통신을 수행한다. 상기 서버제어부는 상기 통신망을 매개로 화상 통화 채널이 형성된 후, 상기 제1 또는 제2 단말기로부터 아바타 요청 신호를 수신하면, 상기 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송하고, 상기 아바타를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하고, 상기 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성하고, 상기 생성한 아바타 실행 코드를 상기 아바타를 수신한 단말기로 전송한다.
본 발명은 또한, 통신부, 카메라, 표시부 및 제어부를 포함하여 구성되는 화상 통화 시스템의 단말기를 제공한다. 상기 통신부는 상대측 단말기와 화상 통화를 수행한다. 상기 카메라는 상기 상대측 단말기로 전송할 영상을 수집한다. 상기 표시부는 상기 통신부를 통하여 수신한 상대측의 영상을 출력한다. 그리고 상기 제어부는 상기 통신부를 통하여 상기 상대측 단말기와 화상 통화 채널을 형성하면, 상기 상대측 단말기에 대응하는 아바타를 상기 표시부에 출력하고, 상기 상대측 단말기로부터 상기 상대측의 얼굴 인식을 통하여 생성된 아바타 실행 코드를 수신하고, 상기 아바타 실행 코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절 하여 상기 표시부로 출력한다.
본 발명은 또한, 제1 단말기 및 제2 단말기 간에 화상 통화 채널이 형성된 후 상기 제1 또는 제2 단말기로부터 아바타 요청 신호를 수신하면, 아바타 제공서버가 상기 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송하는 아바타 전송 단계, 상기 아바타 제공서버가 상기 아바타를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하는 수신 단계, 상기 아바타 제공서버가 상기 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성하는 생성 단계, 상기 아바타 제공서버가 상기 생성한 아바타 실행 코드를 상기 아바타를 수신한 단말기로 전송하는 아바타 실행 코드 전송 단계를 포함하는 화상 통화 방법을 제공한다.
본 발명은 또한, 제1 단말기와 제2 단말기가 화상 통화 채널을 형성하는 채널 형성 단계, 상기 제1 단말기가 상기 제2 단말기에 대응하는 아바타를 출력하는 출력 단계, 상기 제2 단말기의 카메라가 수집한 영상 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성한 상기 제2 단말기로부터 상기 제1 단말기가 상기 아바타 실행 코드를 수신하는 수신 단계, 상기 제1 단말기가 상기 아바타 실행 코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하는 조절 출력 단계를 포함하는 화상 통화 방법을 제공한다.
본 발명의 실시 예에 따른 화상 통화 방법 및 시스템에 따르면, 화상 통화 시 화자의 얼굴 인식을 통하여 화자의 기분 변화 등과 관련된 요소를 추출하고, 이 를 기반으로 아바타의 표정이나 동작 등을 제어하기 때문에, 단말기 사용자들은 화상 통화를 수행하면서 상대방의 상태나 상태 변화 등을 아바타를 통하여 빠르고 정확하게 인식할 수 있다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
여기서 '아바타'는 단말기 사용자의 감정상태를 대신하여 표현하는 그래픽 컨텐츠로서, 애니메이션 캐릭터, 동영상, 정지영상, UCC(User Created Contents), 이모티콘, 플래시(flash), 영상과 진동이 조합된 햅틱 컨텐츠 등을 포함한다.
도 1은 본 발명의 실시 예에 따른 화상 통화 운용을 지원하기 위한 화상 통 화 시스템의 구성을 개략적으로 나타낸 도면이다.
설명에 앞서, 이하에서는 본 발명의 화상 통화 서비스를 설명하기 위하여 단말기가 이동통신망을 이용하는 형태의 단말기로서 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 화상 통화 서비스는 이동통신망을 이용하는 단말기뿐만 아니라, 카메라를 장착하여 화상 통화가 가능한 일반 유선 단말기, 고정형 단말기, IP 단말기 등 다양한 단말기에 적용될 수 있을 것이다. 상기 단말기가 화상 통화를 지원할 수 있는 유선 단말기인 경우, 상기 이동통신망은 유선을 기반으로 하는 화상 통화를 지원할 수 있는 교환기 시스템이 될 수 있다. 또한, 상기 단말기가 화상 통화 지원할 수 있는 IP 단말기인 경우, 상기 이동통신망은 화상 통화를 지원할 수 있는 IP 네트워크로 대체될 수 있다.
상기 도 1을 참조하면, 본 발명의 화상 통화 시스템은 이동통신망(300)을 매개로 연결된 제1 단말기(100) 및 제2 단말기(200)를 포함하여 구성된다.
이와 같은 구성을 가지는 본 발명의 화상 통화 시스템은 제1 단말기(100) 또는 제2 단말기(200)가 이동통신망(300)을 통하여 상대측 단말기에 화상 통화 요청을 수행할 수 있으며, 이 단계에서, 화상 통화 채널이 형성되면, 제1 단말기(100) 및 제2 단말기(200) 중 적어도 하나는 상대측 단말기에 대응하는 상대측 아바타를 화면에 출력할 수 있다. 이때, 상기 상대측 아바타는 각 단말기의 저장부에 기 저장되어 있거나, 상대측 단말기로부터 수신하여 출력할 수 있다. 제1 단말기(100) 및 제2 단말기(200)는 화상 통화 채널이 형성된 이후, 카메라를 통하여 수집되는 화자의 얼굴을 인식하고, 인식 값을 기 설정된 적어도 하나의 기준 파라미터들과 비교하여 화자의 상태를 판단할 수 있다. 상기 제1 단말기(100) 및 제2 단말기(200)는 화자의 상태 판단 결과, 특정 기준 파라미터와 동일 또는 유사한 인식 값으로 얼굴 인식이 되는 경우, 상기 특정 기준 파라미터에 대응하는 아바타 실행 코드를 상대측 단말기에 전송할 수 있다. 그러면, 제1 단말기(100) 및 제2 단말기(200)는 상대측 단말기로부터 수신된 아바타 실행 코드를 현재 화면에 출력되고 있는 상대측 아바타에 적용하여 상대측 아바타의 표정이나 동작을 제어할 수 있다. 여기서, 상기 제1 단말기(100) 및 제2 단말기(200)는 각각 자신의 아바타를 자신의 표시부에 출력할 수 있으며, 상기 상대측 단말기로 전송하는 아바타 실행 코드에 따라 자신의 아바타의 상태 및 동작 중 적어도 하나를 조절하고, 조절된 자신의 아바타를 표시부에 출력할 수 도 있다. 이러한 단계를 통하여 상기 제1 단말기(100) 및 제2 단말기(200)는 상대측 화자의 상태를 아바타의 변화를 통하여 정확하고 빠르게 인식할 수 있다.
이러한 화상 통화 서비스 지원을 위하여 상기 제1 단말기(100) 및 제2 단말기(200)는 도 2에 도시된 바와 같은 구성을 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 단말기의 구성을 개략적으로 나타낸 블록도이다.
상기 도 2를 참조하면, 본 발명의 단말기는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150), 카메라(170) 및 제어부(160)를 포함하여 구성될 수 있다.
상기 통신부(110)는 상기 제어부(160)의 제어에 따라 화상 통화 데이터를 송 신 및 수신한다. 상기 통신부(110)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 주파수 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 주파수 수신부 등을 포함할 수 있다. 특히, 본 발명의 통신부(110)는 제어부(160) 제어에 따라 자신의 아바타를 상대측 단말기에 전송할 수 있도록 하는 통신 채널, 화자의 얼굴 인식을 통하여 자신의 아바타 상태나 동작을 조절할 수 있는 아바타 실행 코드를 전송할 수 있도록 하는 통신 채널을 상대측 단말기와 형성할 수 있다. 여기서 상기 통신부(110)는 제어부(160) 제어에 따라 별도의 데이터 통신 채널을 생성하여 아바타와 관련된 데이터 즉, 아바타 데이터 및 아바타의 상태 및 동작을 조절하기 위한 아바타 실행 코드를 전송하거나, 이미 형성되어 있는 화상 통화 채널을 통하여 아바타와 관련된 데이터를 전송할 수 있다. 또한 상기 통신부(110)는 현재 생성되어 있는 화상 통화 채널을 통하여 상기 아바타 데이터와 아바타 실행 코드를 전송하거나, 별도의 데이터 통신 채널이나 메시지 서비스 채널 예를 들면, SMS(Short Message Service) 또는 MMS(Multimedia Message Service) 채널을 일시적으로 생성하여 상기 아바타 데이터 및 아바타 실행 코드를 전송할 수 있다.
상기 입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 상기 입력부(120)는 사용자 설정 및 단말기들의 기능 제어와 관련하여 입력되는 키 신호를 생성하여 상기 제어부(160)로 전달한다. 즉, 상기 입력부(120)는 상대측 단말기의 전화번호 입력을 위한 입력 신호, 입력된 전화번호를 기반으로 화상 통화 호 형성을 위한 입력 신호, 화상 통화 시 아바타 이용을 설정할 수 있는 모드 선택 신호, 화상 통화 종료를 위한 입력 신호 등을 사용자 요청에 따라 생성하여 상기 제어부(160)로 전달한다.
상기 오디오 처리부(130)는 상기 화상 통화 시 송수신 되는 오디오 데이터를 재생하기 위한 스피커(SPK)와, 화상 통화 시 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 마이크(MIC)를 포함한다. 여기서, 상기 오디오 처리부(130) 음성 통화를 위해 설치된 스피커와 별도로 화상 통화 시 수신된 오디오 데이터를 출력하기 위한 스피커를 더 포함할 수 있다.
상기 표시부(140)는 LCD(Liquid Crystal Display)가 적용될 수 있으며, 이 경우 표시부(140)는 LCD 제어부, 데이터를 저장할 수 있는 메모리 및 LCD 표시소자 등을 구비할 수 있다. 상기 LCD를 터치스크린 방식으로 구현하는 경우, 표시부(140) 화면은 입력부로 동작될 수 있다. 특히, 본 발명의 표시부(140)는 화상 통화 시, 카메라(170)를 통해 수집되어 영상 처리된 화상 데이터와, 상대측 단말기가 전송한 화상 데이터를 모두 표시할 수 있다. 예를 들어, 화상 통화를 수행하는 제1 단말기와 제2 단말기를 가정하면, 제1 단말기의 표시부(140)는 제1 단말기에 장착된 카메라(170)가 수집하여 영상 처리한 화상 데이터를 표시하는 제1 화면 영역과, 제2 단말기가 전송한 화상 데이터를 표시하는 제2 화면 영역을 포함한다. 이때, 상기 제1 화면 영역 및 제2 화면 영역은 동일 평면상에 화면을 분할하여 표시될 수 있으며, 제1 화면 영역 상에 제2 화면 영역이 오버랩 되어 표시될 수 도 있다. 한 편, 상기 표시부(140)에 표시되는 제1 화면 영역은 자신의 화상 데이터뿐만 아니라, 기 설정된 아바타를 함께 출력할 수 있다. 여기서, 기 설정된 아바타는 제1 단말기의 화자가 선택한 아바타가 될 수 있다. 그리고 제2 화면 영역은 제2 단말기가 전송한 화상 데이터뿐만 아니라, 제2 단말기에 대응하는 상대측 아바타를 함께 출력할 수 있다. 상기 제2 단말기도 제1 단말기와 유사하게 자신의 화상 데이터와 자신의 아바타 및 상대측 화상 데이터와 상대측 아바타를 출력하는 제1 화면 영역 및 제2 화면 영역 중 적어도 하나를 출력할 수 있다. 이러한 표시부(140) 화면 인터페이스에 대하여 도 4를 참조하여 보다 상세히 설명하기로 한다.
상기 저장부(150)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 화상 통화에 필요한 응용 프로그램, 카메라(170) 동작을 위한 응용 프로그램, 아바타 데이터, 아바타 조절을 위한 아바타 실행 코드들을 저장한다. 그리고 상기 저장부(150)는 화상 통화 시 송수신 되는 화상 통화 데이터에 대하여 지정된 크기만큼 버퍼링하는 기능을 담당할 수 있다. 이러한 상기 저장부(150)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.
상기 프로그램 영역은 단말기를 부팅시키는 운영체제(OS, Operating System), 화상 통화를 위한 카메라(170) 조작 및 오디오 수집을 위한 응용 프로그램, 단말기의 기타 옵션(options) 기능 예컨대, 소리 재생 기능, 이미지 또는 동영상 재생 기능 등에 필요한 응용 프로그램 등을 저장한다. 상기 단말기는 사용자 요청에 상응하여 상기한 각 기능을 활성화하는 경우, 상기 제어부(160)의 제어 하에 해당 응용 프로그램들을 이용하여 각 기능을 제공하게 된다. 특히, 본 발명의 프로 그램 영역은 아바타 지원을 위하여 아바타 서비스 모듈을 포함할 수 있다. 상기 아바타 서비스 모듈은 본 발명의 아바타 기반 화상 통화 서비스 모드가 설정되어 있으며, 화상 통화가 실행되는 경우, 제어부(160)에 로드되어 활성화될 수 있는 응용 프로그램이 될 수 있다. 이러한 아바타 서비스 모듈은 카메라(170)가 수집한 피사체의 얼굴 인식을 수행하는 루틴, 얼굴 인식된 인식 값을 기 정의된 기준 파라미터들과 비교하는 루틴, 상기 인식 값과 동일 또는 일정 비율 이상으로 유사한 기준 파라미터를 결정하는 루틴, 상기 결정된 기준 파라미터를 기반으로 아바타 실행 코드를 생성하는 루틴, 생성된 아바타 실행 코드를 자신의 아바타에 적용하는 루틴 및 생성된 아바타 실행 코드를 상대측 단말기에 전송하는 루틴을 포함할 수 있다.
상기 데이터 영역은 단말기의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 화상 통화 시, 사용자가 녹화한 데이터, 카메라(170)가 수집한 영상 중 사용자가 저장하고자 하는 데이터, 상기 단말기가 제공하는 다양한 옵션 기능과 관련한 사용자 데이터들 예컨대, 동영상과, 폰 북 데이터와, 오디오 데이터 및 해당 콘텐츠 또는 사용자 데이터들에 대응하는 정보들 등을 저장할 수 있다. 특히, 본 발명의 데이터 영역은 일정 형태의 동작과 상태를 이미지로 출력할 수 있는 아바타 구현을 위한 다양한 아바타 데이터를 저장할 수 있다. 단말기 사용자는 폰 북 데이터 저장 시에 특정 전화번호에 대응하는 아바타를 설정할 수 있다. 상기 특정 전화번호에 링크된 상대측 아바타가 존재하며, 해당 전화번호를 가진 단말기와 본 발명의 화상 통화 서비스를 수행하는 경우, 상기 상대측 아바타는 제어부(160)에 의하여 로드되어 표시부(140)에 출력될 수 있다. 이때, 자신의 아바타도 사용자 선택에 따라 표시부(140)에 출력될 수 있다. 상기 아바타는 아바타 실행 코드에 따라 다양한 상태 또는 다양한 동작을 포함하는 애니메이션을 수행할 수 있다. 예를 들면, 상기 아바타가 사람 형상으로 제작된 경우, 특정 아바타 실행 코드에 따라 우는 모습, 웃는 모습, 화난 모습, 좌절하는 모습, 게으름을 피우는 모습 등 다양한 애니메이션을 연출할 수 있다. 이러한 아바타의 연출 형태를 위한 아바타 실행 코드는 아바타의 설계자 또는 사용자의 설정 조작 등을 통하여 삭제되거나 추가될 수 있다. 여기서 상기 우는 모습, 웃는 모습, 화난 모습 등 다양한 표정이나 상태를 나타내는 연출은 각 아바타의 형태에 따라 그 모양이 달라질 수 있으며, 이 또한 아바타 설계자 또는 사용자의 설정 조작에 의하여 변경될 수 있다. 한편, 아바타 실행 코드는 상대측 단말기에 전송되어 상대측 단말기가 출력하고 있는 아바타의 상태 및 동작을 조절하여야 하기 때문에, 단말기들 상호 간에 미리 규약하는 것이 바람직하다. 상기 데이터 영역은 상대측 단말기로부터 수신한 제1 아바타 실행 코드 및 자신의 아바타 조절을 위한 제2 아바타 실행 코드를 임시 저장할 수 있으며, 새로운 제1 아바타 실행 코드를 상대측 단말기로부터 수신하기 전까지 이전 제1 아바타 실행 코드의 저장을 유지하거나, 사용자 설정에 따라 반영구적으로 저장할 수 있다.
상기 카메라(170)는 화상 통화 및 얼굴 인식을 위한 영상을 수집한다. 이러한 카메라(170)는 렌즈를 통해 촬상되는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(도시되지 않음)와, 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부(도시되지 않음)를 구비 한다. 여기서 카메라 센서는 CCD(Charge Coupled Device) 센서가 적용될 수 있고, 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다. 이러한 상기 카메라(170)는 카메라 기능 이용을 위한 입력 신호가 수신되는 경우에 활성화될 수 있으며, 화상 통화 기능 사용 시 활성화될 수 있다. 상기 카메라(170)는 수집된 영상을 상대측 단말기에 전송하거나 얼굴 인식을 위하여 제어부(160)에 전달한다.
상기 제어부(160)는 본 발명의 아바타 기반 화상 통화 서비스 지원을 위하여 단말기(100)의 각 구성을 초기화하고, 필요한 신호 제어를 수행할 수 있다. 특히 제어부(160)는 화상 통화 중 상대측의 얼굴 인식을 통한 아바타 출력을 제어한다.
제어부(160)는 아바타 설정 모드에서 상대측에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행 코드를 설정할 수 있다. 아바타 및 아바타 실행 코드는 일반, 날씨, 스포츠(골프, 농구, 야구 등) 등 사용자의 관심분야나 취미 등에 따라 다양하게 분류되어 제공될 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대측이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행 코드를 선택하여 설정할 수 있다.
예컨대 상대측의 얼굴 인식에 따라 매핑된 아바타 실행 코드는 아바타를 표1과 같이 동작시킬 수 있다. 이때 인식된 얼굴은 웃는 표정, 우는 표정, 놀란 표정으로 한정하여 설명하였지만 이에 한정되는 것은 아니다. 또한 각각의 얼굴 인식에 따른 아바타의 동작 또한 이에 한정되는 것은 아니다.
웃는 표정 우는 표정 놀란 표정
일반 아바타가 웃음 아바타가 울음을
터트림		 아바타가 눈을
크게 뜸
날씨 아바타가 화창한
날씨에 산책함		 아바타가 비를 맞음 아바타 머리 위로
번개가 침
골프 아바타가 퍼팅한 공이
홀컵에 들어가 좋아함		 아바타의 티샷이 물에
빠져 울음을 터트림		 티샷이 홀인원되어
아바타가 깜짝 놀람
농구 아바타가 삼점 슛에
성공함		 아바타가 공을
빼앗김		 아바타의 슛이
블락슛을 당함
한편 별도로 아바타 실행 코드를 설정하지 않는 경우, 제어부(160)는 디폴트로 설정된 아바타 실행 코드를 사용할 수 있다. 예컨대 일반 항목이 디폴트로 설정될 수 있다.
상기 제어부(160)는 아바타 기반 화상 통화 서비스 요청 시, 통신부(110)를 통하여 상대측 단말기와 화상 통화 연결을 위한 협상 및 채널 확보를 수행한다. 화상 통화 요청이 있거나 또는 화상 통화 채널이 형성되면, 상기 제어부(160)는 카메라(170)를 활성화하여 피사체에 대한 영상을 수집하고, 수집된 영상을 표시부(140)에 출력하도록 제어하는 한편, 화상 통화 규격에 맞도록 처리할 수 있다. 이를 위하여 상기 제어부(160)는 도 3에 도시된 바와 같이 화상 통화 모듈(163) 및 아바타 서비스 모듈(161)을 포함할 수 있다.
상기 아바타 서비스 모듈(161)은 카메라(170)가 전송한 영상에 대하여 얼굴 인식을 수행할 수 있는 영상 판별 알고리즘과, 영상 판별을 위한 기준 파라미터, 상기 기준 파라미터를 기반으로 생성되는 아바타 조절을 위한 아바타 실행 코드 등을 포함하며, 생성된 아바타 실행 코드를 상대측 단말기에 전송하거나 자신의 아바타에 적용하도록 제어한다. 상기 영상 판별 알고리즘은 피사체에 대한 영상이 어떤 것인지 판별하는 알고리즘으로서, 피사체의 전체 영역 또는 부분적인 영역으로부터 획득되는 인식 값을 이용하여 피사체의 특징을 특정함으로써 수집된 영상이 어떤 영상인지를 인식하는 알고리즘이다. 예를 들면, 상기 영상 판별 알고리즘은 영상 판별의 기준이 되는 기준 파라미터에 대한 정보를 이용할 수 있다. 상기 기준 파라미터는 피사체의 적어도 일부 영역이 특정 인식 값을 가지는 경우, 이 영상을 웃는 얼굴, 화난 얼굴, 무표정한 얼굴 등으로 인식하도록 하는 기준 값에 해당한다. 다시 말하여 상기 기준 파라미터는 사람의 얼굴이 가지는 값들로부터 사람의 표정이나 상태 등을 결정할 수 있도록 설정된 파라미터다. 상기 영상 판별 알고리즘은 사람 얼굴이 포함된 영상을 인식하는 경우, 수집된 영상을 필터링하여 전체 영상에 대한 흑백 영상을 추출하고, 추출된 흑백 영상을 기준으로 사람 얼굴의 기본적인 특징으로 분류될 수 있는 값 예를 들어 눈과 코 및 입에 해당하는 인식 값을 추출할 수 있다. 그리고 상기 영상 판별 알고리즘은 상기 인식 값을 기준으로 일정한 패턴을 검출하고, 이 패턴이 기 설정된 어떠한 기준 파라미터에 대응하는지를 판별할 수 있다. 여기서, 상기 기준 파라미터는 사람이 웃는 얼굴 또는 화난 얼굴 등을 할 경우, 눈, 코, 입 등으로부터 얻어지는 패턴에 해당하는 값이 될 수 있다. 이에 따라, 상기 영상 판별 알고리즘은 영상 인식 값으로부터 얻어지는 패턴이 특정 기준 파라미터와 동일 또는 일정 비율 이상 유사한 패턴인 경우 해당 기준 파라미터에 따라 영상 인식된 얼굴을 특정 표정의 얼굴로 인식할 수 있다.
예컨대 제어부(160)는 수신한 상대측 영상에서 얼굴 영상을 PCA(principal component analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis) 중에 하나를 이용하여 추출할 수 있다. 제어부(160)는 추출한 얼굴 영상에서 얼굴구성요소들을 추출한다. 예컨대 얼굴구성요소들은 adaboost 또는 SVM(Support Vector Machine)를 이용하여 추출한다. 그리고 제어부(160)는 추출한 얼굴구성요소들의 위치변화로부터 상대방의 얼굴 표정 변화를 감지하여 얼굴을 인식할 수 있다. 여기서 adaboost는 객체의 형태를 추출하기 위한 학습 알고리듬으로, Yoav Freund and Robert E. Schapire 에 의한 "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory: Eurocolt '95, pp. 23-37, Springer-Verlag, 1995에 자세히 기재되어 있다.
여기서, 본 발명의 영상 판별 알고리즘이 얼굴의 특징점을 이용하여 패턴을 구성하고, 이를 기반으로 영상 판별을 하는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 영상 판별 알고리즘은 별도의 패턴을 구성하지 않고, 얼굴의 특징점들에 대한 특정 기준 파라미터들을 설정하고, 이를 기준으로 얼굴의 상태나 표정 등을 인식할 수 도 있다. 그리고 상술한 눈, 코, 입 등은 사람 얼굴이 특정 얼굴 예를 들면 무표정한 보통의 얼굴에서 다른 얼굴 예를 들면 웃는 얼굴 등으로 변화할 때 그 특징 변경되는 값들에 해당할 수 있다. 이러한 특징이 변경되는 값들은 상술한 눈, 코, 입 외에도 다른 다양한 요소들 예를 들면, 이마의 주름, 광대뼈의 그림자 변경, 턱의 변화 등을 더 포함할 수 있을 것이다.
상기 아바타 서비스 모듈(161)은 상술한 인식 과정을 통하여 특정 기준 파라미터가 검출되면, 이 기준 파라미터를 기반으로 자신의 아바타 및 상대측 단말기에 전송한 자신의 아바타 상태나 동작을 조작할 수 있는 아바타 실행 코드를 생성할 수 있다. 이때, 아바타 서비스 모듈(161)은 기준 파라미터들에 대하여 아바타 실행 코드들을 매핑한 테이블을 이용할 수 있다. 그리고 상기 아바타 서비스 모듈(161)은 상기 아바타 실행 코드를 화상 통화 모듈(163)에 전달하여 상대측 단말기에 전송하거나, 제어부(160) 제어에 따라 메시지 서비스를 이용하여 상대측 단말기에 전송할 수 도 있다.
한편, 상기 아바타 서비스 모듈(161)은 화상 통화 모듈(163)을 통하여 또는 메시지 서비스를 통하여 상대측 단말기로부터 상대측 아바타 조절을 위한 제1 아바타 실행 코드를 수신할 수 있다. 상기 아바타 서비스 모듈(161)은 수신된 제1 아바타 실행 코드를 기반으로 표시부(140)에 출력되고 있는 상대측 아바타의 상태나 동작을 변경하도록 제어할 수 있다. 그리고 상기 아바타 서비스 모듈(161)은 자신의 아바타 조절을 위하여 생성한 제2 아바타 실행 코드를 기반으로 표시부(140)에 출력되는 자신의 아바타 상태 및 동작 중 적어도 하나를 변경하도록 제어할 수 있다. 여기서, 상기 아바타 서비스 모듈(161)은 사용자의 선택에 따라 자신의 아바타 조절 기능을 수행하지 않고, 상대측 아바타 조절 기능만을 수행할 수 도 있다.
상기 아바타 서비스 모듈(161)은 화상 통화 채널이 형성되었지만, 상대측 단말기에 대응하는 아바타가 없는 경우, 상대측 아바타 선택을 사용자에게 요청할 수 있다. 즉, 상기 아바타 서비스 모듈(161)은 상대측 아바타가 존재하지 않음을 알리는 팝업창을 표시부(140)에 출력하고, 상대측 아바타 선택을 위한 메뉴를 활성화할 수 있다. 이 후, 상기 아바타 서비스 모듈(161)은 사용자가 선택한 상대측 아바타를 표시부(140)에 출력하도록 하는 한편, 현재 화상 통화 채널이 형성된 상대측 단말기의 전화번호에 링크시켜 폰 북 데이터를 업데이트할 수 있다. 또한, 상기 아바타 서비스 모듈(161)은 상대측 아바타가 없는 경우 상대측 단말기에 아바타 데이터를 요청하는 메시지를 전송할 수 있다. 그리고 상기 아바타 서비스 모듈(161)은 상대측 단말기로부터 아바타 데이터를 수신하면, 이를 저장부(150)에 저장하는 한편, 아바타를 표시부(140) 일측에 출력하도록 제어할 수 있다. 여기서 상기 아바타 서비스 모듈(161)은 상대측 단말기로부터 아바타 데이터를 수신하면, 상대측 전화번호에 아바타 데이터를 링크시켜 저장함으로써 폰 북 데이터를 갱신하도록 제어할 수 있다.
또한, 상기 아바타 서비스 모듈(161)은 사용자가 지정한 상대측 아바타가 존재하지만, 상대측 단말기로부터 아바타 데이터가 수신되는 경우, 상대측 단말기로부터 수신된 아바타 데이터를 기반으로 구현된 아바타를 표시부(140)에 출력하도록 제어할 수 있다. 그리고 상기 아바타 서비스 모듈(161)은 이전에 상대측 단말기 전화번호에 저장된 아바타를 새롭게 수신된 아바타 데이터로 갱신하도록 제어할 수 있다.
상기 아바타 서비스 모듈(161)은 자신의 아바타가 존재하지 않는 경우에도, 전술한바와 유사하게, 자신의 아바타가 존재하지 않음을 나타내는 팝업창을 선택적으로 출력하고, 단말기 사용자가 자신의 아바타를 선택할 수 있는 메뉴 등을 출력하도록 제어할 수 있다. 그리고 상기 아바타 서비스 모듈(161)은 단말기 사용자가 자신의 아바타를 변경한 경우, 아바타 변경에 대한 데이터를 생성하여 상대측 단말기에 전송할 수 있다.
상기 화상 통화 모듈(163)은 카메라(170)가 수집한 화상 데이터와 마이크가 수집한 오디오 데이터를 화상 통화 규격에 맞도록 변환한 후, 통신부(110)를 통하여 상대측 단말기에 전송하거나, 상대측 단말기가 전송한 신호를 수신하여 화상 데이터와 오디오 데이터를 추출한 후, 이를 표시부(140)와 스피커를 통하여 출력하도록 제어하는 구성이다. 이러한 화상 통화 모듈(163)은 카메라(170)가 수집한 영상을 영상 처리하기 위한 영상 코덱 예를 들면, H.263, JPEG, Wavelet, mpeg2, mpeg4 및 H.264을 포함한다. 상기 화상 통화 모듈(163)은 상기 화상 데이터 생성을 위해 전술한 영상 코덱을 포함하는 영상 코덱, 예컨대 H.324M을 포함할 수 있다. 화상 통화 모듈(163)은 그 외 다양한 영상 코덱을 사용하여 화상 통화 데이터를 생성할 수 있다.
예컨대 화상 통화 데이터를 H,263과 H.324M을 이용하여 생성한 후 전송하는 과정을 설명하면 다음과 같다.
상기 H.263은 카메라(170)에서 출력되는 영상신호를 프레임 단위로 처리하여 화상 데이터로 변환하고, 상기 화상 데이터를 표시부(140)의 표시 특성 및 크기에 알맞게 변형하여 출력한다. 이때, 상기 H.263은 화상 데이터를 압축할 수 있다. 즉, 상기 H.263은 표시부(140)에 표시되는 화상 데이터를 기 설정된 방식으로 압축하거나 압축된 화상 데이터를 원래의 화상 데이터로 복원하는 기능을 수행한다. 상기 H.263은 JPEG, Wavelet, mpeg2, mpeg4 및 H.264 등으로 대체될 수 있다.
상기 H.324M은 상기 H.263이 생성한 화상 데이터를 기타 데이터들과 함께 먹싱(Muxing)하여 화상 통화 데이터를 생성하고, 상기 화상 통화 데이터를 상기 통신부(110)에 전달한다. 이를 위하여, 상기 H.324M은 상기 오디오 처리부(130)가 수집한 오디오 데이터를 인코딩하기 위한 오디오 코덱 예를 들면, AMR을 포함할 수 있다. 상기 H.324M은 화상 통화 시, 상기 화상 데이터와 상기 오디오 데이터의 싱크 및 제어를 위한 제어 신호를 생성하는 H.245를 포함할 수 있다. 상기 H.324M은 상기 H.263으로부터의 화상 데이터, 상기 AMR로부터의 오디오 데이터, 상기 H.245로부터의 제어 신호를 수신하여 상기 통신부(110)에 전달하는 H.223을 포함할 수 있다. 즉, 상기 H.223은 상기 화상 데이터, 상기 오디오 데이터 및 상기 제어 신호를 먹싱함으로써 화상 통화 데이터를 생성하고, 상기 화상 통화 데이터를 상기 통신부(110)에 전달한다.
특히, 본 발명의 화상 통화 모듈(163)은 아바타 서비스 모듈(161)이 전송하는 아바타 데이터를 영상 코덱으로 생성한 화상 데이터와 함께 통합하고, 이를 통신부(110)를 통하여 상대측 단말기에 전송할 수 있으며, 수신된 신호로부터 화상 데이터와 아바타 데이터를 각각 분리하여 추출한 이후, 두 개의 데이터를 구분하여 표시부(140)에 출력하도록 제어할 수 있다. 또한, 상기 화상 통화 모듈(163)은 화상 데이터, 오디오 데이터 및 제어 신호를 디먹싱하는 과정에서, 상대측 단말기가 전송한 제1 아바타 실행 코드를 추출하고, 추출된 제1 아바타 실행 코드를 아바타 서비스 모듈(161)에 전달할 수 있다. 그리고 상기 화상 통화 모듈(163)은 화상 데이터, 오디오 데이터 및 제어 신호를 먹싱하는 과정에서 아바타 서비스 모듈(161)이 전달하는 제2 아바타 실행 코드를 함께 먹싱한 신호를 생성하고, 이 신호를 상대측 단말기에 전송하도록 제어할 수 있다.
한편, 상기 화상 통화 모듈(163)은 아바타 서비스 모듈(161)로부터 아바타 데이터와 아바타 실행 코드를 수신하고, 이를 화상 통화에 필요한 신호에 먹싱한 후, 전송하는 것을 예로 하여 설명하였지만, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 제어부(160)는 화상 통화 모듈(163)과 독립적으로 아바타 서비스 모듈(161)을 운용하여 아바타 데이터와 아바타 실행 코드를 통신부(110)를 통하여 상대측 단말기에 전송할 수 있으며, 또한 수신된 신호를 아바타 서비스 모듈(161)에서 처리하여 표시부(140)에 출력하도록 제어할 수 있다. 이를 위하여 상기 제어부(160)는 아바타 데이터 전송 및 아바타 실행 코드 전송을 위한 통신 채널 예를 들면 데이터 통신 채널 또는 메시지 서비스 채널을 화상 통화 모듈(163)이 생성하는 화상 통화 채널과 독립적으로 생성할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시 예에 따른 단말기는 카메라(170)가 수집하는 피사체의 영상에 대하여 얼굴 인식을 적용하여 사용자가 어떠한 표정을 취하는지를 판단하고, 해당 인식 값에 대응하는 아바타 상태 및 동작 중 적어도 하나를 변경할 수 있는 아바타 실행 코드를 생성한 뒤, 이를 송수신함으로써, 상대측 단말기 사용자의 표정이나 기분 등을 보다 정확하게 또는 보다 희화적으로 인식할 수 있게 된다.
도 4는 본 발명의 실시 예에 따른 단말기의 화상 통화 운용을 위한 화면 인터페이스의 일 예를 나타낸 도면이다.
상기 도 4를 참조하면, 단말기의 표시부(140)는 401 화면에서와 같이 크게 상대측 단말기로부터 수신된 데이터를 출력하는 제1 화면 영역(141)과 사용자의 카메라(170)가 수집한 영상을 출력하는 제2 화면 영역(143)을 포함할 수 있다.
상기 제1 화면 영역(141)은 상대측 단말기의 카메라(170)가 수집한 영상을 출력하는 상대측 화상 데이터 출력 영역(141a)과 상대측 단말기에 대응하는 상대측 아바타 출력 영역(141b)을 포함한다. 여기서, 상기 상대측 아바타 출력 영역(141b)은 상대측 화상 데이터 출력 영역(141a)과 구분되도록 출력될 수 있다. 즉, 상기 제1 화면 영역(141)은 화면을 분할한 후, 분할된 영역에 상대측 아바타 출력 영역(141b)과 상대측 화상 데이터 출력 영역(141a)을 할당할 수 있다. 또한, 상기 제1 화면 영역(141)은 별도로 화면을 분할하지 않고, 상대측 화상 데이터 출력 영역(141a)에 상대측 아바타를 오버 레이 시켜 출력할 수 도 있다.
상기 제2 화면 영역(143)은 카메라(170)가 수집한 자신의 화상 데이터 출력 영역(143a)과 자신의 아바타 출력 영역(143b)을 포함한다. 여기서, 상기 자신의 아바타 출력 영역(143b)은 표시부(140)의 크기 제한 설정 또는 사용자 선택에 따라 제거될 수 있다. 상기 제2 화면 영역(143)은 제1 화면 영역(141)과 유사하게 화면을 분할한 뒤, 자신의 화상 데이터 출력 영역(143a)과 자신의 아바타 출력 영역(143b)을 구분되게 배치할 수 있다. 그리고 제2 화면 영역(143)은 제1 화면 영역(141) 상에 사용자 아바타가 오버 레이 되도록 출력할 수 도 있다.
한편, 단말기는 상대측 단말기로부터 상대측 아바타의 상태 및 동작 중 적어도 하나를 변경할 수 있는 아바타 실행 코드를 수신한 경우, 402 화면에서와 같이, 상대측 아바타의 상태 및 동작을 변경하여 출력할 수 있다. 예를 들면, 상대측 단말기로부터 “화난 얼굴”에 대응하는 아바타 실행 코드를 화상 통화 채널, 메시지 서비스 채널, 음성 통화 채널 등 특정 채널을 통하여 수신하면, 단말기는 상기 “화난 얼굴”에 대응하는 아바타 실행 코드를 기반으로 아바타의 상태 및 동작을 조작하도록 제어한다. 여기서, 상기 아바타의 상태 및 동작에 대응하는 이미지 또는 애니메이션이 “화난 얼굴”에 대응하도록 변경되는 것은 설계자의 의도나 기호 및 사용자의 설정 등에 따라 조절될 수 있을 것이다. 한편, 단말기는 화상 통화 모듈을 기반으로 상대측 화상 데이터를 지속적으로 수신하기 때문에, 상기 상대측 화상 데이터 출력 영역(141a)에는 상대측의 화상 데이터가 출력된다. 이때, 상대측 단말기 사용자가 화난 얼굴을 취할 경우, 그에 대응하는 실제 영상이 상기 상대측 화상 데이터 출력 영역에 출력될 수 있다.
또한, 상기 단말기는 사용자가 특정 표정 예를 들면, 평범한 얼굴에서 “웃는 얼굴”로 얼굴 표정을 변경하는 경우, 아바타 서비스 모듈을 기반으로 카메라(170)가 수집한 영상에 대한 얼굴 인식을 수행한다. 이 과정에서 상기 아바타 서비스 모듈은 사용자의 얼굴 인식의 기준이 되는 기 설정된 다양한 기준 파라미터와 수집한 영상을 비교하여 “웃는 얼굴”로 판단할 수 있으며, 이에 따라 “웃는 얼굴”에 대응하는 아바타 실행 코드를 생성할 수 있다. 그리고 상기 아바타 서비스 모듈은 상기 “웃는 얼굴”에 대응하는 아바타 상태 및 동작 적어도 하나를 변경할 수 있는 아바타 실행 코드를 상대측 단말기에 전송할 수 있다. 이와 함께 상기 아바타 서비스 모듈은 403 화면에서 같이 자신의 화상 데이터 출력 영역(143a)에 카메라(170)가 수집한 영상을 출력하고, 자신의 아바타 출력 영역(143b)에 출력되고 있는 자신의 아바타 상태 및 동작 중 적어도 하나를 변경하도록 제어할 수 있다. 이에 따라, 사용자는 자신의 아바타 상태 및 동작이 어떻게 변경되는지를 인식할 수 있다.
이상에서는 본 발명의 실시 예에 따른 화상 통화 시스템과, 그 시스템을 구성하는 단말기 및 화면 인터페이스에 대하여 살펴보았다. 이하에서는 본 발명의 화상 통화 방법을 도면을 참조하여 보다 상세히 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 화상 통화 방법을 설명하기 위한 순서도이다.
도 1 내지 도 5를 참조하면, 본 발명의 실시 예에 따른 화상 통화 운용 방법은 먼저, 제어부(160)가 전원이 공급되면 단말기의 각 구성을 초기화하고, 기 설정된 대기화면을 S101 단계에서 출력할 수 있다.
이후, 상기 제어부(160)는 화상 통화 연결을 위한 입력 신호가 전달되는지 여부를 S103 단계에서 판단한다. 이 과정에서 상기 제어부(160)는 화상 통화 이외의 단말기 기능을 위한 입력 신호가 전달되면, S105 단계에서 입력 신호에 따른 해당 기능 예를 들면, 음성 통화 기능, 메시지 서비스 기능, 파일 검색 기능, 파일 재생 기능, 카메라 기능, 방송 시청 기능 등을 수행하도록 제어할 수 있다. 여기서, 화상 통화를 수행하는 제1 단말기(100) 및 제2 단말기(200)를 가정하면, 상기 S103 단계에서의 화상 통화 연결을 위한 입력 신호는 제1 단말기(100) 사용자가 제2 단말기(200)와 화상 통화 연결을 하기 위하여 제2 단말기(200)의 전화번호를 입력하고, 화상 통화 연결을 위한 키를 입력하는 신호를 포함할 수 있다. 또한, 상기 103 단계에서의 화상 통화 연결을 위한 입력 신호는 제2 단말기(200)로부터 화상 통화 연결을 요청하는 신호를 포함할 수 있다.
한편 S103 단계를 수행하기 전에, 제1 및 제2 단말기(100,200)는 입력부(120)를 통한 사용자의 선택 신호에 따라 아바타 설정 모드에서 상대측에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행 코드를 설정할 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대측이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행 코드를 선택하여 설정할 수 있다.
한편, S103 단계에서 화상 통화 연결을 위한 입력 신호가 전달되면, 제어부(160)는 S107 단계에서 제2 단말기(200)로부터 아바타 데이터를 수신하거나, 제2 단말기(200)에 대응하며 기 저장된 상대측 아바타를 검색할 수 있다. 또한, 상기 제어부(160)는 제1 단말기(100) 자신의 아바타를 검색할 수 있다.
이후, 상기 제어부(100)는 S109 단계에서 제2 단말기(200)로부터 수신한 상대측 아바타 또는 제1 단말기(100)에 저장된 상대측 아바타 중 어느 하나를 화면의 일정 영역에 출력하는 한편, 사용자 선택에 따라 제1 단말기(100)에 대응하는 자신의 아바타를 화면 일정 영역에 출력하도록 제어한다. 이 과정에서, 상기 제어부(160)는 제2 단말기(200)로부터 수신한 화상 데이터를 기반으로 상대측 실제 영상을 출력하는 한편, 제1 단말기(100)에 장착된 카메라(170)가 수집한 자신의 실제 영상을 출력하도록 제어할 수 있다. 그리고 상기 제어부(160)는 제2 단말기(200)가 전송한 오디오 데이터를 스피커(SPK)를 통하여 출력하도록 제어하는 한편, 마이크(MIC)가 수집한 오디오 데이터를 제2 단말기(200)에 전송하도록 함으로써, 화상 통화 서비스를 제공할 수 있다.
다음으로, 상기 제어부(160)는 S111 단계에서 아바타 서비스 모듈(161)이 아바타 상태 및 동작 중 적어도 하나를 변경할 수 있는 아바타 실행 코드를 수신 또는 생성하는지 여부를 확인한다. 즉, 상기 제어부(160)는 제2 단말기(200)로부터 상대측 아바타의 상태 및 동작 중 적어도 하나를 변경하기 위한 제1 아바타 실행 코드를 수신하는지 여부를 확인하는 한편, 제1 단말기(100)의 카메라(170)가 수집한 영상으로부터 얼굴 인식에 따른 기준 파라미터가 변화됨에 따라 제2 아바타 실행 코드가 생성되는지 여부를 확인할 수 있다. 이 과정에서 별도의 아바타 실행 코드 수신 또는 생성이 없는 경우, S109 단계이전으로 분기하여 아바타 출력 및 화상 데이터 출력을 유지하도록 제어할 수 있다.
그리고 상기 제어부(160)는 S111 단계에서 제1 아바타 실행 코드 수신 또는 제2 아바타 실행 코드 생성이 이루어지면, S113 단계로 분기하여 아바타 실행 코드에 따라 상대측 아바타 또는 자신의 아바타를 변경하도록 제어할 수 있다. 즉, 상기 제어부(160)는 상대측 아바타 변경을 위한 제1 아바타 실행 코드가 수신되는 경우, 상대측 아바타의 상태 및 동작 중 적어도 하나를 변경하여 출력하도록 제어하며, 자신의 아바타 변경을 위한 제2 아바타 실행 코드가 생성되는 경우, 자신의 아바타 상태 및 동작 중 적어도 하나를 변경하여 출력하도록 제어할 수 있다.
이후, 상기 제어부(160)는 S115 단계에서 화상 통화 종료 여부를 확인하고, 별도의 종료를 위한 입력 신호가 전달되지 않는 경우, S109 단계 이전으로 분기하여 이하 과정으로 반복적으로 수행할 수 있다.
한편, 화상 통화 도중에 제1 단말기(100)가 자신의 아바타를 교체하거나 제2 단말기(200)로부터 새로운 아바타 출력을 위한 아바타 데이터를 수신하는 경우, 교체된 자신의 아바타 또는 상대측 아바타의 상태 및 동작 중 적어도 하나를 생성된 제2 아바타 실행 코드 또는 수신되는 제1 아바타 실행 코드에 따라 조절할 수 있다. 여기서, 자신의 아바타 교체 시, 제1 단말기(100)는 제2 단말기(200)에 교체된 아바타 데이터를 전송할 수 있으며, 이를 수신한 제2 단말기(200)는 수신된 아바타 데이터를 기반으로 표시부(140)에 출력되는 제1 단말기(100)에 대응하는 아바타를 교체하도록 작업할 수 있다.
상기 설명에서는 제1 단말기(100)를 기준으로 설명하였지만, 제2 단말기(200) 또는 제1 단말기(100)와 유사한 동작을 수행할 수 있다. 즉, 제2 단말기(200)는 자신의 아바타와 제1 단말기(100)에 대응하는 상대측 아바타를 표시부(140)에 출력하고, 제1 단말기(100)가 전송하는 아바타 실행 코드에 따라 상대측 아바타의 상태 및 동작 중 적어도 하나를 변경하도록 제어할 수 있다. 그리고 제2 단말기(200)는 설정에 따라 자신의 아바타 출력을 제어할 수 있으며, 자신의 아바타 출력되고 있는 경우, 제2 단말기(200)에 장착된 카메라(170) 수집한 피사체의 얼굴 인식을 기반으로 생성되는 아바타 실행 코드에 따라 자신의 아바타 상태 및 동작을 제어할 수 있다.
요약하면, 본 발명의 화상 통화 방법 및 시스템은 화상 통화를 수행하는 제1 단말기(100)에 대응하는 아바타 및 제2 단말기(200)에 대응하는 아바타 중 적어도 하나를 기 저장하고 있거나, 상대측으로부터 상대측 아바타에 대한 데이터를 수신하여 저장하고, 이를 화상 데이터를 기반으로 재생되는 영상과 함께 출력할 수 있다. 그리고 본 발명의 제1 단말기(100) 및 제2 단말기(200)는 화자의 얼굴 인식을 통하여 아바타의 얼굴 표정 등을 포함하는 상태 및 동작 중 적어도 하나를 변경할 수 있는 아바타 실행 코드를 생성하고, 이를 송수신함으로써, 상대측 아바타의 상태 및 동작 중 적어도 하나를 변경할 수 있고, 생성된 아바타 실행 코드를 기반으로 자신의 아바타 상태 및 동작 중 적어도 하나를 변경하도록 지원한다. 이에 따라, 본 발명은 상대측의 기분 변화나 특정 상태 등을 이미지 인식력이 화상 데이터에 비하여 상대적으로 높은 아바타의 변화를 통하여 빠르고 정확하게 인식할 수 있도록 지원한다.
한편 본 발명의 실시예에 따른 화상 통화 시스템은 제1 단말기(100) 또는 제2 단말기(200)가 저장부(150)에 저장된 상대측 아바타를 호출하여 출력하고, 단말기는 상대측의 얼굴 인식을 기반으로 생성한 아바타 실행 코드를 상대측 단말기로부터 수신하여 상대측 아바타의 상태 또는 동작을 조절하여 출력하는 예를 개시하였지만 이에 한정되는 것은 아니다. 즉 도 6에 도시된 바와 같이, 제1 단말기(100) 또는 제2 단말기(200)는 상대측에 대응하는 상대측 아바타 및 아바타 실행 코드를 아바타 제공서버(400)를 통하여 수신하여 출력할 수 있다.
본 발명의 다른 실시예에 따른 화상 통화 시스템은, 도 7에 도시된 바와 같이, 이동통신망(300)을 매개로 연결된 제1 단말기(100), 제2 단말기(200) 및 아바타 제공서버(400)를 포함하여 구성된다.
제1 단말기(100)와 제2 단말기(200)는 이동통신망(300)을 매개로 서로 간에 화상 통화를 수행한다. 제1 단말기(100) 또는 제2 단말기(200)는 이동통신망(300)을 통하여 아바타 제공서버(400)로부터 수신한 상대측에 대응하는 상대측 아바타를 출력하고, 상대측의 얼굴 인식을 통해 파악한 상대측의 감정상태에 대응하는 아바타 실행 코드를 수신하여 상대측 아바타의 상태 및 동작 중에 적어도 하나를 조절하여 출력한다.
이동통신망(300)은 제1 단말기(100), 아바타 제공서버(400) 및 착신 단말기(200) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 특히 제1 단말기(100)로부터 화상 통화 연결 요청을 수신하면, 이동통신망(300)은 제1 단말기(100)와 제2 단말기(200) 간의 화상 통화를 위한 화상 통화 채널을 형성한다. 형성한 화상 통화 채널을 통하여 화상 통화가 개시되면, 이동통신망(300)은 상대측 아바타 및 아바타 실행 코드를 아바타 제공서버(400)로부터 수신하여 제1 또는 제2 단말기(100,200)로 전송한다. 이때 이동통신망(300)은 상대측 아바타 및 아바타 실행 코드를 현재 형성된 화상 통화 채널을 이용하거나, 형성된 화상 통화 채널과는 별도로 데이터 통신 채널 또는 메시지 서비스 채널을 형성하여 제1 또는 제2 단말기(100,200)로 전송한다.
그리고 아바타 제공서버(400)는 이동통신망(300)을 매개로 화상 통화 채널이 형성된 후, 제1 또는 제2 단말기(100,200)로부터 아바타 요청 신호를 수신하면, 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송한다. 아바타 제공서버(400)는 아바타를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하고, 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성한다. 그리고 아바타 제공서버(400)는 생성한 아바타 실행 코드를 상대측 아바타를 수신한 단말기로 전송한다. 이때 상대측 아바타를 수신한 단말기는 수신한 아바타 실행 코드에 따라 상대측 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다.
특히 본 발명의 다른 실시예에 따른 아바타 제공서버(400)는 송수신부(410), 데이터베이스부(420) 및 서버제어부(430)를 포함하여 구성된다.
송수신부(410)는 이동통신망(300)을 매개로 제1 단말기(100) 및 제2 단말기(200)와 통신을 수행한다. 송수신부(410)는 서버제어부(430)의 제어에 따라 이동통신망(300)으로부터 아바타 요청을 수신하고, 이동통신망(300)으로 요청한 상대측 아바타를 전송한다. 그리고 송수신부(410)는 서버제어부(430)의 제어에 따라 이동통신망(300)으로 아바타 실행 코드를 전송한다.
데이터베이스부(420)는 제1 또는 제2 단말기(100,200)의 사용자에 의해 설정된 아바타와, 아바타를 동작시키는 아바타 실행 코드를 저장한다. 사용자는 상대측에 대응되게 아바타를 설정할 수 있다. 아바타는 사용자의 선택 신호에 따라 상대측의 단말정보에 매칭하여 설정된 아바타와, 디폴트로 설정된 일반 아바타를 포함한다. 디폴트로 설정된 일반 아바타는 사용자가 설정한 상대측 이외의 사람과 화상 통화를 수행할 경우에 사용될 수 있다.
그리고 서버제어부(430)는 아바타 제공서버(400)의 전반적인 제어 동작을 수행한다. 특히 서버제어부(430)는 화상 통화 중 상대측이 취하는 표정에 따른 얼굴 인식을 기반으로 한 사용자 단말기의 아바타 출력을 제어한다.
서버제어부(430)는 아바타 설정 모드에서, 제1 및 제2 단말기(100,200)를 통한 사용자의 선택 신호에 따라 상대측에 대응하는 상대측 아바타를 설정하고, 설정된 상대측 아바타를 동작시키는 아바타 실행 코드를 설정할 수 있다. 이때 서버제어부(430)에 의한 상대측 아바타 및 아바타 실행 코드의 설정은 도 2의 제어부(160)에 의한 설정 방식과 동일한 방식으로 수행될 수 있기 때문에, 상세한 설명은 생략한다.
서버제어부(430)는 이동통신망(300)을 매개로 제1 및 제2 단말기(100,200) 간에 화상 통화 채널이 형성된 이후에, 이동통신망(300)을 통하여 제1 또는 제2 단말기(100,200)로부터 아바타 요청 신호를 수신하면, 아바타 요청 신호를 발신한 단말기로 상대측 아바타를 전송한다. 서버제어부(430)는 상대측 아바타를 수신한 단말기의 상대측 단말기로부터 상대측 영상을 수신한다. 서버제어부(430)는 수신한 상대측 영상을 분석하여 상대측이 취하는 표정에 따른 얼굴 인식을 기반으로 하여 아바타 실행 코드를 생성한다. 그리고 서버제어부(430)는 생성한 아바타 실행 코드를 상대측 아바타를 수신한 단말기로 전송한다. 이때 상대측 아바타를 수신한 단말기는 수신한 아바타 실행 코드에 따라 상대측 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다.
이때 서버제어부(430)는 상대측 아바타를 데이터베이스부(420)에서 호출하거나 상대측 단말기로부터 수신하여 사용자 단말기로 전송한다. 즉 화상 통화 채널이 형성되면, 서버제어부(430)는 상대측에 대응하는 상대측 아바타가 데이터베이스부(420)에 설정되어 있는 지를 확인한다. 확인 결과 설정되어 있으면, 서버제어부(430)는 설정된 상대측 아바타를 호출한다. 확인 결과 미설정되어 있으면, 서버제어부(430)는 데이터베이스부(420)에 저장된 일반 아바타를 호출하거나 상대측 단말기로 상대측 아바타를 요청하여 수신할 수 있다. 그리고 서버제어부(430)는 호출하거나 수신한 상대측 아바타를 사용자 단말기로 전송한다. 이때 서버제어부(430)는 상대측 단말기로부터 상대측 아바타를 요청하여 수신할 때, 현재 형성된 화상 통화 채널을 이용할 수도 있고, 데이터 통신 채널 또는 메시지 서비스 채널을 화상 통화 채널과는 별도로 형성할 수 있다. 서버제어부(430)는 상대측 단말기로부터 수신한 상대측 아바타를 상대측의 전화번호에 연결하여 데이터베이스부(420)에 저장할 수 있다.
서버제어부(430)는 수신한 상대측 영상에서 상대측의 얼굴을 인식한다. 즉 서버제어부(430)는 수신한 상대측 영상을 분석하여 상대방의 얼굴 영상을 추출하고, 추출한 얼굴 영상에서 관심영역을 추출한다. 그리고 서버제어부(430)는 추출한 관심영역의 위치 변화를 추적하여 상대방의 표정을 감지하여 얼굴을 인식한다. 예컨대 서버제어부(430)는 수신한 상대측 영상에서 상대측의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 서버제어부(430)는 추출한 얼굴 영상에서 눈, 눈썹, 입, 코 등의 관심 영역을 adaboost 또는 SVM을 이용하여 추출한다. 그리고 서버제어부(430)는 추출한 관심영역의 위치변화로부터 상대측의 표정 변화를 감지할 수 있다. 서버제어부(430)는 추적한 관심영역에 따른 상대측의 연속적 또는 불연속적인 표정을 감지한다.
서버제어부(430)는 얼굴 인식으로 수집된 인식 값을 기준으로 상대측의 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교한다. 서버제어부(430)는 비교 결과에 따라 수집된 인식 값에 대응하는 기준 파라미터를 결정한다. 그리고 서버제어부(430)는 결정된 기준 파라미터를 기반으로 아바타 실행 코드를 생성한다. 이때 기준 파라미터는 판단된 감정상태가 기쁨, 슬픔, 즐거움, 화남, 짜증남 등으로 인식하도록 하는 기준 값에 해당된다.
그리고 서버제어부(430)는 생성한 아바타 실행 코드를 현재 설정된 화상 통화 채널, 별도의 데이터 통신 채널 또는 메시지 서비스 채널을 통하여 사용자 단말기로 전송한다.
이와 같이 본 발명의 다른 실시예에 따른 화상 통화 시스템의 아바타 제공서버(430)는 화상 통화 채널이 형성되면 제1 및 제2 단말기(100,200)로 상대측에 대응하는 상대측 아바타를 전송하고, 상대측의 제스처 및 음성 인식을 기반으로 생성한 아바타 실행 코드를 상대측 아바타를 수신한 단말기로 전송한다. 그리고 상대측 아바타를 수신한 단말기는 아바타 실행 코드에 따라 상대측 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하기 때문에, 상대측 아바타를 통하여 상대측의 감정상태를 사용자에게 효과적으로 전달할 수 있다.
본 발명의 다른 실시예에 따른 화상 통화 시스템에서 상대측의 감정을 전달하기 위한 화상 통화 방법에 대해서 도 6 및 도 7을 참조하여 설명하면 다음과 같다. 여기서 도 7은 본 발명의 다른 실시 예에 따른 화상 통화 방법을 설명하기 위한 순서도이다.
먼저 S201 단계에서 제1 단말기(100)가 제2 단말기(200)와의 화상 통화 연결 요청을 발신하면, S203 단계에서 이동통신망(300)은 이를 수신하여 제2 단말기(200)로 화상 통화 착신을 요청한다.
다음으로 S205 단계에서 제2 단말기(200)가 화상 통화 착신 요청에 대한 수락 신호를 이동통신망(300)으로 전송하면, S207 단계에서 이동통신망(300)은 제1 단말기(100)와 제2 단말기(200) 간에 화상 통화 채널을 형성한다. 제1 단말기(100)와 제2 단말기(200)는 형성된 화상 통화 채널을 통하여 각각 획득한 화상 통화 데이터를 서로 교환하며 화상 통화를 수행한다.
한편 S201 단계를 수행하기 전에, 아바타 제공서버(400)는 제1 단말기(100)를 통한 사용자의 선택 신호에 따라 아바타 설정 모드에서 상대방에 대응하는 아바타와, 설정된 아바타를 동작시키는 아바타 실행 코드를 설정할 수 있다. 사용자는 아바타 설정 모드에서 자신 또는 상대방이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행 코드를 선택하여 설정할 수 있다.
다음으로 S209 단계에서 제1 단말기(100)는 사용자로부터 아바타 모드가 선택되는 지의 여부를 판단한다. 이때 사용자는 입력부(120)를 통하여 아바타 모드를 선택할 수 있다.
S209 단계의 판단 결과 아바타 모드가 선택되지 않은 경우, 제1 단말기(100)는 일반적인 화상 통화 모드를 유지한다.
S209 단계의 판단 결과 아바타 모드가 선택된 경우, S211 단계에서 제1 단말기(100)는 제2 단말기(200)의 사용자(상대측)에 대응하는 아바타 요청 신호를 이동통신망(300)으로 전송한다. S213 단계에서 이동통신망(300)은 수신한 아바타 요청 신호를 아바타 제공서버(400)로 전달한다.
다음으로 S215단계에서 아바타 제공서버(400)는 데이터베이스부(420)에서 제1 또는 제2 단말기(100,200) 사용자에 의해 설정된 상대측 아바타를 추출하여 이동통신망(300)으로 전송한다. 이때 상대측 아바타는 제2 단말기(200) 사용자에 대응되게 설정된 아바타일 수 있다. 아바타 제공서버(400)는 상대측 아바타를 현재 형성된 화상 통화 채널, 별도의 데이터 통신 채널 또는 메시지 서비스 채널을 통하여 전송할 수 있다.
다음으로 S217 단계에서 이동통신망(300)은 수신한 상대측의 화상 통화 데이터와 상대측 아바타를 제1 단말기(100)로 전송한다. 이어서 S218 단계에서 제1 단말기(100)는 수신한 상대측 아바타와 화상 통화 데이터를 출력한다. 즉 제1 단말기(100)는 수신한 화상 통화 데이터에서 음성은 오디오 처리부(130)를 거쳐 스피커(SPK)를 통해 출력한다. 제1 단말기(100)는 수신한 화상 통화 데이터에서 상대측 영상과 상대측 아바타를 함께 표시부(140)에 표시한다. 이때 제1 단말기(100)가 상대측 아바타를 표시할 때, 상대측 영상과 상대측 아바타를 구분하여 표시하거나, 상대측 영상이 출력되는 영역에 상대측 아바타를 오버 레이 시켜 표시할 수 있다.
다음으로 S219 단계에서 이동통신망(300)은 제2 단말기(200)로부터 수신한 화상 통화 데이터 중 상대측 영상을 아바타 제공서버(400)로 전송한다.
다음으로 S221 단계에서 아바타 제공서버(400)는 수신한 영상을 분석하여 상대측이 취하는 표정에 따른 얼굴을 인식한다. 이어서 S223 단계에서 아바타 제공서버(400)는 인식한 얼굴을 기반으로 아바타 실행 코드를 생성한다.
즉 아바타 제공서버(400)는 수신한 상대측 영상을 분석하여 상대방의 얼굴 영상을 추출하고, 추출한 얼굴 영상에서 관심영역을 추출한다. 그리고 아바타 제공서버(400)는 추출한 관심영역의 위치 변화를 추적하여 상대방의 표정을 감지하여 얼굴을 인식한다. 예컨대 아바타 제공서버(400)는 수신한 상대측 영상에서 상대측의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 아바타 제공서버(400)는 추출한 얼굴 영상에서 눈, 눈썹, 입, 코 등의 관심 영역을 adaboost 또는 SVM을 이용하여 추출한다. 그리고 아바타 제공서버(400)는 추출한 관심영역의 위치변화로부터 상대측의 표정 변화를 감지할 수 있다.
아바타 제공서버(400)는 얼굴 인식으로 수집된 인식 값을 기준으로 상대측의 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교한다. 아바타 제공서버(400)는 비교 결과에 따라 수집된 인식 값에 대응하는 기준 파라미터를 결정한다. 그리고 아바타 제공서버(400)는 결정된 기준 파라미터를 기반으로 아바타 실행 코드를 생성한다. 이때 기준 파라미터는 판단된 감정상태가 기쁨, 슬픔, 즐거움, 화남, 짜증남 등으로 인식하도록 하는 기준 값에 해당된다.
다음으로 S225단계에서 아바타 제공서버(400)는 생성한 아바타 실행 코드를 이동통신망(300)으로 전송한다. 이어서 S227단계에서 이동통신망(300)은 수신한 아바타 실행 코드를 제1 단말기(100)로 전달한다. 이때 아바타 제공서버(400)는 아바타 실행 코드를 현재 형성된 화상 통화 채널, 별도의 데이터 통신 채널 또는 메시지 서비스 채널을 통하여 전송할 수 있다.
그리고 S229 단계에서 제1 단말기(100)는 수신한 아바타 실행 코드에 따라 상대측 아바타를 변형하여 출력한다. 즉 제1 단말기(100)는 수신한 아바타 실행 코드에 따라 상대측 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력한다. 예컨대 제1 단말기(100)가 상대측 아바타를 표시할 때, 상대측 영상과 상대측 아바타를 구분하여 표시하거나, 상대측 영상이 출력되는 영역에 상대측 아바타를 오버 레이 시켜 표시할 수 있다.
한편 본 발명의 다른 실시예에 따른 화상 통화 방법에서는 아바타 제공서버(400)가 제1 단말기(100)로 제2 단말기(200) 사용자의 감정상태를 표현하는 상대측 아바타를 제공하는 예를 개시하였지만, 반대로 제2 단말기(200)로 제1 단말기(100) 사용자의 감정상태를 표현하는 상대측 아바타를 제공할 수도 있다. 또는 제1 및 제2 단말기(100,200)에 상대측의 감정상태를 표현하는 상대측 아바타를 각각 제공할 수도 있다.
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
본 발명은 화상 통화 방법 및 시스템에 관한 것으로, 화상 통화 시 화자의 얼굴 인식을 통하여 화자의 기분 변화 등과 관련된 요소를 추출하고, 이를 기반으로 아바타의 표정이나 동작 등을 제어하여 출력함으로써, 단말기 사용자들은 화상 통화를 수행하면서 상대측의 상태나 상태 변화 등을 아바타를 통하여 빠르고 정확 하게 인식할 수 있다.
도 1은 본 발명의 실시 예에 따른 화상 통화 시스템의 구성을 개략적으로 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 단말기의 구성을 개략적으로 나타낸 도면,
도 3은 도 2의 단말기 구성 중 제어부의 구성을 보다 상세히 나타낸 도면,
도 4는 도 2의 표시부를 구성하는 화면 인터페이스의 일예를 나타낸 도면,
도 5는 본 발명의 실시 예에 따른 화상 통화 방법을 설명하기 위한 순서도,
도 6은 본 발명의 다른 실시 예에 따른 화상 통화 시스템의 구성을 개략적으로 나타낸 도면,
도 7은 본 발명의 다른 실시 예에 따른 화상 통화 방법을 설명하기 위한 순서도이다.
* 도면의 주요 부분에 대한 설명 *
100 : 제1 단말기 110 : 통신부
120 : 입력부 130 : 오디오 처리부
140 : 표시부 150 : 저장부
160 : 제어부 161 : 아바타 서비스 모듈
163 : 화상통화 모듈 170 : 카메라
200 : 제2 단말기 300 : 이동통신망
400 : 아바타 제공서버 410 : 송수신부
420 : 데이터베이스부 430 : 서버제어부

Claims (19)

  1. 화상 통화 채널이 형성되면, 제2 단말기에 대응하는 아바타를 출력하고, 상기 제2 단말기로부터 수신한 아바타 실행 코드를 기반으로 출력된 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하는 제1 단말기;
    카메라가 수집한 영상의 얼굴 인식을 통하여 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하기 위한 상기 아바타 실행 코드를 생성하고, 상기 생성한 아바타 실행 코드를 상기 제1 단말기에 전송하는 상기 제2 단말기;
    를 포함하는 것을 특징으로 하는 화상 통화 시스템.
  2. 제1 단말기와 제2 단말기 간의 화상 통화를 제어하는 통신망;
    상기 통신망을 매개로 화상 통화 채널이 형성된 후, 상기 제1 또는 제2 단말기로부터 아바타 요청 신호를 수신하면, 상기 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송하고, 상기 아바타를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하고, 상기 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성하고, 상기 생성한 아바타 실행 코드를 상기 아바타를 수신한 단말기로 전송하는 아바타 제공서버;
    를 포함하는 것을 특징으로 하는 화상 통화 시스템.
  3. 통신망을 매개로 제1 단말기 또는 제2 단말기와 통신을 수행하는 송수신부;
    상기 통신망을 매개로 화상 통화 채널이 형성된 후, 상기 제1 또는 제2 단말기로부터 아바타 요청 신호를 수신하면, 상기 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송하고, 상기 아바타를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하고, 상기 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성하고, 상기 생성한 아바타 실행 코드를 상기 아바타를 수신한 단말기로 전송하는 서버제어부;
    를 포함하는 것을 특징으로 하는 화상 통화 시스템의 아바타 제공서버.
  4. 제3항에 있어서,
    상기 제1 단말기 또는 제2 단말기의 사용자에 의해 설정된 아바타와, 상기 아바타를 동작시키는 아바타 실행 코드를 저장하는 데이터베이스부;
    를 더 포함하며,
    상기 서버제어부는 상기 상대측에 대응되는 아바타를 상기 데이터베이스부에서 호출하여 상기 제1 단말기 또는 제2 단말기로 전송하고, 상기 얼굴 인식에 기반한 상기 아바타 실행 코드를 상기 데이터베이스부에서 추출하여 상기 아바타를 수신한 단말기로 전송하는 것을 특징으로 하는 화상 통화 시스템의 아바타 제공서버.
  5. 상대측 단말기와 화상 통화를 수행하는 통신부;
    상기 상대측 단말기로 전송할 영상을 수집하는 카메라;
    상기 통신부를 통하여 수신한 상대측의 영상을 출력하는 표시부;
    상기 통신부를 통하여 상기 상대측 단말기와 화상 통화 채널을 형성하면, 상기 상대측 단말기에 대응하는 아바타를 상기 표시부에 출력하고, 상기 상대측 단말기로부터 상기 상대측의 얼굴 인식을 통하여 생성된 아바타 실행 코드를 수신하고, 상기 아바타 실행 코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 상기 표시부로 출력하는 제어부;
    를 포함하는 것을 특징으로 하는 화상 통화 시스템의 단말기.
  6. 제5항에 있어서,
    상기 아바타를 상기 상대측 단말기의 전화번호에 연결하여 저장하는 저장부;
    를 더 포함하는 것을 특징으로 하는 화상 통화 시스템의 단말기.
  7. 제1 단말기 및 제2 단말기 간에 화상 통화 채널이 형성된 후 상기 제1 또는 제2 단말기로부터 아바타 요청 신호를 수신하면, 아바타 제공서버가 상기 아바타 요청 신호를 발신한 단말기로 상대측에 대응하는 아바타를 전송하는 아바타 전송 단계;
    상기 아바타 제공서버가 상기 아바타를 수신한 단말기의 상대측 단말기로부터 상대측의 영상을 수신하는 수신 단계;
    상기 아바타 제공서버가 상기 수신한 상대측 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성하는 생성 단계;
    상기 아바타 제공서버가 상기 생성한 아바타 실행 코드를 상기 아바타를 수 신한 단말기로 전송하는 아바타 실행 코드 전송 단계;
    를 포함하는 것을 특징으로 하는 화상 통화 방법.
  8. 제7항에 있어서, 상기 아바타 전송 단계는,
    상기 아바타 제공서버가 상기 아바타를 데이터베이스부에서 호출하거나 상기 상대측 단말기로부터 수신하여 상기 아바타 요청 신호를 발신한 단말기로 전송하는 것을 특징으로 화상 통화 방법.
  9. 제7항에 있어서, 상기 생성 단계는,
    상기 아바타 제공서버가 상기 수신한 상대측 영상을 분석하여 상대측의 얼굴 영상을 추출하고, 상기 추출한 얼굴 영상에서 관심영역을 추출하고, 상기 추출한 관심영역의 위치 변화를 추적하여 상대측의 표정을 감지하여 얼굴을 인식하는 단계;
    상기 아바타 제공서버가 상기 얼굴 인식으로 수집된 인식 값을 기준으로 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교하는 단계;
    상기 아바타 제공서버가 상기 비교 결과에 따라 상기 수집된 인식 값에 대응하는 기준 파라미터를 결정하는 단계;
    상기 아바타 제공서버가 상기 결정된 기준 파라미터를 기반으로 상기 아바타 실행 코드를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 화상 통화 방법.
  10. 제7항에 있어서, 상기 아바타 전송 단계 및 상기 아바타 실행 코드 전송 단계는,
    상기 아바타 제공서버가 상기 아바타 및 아바타 실행 코드를 상기 화상 통화 채널, 데이터 통신 채널 및 메시지 서비스 채널 중에 적어도 하나를 통하여 전송하는 것을 특징으로 하는 화상 통화 방법.
  11. 제7항에 있어서, 상기 아바타 전송 단계 이전에 수행되는,
    상기 아바타 제공서버가 아바타 설정 모드에서 사용자 또는 상대측이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행 코드를 선택하여 설정하는 단계;
    를 더 포함하는 것을 특징으로 하는 화상 통화 방법.
  12. 제1 단말기와 제2 단말기가 화상 통화 채널을 형성하는 채널 형성 단계;
    상기 제1 단말기가 상기 제2 단말기에 대응하는 아바타를 출력하는 출력 단계;
    상기 제2 단말기의 카메라가 수집한 영상 영상에 따른 얼굴 인식에 기반하여 아바타 실행 코드를 생성한 상기 제2 단말기로부터 상기 제1 단말기가 상기 아바타 실행 코드를 수신하는 수신 단계;
    상기 제1 단말기가 상기 아바타 실행 코드에 따라 상기 아바타의 상태 및 동작 중 적어도 하나를 조절하여 출력하는 조절 출력 단계;
    를 포함하는 것을 특징으로 하는 화상 통화 방법.
  13. 제12항에 있어서, 상기 수신 단계는,
    상기 제2 단말기가 카메라로 수집한 영상을 분석하여 얼굴 영상을 추출하고, 상기 추출한 얼굴 영상에서 관심영역을 추출하고, 상기 추출한 관심영역의 위치 변화를 추적하여 표정을 감지하여 얼굴을 인식하는 단계;
    상기 제2 단말기가 상기 얼굴 인식으로 수집된 인식 값을 기준으로 감정상태를 정의하는 기 설정된 기준 파라미터들과 비교하는 단계;
    상기 제2 단말기가 상기 비교 결과에 따라 상기 수집된 인식 값에 대응하는 기준 파라미터를 결정하는 단계;
    상기 제2 단말기가 상기 결정된 기준 파라미터를 기반으로 상기 아바타 실행 코드를 생성하는 단계;
    상기 제1 단말기가 상기 제2 단말기로부터 상기 아바타 실행 코드를 수신하는 단계;
    를 더 포함하는 것을 특징으로 하는 화상 통화 방법.
  14. 제13항에 있어서, 상기 관심영역은,
    눈, 눈썹, 미간, 코 및 입 중에 적어도 하나를 포함하는 것을 특징으로 화상 통화 방법.
  15. 제12항에 있어서, 상기 출력 단계 또는 조절 출력 단계는
    상기 제1 단말기가 화면을 분할하고, 분할된 영역에 상기 아바타 및 상기 제2 단말기로부터 수신한 영상을 구분하여 출력하는 단계; 또는
    상기 제1 단말기가 상기 제2 단말기로부터 수신한 영상을 출력하는 영역에 상기 아바타를 오버 레이 시켜 출력하는 단계;
    를 포함하는 것을 특징으로 하는 화상 통화 방법.
  16. 제12항에 있어서, 상기 출력 단계는
    상기 제1 단말기가 상기 제2 단말기와 화상 통화를 개시하면, 상기 아바타가 저장부에 설정되어 있는 지를 판단하는 단계;
    상기 판단 결과 설정되어 있으면 상기 제1 단말기가 상기 설정된 아바타를 호출하고, 상기 판단 결과 설정되어 있지 않으면 상기 제1 단말기가 상기 제2 단말기로 상기 아바타를 요청하여 수신하는 단계;
    상기 제1 단말기가 상기 제2 단말기로부터 수신한 영상과 상기 아바타를 함께 표시하는 단계;
    를 포함하는 것을 특징으로 하는 화상 통화 방법.
  17. 제12항에 있어서, 상기 수신 단계에서
    상기 제1 단말기가 상기 화상 통화 채널, 데이터 통신 채널 및 메시지 서비스 채널 중에 적어도 하나를 통하여 수신하는 것을 특징으로 하는 화상 통화 방법.
  18. 제12항에 있어서, 상기 채널 형성 단계 이전에 수행되는,
    상기 제1 단말기가 아바타 설정 모드에서 자신 또는 상대측이 좋아하거나 관심 있는 분야의 아바타 또는 아바타 실행 코드를 선택하여 설정하는 단계;
    를 더 포함하는 것을 특징으로 하는 화상 통화 방법.
  19. 제7항 내지 제18항 중 어느 한 항에 있어서,
    상기 아바타는 상대방 감정상태를 대신하여 표현하는 그래픽 컨텐츠로서, 애니메이션 캐릭터, 동영상, 정지영상, UCC(User Created Contents), 이모티콘, 플래시(flash), 영상과 진동이 조합된 햅틱 컨텐츠 중에 하나를 포함하는 것을 특징으로 하는 화상 통화 방법.
KR1020090083724A 2009-09-05 2009-09-05 화상 통화 방법 및 시스템 KR101170338B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090083724A KR101170338B1 (ko) 2009-09-05 2009-09-05 화상 통화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090083724A KR101170338B1 (ko) 2009-09-05 2009-09-05 화상 통화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20110025718A KR20110025718A (ko) 2011-03-11
KR101170338B1 true KR101170338B1 (ko) 2012-08-02

Family

ID=43933140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090083724A KR101170338B1 (ko) 2009-09-05 2009-09-05 화상 통화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101170338B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200081062A (ko) 2018-12-27 2020-07-07 주식회사 케이티 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312771B1 (ko) * 2011-12-14 2013-09-27 건국대학교 산학협력단 아바타를 사용한 영상 채팅 장치 및 방법
KR102044498B1 (ko) 2012-07-02 2019-11-13 삼성전자주식회사 영상 통화 서비스를 제공하기 위한 방법 및 그 전자 장치.
US9191619B2 (en) 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
KR102169523B1 (ko) * 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR102199735B1 (ko) 2016-10-18 2021-01-07 스노우 주식회사 영상을 위한 효과 공유 방법 및 시스템
KR102271308B1 (ko) * 2017-11-21 2021-06-30 주식회사 하이퍼커넥트 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템
KR102056806B1 (ko) 2017-12-15 2019-12-18 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버
KR102044241B1 (ko) 2017-12-28 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말
US11765320B2 (en) 2021-08-11 2023-09-19 Google Llc Avatar animation in virtual conferencing
KR102553432B1 (ko) * 2021-11-30 2023-07-10 (주) 키글 아바타 얼굴 생성 시스템
CN114500912B (zh) * 2022-02-23 2023-10-24 联想(北京)有限公司 通话处理方法、电子设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755415B1 (ko) 2005-12-30 2007-09-04 (주)디피아이 홀딩스 양이온성 전착도료 조성물 및 그 제조 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755415B1 (ko) 2005-12-30 2007-09-04 (주)디피아이 홀딩스 양이온성 전착도료 조성물 및 그 제조 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200081062A (ko) 2018-12-27 2020-07-07 주식회사 케이티 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법

Also Published As

Publication number Publication date
KR20110025718A (ko) 2011-03-11

Similar Documents

Publication Publication Date Title
KR101170338B1 (ko) 화상 통화 방법 및 시스템
KR101189053B1 (ko) 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN109819313B (zh) 视频处理方法、装置及存储介质
KR101533065B1 (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
CN108712603B (zh) 一种图像处理方法及移动终端
US20230089566A1 (en) Video generation method and related apparatus
CN108062400A (zh) 基于智能镜的试妆方法、智能镜及存储介质
CN109819167B (zh) 一种图像处理方法、装置和移动终端
CN111368127B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111954063B (zh) 视频直播间的内容显示控制方法及装置
CN110149517B (zh) 视频处理的方法、装置、电子设备及计算机存储介质
CN108600647A (zh) 拍摄预览方法、移动终端及存储介质
EP3340077B1 (en) Method and apparatus for inputting expression information
CN108154121A (zh) 基于智能镜的化妆辅助方法、智能镜及存储介质
WO2018098968A9 (zh) 一种拍照方法、装置及终端设备
CN111601174A (zh) 一种字幕添加方法及装置
CN113325948B (zh) 隔空手势的调节方法及终端
WO2021185142A1 (zh) 图像处理方法、电子设备及存储介质
CN110532412A (zh) 一种文件处理方法及移动终端
CN107563353B (zh) 一种图像处理方法、装置及移动终端
CN109145878A (zh) 图像提取方法及装置
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
KR101179465B1 (ko) 상대방의 감정을 전달하는 영상통화 시스템 및 방법
CN114915722B (zh) 处理视频的方法和装置
KR20090032209A (ko) 휴대 단말기의 전화번호부에 이미지를 등록하는 방법 및장치

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150625

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 8