KR20200109634A - 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법 - Google Patents

아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법 Download PDF

Info

Publication number
KR20200109634A
KR20200109634A KR1020190028953A KR20190028953A KR20200109634A KR 20200109634 A KR20200109634 A KR 20200109634A KR 1020190028953 A KR1020190028953 A KR 1020190028953A KR 20190028953 A KR20190028953 A KR 20190028953A KR 20200109634 A KR20200109634 A KR 20200109634A
Authority
KR
South Korea
Prior art keywords
user
user terminal
avatar
call
image
Prior art date
Application number
KR1020190028953A
Other languages
English (en)
Inventor
김기환
공상표
오동률
장우석
김현중
류도현
임주영
정수회
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190028953A priority Critical patent/KR20200109634A/ko
Publication of KR20200109634A publication Critical patent/KR20200109634A/ko
Priority to KR1020210170106A priority patent/KR102382521B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Abstract

아바타를 이용하여 영상 통화를 수행하는 사용자 단말은 상기 사용자 단말과 적어도 하나의 타사용자 단말 간에 영상 통화를 요청하는 영상 통화 요청부, 상기 사용자 단말과 상기 타사용자 단말 간의 영상 통화가 연결된 경우, 상기 사용자 단말과 연동하는 카메라를 이용하여 사용자 실사 영상을 촬영하는 촬영부, 상기 촬영된 사용자 실사 영상을 통화 중계 서버로 전송하고, 상기 통화 중계 서버로부터 상기 타사용자 단말에서 촬영된 타사용자 실사 영상을 수신하는 통신부, 상기 영상 통화에 대한 일반 통화 모드를 통해 상기 사용자 단말의 화면의 제 1 영역에 상기 사용자 실사 영상을 표시하고, 상기 화면의 제 2 영역에 상기 타사용자 실사 영상을 표시하는 표시부 및 상기 영상 통화에 대한 아바타 통화 모드를 요청받는 경우, 상기 일반 통화 모드를 상기 아바타 통화 모드로 변경하는 모드 변경부를 포함하되, 상기 표시부는 상기 아바타 통화 모드를 요청 받은 경우, 상기 화면의 제 1 영역에 표시된 상기 사용자 실사 영상을 기설정된 사용자 아바타로 대체하여 표시한다.

Description

아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법{USER DEVICE, CALL RELAY SERVER AND METHOD FOR ENABLING VIDEO CALL WITH AVATAR}
본 발명은 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법에 관한 것이다.
스마트폰(Smart Phone)이란 컴퓨터로 할 수 있는 작업 중 일부를 휴대폰에서도 할 수 있도록 개발된 휴대 기기이다. 사람들은 스마트폰을 항상 들고 다니면서 인터넷을 검색하거나 메일을 송수신하고, 동영상 또는 사진을 촬영 및 편집할 수도 있다. 또한, 스마트폰 이용자들은 서로 간에 동영상, 음악, 사진 등의 콘텐츠를 주고받을 수도 있다.
최근에는 스마트폰에 장착된 카메라를 이용하여 영상 통화가 가능해졌으며, 이러한 스마트폰에서 영상 통화를 수행하는 기술과 관련하여, 선행기술인 한국공개특허 제 2017-0110469호는 영상 통화를 제공하기 위한 방법 및 이를 위한 전자 장치를 개시하고 있다.
그러나 일부 사용자들의 경우, 사용자의 현재 상태에 따라 불시에 걸려온 영상 통화를 받기 꺼려하기도 한다. 또한, 영상 통화를 이용하는 사용자들은 상대방에게 자신의 개성이 보여지길 원하거나, 상대방에게 좀더 예쁜 모습으로 비춰지길 원한다.
사용자 얼굴 특징에 기반한 사용자 아바타를 생성하여, 영상 통화 중 촬영되는 사용자의 모습을 사용자 아바타로 변환하여 상대방과 영상 통화를 수행하도록 하는 사용자 단말, 통화 중계 서버 및 방법을 제공하고자 한다.
영상 통화 중 촬영되는 사용자의 얼굴 표정에 따라 사용자 아바타의 표정이 변화되도록 하여, 사용자 아바타를 통해 상대방에게 사용자의 현재 얼굴 표정 및 감정이 전달되도록 하는 사용자 단말, 통화 중계 서버 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 사용자 단말과 적어도 하나의 타사용자 단말 간에 영상 통화를 요청하는 영상 통화 요청부, 상기 사용자 단말과 상기 타사용자 단말 간의 영상 통화가 연결된 경우, 상기 사용자 단말과 연동하는 카메라를 이용하여 사용자 실사 영상을 촬영하는 촬영부, 상기 촬영된 사용자 실사 영상을 통화 중계 서버로 전송하고, 상기 통화 중계 서버로부터 상기 타사용자 단말에서 촬영된 타사용자 실사 영상을 수신하는 통신부, 상기 영상 통화에 대한 일반 통화 모드를 통해 상기 사용자 단말의 화면의 제 1 영역에 상기 사용자 실사 영상을 표시하고, 상기 화면의 제 2 영역에 상기 타사용자 실사 영상을 표시하는 표시부 및 상기 영상 통화에 대한 아바타 통화 모드를 요청받는 경우, 상기 일반 통화 모드를 상기 아바타 통화 모드로 변경하는 모드 변경부를 포함하되, 상기 표시부는 상기 아바타 통화 모드를 요청 받은 경우, 상기 화면의 제 1 영역에 표시된 상기 사용자 실사 영상을 기설정된 사용자 아바타로 대체하여 표시하는 것인 사용자 단말을 제공할 수 있다.
본 발명의 다른 실시예는, 사용자 단말로부터 적어도 하나의 타사용자 단말로의 영상 통화를 요청받는 요청부, 상기 타사용자 단말에서 상기 영상 통화를 수락한 경우, 상기 사용자 단말로부터 사용자 영상 데이터를 수신하여 상기 타사용자 단말로 전송하고, 상기 타사용자 단말로부터 타사용자 영상 데이터를 수신하여 상기 사용자 단말로 전송하는 통신부를 포함하되, 상기 영상 통화가 일반 통화 모드인 경우, 상기 사용자 영상 데이터는 상기 사용자 단말의 사용자 실사 영상을 포함하고, 상기 타사용자 영상 데이터는 상기 타사용자 단말의 타사용자 실사 영상을 포함하고, 상기 사용자 단말에서 상기 영상 통화가 상기 일반 통화 모드로부터 아바타 통화 모드로 변경된 경우, 상기 사용자 영상 데이터는 상기 사용자 실사 영상으로부터 대체된 사용자 아바타에 대한 영상을 포함하는 것인 통화 중계 서버를 제공할 수 있다.
본 발명의 또 다른 실시예는, 사용자 단말로부터 적어도 하나의 타사용자 단말로의 영상 통화를 요청받는 단계, 상기 타사용자 단말에서 상기 영상 통화를 수락한 경우, 상기 사용자 단말로부터 사용자 영상 데이터를 수신하여 상기 타사용자 단말로 전송하는 단계, 상기 타사용자 단말로부터 타사용자 영상 데이터를 수신하여 상기 사용자 단말로 전송하는 단계를 포함하되, 상기 영상 통화가 일반 통화 모드인 경우, 상기 사용자 영상 데이터는 상기 사용자 단말의 사용자 실사 영상을 포함하고, 상기 타사용자 영상 데이터는 상기 타사용자 단말의 타사용자 실사 영상을 포함하고, 상기 사용자 단말에서 상기 영상 통화가 상기 일반 통화 모드로부터 아바타 통화 모드로 변경된 경우, 상기 사용자 영상 데이터는 상기 사용자 실사 영상으로부터 대체되어 표시된 사용자 아바타에 대한 영상을 포함하는 것인 통화 중계 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 얼굴 특징에 기반한 사용자 아바타를 생성하여, 영상 통화 중 촬영되는 사용자의 모습을 사용자 아바타로 변환하여 상대방과 영상 통화를 수행하도록 하는 사용자 단말, 통화 중계 서버 및 방법을 제공할 수 있다.
영상 통화 중 촬영되는 사용자의 얼굴 표정에 따라 사용자 아바타의 표정이 변화되도록 하여, 사용자 아바타를 통해 상대방에게 사용자의 현재 얼굴 표정 및 감정이 전달되도록 하는 사용자 단말, 통화 중계 서버 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 통화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 3a 내지 도 3f는 본 발명의 일 실시예에 따른 사용자 단말에서 사용자 아바타를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 사용자로부터 사용자 아바타의 얼굴에 포함된 부분 중 교체를 요청받은 부분을 교체 요소로 변경하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 사용자 단말에서 생성된 아바타의 일부분을 수정하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른 사용자 단말에서 복수의 사용자 아바타 중 어느 하나를 대표 사용자 아바타로 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 사용자 단말에서 타사용자 단말로의 영상 통화를 요청하는 과정을 설명하기 위한 예시적인 도면이다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른 사용자 단말에서 타사용자 단말과 영상 통화를 수행하는 과정을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 단말에서 아바타를 이용하여 영상 통화를 수행하는 방법의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 통화 중계 서버의 구성도이다.
도 11은 본 발명의 일 실시예에 따른 통화 중계 서버를 통해 아바타를 이용하여 영상 통화를 수행하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 통화 시스템의 구성도이다. 도 1을 참조하면, 영상 통화 시스템(1)은 사용자 단말(110), 타사용자 단말(120) 및 통화 중계 서버(130)를 포함할 수 있다. 사용자 단말(110), 타사용자 단말(120) 및 통화 중계 서버(130)는 영상 통화 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 영상 통화 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(110)은 통화 중계 서버(130)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(110)은 사용자 단말(110)의 사용자에 대한 얼굴 특징에 기초하여 사용자 아바타를 생성할 수 있다. 예를 들어, 사용자 단말(110)은 사용자 단말(110)의 사용자에 대한 촬영 이미지를 입력받고, 입력된 촬영 이미지의 크기 또는 해상도 중 적어도 하나를 조절하고, 조절된 촬영 이미지로부터 사용자의 특징점을 검출하고, 검출된 특징점 및 복수의 버텍스를 포함하는 기학습된 평균 얼굴 모델에 기초하여 사용자 얼굴 모델을 생성할 수 있다. 이 때, 사용자 단말(110)은 사용자 얼굴 모델 과 뷰티 오프셋을 이용하여 사용자 아바타를 생성할 수 있다. 예를 들어, 뷰티 오프셋은 기모델링된 뷰티 모델에 포함된 복수의 버텍스 좌표로부터 평균 얼굴 모델에 포함된 복수의 버텍스 좌표가 차감된 오프셋에 뷰티 가중치가 적용된 것일 수 있다.
사용자 단말(110)은 생성된 사용자 아바타의 얼굴에 포함된 적어도 하나의 부분에 대한 교체를 요청받고, 교체될 적어도 하나의 부분에 대한 교체 요소를 선택받을 수 있다. 예를 들어, 사용자 단말(110)은 교체를 요청받은 적어도 하나의 부분에 해당하는 버텍스 좌표를 선택된 교체 요소에 해당하는 버텍스 좌표로 변경할 수 있다.
사용자 단말(110)은 생성된 사용자 아바타가 복수개인 경우, 복수개의 사용자 아바타 중 어느 하나를 대표 사용자 아바타로 설정받을 수 있다.
사용자 단말(110)은 사용자 단말(110)과 적어도 하나의 타사용자 단말(120) 간에 영상 통화를 요청할 수 있다. 예를 들어, 사용자 단말(110)은 사용자 단말(110)에 등록된 친구 리스트 중 적어도 하나의 친구를 선택받고, 선택된 친구에 대응하는 타사용자 단말(120)과의 영상 통화를 통화 중계 서버(130)로 요청할 수 있다.
사용자 단말(110)은 사용자 단말(110)과 타사용자 단말(120) 간의 영상 통화가 연결된 경우, 사용자 단말(110)과 연동하는 카메라를 이용하여 사용자 실사 영상을 촬영할 수 있다.
사용자 단말(110)은 촬영된 사용자 실사 영상을 통화 중계 서버(130)로 전송하고, 통화 중계 서버(130)로부터 타사용자 단말(120)에서 촬영된 타사용자 실사 영상을 수신할 수 있다. 예를 들어, 사용자 단말(110)은 일반 통화 모드가 수행되는 경우, 촬영된 사용자 실사 영상을 인코딩하여 통화 중계 서버(130)로 전송할 수 있다. 다른 예를 들어, 사용자 단말(110)은 아바타 통화 모드가 수행되는 경우, 사용자 아바타에 대한 영상을 인코딩하여 통화 중계 서버(130)로 전송할 수 있다.
사용자 단말(110)은 영상 통화에 대한 일반 통화 모드를 통해 사용자 단말(110)의 화면의 제 1 영역에 사용자 실사 영상을 표시하고, 화면의 제 2 영역에 타사용자 실사 영상을 표시할 수 있다.
일 실시예에 따르면, 사용자 단말(110)은 사용자 실사 영상 기반의 일반 통화 모드로부터 사용자 아바타 기반의 아바타 통화 모드로 변경하여 영상 통화를 수행할 수 있다. 이 때, 사용자 단말(110)은 영상 통화에 대한 아바타 통화 모드를 요청받는 경우, 일반 통화 모드를 아바타 통화 모드로 변경할 수 있다. 예를 들어, 사용자 단말(110)은 화면의 제 1 영역에 표시된 사용자 실사 영상을 기설정된 사용자 아바타로 대체하여 표시할 수 있다. 이 때, 사용자 단말(110)은 촬영된 사용자 실사 영상으로부터 사용자 단말(110)의 사용자의 얼굴 표정을 트래킹하고, 트래킹된 얼굴 표정을 따라 기설정된 사용자 아바타의 표정을 변경할 수 있다. 여기서, 사용자 단말(110)은 아바타 통화 모드가 수행되는 경우, 대표 사용자 아바타로 설정된 사용자 아바타를 표시할 수 있다.
다른 실시예에 따르면, 사용자 단말(110)은 사용자 실사 영상 기반의 일반 통화 모드에서 뷰티 효과 모드를 적용하여 영상 통화를 수행할 수 있다. 예를 들어, 사용자 단말(110)은 영상 통화 중 뷰티 효과 모드를 요청받은 경우, 화면의 제 1 영역에 표시된 사용자 실사 영상에 뷰티 효과를 적용하여 표시할 수 있다.
타사용자 단말(120)은 통화 중계 서버(130)를 통해 사용자 단말(110)로부터 영상 통화를 수신할 수 있다. 여기서, 타사용자 단말(120)은 사용자 단말(110)과 동일한 과정으로 일반 통화 모드, 아바타 통화 모드, 뷰티 효과 모드를 통해 영상 통화를 수행할 수 있다.
통화 중계 서버(130)는 사용자 단말(110)로부터 적어도 하나의 타사용자 단말(120)로의 영상 통화를 요청받을 수 있다. 예를 들어, 통화 중계 서버(130)는 사용자 단말(110)로부터 사용자 단말(110)의 애플리케이션에 등록된 친구 리스트 중 적어도 하나의 친구를 선택받고, 선택된 친구에 대응하는 타사용자 단말(120)과의 영상 통화를 요청받을 수 있다.
통화 중계 서버(130)는 타사용자 단말(120)에서 영상 통화를 수락한 경우, 사용자 단말(110)로부터 사용자 영상 데이터를 수신하여 타사용자 단말(120)로 전송할 수 있다. 또한, 통화 중계 서버(130)는 타사용자 단말(120)로부터 타사용자 영상 데이터를 수신하여 사용자 단말(110)로 전송할 수 있다.
통화 중계 서버(130)는 사용자 단말(110) 또는 타사용자 단말(120)에서 수행되는 통화 모드에 기초하여 영상 데이터를 수신할 수 있다. 예를 들어, 통화 중계 서버(130)는 사용자 단말(110)에서 일반 통화 모드가 수행되는 경우, 사용자 단말(110)로부터 사용자 실사 영상이 인코딩된 사용자 영상 데이터를 수신하고, 타사용자 단말(120)에서 일반 통화 모드가 수행되는 경우, 타사용자 단말(120)로부터 타사용자 실사 영상이 인코딩된 타사용자 영상 데이터를 수신할 수 있다. 다른 예를 들어, 통화 중계 서버(130)는 사용자 단말(110)에서 아바타 통화 모드가 수행되는 경우, 사용자 단말(110)로부터 사용자 아바타에 대한 영상이 인코딩된 사용자 영상 데이터를 수신하고, 타사용자 단말(120)에서 아바타 통화 모드가 수행되는 경우, 타사용자 단말(120)로부터 타사용자 아바타에 대한 영상이 인코딩된 타사용자 영상 데이터를 수신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 2를 참조하면, 사용자 단말(110)은 아바타 생성부(210), 영상 통화 요청부(220), 촬영부(230), 통신부(240), 표시부(250) 및 모드 변경부(260)를 포함할 수 있다. 여기서, 사용자 단말(110)에 포함된 구성은 타사용자 단말(120)에 포함된 구성과 동일하며, 타사용자 단말(120) 또한 사용자 단말(110)과 동일한 동작을 통해 영상 통화를 수행할 수 있다.
아바타 생성부(210)는 사용자 단말(110)의 사용자에 대한 얼굴 특징에 기초하여 사용자 아바타를 생성할 수 있다. 사용자 아바타를 생성하는 과정에 대해서는 도 3a 내지 도 3f를 통해 상세히 설명하도록 한다.
도 3a 내지 도 3f는 본 발명의 일 실시예에 따른 사용자 단말에서 사용자 아바타를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 3a를 참조하면, 사용자는 애플리케이션(300)을 통해 아바타 생성(301) 버튼을 입력받아 사용자 아바타를 생성하기 위한 프로세스로 진입할 수 있다.
도 3b를 참조하면, 아바타 생성부(210)는 사용자 단말(110)의 사용자에 대한 촬영 이미지(302)를 입력받을 수 있다. 예를 들어, 아바타 생성부(210)는 사용자 아바타를 생성하기 위해 사용자의 얼굴을 촬영하고, 촬영된 촬영 이미지(302)를 입력받을 수 있다. 다른 예를 들어, 아바타 생성부(210)는 사용자로부터 사용자 아바타를 생성하기 위해 사용자 단말(110)의 앨범에 저장된 복수의 기촬영된 이미지 중 어느 하나를 촬영 이미지(302)로 선택받아 촬영 이미지(302)로 입력받을 수 있다.
아바타 생성부(210)는 입력된 촬영 이미지의 크기 또는 해상도 중 적어도 하나를 조절할 수 있다. 예를 들어, 아바타 생성부(210)는 사용자로부터 핀치-인(pinch-in) 입력을 통해 촬영 이미지(302)의 축소를 입력받고, 핀치-아웃(pinch-out)을 통해 촬영 이미지(302)의 확대를 입력받아 사용자의 얼굴 크기가 소정의 영역(303, 예를 들어, 원형 또는 사각형 등)의 크기에 대응되도록 할 수 있다. 다른 예를 들어, 아바타 생성부(210)는 사용자로부터 드래그 입력을 통해 촬영 이미지(302)에 포함된 사용자의 얼굴이 소정의 영역(303)의 중심에 위치하도록 입력받은 후, 예를 들어, 1024x1024 사이즈로 촬영 이미지(302)의 크기를 조절할 수 있다.
도 3c를 참조하면, 아바타 생성부(210)는 사용자로부터 사용자의 성별(304)을 입력받고, 입력된 성별(304)에 기초하여 사용자 아바타가 생성되도록 할 수 있다.
도 3d를 참조하면, 아바타 생성부(210)는 조절된 촬영 이미지로부터 사용자의 특징점(310)을 검출할 수 있다. 여기서, 특징점은 사용자의 눈, 코, 입, 얼굴 윤곽과 같은 형태(shape) 정보일 수 있다.
아바타 생성부(210)는 검출된 특징점(310) 및 복수의 버텍스를 포함하는 기학습된 평균 얼굴 모델(311)에 기초하여 사용자 얼굴 모델(312)을 생성할 수 있다. 예를 들어, 아바타 생성부(210)는 검출된 사용자의 특징점(310)에 기학습된 평균 얼굴 모델(311)을 투영시켜 사용자 얼굴 모델(312)을 생성할 수 있다. 여기서, 평균 얼굴 모델(311)은 복수의 얼굴 메쉬를 PCA(Principal Component Analysis) 기반으로 학습시켜 얼굴의 변화도를 나타내는 고유의 벡터값으로 구성된 것일 수 있다.
도 3e를 참조하면, 아바타 생성부(210)는 사용자 얼굴 모델(312)을 뷰티 오프셋과 합성하여 사용자 아바타(314)를 생성할 수 있다. 여기서, 뷰티 오프셋은 기모델링된 뷰티 모델(313)에 포함된 복수의 버텍스 좌표로부터 평균 얼굴 모델(311)에 포함된 복수의 버텍스 좌표가 차감된 오프셋에 뷰티 가중치가 곱해짐으로써 도출될 수 있다. 뷰티 가중치는 뷰티의 강도를 나타내는 것일 수 있다. 예를 들어, 아바타 생성부(210)는 뷰티 오프셋을 사용자 얼굴 모델(312)에 합성하여 버텍스 좌표 간의 합을 통해 사용자 아바타(314)를 생성할 수 있다.
도 3f를 참조하면, 사용자는 생성이 완료된 사용자 아바타(315)를 확인한 후, 사용자 아바타(315)를 저장(316)하여 관리할 수 있다.
다시 도 2로 돌아와서, 아바타 생성부(210)는 사용자로부터 생성된 사용자 아바타의 수정을 요청받고, 수정 요청에 기초하여 사용자 아바타를 수정할 수 있다. 사용자 아바타를 수정하는 과정에 대해서는 도 4a 내지 도 5e를 통해 상세히 설명하도록 한다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 사용자로부터 사용자 아바타의 얼굴에 포함된 부분 중 교체를 요청받은 부분을 교체 요소로 변경하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a를 참조하면, 아바타 생성부(210)는 생성된 사용자 아바타(400)의 얼굴에 포함된 적어도 하나의 부분에 대한 교체를 요청받고, 교체될 적어도 하나의 부분에 대한 교체 요소(410)를 선택받을 수 있다.
도 4b를 참조하면, 사용자 아바타(400)의 얼굴에서 교체를 요청받은 부분을 교체 요소(410)로 단순 교체한 경우, 단순 교체로 인해 부자연스러움이 발생한다는 단점이 존재한다.
도 4c를 참조하면, 아바타 생성부(210)는 단순 교체를 통해 발생되는 부자연스러움을 방지하기 위해 교체를 요청받은 적어도 하나의 부분에 해당하는 버텍스 좌표를 선택된 교체 요소에 해당하는 버텍스 좌표로 변경할 수 있다. 이를 통해, 사용자 아바타(400)의 교체를 요청받은 부분의 모양이 교체 요소(410)의 모양으로 근사되도록 변경하여 부자연스러움을 방지할 수 있다.
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른 사용자 단말에서 생성된 아바타의 일부분을 수정하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a를 참조하면, 아바타 생성부(210)는 사용자로부터 애플리케이션(500)의 아바타 수정 버튼(501)을 입력받을 수 있다.
도 5b를 참조하면, 아바타 생성부(210)는 생성된 사용자 아바타를 표시할 수 있다. 이 때, 아바타 생성부(210)는 아바타 얼굴 버튼(511), 아바타 바디 버튼, 아바타 액세서리 버튼, 아바타 배경 버튼 등과 같이 사용자 아바타를 수정하기 위한 다양한 버튼(510)을 표시할 수 있다.
아바타 얼굴 버튼(511)은 헤어 스타일, 눈썹 형태 등과 같이 사용자 아바타의 얼굴 요소의 형태를 변경하는 메뉴를 호출할 수 있으며, 아바타 생성부(210)는 사용자로부터 아바타 얼굴 버튼(511)을 입력받으면 아바타 얼굴 메뉴를 표시할 수 있다.
아바타 바디 버튼은 사용자 아바타가 현재 착용하고 있는 외형 요소를 변경하는 메뉴를 호출할 수 있으며, 아바타 생성부(210)는 사용자로부터 아바타 바디 버튼을 입력받으면 아바타 바디 메뉴를 표시할 수 있다.
아바타 액세서리 버튼은 사용자 아바타에 착용하는 안경 등의 액세서리를 선택하는 메뉴를 호출할 수 있으며, 아바타 생성부(210)는 사용자로부터 액세서리 버튼을 입력받으면 액세서리 메뉴를 표시할 수 있다.
아바타 배경 버튼은 사용자 아바타의 배경 버튼을 변경하는 메뉴를 호출할 수 있으며, 아바타 생성부(210)는 사용자로부터 아바타 배경 버튼을 입력받으면 배경 메뉴를 표시할 수 있다.
도 5c를 참조하면, 아바타 생성부(210)는 사용자로부터 아바타 얼굴 버튼(511)을 입력받은 경우, 헤어 카테고리, 얼굴형 카테고리, 눈썹 카테고리, 눈 카테고리, 코 카테고리, 입 카테고리, 수염 카테고리와 같이 얼굴과 관련된 다양한 카테고리(520)를 표시하도록 할 수 있다.
도 5d를 참조하면, 아바타 생성부(210)는 사용자로부터 눈썹 카테고리를 선택받은 경우, 다양한 눈썹 모양을 표시하고, 사용자로부터 다양한 눈썹 모양 중 어느 하나의 눈썹 모양(521)을 선택받을 수 있다.
또는, 아바타 생성부(210)는 사용자로부터 얼굴의 전체 형태를 조절하는 일종의 노드에 해당하는 조절점을 입력받고, 조절점에 기초하여 각 카테고리에 해당하는 부위의 모양이 변경되도록 할 수 있다. 조절점은 상/하 또는 좌/우로 조절 가능하며, 좌우 대칭으로 조절점이 배치되어 한 쪽의 조절점을 조절하면, 다른 조절점도 같이 조절될 수 있다.
도 5e를 참조하면, 아바타 생성부(210)는 선택된 눈썹 모양(521)이 적용된 사용자 아바타(530)를 표시할 수 있다.
다시 도 2로 돌아와서, 아바타 생성부(210)는 생성된 사용자 아바타가 복수개인 경우, 복수개의 사용자 아바타 중 어느 하나를 대표 사용자 아바타로 설정받을 수 있다. 대표 사용자 아바타를 설정하는 과정에 대해서는 도 6a 내지 도 6c를 통해 상세히 설명하도록 한다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른 사용자 단말에서 복수의 사용자 아바타 중 어느 하나를 대표 사용자 아바타로 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a를 참조하면, 아바타 생성부(210)는 사용자로부터 애플리케이션의 대표 아바타 변경 버튼(600)을 입력받아 대표 사용자 아바타를 설정하기 위한 프로세스로 진입할 수 있다.
도 6b를 참조하면, 아바타 생성부(210)는 생성된 사용자 아바타가 복수개인 경우, 사용자로부터 복수개의 사용자 아바타(610) 중 어느 하나의 사용자 아바타(611)를 선택받은 후 완료 버튼(612)을 입력받을 수 있다.
도 6c를 참조하면, 아바타 생성부(210)는 선택된 사용자 아바타(611)를 대표 사용자 아바타(620)로 설정할 수 있다. 여기서, 대표 사용자 아바타(620)는 사용자 단말(110)에서 타사용자 단말(120)과 아바타를 이용하여 영상 통화를 수행하는 경우에 이용될 수 있으며, 추후에 사용자의 선택에 의해 다른 사용자 아바타로 변경될 수 있다.
다시 도 2로 돌아와서, 영상 통화 요청부(220)는 사용자 단말(110)과 적어도 하나의 타사용자 단말(120) 간에 영상 통화를 요청할 수 있다. 영상 통화를 요청하는 과정에 대해서는 도 7a 및 도 7b를 통해 상세히 설명하도록 한다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 사용자 단말에서 타사용자 단말로의 영상 통화를 요청하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a를 참조하면, 영상 통화 요청부(220)는 사용자로부터 애플리케이션의 화면(700)에 표시된 통화 버튼(701)을 입력받을 수 있다.
도 7b를 참조하면, 영상 통화 요청부(220)는 사용자 단말(110)에 등록된 친구 리스트(710) 중 적어도 하나의 친구를 선택받고, 선택된 친구에 대응하는 타사용자 단말(120)과의 영상 통화를 통화 중계 서버(130)로 요청할 수 있다. 예를 들어, 영상 통화 요청부(220)는 영상 통화가 가능한 친구 리스트(710)를 표시하여 사용자로부터 친구를 선택(711)받은 후 통화 중계 서버(130)로 영상 통화를 요청(712)할 수 있다. 여기서, 영상 통화 요청부(220)는 하나의 친구와의 영상 통화를 요청할 수도 있고, 다수의 친구와의 영상 통화를 요청할 수도 있다.
다시 도 2로 돌아와서, 촬영부(230)는 사용자 단말(110)과 타사용자 단말(120) 간의 영상 통화가 연결된 경우, 사용자 단말(110)과 연동하는 카메라를 이용하여 사용자 실사 영상을 촬영할 수 있다. 예를 들어, 촬영부(230)는 사용자 단말(110)의 전면 카메라를 구동하여 사용자 실사 영상을 촬영할 수 있다.
통신부(240)는 촬영된 사용자 실사 영상을 통화 중계 서버(130)로 전송하고, 통화 중계 서버(130)로부터 타사용자 단말(120)에서 촬영된 타사용자 실사 영상을 수신할 수 있다. 예를 들어, 통신부(240)는 일반 통화 모드가 수행되는 경우, 촬영된 사용자 실사 영상을 인코딩하여 통화 중계 서버(130)로 전송할 수 있다. 다른 예를 들어, 통신부(240)는 아바타 통화 모드가 수행되는 경우, 사용자 아바타에 대한 영상을 인코딩하여 통화 중계 서버(130)로 전송할 수 있다.
표시부(250)는 영상 통화에 대한 일반 통화 모드를 통해 사용자 단말(110)의 화면의 제 1 영역에 사용자 실사 영상을 표시하고, 화면의 제 2 영역에 타사용자 실사 영상을 표시할 수 있다. 예를 들어, 표시부(250)는 화면의 우측 상단에 위치한 제 1 영역에 사용자 실사 영상을 표시하고, 제 1 영역을 제외한 나머지 영역에 해당하는 제 2 영역에 타사용자 실사 영상을 표시할 수 있다.
일 실시예에 따르면, 사용자 단말(110)은 사용자 실사 영상 기반의 일반 통화 모드로부터 사용자 아바타 기반의 아바타 통화 모드로 변경하여 영상 통화를 수행할 수 있다.
모드 변경부(260)는 영상 통화에 대한 아바타 통화 모드를 요청받는 경우, 일반 통화 모드를 아바타 통화 모드로 변경할 수 있다.
표시부(250)는 아바타 통화 모드를 요청 받은 경우, 화면의 제 1 영역에 표시된 사용자 실사 영상을 기설정된 사용자 아바타로 대체 내지 변경하여 표시할 수 있다. 여기서, 표시부(250)는 아바타 통화 모드가 수행되는 경우, 대표 사용자 아바타로 설정된 사용자 아바타를 표시할 수 있다.
표시부(250)는 아바타 통화 모드가 수행되는 경우, 촬영된 사용자 실사 영상으로부터 사용자 단말(110)의 사용자의 얼굴 표정을 트래킹하고, 트래킹된 얼굴 표정에 따라 기설정된 사용자 아바타의 표정을 변경할 수 있다.
다른 실시예에 따르면, 사용자 단말(110)은 사용자 실사 영상 기반의 일반 통화 모드에서 뷰티 효과 모드를 적용하여 영상 통화를 수행할 수 있다.
모드 변경부(260)는 영상 통화 중 뷰티 효과 모드를 요청받을 수 있다.
표시부(250)는 화면의 제 1 영역에 표시된 사용자 실사 영상에 뷰티 효과를 적용하여 표시할 수 있다.
도 2에서 도시되지는 않았으나, 사용자 단말(110)은 타사용자 단말(120)과 일반 통화 모드, 아바타 통화 모드 및 뷰티 효과 모드를 이용한 영상 통화를 수행하는 동시에 동일 화면 상에서 채팅을 수행할 수도 있다.
도 8a 내지 도 8d는 본 발명의 일 실시예에 따른 사용자 단말에서 타사용자 단말과 영상 통화를 수행하는 과정을 설명하기 위한 예시적인 도면이다.
도 8a는 본 발명의 일 실시예에 따른 사용자 단말(110)에서 일반 통화 모드를 통해 타사용자 단말(120)과 영상 통화를 수행하는 과정을 도시한 예시적인 도면이다. 도 8a를 참조하면, 사용자 단말(110)은 일반 통화 모드를 통해 사용자(800)와 타사용자 간의 영상 통화를 수행할 수 있다. 이 때, 사용자 단말(110)은 사용자(800)와 한 명의 타사용자와 1:1 영상 통화를 수행할 수 있으며, 사용자(800)와 다수의 타사용자와 다자간 영상 통화를 수행할 수도 있다.
도 8b 내지 도 8d는 본 발명의 일 실시예에 따른 사용자 단말에서 아바타 통화 모드를 통해 타사용자 단말과 영상 통화를 수행하는 과정을 도시한 예시적인 도면이다.
도 8b를 참조하면, 사용자 단말(110)은 하나의 타사용자 단말(120)과 영상 통화를 진행할 수 있다. 예를 들어, 사용자 단말(110)에서 일반 통화 모드를 통해 영상 통화를 수행하고, 타사용자 단말(120)에서 일반 통화 모드로부터 아바타 통화 모드로 변경되어 영상 통화를 수행하는 경우, 사용자 단말(110)은 사용자 단말(110)의 화면의 제 2 영역(820)에 사용자 실사 영상을 표시하고, 화면의 제 1 영역(810)에 타사용자 아바타에 대한 영상을 표시할 수 있다.
도 8c를 참조하면, 사용자 단말(110)은 다수의 타사용자 단말(120)과 영상 통화를 진행할 수 있다. 예를 들어, 사용자 단말(110)은 다수의 타사용자 단말(120)과 영상 통화를 진행하는 경우, 사용자 단말(110)은 영상 통화에 참여한 총 인원수에 기초하여 화면을 분할할 수 있다. 여기서, 분할된 화면의 크기는 모두 동일한 것일 수 있으나 이에 한정되지는 않는다.
예를 들어, 사용자 단말(110)은 사용자에 의해 각 분할 화면의 위치의 변경을 입력받고, 변경된 위치에 기초하여 각 분할 화면을 표시할 수 있다. 다른 예를 들어, 사용자 단말(110)은 사용자로부터 복수의 분할 화면 중 어느 하나의 화면에 확대 입력을 받은 경우, 해당 화면을 확대하여 표시하고, 나머지 화면을 동일한 비율로 축소시켜 표시할 수 있다.
사용자 및 다수의 타사용자는 각 단말에서 수행되는 일반 통화 모드 또는 아바타 통화 모드에 기초하여 각각의 영상이 표시될 수 있다. 예를 들어, 사용자 단말(110)에서 아바타 통화 모드를 통해 다수의 타사용자 단말(120)과 영상 통화를 수행하는 경우, 사용자 단말(110)은 분할된 다수의 영역 중 제 1 영역(830)에 사용자의 모습을 사용자 아바타로 대체하여 표시할 수 있다.
도 8d를 참조하면, 사용자 단말(110)은 아바타 통화 모드를 통해 영상 통화가 수행되는 경우, 촬영되는 사용자 실사 영상으로부터 사용자 단말(110)의 사용자의 얼굴 표정을 트래킹하고, 트래킹된 얼굴 표정을 따라 사용자 아바타의 표정을 변경시킬 수 있다. 예를 들어, 사용자가 윙크한 표정을 지은 경우, 사용자 아바타(840)도 사용자의 표정을 따라서 윙크 표정을 지을 수 있다.
도 9는 본 발명의 일 실시예에 따른 사용자 단말에서 아바타를 이용하여 영상 통화를 수행하는 방법의 순서도이다. 도 9에 도시된 사용자 단말(110)에서 아바타를 이용하여 영상 통화를 수행하는 방법은 도 1 내지 도 8d에 도시된 실시에예 따라 영상 통화 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 8d에 도시된 실시예에 따른 사용자 단말(110)에서 아바타를 이용하여 영상 통화를 수행하는 방법에도 적용된다.
단계 S910에서 사용자 단말(110)은 사용자 단말과 적어도 하나의 타사용자 단말(120) 간에 영상 통화를 요청할 수 있다.
단계 S920에서 사용자 단말(110)은 사용자 단말(110)과 타사용자 단말(120) 간의 영상 통화가 연결된 경우, 사용자 단말(110)과 연동하는 카메라를 이용하여 사용자 실사 영상을 촬영할 수 있다.
단계 S930에서 사용자 단말(110)은 촬영된 사용자 실사 영상을 통화 중계 서버(130)로 전송하고, 통화 중계 서버(130)로부터 타사용자 단말(120)에서 촬영된 타사용자 실사 영상을 수신할 수 있다.
단계 S940에서 사용자 단말(110)은 영상 통화에 대한 일반 통화 모드를 통해 사용자 단말(110)의 화면의 제 1 영역에 사용자 실사 영상을 표시하고, 화면의 제 2 영역에 타사용자 실사 영상을 표시할 수 있다.
단계 S950에서 사용자 단말(110)은 영상 통화에 대한 아바타 통화 모드를 요청받는 경우, 일반 통화 모드를 아바타 통화 모드로 변경할 수 있다.
단계 S960에서 사용자 단말(110)은 아바타 통화 모드를 요청 받은 경우, 화면의 제 1 영역에 표시된 사용자 실사 영상을 기설정된 사용자 아바타로 대체하여 표시할 수 있다.
상술한 설명에서, 단계 S910 내지 S960은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 10은 본 발명의 일 실시예에 따른 통화 중계 서버의 구성도이다. 도 10을 참조하면, 통화 중계 서버(130)는 요청부(1010) 및 통신부(1020)를 포함할 수 있다.
요청부(1010)는 사용자 단말(110)로부터 적어도 하나의 타사용자 단말(120)로의 영상 통화를 요청받을 수 있다. 예를 들어, 요청부(1010)는 사용자 단말(110)로부터 사용자 단말(110)의 애플리케이션에 등록된 친구 리스트 중 적어도 하나의 친구를 선택받고, 선택된 친구에 대응하는 타사용자 단말(120)과의 영상 통화를 요청받을 수 있다.
통신부(1020)는 타사용자 단말(120)에서 영상 통화를 수락한 경우, 사용자 단말(110)로부터 사용자 영상 데이터를 수신하여 타사용자 단말(120)로 전송할 수 있다. 또한, 통신부(1020)는 타사용자 단말(120)로부터 타사용자 영상 데이터를 수신하여 사용자 단말(110)로 전송할 수 있다.
통신부(1020)는 사용자 단말(110) 또는 타사용자 단말(120)에서 수행되는 통화 모드에 기초하여 영상 데이터를 수신할 수 있다. 예를 들어, 통신부(1020)는 사용자 단말(110)에서 일반 통화 모드가 수행되는 경우, 사용자 단말(110)로부터 사용자 실사 영상이 인코딩된 사용자 영상 데이터를 수신하고, 타사용자 단말(120)에서 일반 통화 모드가 수행되는 경우, 타사용자 단말(120)로부터 타사용자 실사 영상이 인코딩된 타사용자 영상 데이터를 수신할 수 있다. 다른 예를 들어, 통신부(1020)는 사용자 단말(110)에서 아바타 통화 모드가 수행되는 경우, 사용자 단말(110)로부터 사용자 아바타에 대한 영상이 인코딩된 사용자 영상 데이터를 수신하고, 타사용자 단말(120)에서 아바타 통화 모드가 수행되는 경우, 타사용자 단말(120)로부터 타사용자 아바타에 대한 영상이 인코딩된 타사용자 영상 데이터를 수신할 수 있다.
즉, 통화 중계 서버(130)는 사용자 단말(110) 및 타사용자 단말(120)으로부터 사용자 단말(110) 및 타사용자 단말(120) 각각에서 선택한 영상 통화 모드에 기초하여 일반 통화 모드의 경우 실사 영상이 인코딩된 영상 데이터를 수신하고, 아바타 통화 모드의 경우 아바타에 대한 영상이 인코딩된 영상 데이터를 수신할 수 있다.
도 11은 본 발명의 일 실시예에 따른 통화 중계 서버에서 아바타를 이용하여 영상 통화를 수행하는 방법의 순서도이다. 도 11에 도시된 통화 중계 서버(130)에서 아바타를 이용하여 영상 통화를 수행하는 방법은 도 1 내지 도 10에 도시된 실시예에 따라 영상 통화 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 10에 도시된 실시예에 따른 통화 중계 서버(130)에서 아바타를 이용하여 영상 통화를 수행하는 방법에도 적용된다.
단계 S1110에서 통화 중계 서버(130)는 사용자 단말(110)로부터 적어도 하나의 타사용자 단말(120)로의 영상 통화를 요청받을 수 있다.
단계 S1120에서 통화 중계 서버(130)는 타사용자 단말(120)에서 영상 통화를 수락한 경우, 사용자 단말(110)로부터 사용자 영상 데이터를 수신하여 타사용자 단말(120)로 전송할 수 있다.
단계 S1130에서 통화 중계 서버(130)는 타사용자 단말(120)로부터 타사용자 영상 데이터를 수신하여 사용자 단말(110)로 전송할 수 있다.
상술한 설명에서, 단계 S1110 내지 S1130은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 11을 통해 설명된 사용자 단말 및 통화 중계 서버에서 아바타를 이용하여 영상 통화를 수행하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 11을 통해 설명된 사용자 단말 및 통화 중계 서버에서 아바타를 이용하여 영상 통화를 수행하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 사용자 단말
120: 타사용자 단말
130: 통화 중계 서버
210: 아바타 생성부
220: 영상 통화 요청부
230: 촬영부
240: 통신부
250: 표시부
260: 모드 변경부
1010: 요청부
1020: 통신부

Claims (19)

  1. 아바타를 이용하여 영상 통화를 수행하는 사용자 단말에 있어서,
    상기 사용자 단말과 적어도 하나의 타사용자 단말 간에 영상 통화를 요청하는 영상 통화 요청부;
    상기 사용자 단말과 상기 타사용자 단말 간의 영상 통화가 연결된 경우, 상기 사용자 단말과 연동하는 카메라를 이용하여 사용자 실사 영상을 촬영하는 촬영부;
    상기 촬영된 사용자 실사 영상을 통화 중계 서버로 전송하고, 상기 통화 중계 서버로부터 상기 타사용자 단말에서 촬영된 타사용자 실사 영상을 수신하는 통신부;
    상기 영상 통화에 대한 일반 통화 모드를 통해 상기 사용자 단말의 화면의 제 1 영역에 상기 사용자 실사 영상을 표시하고, 상기 화면의 제 2 영역에 상기 타사용자 실사 영상을 표시하는 표시부; 및
    상기 영상 통화에 대한 아바타 통화 모드를 요청받는 경우, 상기 일반 통화 모드를 상기 아바타 통화 모드로 변경하는 모드 변경부
    를 포함하되,
    상기 표시부는 상기 아바타 통화 모드를 요청 받은 경우, 상기 화면의 제 1 영역에 표시된 상기 사용자 실사 영상을 기설정된 사용자 아바타로 대체하여 표시하는 것인, 사용자 단말.
  2. 제 1항에 있어서,
    상기 통신부는 상기 일반 통화 모드가 수행되는 경우, 상기 촬영된 사용자 실사 영상을 인코딩하여 통화 중계 서버로 전송하는 것인, 사용자 단말.
  3. 제 1 항에 있어서,
    상시 통신부는 상기 아바타 통화 모드가 수행되는 경우, 상기 사용자 아바타에 대한 영상을 인코딩하여 상기 통화 중계 서버로 전송하는 것인, 사용자 단말.
  4. 제 1 항에 있어서,
    상기 표시부는 상기 아바타 통화 모드가 수행되는 경우, 상기 촬영된 사용자 실사 영상으로부터 상기 사용자 단말의 사용자의 얼굴 표정을 트래킹하고, 상기 트래킹된 얼굴 표정을 따라 상기 기설정된 사용자 아바타의 표정을 변경시키는 것인, 사용자 단말.
  5. 제 1 항에 있어서,
    상기 영상 통화 요청부는 상기 사용자 단말에 등록된 친구 리스트 중 적어도 하나의 친구를 선택받고, 상기 선택된 친구에 대응하는 타사용자 단말과의 영상 통화를 상기 통화 중계 서버로 요청하는 것인, 발신 단말.
  6. 제 5 항에 있어서,
    상기 사용자 단말의 사용자에 대한 얼굴 특징에 기초하여 사용자 아바타를 생성하는 아바타 생성부를 더 포함하는 것인, 사용자 단말.
  7. 제 6 항에 있어서,
    상기 아바타 생성부는 상기 생성된 사용자 아바타가 복수개인 경우, 상기 복수개의 사용자 아바타 중 어느 하나를 대표 사용자 아바타로 설정받고,
    상기 표시부는 상기 아바타 통화 모드가 수행되는 경우, 상기 대표 사용자 아바타로 설정된 사용자 아바타를 표시하는 것인, 사용자 단말.
  8. 제 6 항에 있어서,
    상기 아바타 생성부는,
    상기 사용자 단말의 사용자에 대한 촬영 이미지를 입력받고,
    상기 입력된 촬영 이미지의 크기 또는 해상도 중 적어도 하나를 조절하고,
    상기 조절된 촬영 이미지로부터 상기 사용자의 특징점을 검출하고,
    상기 검출된 특징점 및 복수의 버텍스를 포함하는 기학습된 평균 얼굴 모델에 기초하여 사용자 얼굴 모델을 생성하는 것인, 사용자 단말.
  9. 제 8 항에 있어서,
    상기 아바타 생성부는 상기 사용자 얼굴 모델 및 뷰티 오프셋과 합성하여 상기 사용자 아바타를 생성하는 것인, 사용자 단말.
  10. 제 9 항에 있어서,
    상기 뷰티 오프셋은 기모델링된 뷰티 모델에 포함된 복수의 버텍스 좌표로부터 상기 평균 얼굴 모델에 포함된 복수의 버텍스 좌표가 차감된 오프셋에 뷰티 가중치가 적용된 것인, 사용자 단말.
  11. 제 6 항에 있어서,
    상기 아바타 생성부는 상기 생성된 사용자 아바타의 얼굴에 포함된 적어도 하나의 부분에 대한 교체를 요청받고, 상기 교체될 적어도 하나의 부분에 대한 교체 요소를 선택받는 것인, 사용자 단말.
  12. 제 11 항에 있어서,
    상기 아바타 생성부는 상기 교체를 요청받은 적어도 하나의 부분에 해당하는 버텍스 좌표를 상기 선택된 교체 요소에 해당하는 버텍스 좌표로 변경하는 것인, 사용자 단말.
  13. 제 1 항에 있어서,
    상기 모드 변경부는 상기 영상 통화 중 뷰티 효과 모드를 요청받고,
    상기 표시부는 상기 화면의 제 1 영역에 표시된 상기 사용자 실사 영상에 뷰티 효과를 적용하여 표시하는 것인, 사용자 단말.
  14. 아바타를 이용하여 영상 통화를 수행하는 통화 중계 서버에 있어서,
    사용자 단말로부터 적어도 하나의 타사용자 단말로의 영상 통화를 요청받는 요청부; 및
    상기 타사용자 단말에서 상기 영상 통화를 수락한 경우, 상기 사용자 단말로부터 사용자 영상 데이터를 수신하여 상기 타사용자 단말로 전송하고, 상기 타사용자 단말로부터 타사용자 영상 데이터를 수신하여 상기 사용자 단말로 전송하는 통신부를 포함하되,
    상기 영상 통화가 일반 통화 모드인 경우, 상기 사용자 영상 데이터는 상기 사용자 단말의 사용자 실사 영상을 포함하고, 상기 타사용자 영상 데이터는 상기 타사용자 단말의 타사용자 실사 영상을 포함하고,
    상기 사용자 단말에서 상기 영상 통화가 상기 일반 통화 모드로부터 아바타 통화 모드로 변경된 경우, 상기 사용자 영상 데이터는 상기 사용자 실사 영상으로부터 대체된 사용자 아바타에 대한 영상을 포함하는 것인, 통화 중계 서버.
  15. 제 14 항에 있어서,
    상기 통신부는 상기 사용자 단말에서 상기 일반 통화 모드가 수행되는 경우, 상기 사용자 단말로부터 상기 사용자 실사 영상이 인코딩된 사용자 영상 데이터를 수신하고,
    상기 타사용자 단말에서 상기 일반 통화 모드가 수행되는 경우, 상기 타사용자 단말로부터 상기 타사용자 실사 영상이 인코딩된 상기 타사용자 영상 데이터를 수신하는 것인, 통화 중계 서버.
  16. 제 14 항에 있어서,
    상기 통신부는 상기 사용자 단말에서 상기 아바타 통화 모드가 수행되는 경우, 상기 사용자 단말로부터 상기 사용자 아바타에 대한 영상이 인코딩된 상기 사용자 영상 데이터를 수신하고, 상기 타사용자 단말에서 상기 아바타 통화 모드가 수행되는 경우, 상기 타사용자 단말로부터 타사용자 아바타에 대한 영상이 인코딩된 상기 타사용자 영상 데이터를 수신하는 것인, 통화 중계 서버.
  17. 통화 중계 서버를 통해 아바타를 이용하여 영상 통화를 수행하는 방법에 있어서,
    사용자 단말로부터 적어도 하나의 타사용자 단말로의 영상 통화를 요청받는 단계;
    상기 타사용자 단말에서 상기 영상 통화를 수락한 경우, 상기 사용자 단말로부터 사용자 영상 데이터를 수신하여 상기 타사용자 단말로 전송하는 단계; 및
    상기 타사용자 단말로부터 타사용자 영상 데이터를 수신하여 상기 사용자 단말로 전송하는 단계를 포함하되,
    상기 영상 통화가 일반 통화 모드인 경우, 상기 사용자 영상 데이터는 상기 사용자 단말의 사용자 실사 영상을 포함하고, 상기 타사용자 영상 데이터는 상기 타사용자 단말의 타사용자 실사 영상을 포함하고,
    상기 사용자 단말에서 상기 영상 통화가 상기 일반 통화 모드로부터 아바타 통화 모드로 변경된 경우, 상기 사용자 영상 데이터는 상기 사용자 실사 영상으로부터 대체되어 표시된 사용자 아바타에 대한 영상을 포함하는 것인, 통화 중계 방법.
  18. 제 17 항에 있어서,
    상기 사용자 단말에서 상기 일반 통화 모드가 수행되는 경우, 상기 사용자 단말로부터 상기 사용자 실사 영상이 인코딩된 사용자 영상 데이터를 수신하는 단계; 및
    상기 타사용자 단말에서 상기 일반 통화 모드가 수행되는 경우, 상기 타사용자 단말로부터 상기 타사용자 실사 영상이 인코딩된 상기 타사용자 영상 데이터를 수신하는 단계를 더 포함하는 것인, 통화 중계 방법.
  19. 제 17 항에 있어서,
    상기 사용자 단말에서 상기 아바타 통화 모드가 수행되는 경우, 상기 사용자 단말로부터 상기 사용자 아바타에 대한 영상이 인코딩된 상기 사용자 영상 데이터를 수신하는 단계; 및
    상기 타사용자 단말에서 상기 아바타 통화 모드가 수행되는 경우, 상기 타사용자 단말로부터 타사용자 아바타에 대한 영상이 인코딩된 상기 타사용자 영상 데이터를 수신하는 단계를 더 포함하는 것인, 통화 중계 방법.
KR1020190028953A 2019-03-13 2019-03-13 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법 KR20200109634A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190028953A KR20200109634A (ko) 2019-03-13 2019-03-13 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
KR1020210170106A KR102382521B1 (ko) 2019-03-13 2021-12-01 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190028953A KR20200109634A (ko) 2019-03-13 2019-03-13 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210170106A Division KR102382521B1 (ko) 2019-03-13 2021-12-01 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법

Publications (1)

Publication Number Publication Date
KR20200109634A true KR20200109634A (ko) 2020-09-23

Family

ID=72708275

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190028953A KR20200109634A (ko) 2019-03-13 2019-03-13 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
KR1020210170106A KR102382521B1 (ko) 2019-03-13 2021-12-01 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210170106A KR102382521B1 (ko) 2019-03-13 2021-12-01 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법

Country Status (1)

Country Link
KR (2) KR20200109634A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220126922A (ko) * 2021-03-10 2022-09-19 연세대학교 산학협력단 원격 현실 영상 송수신 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606904B1 (ko) * 2022-06-30 2023-11-29 씨제이올리브네트웍스 주식회사 실시간 영상통화 서비스 지원 방법 및 이를 위한 영상통화 지원 장치
WO2024071684A1 (ko) * 2022-09-27 2024-04-04 삼성전자주식회사 영상 통화를 제공하는 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110020131A (ko) * 2009-08-21 2011-03-02 에스케이텔레콤 주식회사 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법
KR101647305B1 (ko) * 2009-11-23 2016-08-10 삼성전자주식회사 이동통신 단말기에서 영상 통화 방법 및 장치
KR20120018708A (ko) * 2010-08-23 2012-03-05 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 제공 방법 및 시스템
CN103632165B (zh) * 2013-11-28 2017-07-04 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
KR101823611B1 (ko) * 2015-10-05 2018-01-31 주식회사 감성과학연구센터 Au 기반의 감성 표정 정보 추출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220126922A (ko) * 2021-03-10 2022-09-19 연세대학교 산학협력단 원격 현실 영상 송수신 장치 및 방법

Also Published As

Publication number Publication date
KR20210149674A (ko) 2021-12-09
KR102382521B1 (ko) 2022-04-04

Similar Documents

Publication Publication Date Title
KR102382521B1 (ko) 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
CN109691054A (zh) 动画用户标识符
US20200053318A1 (en) Communication processing method, terminal, and storage medium
US11741616B2 (en) Expression transfer across telecommunications networks
WO2018107918A1 (zh) 一种虚拟形象之间互动的方法、终端及系统
CN111541950B (zh) 表情的生成方法、装置、电子设备及存储介质
CN111064919A (zh) 一种vr远程会议方法及装置
US11558561B2 (en) Personalized videos featuring multiple persons
KR20210060196A (ko) 아바타 메시지 서비스를 제공하는 서버, 방법 및 사용자 단말
US20220385808A1 (en) Selfie setup and stock videos creation
CN110536095A (zh) 通话方法、装置、终端及存储介质
CN111770298A (zh) 视频通话方法、装置、电子设备以及存储介质
CN112669416B (zh) 客服服务系统、方法、装置、电子设备及存储介质
JP6967065B2 (ja) 情報処理装置、プログラム、及び、情報処理方法
CN109525483A (zh) 移动终端及其互动动画的生成方法、计算机可读存储介质
CN114915852B (zh) 视频通话交互方法、装置、计算机设备和存储介质
CN115499620A (zh) 一种会议录制装置、方法、系统以及介质
CN115086594A (zh) 虚拟会议处理方法、装置、设备和存储介质
KR102459198B1 (ko) 컨텐츠를 표시하는 디스플레이 장치
JP2024059439A (ja) 端末装置
CN115842908A (zh) 图像获取方法及装置
CN116739886A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2021064062A (ja) システムおよびその制御方法、並びにプログラム
CN114758037A (zh) 影像生成方法、装置、终端设备及存储介质
CN118012270A (en) Interaction method, device, storage medium and equipment based on holographic display equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination