KR20200081062A - 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법 - Google Patents

아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법 Download PDF

Info

Publication number
KR20200081062A
KR20200081062A KR1020180171160A KR20180171160A KR20200081062A KR 20200081062 A KR20200081062 A KR 20200081062A KR 1020180171160 A KR1020180171160 A KR 1020180171160A KR 20180171160 A KR20180171160 A KR 20180171160A KR 20200081062 A KR20200081062 A KR 20200081062A
Authority
KR
South Korea
Prior art keywords
call connection
avatar
information
user
user terminal
Prior art date
Application number
KR1020180171160A
Other languages
English (en)
Inventor
허윤범
김우연
남윤지
천왕성
최영주
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180171160A priority Critical patent/KR20200081062A/ko
Publication of KR20200081062A publication Critical patent/KR20200081062A/ko

Links

Images

Classifications

    • H04M1/72583—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)

Abstract

아바타를 이용한 통화 연결 영상을 제공하는 사용자 단말은 사용자 영상으로부터 추출된 사용자의 얼굴 표정을 아바타의 얼굴 표정에 매핑하는 표정 매핑부, 사용자 영상으로부터 추출된 사용자의 음성 메시지를 텍스트로 변환하는 텍스트 변환부, 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 입력받는 설정 조건 입력부 및 아바타에 대한 영상 정보, 변환된 텍스트 및 조건 정보를 통화 연결 영상 관리 서버에게 전송하는 전송부를 포함하고, 통화 연결 영상은 아바타에 대한 영상 정보, 변환된 텍스트 및 조건 정보에 기초하여 생성되고, 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 조건 정보에 기초하여 타사용자 단말로 출력될 수 있다.

Description

아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법{DEVICE, SERVER AND METHOD FOR PROVIDING CALL CONNECTION VIDEO USING AVATAR}
본 발명은 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법에 관한 것이다.
일반적인 통화 방식에는 음성 통화 방식과 화상 통화 방식이 있다. 음성 통화 방식은 발신자와 착신자가 서로 음성만을 교환하면서 통화하는 방식이고, 화상 통화 방식은 발신자와 착신자가 서로 상대방의 얼굴 영상을 보면서 음성을 서로 교환하는 통화 방식이다.
화상 통화 방식에서 통화 중에 사용자의 감정 상태에 따라 동작이 제어되는 아바타를 출력함으로써 아바타를 통해 상대방의 감정을 확인할 수 있는 서비스가 있다.
한국등록특허공보 제10-1170338호 (2012.07.26. 등록)
본 발명은 사용자 영상에 기반한 아바타에 대한 영상 정보, 사용자의 음성 메시지 및 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보에 기초하여 통화 연결 영상을 생성하고, 사용자 단말이 타사용자 단말로의 통화 연결 요청 시, 조건 정보에 기초하여 통화 연결 영상을 타사용자 단말로 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 아바타를 이용한 통화 연결 영상을 제공하는 사용자 단말은 사용자 영상으로부터 추출된 사용자의 얼굴 표정을 상기 아바타의 얼굴 표정에 매핑하는 표정 매핑부; 상기 사용자 영상으로부터 추출된 상기 사용자의 음성 메시지를 텍스트로 변환하는 텍스트 변환부 및 상기 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 입력받는 설정 조건 입력부를 포함하고, 상기 통화 연결 영상은 상기 아바타에 대한 영상 정보, 상기 변환된 텍스트 및 상기 조건 정보에 기초하여 생성되고, 상기 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 상기 조건 정보에 기초하여 상기 타사용자 단말로 출력될 수 있다.
본 발명의 제 2 측면에 따른 아바타를 이용한 통화 연결 영상을 제공하는 통화 연결 영상 관리 서버는 사용자 단말로부터 상기 아바타에 대한 영상 정보, 사용자의 음성 메시지로부터 변환된 텍스트 및 상기 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 수신하는 정보 수신부; 상기 아바타에 대한 영상 정보, 상기 텍스트 및 상기 조건 정보에 기초하여 상기 아바타가 포함된 통화 연결 영상을 생성하는 통화 연결 영상 생성부 및 상기 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 상기 조건 정보에 기초하여 상기 타사용자 단말로 상기 통화 연결 영상을 제공하는 통화 연결 영상 제공부를 포함할 수 있다.
본 발명의 제 3 측면에 따른 아바타를 이용한 통화 연결 영상을 제공하는 통화 연결 영상 관리 서버는 사용자 단말로부터 상기 통화 연결 영상 및 상기 아바타를 제어하는 제어 메시지를 수신하는 정보 수신부; 및 상기 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 상기 통화 연결 영상이 노출되기 위한 조건 정보에 기초하여 상기 타사용자 단말로 상기 통화 연결 영상을 제공하는 통화 연결 영상 제공부를 포함하고, 상기 통화 연결 영상은 상기 사용자 단말에 의해 상기 아바타에 대한 영상 정보, 사용자의 음성 메시지로부터 변환된 텍스트 및 상기 조건 정보에 기초하여 생성될 수 있다. 상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 사용자 영상에 기반한 아바타에 대한 영상 정보, 사용자의 음성 메시지 및 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보에 기초하여 통화 연결 영상을 생성하고, 사용자 단말이 타사용자 단말로의 통화 연결 요청 시, 조건 정보에 기초하여 통화 연결 영상을 타사용자 단말로 제공할 수 있다.
타사용자 단말(수신측)에서는 사용자 단말(발신측)의 통화 연결 영상을 통해 사용자 단말에 대한 발신 정보를 직관적으로 확인 할 수 있다.
또한, 통화　연결 시, 통화　연결음 뿐만 아니라 통화 연결 시 상대방의 아바타가 포함된 통화 연결 영상을 단말에 표시함으로써 사용자 자신만의 개성을 자유롭게 표출하고 발신자 및 수신자 모두에게 통화 연결 전 상대방의 정보 및 상태에 대해 사전 확인이 가능해짐으로써 다양한 홍보 및 흥미를 유발하여 커뮤니케이션의 효과를 극대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 아바타를 이용한 통화 연결 영상 제공 시스템의 구성도이다.
도 2a 내지 2b는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말의 블록도이다.
도 3a 내지 3b는 본 발명의 일 실시예에 따른, 아바타에 대한 모션 애니메이션 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른, 얼굴 및 손에 대한 복수의 동작 의미 정보를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른, 사용자 단말에서 아바타를 이용한 통화 연결 영상을 제공하는 방법을 나타낸 흐름도이다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른, 도 1에 도시된 통화 연결 영상 관리 서버의 블록도이다.
도 7은 본 발명의 일 실시예에 따른, 통화 연결 영상 관리 서버에서 아바타를 이용한 통화 연결 영상을 제공하는 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른, 아바타를 이용한 통화 연결 영상을 제공하는 방법을 나타낸 흐름도이다.
도 9a 내지 9b는 본 발명의 일 실시예에 따른, 아바타를 이용한 통화 연결 영상을 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 아바타를 이용한 통화 연결 영상 제공 시스템의 구성도이다.
도 1을 참조하면, 통화 연결 영상 제공 시스템은 사용자 단말(100), 통화 연결 영상 관리 서버(110) 및 타사용자 단말(120)을 포함할 수 있다. 다만, 이러한 도 1의 통화 연결 영상 제공 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1과 다르게 구성될 수도 있다.
일반적으로, 도 1의 통화 연결 영상 제공 시스템의 각 구성요소들은 네트워크를 통해 연결된다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(100)은 카메라에 의해 촬영된 사용자 영상으로부터 사용자의 얼굴 표정을 추출하고, 추출된 사용자의 얼굴 표정을 아바타의 얼굴 표정에 매핑할 수 있다. 다른 예로, 사용자 단말(100)은 사용자 영상에 포함된 사용자의 음성을 아바타의 얼굴 표정에 싱크 처리할 수 있다. 예를 들면, 도 9a와 같이. 사용자 단말(100)은 아바타의 얼굴 표정을 선택하거나 사용자의 얼굴 표정 또는 사용자의 음성을 아바타의 얼굴 표정을 아바타의 얼굴 표정에 싱크 처리할 수 있다.
또한, 사용자 단말(100)은 사용자로부터 통화 연결 영상에 대한 배경 이미지(예컨대, 일반 이미지 또는 VR 이미지 등) 및 배경 음악 중 적어도 하나를 입력받을 수 있다.
또한, 사용자 단말(100)은 사용자로부터 통화 연결 영상에 출력될 텍스트 메시지를 입력받거나 사용자의 음성 메시지를 입력받을 수 있다.
또한, 사용자 단말(100)은 입력된 사용자의 음성 메시지를 배경 음악에 믹싱 처리할 수 있다.
또한, 사용자 단말(100)은 사용자 영상에 포함된 사용자의 얼굴 및 손의 움직임에 대한 동작 패턴 정보를 생성하고, 동작 패턴 정보에 기초하여 아바타에 대한 모션 애니메이션 정보를 생성할 수 있다.
사용자 단말(100)은 사용자 영상으로부터 사용자의 음성 메시지를 추출하고, 추출된 사용자의 음성 메시지를 텍스트로 변환할 수 있다.
사용자 단말(100)은 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 사용자로부터 입력받을 수 있다.
사용자 단말(100)은 아바타에 대한 영상 정보(아바타의 얼굴 표정 및 아바타에 대한 모션 애니메이션 정보를 포함), 변환된 음성 메시지의 텍스트, 조건 정보를 통화 연결 영상 관리 서버(110)에게 전송할 수 있다. 사용자 단말(100)은 사용자로부터 입력된 배경 이미지, 배경 음악, 텍스트 메시지, 사용자의 음성 메시지 중 적어도 하나를 연결 영상 관리 서버(110)에게 더 전송할 수 있다.
통화 연결 영상 관리 서버(110)는 사용자 단말(100)로부터 수신된 아바타에 대한 영상 정보, 텍스트 및 조건 정보에 기초하여 아바타가 포함된 통화 연결 영상을 생성할 수 있다. 여기서, 조건 정보는 예를 들면, 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보를 포함할 수 있다. 공개 그룹은 사용자 단말(100)에 저장된 복수의 연락처 중 사용자에 의해 선택된 연락처를 포함하는 그룹일 수 있다.
통화 연결 영상 관리 서버(110)는 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시 생성된 통화 연결 영상을 조건 정보에 기초하여 타사용자 단말(120)로 제공할 수 있다. 통화 연결 영상 관리 서버(110)는 사용자 단말(100)로부터 수신된 통화 연결 영상에 대한 배경 이미지, 배경 음악, 텍스트 메시지 및 사용자의 음성 메시지 중 적어도 하나가 적용된 통화 연결 영상을 타 사용자 단말(120)에게 제공할 수도 있다. 예를 들면, 도 9b와 같이. 통화 연결 영상 관리 서버(110)는 타 사용자 단말(120)로 사용자 단말(100)이 입력한 텍스트 메시지(예컨대, '나 바쁘당')를 아바타가 포함된 통화 연결 영상을 통해 제공할 수 있다.
본 발명의 다른 실시예에 있어서, 사용자 단말(100)은 아바타에 대한 영상 정보(아바타의 얼굴 표정 및 아바타에 대한 모션 애니메이션 정보를 포함), 변환된 음성 메시지의 텍스트, 조건 정보를 이용하여 아바타가 포함된 통화 연결 영상을 생성하고, 생성된 통화 연결 영상을 통화 연결 영상 관리 서버(110)에게 전송할 수 있다.
이 때, 통화 연결 영상 관리 서버(110)는 사용자 단말(100)로부터 수신된 통화 연결 영상을 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시 조건 정보에 기초하여 타사용자 단말(120)로 전송할 수 있다.
예를 들면, 사용자 단말(100) 및 타사용자 단말(120)은 유무선 통신이 가능한 모바일 단말을 포함할 수 있다. 모바일 단말은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smartphone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 다만, 사용자 단말(100) 및 타사용자 단말(120)은 앞서 예시된 것들로 한정 해석되는 것은 아니다.
이하에서는 도 1의 통화 연결 영상 제공 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다.
도 2a 내지 2b는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말(100)의 블록도이다.
[제 1 실시예]
이하, 제 1 실시예에 대하여 설명하기로 한다. 도 2a를 참조하면, 사용자 단말(100)은 표정 매핑부(200), 텍스트 변환부(210), 설정 조건 입력부(220), 동작 패턴 검출부(230), 아바타 추천부(240), 모션 애니메이션 정보 생성부(250), 제어 메시지 생성부(260) 및 전송부(270)를 포함할 수 있다. 다만, 도 2a에 도시된 사용자 단말(100)은 본 발명의 하나의 구현 예에 불과하며, 도 2a에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
동작 패턴 검출부(230)는 사용자 영상에 포함된 얼굴 및 손 각각에 대응하는 복수의 랜드마크 정보로부터 사용자의 동작 패턴 정보를 검출할 수 있다.
동작 패턴 검출부(230)는 카메라에 의해 촬영된 사용자 영상에서 사용자의 얼굴을 트래킹하여 사용자 영상으로부터 얼굴에 대응하는 3D 특징점을 포함하는 얼굴 랜드마크 정보를 추출할 수 있다. 또한, 동작 패턴 검출부(230)는 사용자의 영상에서 사용자의 손을 트래킹하여 사용자 영상으로부터 손에 대응하는 3D 특징점을 포함하는 손 랜드마크 정보를 추출할 수 있다.
동작 패턴 검출부(230)는 얼굴 랜드마크 정보로부터 사용자의 얼굴의 움직임에 대한 동작 패턴 정보를 검출하고, 손 랜드마크 정보로부터 사용자의 손의 움직임(손동작의 변화 등)에 대한 동작 패턴 정보를 검출할 수 있다.
아바타 추천부(240)는 사용자 영상에 포함된 얼굴로부터 추출된 사용자의 얼굴 표정 및 동작 패턴 정보에 기초하여 적어도 하나의 아바타 감정 애니메이션을 사용자에게 추천할 수 있다.
아바타 추천부(240)는 얼굴로부터 추출된 사용자의 얼굴 표정, 동작 패턴 정보, 사용자 영상에 포함된 사용자 음성의 강약 및 패턴 정보, 상기 사용자 음성에 해당하는 텍스트 정보에 기초하여 적어도 하나의 아바타 감정 애니메이션을 추천할 수 있다. 여기서, 사용자 음성의 강약 및 패턴 정보는 예를 들면, 사용자의 감정 상태를 포함할 수 있다. 사용자의 감정 상태에 따라 사용자 음성의 억양, 속도 및 세기가 달라질 수 있다. 여기서, 사용자 음성에 해당하는 텍스트 정보는 예를 들면, 사용자의 현재 감정 상태를 나타내는 단어들을 포함할 수 있다.
표정 매핑부(200)는 사용자 영상에 포함된 얼굴로부터 추출된 사용자의 얼굴 표정을 아바타의 얼굴 표정에 매핑할 수 있다. 여기서, 아바타는 예를 들면, 사용자의 얼굴 표정 및 동작 패턴 정보에 기초하여 사용자에게 추천한 적어도 하나의 아바타 중 사용자에 의해 선택된 아바타일 수 있다.
구체적으로, 표정 매핑부(200)는 사용자의 얼굴의 이목구비에 대응하는 3D 특징점을 아바타에 대응하는 꼭지점(vertex) 값으로 연산하여 아바타의 얼굴 표정에 대한 웨이트(weight) 값을 산출할 수 있다.
표정 매핑부(200)는 산출된 아바타의 얼굴 표정에 대한 웨이트 값에 기초하여 아바타의 얼굴을 랜더링함으로써 사용자의 얼굴 표정을 아바타의 얼굴 표정에 반영할 수 있다. 이 때, 사용자의 얼굴 표정의 변화까지도 아바타의 얼굴 표정에 표현될 수 있다.
모션 애니메이션 정보 생성부(250)는 얼굴 및 손에 대한 복수의 동작 의미 정보 및 동작 패턴 정보(얼굴 및 손 각각의 움직임 정보를 포함)에 기초하여 아바타에 대한 모션 애니메이션 정보를 생성할 수 있다. 여기서, 복수의 동작 의미 정보는 도 4와 같이, 얼굴의 동작 정보(401, 403), 손의 동작 정보(405), 손의 모양 정보(407) 및 손의 개수 정보, 얼굴 및 손의 동작 시간 정보 중 적어도 하나 또는 둘 이상의 조합에 기초하여 결정될 수 있다.
예를 들어, 도 4를 참조하면, 얼굴을 위 아래로 움직이는 제 1 동작 정보(401)의 경우, 긍정의 의미로 정의되고, 얼굴을 좌우로 움직이는 제 2 동작 정보(403)의 경우, 부정의 의미로 정의될 수 있다. 또한, 손가락으로 V 자를 형성하는 손 모양의 경우, 승리를 나타내는 의미로 정의될 수 있다.
모션 애니메이션 정보 생성부(250)는 사용자 영상으로부터 검출된 얼굴 및 손 각각에 대한 동작 패턴 정보 및 얼굴 및 손의 동작 타이밍 정보를 이용하여 아바타에 대한 모션 애니메이션 정보를 생성할 수 있다.
모션 애니메이션 정보 생성부(250)는 사용자 영상의 시간 정보로부터 사용자의 얼굴 및 손 각각에 대한 동작 패턴 정보의 동작 타이밍 정보를 검출하고, 얼굴 및 손 각각의 동작 타이밍 정보를 아바타에 대한 모션 애니메이션 정보에 매칭시켜 아바타의 모션 애니메이션 상의 아바타 얼굴 및 손의 동작 시간을 동기화시킬 수 있다.
예를 들어, 도 3a 내지 3b를 참조하면, 사용자가 긍정의 의미로 정의된 얼굴(301)에 대한 동작 정보, 인사의 의미로 정의된 손(305)에 대한 동작 정보(예컨대, 손 흔들기)를 특정 시간 동안 수행하는 동작 패턴 정보가 검출되면, 모션 애니메이션 정보 생성부(250)는 검출된 얼굴(301) 및 손(305) 각각에 대한 동작 정보를 포함하는 동작 패턴 정보를 이용하여 아바타(303)의 얼굴 및 손에 대한 모션 애니메이션 정보를 생성하고, 생성된 모션 애니메이션 정보에 각 동작에 대한 사용자의 동작 시간 정보(동작이 수행된 특정 시간)를 동기화시킬 수 있다.
모션 애니메이션 정보 생성부(250)는 이전에 생성된 아바타의 애니메이션이 있는 경우, 사용자 영상으로부터 검출된 동작 패턴 정보 및 동작 시간 정보를 기생성된 아바타의 애니메이션에 매칭시켜 아바타의 모션 애니메이션 정보를 생성할 수도 있다.
모션 애니메이션 정보 생성부(250)는 사용자 영상으로부터 추출된 사용자의 음성을 아바타의 음성에 동기화시킬 수 있다.
텍스트 변환부(210)는 사용자 영상으로부터 추출된 사용자의 음성 메시지를 텍스트로 변환할 수 있다. 여기서, 사용자의 음성 메시지는 예를 들면, 통화 연결 영상에 출력될 인사 멘트 등을 포함할 수 있다.
설정 조건 입력부(220)는 아바타가 포함된 통화 연결 영상에 설정될 배경 이미지 정보, 배경 음악 정보, 통화 연결 영상의 제목 정보 중 적어도 하나의 정보를 사용자로부터 입력받을 수 있다.
설정 조건 입력부(220)는 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 사용자로부터 입력받을 수 있다. 여기서, 조건 정보는 예를 들면, 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보(예컨대, 사용자의 바쁨, 부재중, 여행중 운전중 등의 상태 테마에 따른 정보)를 포함할 수 있다. 여기서, 공개 그룹은 사용자 단말(100)에 저장된 복수의 연락처 중 사용자에 의해 선택된 연락처를 포함하는 그룹일 수 있다.
제어 메시지 생성부(260)는 사용자의 얼굴 표정에 기초하여 아바타의 얼굴 표정을 제어하고, 아바타에 대한 모션 애니메이션 정보에 기초하여 아바타의 동작을 제어하는 제어 메시지를 생성할 수 있다. 또한, 제어 메시지 생성부(260)는 사용자로부터 입력받은 음성 메시지가 아바타의 목소리로 출력되도록 하는 제어 메시지를 더 생성할 수도 있다. 여기서, 제어 메시지에는 아바타의 얼굴 표정에 대한 싱크 정보 및 아바타의 모션에 대한 싱크 정보가 포함되고, 아바타의 음성 싱크 정보가 더 포함될 수도 있다.
전송부(270)는 아바타에 대한 영상 정보, 변환된 텍스트(텍스트로 변환된 음성 메시지) 및 조건 정보를 통화 연결 영상 관리 서버(110)에게 전송할 수 있다. 여기서, 아바타에 대한 영상 정보는 사용자의 얼굴 표정이 매핑된 아바타의 얼굴 표정, 사용자의 얼굴 및 손 각각에 대한 동작 패턴 정보 및 동작 의미 정보에 기초하여 생성된 아바타에 대한 모션 애니메이션 정보를 포함할 수 있다.
또한, 전송부(270)는 사용자로부터 입력받은 통화 연결 영상에 설정될 배경 이미지 정보, 배경 음악 정보, 통화 연결 영상의 제목 정보 중 적어도 하나의 정보를 통화 연결 영상 관리 서버(110)에게 더 전송할 수도 있다.
또한, 전송부(270)는 제어 메시지를 통화 연결 영상 관리 서버(110)에게 더 전송할 수 있다. 이 때, 제어 메시지에 의해 통화 연결 영상의 아바타가 제어될 수 있다. 여기서, 통화 연결 영상은 아바타에 대한 영상 정보, 변환된 텍스트 및 조건 정보에 기초하여 생성되고, 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시에 조건 정보에 기초하여 타사용자 단말(120)로 출력될 수 있다. 통화 연결 영상은 통화 연결 요청에 대한 타사용자 단말(120)의 응답이 수신되면, 타사용자 단말(120)로의 출력이 중단될 수 있다.
한편, 당업자라면, 표정 매핑부(200), 텍스트 변환부(210), 설정 조건 입력부(220), 동작 패턴 검출부(230), 아바타 추천부(240), 모션 애니메이션 정보 생성부(250), 제어 메시지 생성부(260) 및 전송부(270) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 5는 본 발명의 일 실시예에 따른, 사용자 단말(100)에서 아바타를 이용한 통화 연결 영상을 제공하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단계 S501에서 사용자 단말(100)은 사용자 영상으로부터 추출된 사용자의 얼굴 표정을 아바타의 얼굴 표정에 매핑할 수 있다.
단계 S503에서 사용자 단말(100)은 사용자 영상으로부터 추출된 사용자의 음성 메시지를 텍스트로 변환할 수 있다.
단계 S505에서 사용자 단말(100)은 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 사용자로부터 입력받을 수 있다. 여기서, 조건 정보는 예를 들면, 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보를 포함할 수 있다.
단계 S507에서 사용자 단말(100)은 아바타에 대한 영상 정보, 변환된 텍스트 및 조건 정보를 통화 연결 영상 관리 서버(110)에게 전송할 수 있다. 아바타가 포함된 통화 연결 영상은 아바타에 대한 영상 정보, 변환된 텍스트 및 조건 정보에 기초하여 생성되고, 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시에 조건 정보에 기초하여 타사용자 단말(120)로 출력될 수 있다.
상술한 설명에서, 단계 S501 내지 S507은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 도 6a는 본 발명의 일 실시예에 따른, 도 1에 도시된 통화 연결 영상 관리 서버(110)의 블록도이다.
도 6a을 참조하면, 통화 연결 영상 관리 서버(110)는 정보 수신부(600), 통화 연결 영상 생성부(610), 통화 연결 영상 제공부(620) 및 통화 연결 영상 관리부(630)를 포함할 수 있다. 다만, 도 6a에 도시된 통화 연결 영상 관리 서버(110)는 본 발명의 하나의 구현 예에 불과하며, 도 6a에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
정보 수신부(600)는 사용자 단말(100)로부터 아바타에 대한 영상 정보, 사용자의 음성 메시지로부터 변환된 텍스트 및 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 수신할 수 있다. 여기서, 아바타에 대한 영상 정보는 사용자의 얼굴 표정이 매핑된 아바타의 얼굴 표정, 사용자의 얼굴 및 손 각각에 대한 동작 패턴 정보 및 동작 의미 정보에 기초하여 생성된 아바타에 대한 모션 애니메이션 정보를 포함할 수 있다. 조건 정보는 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보(예컨대, 사용자의 바쁨, 부재중, 여행중 운전중 등의 상태 테마에 따른 정보)를 포함할 수 있다. 여기서, 공개 그룹은 사용자 단말(100)에 저장된 복수의 연락처 중 사용자에 의해 선택된 연락처를 포함하는 그룹일 수 있다.
정보 수신부(600)는 통화 연결 영상에 설정될 배경 이미지 정보, 배경 음악 정보, 통화 연결 영상의 제목 정보 중 적어도 하나의 정보를 사용자 단말(100)로부터 더 수신할 수도 있다.
정보 수신부(600)는 사용자의 얼굴 표정에 기초하여 아바타의 얼굴 표정을 제어하고, 아바타에 대한 모션 애니메이션 정보에 기초하여 아바타의 동작을 제어하는 제어 메시지를 사용자 단말(100)로부터 더 수신할 수 있다. 또한, 정보 수신부(600)는 사용자로부터 입력받은 음성 메시지가 아바타의 목소리로 출력되도록 하는 제어 메시지를 사용자 단말(100)로부터 더 수신할 수 있다. 여기서, 제어 메시지에는 아바타의 얼굴 표정에 대한 싱크 정보 및 아바타의 모션에 대한 싱크 정보가 포함되고, 아바타의 음성 싱크 정보가 더 포함될 수도 있다.
통화 연결 영상 생성부(610)는 아바타에 대한 영상 정보, 텍스트 및 조건 정보에 기초하여 아바타가 포함된 통화 연결 영상을 생성할 수 있다.
통화 연결 영상 생성부(610)는 사용자의 얼굴 표정이 아바타의 얼굴 표정에 반영되고, 사용자의 얼굴 및 손 각각에 대한 동작 패턴 정보에 따라 아바타의 얼굴 및 손에 대한 모션 애니메이션이 구현된 아바타를 포함하는 통화 연결 영상을 생성할 수 있다. 이 때, 통화 연결 영상의 아바타는 사용자 단말(100)로부터 수신된 제어 메시지에 의해 제어될 수 있다.
통화 연결 영상 생성부(610)는 사용자의 음성 메시지로부터 변환된 텍스트를 통화 연결 영상의 화면에 그대로 출력하거나 아바타를 통해 출력될 음성 메시지로서 사용할 수 있다. 다른 예로, 통화 연결 영상 생성부(610)는 아바타의 음성 싱크 정보에 기초하여 사용자의 음성 메시지가 아바타의 목소리로 출력되는 통화 연결 영상을 생성할 수 있다.
또한, 통화 연결 영상 생성부(610)는 배경 이미지 정보, 배경 음악 정보, 통화 연결 영상의 제목 정보 중 수신된 적어도 하나의 정보를 추가적으로 이용하여 통화 연결 영상을 생성할 수 있다. 예를 들면, 통화 연결 영상 생성부(610)는 수신된 배경 이미지 정보에 포함된 배경 VR 이미지 또는 파노라마 이미지를 통화 연결 영상의 배경으로 설정할 수 있고, 배경 음악 정보에 포함된 배경 음악을 통화 연결 영상의 배경 음악으로 설정할 수 있다.
통화 연결 영상 관리부(630)는 복수의 사용자 단말 별로 복수의 조건 정보 각각에 매칭된 복수의 통화 연결 영상을 관리할 수 있다. 예를 들면, 제 1 사용자 단말에 매칭된 복수의 통화 연결 영상은 제 1 사용자가 설정한 공개 그룹, 공개 시간 및 사용자 상태 정보에 기초하여 관리될 수 있다.
예를 들면, 제 1 사용자가 설정한 제 1 사용자 상태 정보(예컨대, 부재중 상태)의 경우에 제 1 통화 연결 영상이 출력되고, 사용자가 설정한 제 2 사용자 상태 정보(예컨대, 운전중 상태)의 경우에 제 2 통화 연결 영상이 출력되도록 관리될 수 있다.
또는 통화 연결 영상 관리부(630)는 제 1 사용자가 설정한 통화 연결 영상의 공개 시간 별로 복수의 통화 연결 영상을 관리할 수 있다. 예를 들면, 제 1 공개 시간(오후1~3시)에는 제 1 통화 연결 영상이 출력되고, 제 2 공개 시간(오후 3~5시)에는 제 2 통화 연결 영상이 출력되도록 관리될 수 있다.
통화 연결 영상 제공부(620)는 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시에 조건 정보에 기초하여 타사용자 단말(120)로 통화 연결 영상을 제공할 수 있다.
예를 들면, 통화 연결 영상 제공부(620)는 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시, 사용자 단말(100)의 통화 연결 영상의 설정 여부 및 타사용자 단말(120)의 통화 연결 영상의 설정 여부를 확인할 수 있다.
사용자 단말(100)의 통화 연결 영상이 아웃바운드(Outbound)로 설정되고 있고, 타사용자 단말(120)의 통화 연결 영상이 인바운드(Inbound)로 설정되어 있는 경우, 통화 연결 영상 제공부(620)는 사용자 단말(100)의 조건 정보에 대응하는 통화 연결 영상을 타사용자 단말(120)로 제공하고, 타사용자 단말(120)의 조건 정보에 대응하는 통화 연결 영상을 사용자 단말(100)로 제공할 수 있다. 이를 통해, 사용자 단말(100) 및 타사용자 단말(120) 각각은 상대방의 아바타가 포함된 통화 연결 영상을 확인할 수 있다.
통화 연결 영상 제공부(620)는 사용자 단말(100)의 통화 연결 요청 시, 해당 통화에 대한 조건을 추출하고, 조건에 대응하는 조건 정보에 매칭된 통화 연결 영상을 타사용자 단말(120)에게 제공할 수 있다.
예를 들면, 통화 연결 영상 제공부(620)는 통화 연결 영상이 노출되는 공개 그룹(예컨대, 친구 그룹, 회사 동료 그룹, 가족 그룹 등), 공개 시간 및 사용자 상태 정보(예컨대, 부재중, 여행중, 운전중 등의 테마)을 포함하는 조건 정보 중 하나의 조건 정보와 일치하는 통화 연결 영상을 타사용자 단말(120)에게 제공할 수 있다.
예를 들면, 통화 연결 영상 제공부(620)는 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시, 타사용자 단말(120)로부터 상태 정보(예컨대, 바쁨)을 수신하면, 타사용자 단말(120)의 상태 정보와 대응하는 사용자 단말(100)의 조건 정보에 매칭된 통화 연결 영상(예컨대, 바쁨에 속하는 테마에 매핑된 통화 연결 영상)을 타사용자 단말(120)에게 제공할 수 있다.
예를 들면, 통화 연결 영상 제공부(620)는 통화 연결 요청 시의 시간 정보에 대응하는 사용자 단말(100)의 조건 정보(예컨대, 통화 연결 영상의 공개 시간)에 매칭된 통화 연결 영상을 타사용자 단말(120)에게 제공할 수 있다.
통화 연결 영상 제공부(620)는 통화 연결 요청에 대한 타사용자 단말(120)의 응답이 수신되면, 통화 연결 영상의 타사용자 단말(120)로의 제공을 중단할 수 있다.
한편, 당업자라면, 정보 수신부(600), 통화 연결 영상 생성부(610), 통화 연결 영상 제공부(620) 및 통화 연결 영상 관리부(630) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 7은 본 발명의 일 실시예에 따른, 통화 연결 영상 관리 서버(110)에서 아바타를 이용한 통화 연결 영상을 제공하는 방법을 나타낸 흐름도이다.
도 7을 참조하면, 단계 S701에서 통화 연결 영상 관리 서버(110)는 사용자 단말(100)로부터 아바타에 대한 영상 정보, 사용자의 음성 메시지로부터 변환된 텍스트 및 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 수신할 수 있다. 여기서, 조건 정보는 예를 들면, 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보를 포함할 수 있다.
단계 S703에서 통화 연결 영상 관리 서버(110)는 아바타에 대한 영상 정보, 텍스트 및 조건 정보에 기초하여 아바타가 포함된 통화 연결 영상을 생성할 수 있다.
단계 S705에서 통화 연결 영상 관리 서버(110)는 사용자 단말(100)이 타사용자 단말(120)로의 통화 연결 요청 시에 조건 정보에 기초하여 타사용자 단말(120)에게 통화 연결 영상을 제공할 수 있다.
상술한 설명에서, 단계 S701 내지 S705는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 8은 본 발명의 일 실시예에 따른, 아바타를 이용한 통화 연결 영상을 제공하는 방법을 나타낸 흐름도이다.
도 8을 참조하면, 단계 S801에서 통화 연결 영상 관리 서버(110)는 사용자 단말(100)의 조건 정보 각각에 매칭된 복수의 통화 연결 영상을 관리할 수 있다.
단계 S803에서 통화 연결 영상 관리 서버(110)는 사용자 단말(100)의 타사용자 단말(120)로의 통화 연결 요청이 수신되면, 단계 S805에서 타사용자 단말(120)의 통화에 대한 조건을 추출할 수 있다.
단계 S807에서 통화 연결 영상 관리 서버(110)는 사용자 단말(100)의 조건 정보 각각에 매칭된 복수의 통화 연결 영상 중에서 추출된 조건에 대응하는 사용자 단말(100)의 조건 정보에 매칭된 통화 연결 영상을 검색할 수 있다.
단계 S809에서 통화 연결 영상 관리 서버(110)는 검색된 통화 연결 영상을 타사용자 단말(120)에게 전송할 수 있다.
단계 S811에서 통화 연결 영상 관리 서버(110)는 사용자 단말(100)의 통화 연결 요청에 대한 타사용자 단말(120)의 응답이 수신되는지 확인하고, 단계 S813에서 통화 연결 요청에 대한 타사용자 단말(120)의 응답 수신이 확인되면, 타사용자 단말(120)로의 통화 연결 영상의 제공을 중단할 수 있다.
상술한 설명에서, 단계 S801 내지 S813은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
[제 2 실시예]
이하, 제 2 실시예에 대하여 설명하기로 한다. 도 2b 및 도 6b를 참조하면, 제 2 실시예에서는 사용자 단말(100)이 아바타가 포함된 통화 연결 영상을 생성하고, 생성된 통화 연결 영상 및 해당 아바타를 제어하는 제어 메시지를 통화 연결 영상 관리 서버(110)에게 전송할 수 있다. 이 때, 통화 연결 영상 관리 서버 (110)는 통화 연결 영상 및 제어 메시지를 이용하여 사용자 단말(100)이 타사용자 단말로의 통화 연결 요청 시에 타사용자 단말로 통화 연결 영상을 제공하는 서비스를 제공할 수 있다. 이 때, 통화 연결 영상 관리 서버(110)는 통화 연결 영상을 생성하지 않는다.
예를 들어, 사용자 단말(100)의 통화 연결 영상 생성부(280)는 아바타에 대한 영상 정보(아바타의 얼굴 표정 및 아바타에 대한 모션 애니메이션 정보를 포함), 변환된 음성 메시지의 텍스트, 조건 정보를 이용하여 아바타가 포함된 통화 연결 영상을 생성할 수 있다. 사용자 단말(100)의 전송부(270)는 생성된 통화 연결 영상과 함께 통화 연결 영상에 포함된 아바타의 얼굴 표정 및 아바타의 동작을 제어하는 제어 메시지를 통화 연결 영상 관리 서버(110)에게 전송할 수 있다.
통화 연결 영상 관리 서버(110)의 정보 수신부(600)는 사용자 단말(100)로부터 아바타가 포함된 통화 연결 영상 및 아바타를 제어하는 제어 메시지를 수신할 수 있다. 통화 연결 영상 제공부(610)는 사용자 단말(100)이 타사용자의 단말로의 통화 연결 요청 시에 통화 연결 영상이 노출되기 위한 조건 정보에 기초하여 타사용자 단말로 통화 연결 영상을 제공할 수 있다. 통화 연결 영상 제공부(610)는 제어 메시지에 기초하여 통화 연결 영상에 포함된 아바타의 얼굴 표정을 제어하고, 아바타의 동작을 제어할 수 있다.
도 2b의 표정 매핑부(200), 텍스트 변환부(210), 설정 조건 입력부(220), 동작 패턴 검출부(230), 아바타 추천부(240), 모션 애니메이션 정보 생성부(250), 제어 메시지 생성부(260)는 도 2a의 표정 매핑부(200), 텍스트 변환부(210), 설정 조건 입력부(220), 동작 패턴 검출부(230), 아바타 추천부(240), 모션 애니메이션 정보 생성부(250), 제어 메시지 생성부(260)와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략하기로 한다.
도 6b의 통화 연결 영상 관리부(620)은 도 6a의 통화 연결 영상 관리부(630)와 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략하기로 한다. 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 단말
110: 통화 연결 영상 관리 서버
120: 타사용자 단말
200: 표정 매핑부
210: 텍스트 변환부
220: 설정 조건 입력부
230: 동작 패턴 검출부
240: 아바타 추천부
250: 모션 애니메이션 정보 생성부
260: 제어 메시지 생성부
270: 전송부
280: 통화 연결 영상 생성부
600: 정보 수신부
610: 통화 연결 영상 생성부
620: 통화 연결 영상 제공부
630: 통화 연결 영상 관리부

Claims (19)

  1. 아바타를 이용한 통화 연결 영상을 제공하는 사용자 단말에 있어서,
    사용자 영상으로부터 추출된 사용자의 얼굴 표정을 상기 아바타의 얼굴 표정에 매핑하는 표정 매핑부;
    상기 사용자 영상으로부터 추출된 상기 사용자의 음성 메시지를 텍스트로 변환하는 텍스트 변환부; 및
    상기 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 입력받는 설정 조건 입력부를 포함하고,
    상기 통화 연결 영상은 상기 아바타에 대한 영상 정보, 상기 변환된 텍스트 및 상기 조건 정보에 기초하여 생성되고, 상기 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 상기 조건 정보에 기초하여 상기 타사용자 단말로 출력되는 것인, 사용자 단말.
  2. 제 1 항에 있어서,
    상기 사용자 영상에 포함된 얼굴 및 손 각각에 대응하는 복수의 랜드마크 정보로부터 상기 사용자의 동작 패턴 정보를 검출하는 동작 패턴 검출부를 더 포함하는 것인, 사용자 단말.
  3. 제 2 항에 있어서,
    상기 얼굴로부터 추출된 상기 사용자의 얼굴 표정, 상기 동작 패턴 정보, 상기 사용자 영상에 포함된 사용자 음성의 강약 및 패턴 정보, 상기 사용자 음성에 해당하는 텍스트 정보에 기초하여 적어도 하나의 아바타 감정 애니메이션을 추천하는 아바타 추천부를 더 포함하는 것인, 사용자 단말.
  4. 제 2 항에 있어서,
    상기 얼굴 및 상기 손에 대한 복수의 동작 의미 정보 및 상기 동작 패턴 정보에 기초하여 상기 아바타에 대한 모션 애니메이션 정보를 생성하는 모션 애니메이션 정보 생성부를 더 포함하는 것인, 사용자 단말.
  5. 제 4 항에 있어서,
    상기 사용자의 얼굴 표정에 기초하여 상기 아바타의 얼굴 표정을 제어하고, 상기 아바타에 대한 모션 애니메이션 정보에 기초하여 상기 아바타의 동작을 제어하는 제어 메시지를 생성하는 제어 메시지 생성부를 포함하는 것인, 사용자 단말.
  6. 제 5 항에 있어서,
    상기 아바타에 대한 영상 정보, 상기 변환된 텍스트 및 상기 조건 정보를 통화 연결 영상 관리 서버에게 전송하는 전송부를 더 포함하는 것인, 사용자 단말.
  7. 제 5 항에 있어서,
    상기 아바타에 대한 영상 정보, 상기 변환된 텍스트 및 상기 조건 정보에 기초하여 상기 아바타가 포함된 통화 연결 영상을 생성하는 통화 연결 영상 생성부를 더 포함하는 것인, 사용자 단말.
  8. 제 7 항에 있어서,
    상기 생성된 통화 연결 영상 및 상기 제어 메시지를 상기 통화 연결 영상 관리 서버로 전송하는 전송부를 더 포함하고,
    상기 통화 연결 영상의 아바타는 상기 제어 메시지에 의해 제어되는 것인, 사용자 단말.
  9. 제 1 항에 있어서,
    상기 조건 정보는 상기 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보를 포함하고,
    상기 공개 그룹은 상기 사용자 단말에 저장된 복수의 연락처 중 상기 사용자에 의해 선택된 연락처를 포함하는 그룹인 것인, 사용자 단말.
  10. 제 4 항에 있어서,
    상기 복수의 동작 의미 정보는 상기 얼굴의 동작 정보, 상기 손의 동작 정보, 상기 손의 모양 정보 및 상기 손의 개수 정보 중 적어도 하나에 기초하여 결정되는 것인, 사용자 단말.
  11. 제 1 항에 있어서,
    상기 통화 연결 영상은 상기 통화 연결 요청에 대한 상기 타사용자 단말의 응답이 수신되면, 상기 타사용자 단말로의 출력이 중단되는 것인, 사용자 단말.
  12. 아바타를 이용한 통화 연결 영상을 제공하는 통화 연결 영상 관리 서버에 있어서,
    사용자 단말로부터 상기 아바타에 대한 영상 정보, 사용자의 음성 메시지로부터 변환된 텍스트 및 상기 아바타가 포함된 통화 연결 영상이 노출되기 위한 조건 정보를 수신하는 정보 수신부;
    상기 아바타에 대한 영상 정보, 상기 텍스트 및 상기 조건 정보에 기초하여 상기 아바타가 포함된 통화 연결 영상을 생성하는 통화 연결 영상 생성부 및
    상기 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 상기 조건 정보에 기초하여 상기 타사용자 단말로 상기 통화 연결 영상을 제공하는 통화 연결 영상 제공부
    를 포함하는 것인, 통화 연결 영상 관리 서버.
  13. 제 12 항에 있어서,
    상기 정보 수신부는 상기 사용자의 얼굴 표정에 기초하여 상기 아바타의 얼굴 표정을 제어하고, 상기 아바타에 대한 모션 애니메이션 정보에 기초하여 상기 아바타의 동작을 제어하는 제어 메시지를 상기 사용자 단말로부터 더 수신하고,
    상기 통화 연결 영상의 아바타는 상기 제어 메시지에 의해 제어되는 것인, 통화 연결 영상 관리 서버.
  14. 제 12 항에 있어서,
    상기 조건 정보는 상기 통화 연결 영상이 노출되는 공개 그룹, 공개 시간 및 사용자 상태 정보를 포함하고,
    상기 공개 그룹은 상기 사용자 단말에 저장된 복수의 연락처 중 상기 사용자에 의해 선택된 연락처를 포함하는 그룹인 것인, 통화 연결 영상 관리 서버.
  15. 제 12 항에 있어서,
    상기 통화 연결 영상 제공부는 상기 통화 연결 요청에 대한 상기 타사용자 단말의 응답이 수신되면, 상기 통화 연결 영상의 상기 타사용자 단말로의 제공을 중단하는 것인, 통화 연결 영상 관리 서버.
  16. 제 12 항에 있어서,
    복수의 사용자 단말 별로 복수의 조건 정보 각각에 매칭된 복수의 통화 연결 영상을 관리하는 통화 연결 영상 관리부를 더 포함하는 것인, 통화 연결 영상 관리 서버.
  17. 제 12 항에 있어서,
    상기 통화 연결 영상 제공부는 상기 사용자 단말의 통화 연결 요청 시, 통화에 대한 조건을 추출하고, 상기 조건에 대응하는 조건 정보에 매칭된 통화 연결 영상을 상기 타사용자 단말로 제공하는 것인, 통화 연결 영상 관리 서버.
  18. 아바타를 이용한 통화 연결 영상을 제공하는 통화 연결 영상 관리 서버에 있어서,
    사용자 단말로부터 상기 통화 연결 영상 및 상기 아바타를 제어하는 제어 메시지를 수신하는 정보 수신부; 및
    상기 사용자 단말이 타사용자 단말로의 통화 연결 요청 시에 상기 통화 연결 영상이 노출되기 위한 조건 정보에 기초하여 상기 타사용자 단말로 상기 통화 연결 영상을 제공하는 통화 연결 영상 제공부
    를 포함하고,
    상기 통화 연결 영상은 상기 사용자 단말에 의해 상기 아바타에 대한 영상 정보, 사용자의 음성 메시지로부터 변환된 텍스트 및 상기 조건 정보에 기초하여 생성되는 것인, 통화 연결 영상 관리 서버.
  19. 제 18 항에 있어서,
    상기 제어 메시지는 상기 사용자의 얼굴 표정에 기초하여 상기 아바타의 얼굴 표정을 제어하고, 상기 아바타에 대한 모션 애니메이션 정보에 기초하여 상기 아바타의 동작을 제어하는 메시지인 것인, 통화 연결 영상 관리 서버.
KR1020180171160A 2018-12-27 2018-12-27 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법 KR20200081062A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171160A KR20200081062A (ko) 2018-12-27 2018-12-27 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171160A KR20200081062A (ko) 2018-12-27 2018-12-27 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법

Publications (1)

Publication Number Publication Date
KR20200081062A true KR20200081062A (ko) 2020-07-07

Family

ID=71602950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171160A KR20200081062A (ko) 2018-12-27 2018-12-27 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법

Country Status (1)

Country Link
KR (1) KR20200081062A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220103477A (ko) * 2021-01-15 2022-07-22 (주)소프트기획 청각장애인의 소통 접근성 강화를 위한 화상회의 제공 시스템
WO2024096390A1 (ko) * 2022-11-03 2024-05-10 삼성전자 주식회사 미디어 콜 서비스를 수행하기 위한 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101170338B1 (ko) 2009-09-05 2012-08-02 에스케이플래닛 주식회사 화상 통화 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101170338B1 (ko) 2009-09-05 2012-08-02 에스케이플래닛 주식회사 화상 통화 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220103477A (ko) * 2021-01-15 2022-07-22 (주)소프트기획 청각장애인의 소통 접근성 강화를 위한 화상회의 제공 시스템
WO2024096390A1 (ko) * 2022-11-03 2024-05-10 삼성전자 주식회사 미디어 콜 서비스를 수행하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
US10021246B2 (en) Identifying information pertinent to an emergent event through social media postings
KR20210060196A (ko) 아바타 메시지 서비스를 제공하는 서버, 방법 및 사용자 단말
US9800950B2 (en) Context aware geo-targeted advertisement in a communication session
US20160269522A1 (en) Method and device for incoming call notification
US20130109302A1 (en) Multi-modality communication with conversion offloading
CN110460578B (zh) 建立关联关系的方法、装置及计算机可读存储介质
KR20210036212A (ko) 증강 현실 서비스를 제공하는 서버, 사용자 단말 및 방법
JP2015529031A (ja) 通信システム
JP2017504921A (ja) インスタントメッセージング方法、装置、プログラム及び記録媒体
CN106537798B (zh) 增强应用的用户体验以用于基于邻近度的对等移动计算的系统和方法
US8970651B2 (en) Integrating audio and video conferencing capabilities
US11611856B2 (en) Image classification-based controlled sharing of visual objects using messaging applications
KR20140018453A (ko) Ｒｃｓ 이동통신 네트워크를 통한 사용자 단말간 스크린 쉐어 방법
KR20200109634A (ko) 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
KR20200081062A (ko) 아바타를 이용한 통화 연결 영상을 제공하는 단말, 서버 및 방법
US9332580B2 (en) Methods and apparatus for forming ad-hoc networks among headset computers sharing an identifier
US20210127020A1 (en) Method and device for processing image
KR20140125486A (ko) 자동 응답 서비스 제공 방법
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
KR102117993B1 (ko) 중개 통화 서비스 제공 방법 및 장치
US9420111B2 (en) Communication device, method, and program
US20150244879A1 (en) Information processing apparatus, data generating apparatus, information processing method, and information processing system
KR102356404B1 (ko) 통화 서비스를 제공하는 미디어 재생 장치, 사용자 단말 및 통화 연결 서버
KR101579120B1 (ko) 무선 통신 시스템에서 디지털 이미지를 기반으로 하는 소셜 네트워크 서비스의 활동 정보를 관리하는 방법, 그 장치 및 그 시스템
Benjebbour et al. 5G Requirements