KR20120018479A - 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법 - Google Patents

얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법 Download PDF

Info

Publication number
KR20120018479A
KR20120018479A KR1020100081327A KR20100081327A KR20120018479A KR 20120018479 A KR20120018479 A KR 20120018479A KR 1020100081327 A KR1020100081327 A KR 1020100081327A KR 20100081327 A KR20100081327 A KR 20100081327A KR 20120018479 A KR20120018479 A KR 20120018479A
Authority
KR
South Korea
Prior art keywords
avatar
face
user
facial expression
motion
Prior art date
Application number
KR1020100081327A
Other languages
English (en)
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100081327A priority Critical patent/KR20120018479A/ko
Publication of KR20120018479A publication Critical patent/KR20120018479A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법에 관한 것으로서, 상세하게는 얼굴 인식기술을 이용하여 통화(예컨대, 영상 통화, 인터넷 커뮤니티 활동 등)시 사용자의 얼굴 표정 및 동작을 인식하여 상대편 단말에 3차원 아바타로 변형하여 전송함으로써, 얼굴 표정 및 동작에 따라 실시간으로 3차원 아바타를 제공할 수 있다.

Description

얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법{SERVER AND METHOD FOR PROVIDING AVATAR USING FACIAL EXPRESSION AND GESTURE RECOGNITION}
본 발명은 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법에 관한 것으로서, 상세하게는 얼굴 인식기술을 이용하여 통화(예컨대, 영상 통화, 인터넷 커뮤니티 활동 등)시 사용자의 얼굴 표정 및 동작을 인식하여 상대편 단말에 3차원 아바타로 변형하여 전송함으로써, 얼굴 표정 및 동작에 따라 실시간으로 3차원 아바타를 제공할 수 있는 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법에 관한 것이다.
사용자는 휴대 전화를 휴대하면서 음성 통신을 수행할 뿐만 아니라, 무선 인터넷(Wireless Internet) 기술을 이용하여 무선으로 인터넷에 접속하여 문자, 이미지, 음성 또는 동영상 등의 멀티미디어 데이터 서비스를 제공받고 있다. 또한, 사용자는 휴대 전화 또는 인터넷 전화를 통해 다른 사용자와 영상으로 통화한다.
영상 통화 서비스는 카메라가 부착된 휴대 전화 또는 인터넷 전화를 이용해 상대방이 제공하는 영상을 보면서 전화 통화를 하는 서비스로서, 고속 패킷 데이터를 송수신할 수 있는 통신망의 상용화에 따라 통신망 가입자에게 제공되고 있다.
예를 들어, 영상통화 서비스는 통신망의 종류에 따라 광대역 코드 분할 다중 접속(WCDMA: Wideband Code Division Multiple Access) 방식의 3G-324M, 코드 분할 다중 접속(CDMA: Code Division Multiple Access) 방식의 H323 또는 세션 개시 프로토콜(SIP: Session Initiation Protocol)을 기반으로 서비스되고 있으며, 일반적인 음성 통화와 달리 영상을 음성을 함께 전달하여 통화하는 장점이 있다.
또한, 이와 같은 영상통화 서비스를 이용하기 위해 포함되는 카메라를 통해 초기의 음성 통화 위주의 휴대 전화에서 벗어나 미디어 재생기, 카메라 및 캠코더 등 다양한 기능을 구비한 스마트폰으로 진화하고 있다. 이와 같은 캠코더 기능을 이용해 촬영된 동영상은 다른 단말기로 전송되기도 한다.
최근, 스마트폰의 열풍과 함께 스마트폰에서도 얼굴 인식 기술이 탑재되고 있다. 얼굴 인식 기술을 이용한 응용 기술 등이 널리 확산될 것으로 예측되고 있다. 얼굴 인식 기술은 바이오 인식 기술의 한 종류로서, 접촉방식의 홍채와 지문 인식과는 달리 비 접촉성의 사용자 편의성을 제공하는 인식 기술로 다양한 디바이스에 적용되고 있다.
한편, 사용자는 자신 대신에 자신만의 아바타를 만들고 싶어한다. 특히, 3차원 아바타 등의 가상 현실은 실제의 상황이 가상의 영상들로 표현되어 제공된다. 예를 들어, 이러한 영역 중에서 시뮬레이션과 교육 사업 그리고 엔터테인먼트 등에 가상 현실 기술이 널리 사용되고 있다. 사용자는 실제 자신의 모습 대신에 아바타를 이용하여 상대방에게 자신만의 캐릭터를 부각시키길 원하거나, 다른 사용자에게 자신을 어필하거나 친근감을 전달하기 위한 방식으로 가상 현실에서의 아바타를 이용하고 있다.
하지만, 종래의 아바타 제공 기술은 게임이나 가상 현실상에서 단순한 표정 또는 동작으로 한정되어 있으며, 상대방에게 자신의 표정이나 동작을 전달하기에는 한계가 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 얼굴 인식기술을 이용하여 통화(예컨대, 영상 통화, 인터넷 커뮤니티 활동 등)시 사용자의 얼굴 표정 및 동작을 인식하여 상대편 단말에 3차원 아바타로 변형하여 전송함으로써, 얼굴 표정 및 동작에 따라 실시간으로 3차원 아바타를 제공할 수 있는, 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법을 제공하는 것을 목적으로 한다.
이를 위하여, 본 발명의 제1 측면에 따른 장치는, 제1 사용자 단말로부터 전송된 사용자 영상에서 얼굴 영역을 검출하고 상기 검출된 얼굴 영역에서 얼굴 특징점 정보를 검출하여 사용자 얼굴의 표정 및 동작 변화를 감지하는 얼굴 인식부; 상기 검출된 얼굴 특징점과 매핑 되는 아바타 정보를 모델링 하여 아바타를 생성하는 아바타 생성부; 및 상기 생성된 아바타를 제2 사용자 단말로 전송하는 전송부를 포함하고, 상기 아바타 생성부는 상기 얼굴 인식부가 감지한 사용자 얼굴의 표정 및 동작 변화에 따라 상기 생성된 아바타를 변경시키는 것을 특징으로 한다.
상기 얼굴 인식부는 상기 검출된 얼굴 특징점 정보로부터 사용자 얼굴을 식별하고 식별된 사용자 얼굴에 매핑 되는 아바타 정보를 상기 아바타 생성부로 전달하는 것을 특징으로 한다.
상기 얼굴 인식부는 상기 검출된 얼굴 특징점 정보와 사용자의 표정 변화에 따라 미리 템플릿화된 평균 특징점 정보를 이용하여 사용자 얼굴의 표정을 인식하는 것을 특징으로 한다.
상기 얼굴 인식부는 사용자의 동작 변화에 따라 동작 변화 지수를 계산하여 상기 아바타 생성부로 전달하고, 상기 아바타 생성부는 상기 전달된 동작 변화 지수에 따라 상기 생성된 아바타를 변경하는 것을 특징으로 한다.
사용자 얼굴에 대한 얼굴 특징점 정보를 저장하는 얼굴 DB; 사용자 얼굴에 대한 아바타 정보를 저장하는 아바타 DB; 및 사용자 얼굴에 대한 표정 및 동작 인식 테이블을 저장하는 표정 및 동작 DB로 구성된 데이터 저장부를 더 포함하는 것을 특징으로 한다.
상기 표정 및 동작 인식 테이블은 얼굴 특징점 입력 값, 저장 값, 벡터 데이터, URL 정보 및 코멘트를 포함하는 것을 특징으로 한다.
상기 전송부는 상기 제2 사용자 단말의 아바타 재생 엔진 구비 여부를 확인하여 상기 제2 사용자 단말이 아바타 재생 엔진을 구비한 경우 상기 생성된 아바타를 바로 전송하고, 상기 사용자 단말이 아바타 재생 엔진을 구비하지 않은 경우 상기 생성된 아바타를 재생 엔진에서 재생한 후 아바타 재생 영상을 스트리밍 전송하는 것을 특징으로 한다.
한편, 본 발명의 제2 측면에 따른 방법은, 제1 사용자 단말로부터 전송된 사용자 영상에서 얼굴 영역을 검출하고 상기 검출된 얼굴 영역의 얼굴 특징점 정보를 검출하여 사용자 얼굴의 표정 및 동작 변화를 감지하는 표정 및 동작 인식 단계; 상기 검출된 얼굴 특징점과 매핑 되는 아바타 정보를 모델링 하여 아바타를 생성하는 아바타 생성 단계; 상기 감지된 얼굴 표정 및 동작 변화에 따라 상기 생성된 아바타를 변경시키는 아바타 변경 단계; 및 상기 변경된 아바타를 제2 사용자 단말로 전송하는 전송 단계를 포함하는 것을 특징으로 한다.
상기 표정 및 동작 인식 단계는 상기 검출된 얼굴 특징점 정보와 사용자의 표정 변화에 따라 미리 템플릿화된 평균 특징점 정보를 이용하여 사용자 얼굴의 표정을 인식하는 것을 특징으로 한다.
상기 표정 및 동작 인식 단계는 사용자의 동작 변화에 따라 동작 변화 지수를 계산하고, 상기 아바타 변경 단계는 상기 계산된 동작 변화 지수에 따라 상기 생성된 아바타를 변경하는 것을 특징으로 한다.
상기 표정 및 동작 인식 단계는 얼굴 특징점 입력 값, 저장 값, 벡터 데이터, URL 정보 및 코멘트를 포함하는 표정 및 동작 인식 테이블을 이용하여 얼굴 표정 및 동작을 감지하는 것을 특징으로 한다.
상기 전송 단계는 상기 제2 사용자 단말의 아바타 재생 엔진 구비 여부를 확인하여 상기 제2 사용자 단말이 아바타 재생 엔진을 구비한 경우 상기 생성된 아바타를 바로 전송하고, 상기 사용자 단말이 아바타 재생 엔진을 구비하지 않은 경우 상기 생성된 아바타를 재생 엔진에서 재생한 후 아바타 재생 영상을 스트리밍 전송하는 것을 특징으로 한다.
본 발명은 얼굴 인식기술을 이용하여 통화(예컨대, 영상 통화, 인터넷 커뮤니티 활동 등)시 사용자의 얼굴 표정 및 동작을 인식하여 상대편 단말에 얼굴 표정 및 동작 변화가 반영된 3차원 아바타를 전송함으로써, 영상 통화 시 상대방의 얼굴 표정 및 동작 변화를 아바타를 통해 확인할 수 있기 때문에 통화 재미를 높이고 통화 시 상대방의 감정을 실시간 파악할 수 있는 효과가 있다.
또한, 본 발명은 상대편 단말이 아바타 재생에 필요한 재생 엔진이 없는 경우 아바타를 서버에서 재생하여 아바타를 아바타 재생 영상으로 변환시켜 스트리밍 방식으로 전송할 수 있기 때문에, 저 용량 또는 성능이 낮은 사용자 단말에서도 아바타 서비스를 제공받을 수 있는 효과가 있다.
도 1 은 본 발명에 따른 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버의 일실시예 구성도,
도 2 는 본 발명에 따른 표정 및 동작 인식 과정과 아바타 생성 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 표정 및 동작 인식 테이블에 대한 일실시예 예시도,
도 4 는 본 발명에 따른 얼굴 표정 및 동작 인식을 이용한 아바타 제공 방법의 일실시예 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1 은 본 발명에 따른 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버(100)는 얼굴 인식부(110), 아바타 생성부(120), 전송부(130) 및 데이터 저장부(140)를 포함한다. 여기서, 데이터 저장부(160)는 얼굴 DB(141), 아바타 DB(142) 및 표정 및 동작 DB(143)를 포함한다.
우선, 아바타 제공 서버(100)를 살펴보면, 아바타 제공 서버(100)는 제1 사용자 단말(101) 및 제2 사용자 단말(102)과 통신망을 통해 연결되어 있다. 아바타 제공 서버(100)는 제1 사용자 단말(101)과 제2 사용자 단말(102) 간의 통화 연결 시 제1 사용자 단말(101)의 사용자 얼굴을 인식하고 그 인식된 얼굴과 사전에 지정된 아바타를 상대방인 제2 사용자 단말(102)로 실시간 전송한다.
동일하게 아바타 제공 서버(100)는 제2 사용자 단말(102)의 사용자 얼굴을 인식하고 그 인식된 얼굴과 사전에 지정된 아바타를 상대방인 제1 사용자 단말(101)로 실시간 전송할 수 있다.
이와 같이 본 발명에 따른 아바타 제공 서버(100)는 제1 및 제2 사용자 단말(101 및 102)로 사용자 얼굴 표정 및 동작이 반영된 아바타를 전송함으로써 아바타를 이용한 양방향 영상 통화 서비스를 제공한다.
이하, 본 발명에 따른 아바타 제공 서버(100)의 구성요소 각각에 대하여 살펴보기로 한다.
얼굴 인식부(110)는 제1 사용자 단말(101)로부터 전송된 사용자 영상에서 사용자의 얼굴 영역을 검출하고, 그 검출된 얼굴 영역에서 얼굴 특징점 정보를 검출한다. 얼굴 인식부(110)는 눈썹, 눈, 코, 입 및 턱선 등의 얼굴 특징점의 위치를 실시간으로 검출하여 얼굴 특징점 정보를 검출한다. 예를 들어, 얼굴 특징점 정보를 검출할 때, 얼굴 인식부(110)는 눈을 기준으로 얼굴이라는 형태를 검색하고, 코와 입꼬리 및 얼굴 윤곽 등의 검출 순서로 검출하게 된다. 얼굴 인식부(110)는 검출된 얼굴 특징점 정보를 이용하여 데이터 저장부(140)에 포함된 얼굴 DB(141)로 해당 얼굴 특징점과 매핑 되는 사용자를 식별한다.
또한, 얼굴 인식부(110)는 실시간으로 검출된 얼굴 특징점 정보를 이용하여 사용자의 얼굴 표정 및 동작을 인식한다. 얼굴 인식부(110)는 얼굴의 주요 특징점부터 검출된 결과들의 조합을 통해 실시간으로 얼굴 표정 변화를 읽을 수 있다. 얼굴 인식부(110)는 분노(Angry), 행복(Happy), 놀람(Surprise), 중립(Neutral) 등으로 사용자의 얼굴 표정을 템플릿화하고 각각의 평균 특징점 정보를 얼굴 DB(141)에 미리 저장시킨다. 그리고 얼굴 인식부(110)는 얼굴 DB(141)에 저장된 평균 특징점 정보를 이용하여 사용자 영상을 분석하고, 그 분석 결과를 이용하여 사용자의 표정을 인식한다. 여기서, 얼굴 인식부(110)는 표정 및 동작 DB(143)를 이용하여 사용자의 얼굴 표정 및 동작을 인식한다. 표정 및 동작 DB(143)에는 표정 및 동작 인식에 필요한 표정 및 동작 인식 테이블(1431)이 포함되어 있다.
또한, 얼굴 인식부(110)는 사용자의 동작 변화에 따라 동작 변화 지수를 계산하여 동작을 인식할 수 있다. 예를 들면, 얼굴 인식부(110)는 사용자가 눈을 감고 있는지 또는 뜨고 있는지를 판별하여 정확히 어느 정도로 눈을 감고 있는지에 대한 지수(예컨대, 좌안 21% 및 우안 98%, 좌안 98% 및 우안 94%, 좌안 21% 및 우안 24%, 좌안 31% 및 우안 29% 등)를 실시간으로 인식할 수 있으며, 표정 및 동작 인식 결과를 아바타 생성부(120)로 실시간으로 전달하게 된다. 이러한 표정 및 동작 인식을 통해, 이는 졸음 운전 방지를 위한 네비게이션의 특수 기능에 이용될 수 있다. 얼굴 인식부(110)는 얼굴 특징점 정보 중에서 눈 깜박임 정보를 분석하여 아바타 생성부(120)로 전달하면, 아바타 생성부(120)는 이와 매핑되는 아바타 컨텐츠를 호출하여 아바타를 생성하게 된다.
또한, 웃는 얼굴을 검출하는 과정을 살펴보면, 얼굴 인식부(110)는 얼굴의 특징점을 분석하고 특징점의 변화 및 이동 방향에 따라 웃고 있는 얼굴인지 아닌지 여부를 검출할 수 있다. 또한, 얼굴 인식부(110)는 검출 결과에 대해서 웃고 있는 정도에 대한 미소 지수(예컨대, 21%, 78%, 89% 및 99% 등)를 실시간으로 계산하여 아바타 생성부(120)로 전달할 수 있다. 실시간으로 웃는 얼굴을 검출하는 방식은 자동으로 카메라가 찍히게 하는 "스마일 오토 셧터" 기능 또는 웃는 얼굴에만 적용 되는 모바일 폰의 "마스크 오버레이어" 등에 적용될 수 있다. 또한, 이러한 웃는 얼굴의 검출은 디지털 카메라, 캠코터 및 휴대폰 등의 촬영 디바이스뿐만 아니라 게임을 통해 재미 요소를 가미한 부가적인 기능에 적용될 수 있다. 즉, 얼굴 인식부(110)는 웃음의 비율에 가장 유사성이 있는 랭킹 순으로 웃는 얼굴을 검출할 수 있다.
얼굴 인식부(110)는 식별된 사용자 얼굴에 매핑 되는 아바타 정보 및 감지된 사용자 얼굴의 표정 및 동작 변화를 아바타 생성부(120)로 실시간으로 전달하게 된다.
아바타 생성부(120)는 얼굴 인식부(110)에서 식별된 사용자와 매핑 되는 아바타 정보를 아바타 DB(142)로부터 가져와서 3차원 모델링을 통해 아바타를 생성한다. 여기서, 아바타와 실제 사용자의 영상은 반드시 닮을 필요는 없다. 다만, 얼굴 인식부(110)는 사용자 얼굴의 표정 및 동작 변화를 감지하고, 아바타 생성부(120)는 감지된 변화를 아바타에 반영한다. 아바타 생성부(120)는 얼굴 인식부(110)로부터 눈을 감고 있는지에 대한 지수를 전달받으면, 그 지수에 따라 아바타의 눈 객체에 눈을 감고 있는 정도를 반영할 수 있다. 예를 들어, 그 지수가 좌안 21% 및 우안 98%이라면, 아바타 생성부(120)는 아바타의 좌안 및 우안 객체가 감고 있는 정도를 좌안 21% 및 우안 98%으로 반영한다. 또한, 아바타 생성부(120)는 웃는 얼굴에 대한 미소 지수를 실시간으로 전달받으면 그 미소 지수에 따라 아바타의 얼굴 객체에 반영할 수 있다. 예를 들면, 그 미소 지수가 21%이라면, 아바타 생성부(120)는 아바타의 얼굴 객체가 웃는 정도를 21%로 반영한다. 이를 위한 아바타 정보에는 3차원 모델링에 필요한 아바타의 모델링 정보, 그래픽 정보, 각 얼굴 특징 별 위치 정보 등이 포함되며, 아바타를 실제로 그린 아바타 콘텐츠 정보가 포함되어 있다. 또한, 아바타 생성부(120)는 얼굴 인식부(110)에서 인식된 얼굴 표정 및 동작에 따라 아바타의 얼굴 표정 및 동작을 변경시켜 실시간으로 전송부(130)에 전달한다.
또한, 아바타 생성부(120)는 사용자에 의해 휴대폰(예컨대, 스마트 폰)의 감정 버튼(예컨대, 사랑, 고마움, 감사 등)이 눌려지거나 터치 스크린 이외의 센싱 및 동작 인식(예컨대, 하트 모양 등) 결과를 전달받으면, 사용자의 얼굴 표정 이외에 현재의 감정(기분)상태를 아바타에 표현할 수 있다. 이를 위해, 제1 사용자 단말(101)은 감정 버튼을 구비하거나, 터치 스크린 이외의 센싱 및 동작 인식을 위해 센서를 구비하고 있다.
이후, 전송부(130)는 아바타 생성부(120)에서 생성된 아바타를 제2 사용자 단말(102)로 실시간 전송한다. 여기서, 전송부(130)는 제2 사용자 단말(102)의 재생 성능을 고려하여 전송 방식을 변경하여 제2 사용자 단말(102)로 전송할 수 있다.
구체적으로, 전송부(130)는 제2 사용자 단말(102)이 아바타의 실시간 재생에 필요한 재생 엔진을 구비하고 있는지 여부를 확인한다. 그 확인 결과에 따라, 제2 사용자 단말(102)에 재생 엔진이 있는 경우에는 전송부(130)는 그대로 아바타를 전송하고, 재생 엔진이 없는 경우에는 미리 재생 엔진을 통해 아바타를 재생한 후, 아바타 재생 영상을 제2 사용자 단말(102)로 스트리밍 전송한다. 이로써, 제2 사용자 단말(102)은 저 용량 또는 사양이 낮은 단말인 경우에도 아바타 재생 영상을 통해 아바타 서비스를 사용자에게 제공할 수 있다.
한편, 데이터 저장부(160)는 사용자의 얼굴에 대한 얼굴 특징점 정보를 저장하는 얼굴 DB(141), 사용자의 얼굴에 대한 아바타 정보를 저장하는 아바타 DB(142) 및 사용자의 얼굴에 대한 표정 및 동작 인식 정보를 저장하는 표정 및 동작 DB(143)를 저장한다.
도 2 는 본 발명에 따른 표정 및 동작 인식 과정과 아바타 생성 과정에 대한 일실시예 설명도 이다.
도 2에 도시된 바와 같이, 제1 사용자 단말(101)은 캠(CAM)이 구비된 컴퓨터, 인터넷 전화, 휴대 전화, 영상 전화 및 스마트폰일 수 있다. 제1 및 제2 사용자 단말(101, 102)은 사용자를 촬영할 있는 카메라가 구비되어 있거나, 사용자 영상을 입력 받을 수 있는 영상 입력 모듈을 구비할 수 있다. 여기서, 제1 및 제2 사용자 단말(101, 102)은 영상 통화나 인터넷 전화로 통화 연결 시 사용자 영상(201)을 아바타 제공 서버(100)로 전송한다.
제1 사용자 단말(101)로부터 전송된 사용자 영상(201)을 이용하여 얼굴 표정 및 동작 인식을 통해 아바타(202)를 생성하는 과정을 살펴보기로 한다. 아바타 생성 과정은 제2 사용자 단말(102)에 대해서도 이와 같은 방식으로 적용된다.
우선, 데이터 저장부(160)는 얼굴 DB(141), 아바타 DB(142) 및 표정 및 동작 DB(143)으로 이루어져 있다.
얼굴 DB(141)는 사용자의 얼굴에 대한 얼굴 특징점 정보를 저장한다. 아바타 DB(142)는 사용자의 얼굴에 대한 아바타 정보를 저장한다. 표정 및 동작 DB(143)는 사용자의 얼굴에 대한 표정 및 동작 인식 정보를 저장한다.
아바타 DB(141)에는 아바타 모델링에 필요한 아바타 정보와 아바타 콘텐츠가 포함되어 있다. 표정 및 동작 DB(143)는 입력 값, 저장 값, URL(Uniform Resource Locator) 정보, 벡터 데이터(Vector Data), 코멘트(Comment) 중 적어도 하나를 포함하는 표정 및 동작 인식 테이블(1431)을 저장할 수 있다.
얼굴 인식부(110)는 얼굴 DB(141)를 이용하여 사용자 영상(201)에서 사용자의 얼굴 영역을 검출하고(212), 그 검출된 얼굴 영역에서 얼굴 특징점을 검출한다(214). 그리고 얼굴 인식부(110)는 얼굴 DB(141)에서 해당 얼굴 특징점과 매핑 되는 사용자를 식별하고, 표정 및 동작 DB(143)를 이용하여 사용자의 얼굴 표정 및 동작을 인식한다(216). 표정 및 동작 DB(143)에는 표정 및 동작 인식에 필요한 표정 및 동작 인식 테이블(1431)이 포함되어 있다.
그리고 아바타 생성부(120)는 아바타 DB(142)를 이용하여 3차원 모델링을 통해 아바타(202)를 생성한다(218). 여기서, 아바타(202)는 사용자에 의해 미리 지정될 수 있으며, 아바타 생성부(120)는 사용자마다 매핑 된 아바타 정보를 아바타 DB(142)로부터 가져와서 아바타(202)를 생성한다. 아바타(202)는 2차원 모델링 또는 3차원 모델링을 통해 생성될 수 있다. 생성된 아바타(202)는 바로 전송되거나 재생 후 스트리밍 전송될 수 있다(220).
도 3 은 본 발명에 따른 표정 및 동작 인식 테이블에 대한 일실시예 예시도 이다.
전술된 바와 같이, 얼굴 인식부(110)는 표정 및 동작 DB(143)에 포함된 표정 및 동작 인식 테이블(1431)을 이용하여 사용자의 얼굴 표정 및 동작을 인식한다(216).
표정 및 동작 인식 테이블(1431)의 일례를 도 3을 참조하여 살펴보면, 표정 및 동작 인식 테이블(1431)은 얼굴 특징점 입력 값, 저장 값, URL 정보, 벡터 데이터 및 코멘트를 포함한다.
여기서, 얼굴 특징점 입력 값은 얼굴 인식부(110)에서 검출된 얼굴 특징점을 나타내고, 얼굴 특징점에 해당하는 저장 값(예컨대, 미소, 분노, 눈 깜박임, 눈 감고 있음, 사랑 등)과 매핑 되어 있다. URL 정보는 아바타 얼굴의 얼굴 표정 및 동작과 관련된 배경 화면이나 효과 화면 등이 저장된 주소 정보를 나타내며, 다른 주소 형식으로 지정될 수 있다.
벡터 데이터는 얼굴 인식부(110)에서 검출된 얼굴 특징점의 위치 데이터를 나타내고, 아바타(202)의 표정 및 동작을 변경할 때 이용된다. 얼굴 인식부(110)는 이러한 위치 데이터를 이용하여 얼굴 특징점의 변화나 이동 등을 파악할 수 있다. 코멘트는 사용자에 의해서 지정되거나 미리 설정될 수 있으며, 얼굴 특징점 입력 값에 대응하는 코멘트(예컨대, "안녕", "너 싫어", "졸립네", "피곤해" 등)가 저장되어 있다.
또한, 이러한 표정 및 동작 인식 테이블(1431)은 모델링 및 아바타(202) 생성 과정에서도 이용된다. 아바타 생성부(120)는 얼굴 특징점 입력 값에 대응되는 저장 값에 따라 아바타(202)를 변경한다. 또한, 아바타 생성부(120)는 URL 정보를 불러와 해당 주소에 있는 배경 화면이나 효과 화면 등을 아바타에 반영할 수 있다. 또한, 아바타 생성부(120)는 벡터 데이터를 이용하여 얼굴 표정 및 동작 인식에 따라 아바타(202)의 얼굴 표정 및 동작을 변경한다. 그리고 아바타 생성부(120)는 그러한 표정 및 동작에 부합하는 음성 코멘트를 아바타에 삽입하여 반영하거나, 동기화된 음성 데이터를 따로 포함시켜 전송부(140)로 전달할 수 있다.
그리고 전송부(140)는 전달된 아바타를 실시간 스트리밍으로 상대편 사용자 단말로 전송한다. 여기서, 전송부(140)는 영상 전송되는 제1 또는 제2 사용자 단말(101 또는 102)의 성능(예컨대, 재생 엔진 유무 등)을 고려하여 실시간 스트리밍으로 전송되도록 한다.
도 4 는 본 발명에 따른 얼굴 표정 및 동작 인식을 이용한 아바타 제공 방법의 일실시예 흐름도이다.
제 1 사용자 단말(101)과 제2 사용자 단말(102) 간의 통화 호 요청에 따라 통화 호가 연결되면, 아바타 제공 서버(100)는 제1 사용자 단말(101)로부터 사용자 영상을 전송 받고, 전송된 사용자 영상에서 사용자의 얼굴 영역을 검출한다(402).
그리고 얼굴 인식부(110)는 검출된 얼굴 영역의 얼굴 특징점을 검출한다(404). 얼굴 인식부(110)는 눈썹, 눈, 코, 입 및 턱선 등의 얼굴 특징점의 위치를 실시간으로 검출하여 얼굴 특징점 정보를 검출한다. 이어서, 얼굴 인식부(110)는 검출된 얼굴 특징점을 이용하여 얼굴 표정 및 동작을 인식한다(406). 예를 들어, 얼굴 인식부(110)는 얼굴의 주요 특징점부터 검출된 결과들의 조합을 통해 실시간으로 분노, 행복, 놀람, 중립 등의 표정을 인식할 수 있다. 또한, 얼굴 인식부(110)는 사용자가 눈을 감고 있는 정도, 웃고 있는 정도 등을 인식할 수 있다.
이후, 아바타 생성부(120)는 3차원 모델링을 통해 아바타를 생성한다(408).
그리고 아바타 생성부(120)는 얼굴 인식부(110)에서 인식된 얼굴 표정 및 동작에 변화가 있는지 여부를 확인한다(412). 예를 들어, 아바타 생성부(120)는 얼굴 인식부(110)에서 인식된 얼굴 표정 및 동작 인식 결과를 전달받아 분노, 행복, 놀람, 중립 등의 표정을 확인할 수 있다. 또한, 아바타 생성부(120)는 사용자가 눈을 감고 있는 정도, 웃고 있는 정도 등을 지수로 전달받아 동작에 변화가 있는지를 확인할 수 있다.
상기 확인 결과(412), 인식된 얼굴 표정 및 동작에 변화가 있으면, 아바타 생성부(120)는 얼굴 표정 및 동작 변화에 따라 아바타를 변경하여 전송부(130)로 전달한다(414).
반면, 인식된 얼굴 표정 및 동작에 변화가 없으면, 아바타 생성부(120)는 "408" 과정에서 생성된 아바타의 얼굴 표정 및 동작을 변경시키지 않고 전송부(130)로 전달한다(414). 여기서, 아바타 생성부(120)는 사용자에 의해 휴대폰(예컨대, 스마트 폰)의 감정 버튼(예컨대, 사랑, 고마움, 감사 등)이 눌려지거나 터치 스크린 이외의 센싱 및 동작 인식(예컨대, 하트 모양 등) 결과를 전달받으면, 사용자의 얼굴 표정 이외에 현재의 감정(기분)상태를 아바타에 표현하여 전송부(130)로 전달할 수 있다.
그리고 전송부(130)는 아바타 생성부(120)로부터 전달된 아바타를 얼굴 표정 및 동작 변화에 따라 제2 사용자 단말(102)로 실시간 전송한다(414). 여기서, 전송부(130)는 제2 사용자 단말(102)에 재생 엔진이 있는지 여부를 확인하여, 재생 엔진이 있는 경우 아바타를 직접 전송하거나, 재생 엔진을 통해 재생 후 아바타 재생 영상을 제2 사용자 단말(102)로 전송할 수 있다.
제2 사용자 단말(101)에 대해서도 얼굴 표정 및 동작 인식 과정과 아바타 생성 과정이 이와 같은 방식으로 적용된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명은 얼굴 인식기술을 이용하여 통화(예컨대, 영상 통화, 인터넷 커뮤니티 활동 등)시 사용자의 얼굴 표정 및 동작을 인식하여 상대편 단말에 3차원 아바타로 변형하여 전송함으로써, 얼굴 표정 및 동작에 따라 실시간으로 3차원 아바타를 제공할 수 있다.
101: 제1 사용자 단말 101: 제2 사용자 단말
100: 아바타 제공 서버 110: 얼굴 인식부
120: 아바타 생성부 130: 전송부
140: 데이터 저장부 141: 얼굴 DB
142: 아바타 DB
143: 표정 및 동작 DB

Claims (12)

  1. 제1 사용자 단말로부터 전송된 사용자 영상에서 얼굴 영역을 검출하고 상기 검출된 얼굴 영역에서 얼굴 특징점 정보를 검출하여 사용자 얼굴의 표정 및 동작 변화를 감지하는 얼굴 인식부;
    상기 검출된 얼굴 특징점과 매핑 되는 아바타 정보를 모델링 하여 아바타를 생성하는 아바타 생성부; 및
    상기 생성된 아바타를 제2 사용자 단말로 전송하는 전송부를 포함하고,
    상기 아바타 생성부는 상기 얼굴 인식부가 감지한 사용자 얼굴의 표정 및 동작 변화에 따라 상기 생성된 아바타를 변경시키는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  2. 제 1 항에 있어서,
    상기 얼굴 인식부는 상기 검출된 얼굴 특징점 정보로부터 사용자 얼굴을 식별하고 식별된 사용자 얼굴에 매핑 되는 아바타 정보를 상기 아바타 생성부로 전달하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  3. 제 1 항에 있어서,
    상기 얼굴 인식부는 상기 검출된 얼굴 특징점 정보와 사용자의 표정 변화에 따라 미리 템플릿화된 평균 특징점 정보를 이용하여 사용자 얼굴의 표정을 인식하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  4. 제 1 항에 있어서,
    상기 얼굴 인식부는 사용자의 동작 변화에 따라 동작 변화 지수를 계산하여 상기 아바타 생성부로 전달하고,
    상기 아바타 생성부는 상기 전달된 동작 변화 지수에 따라 상기 생성된 아바타를 변경하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  5. 제 1 항에 있어서,
    사용자 얼굴에 대한 얼굴 특징점 정보를 저장하는 얼굴 DB;
    사용자 얼굴에 대한 아바타 정보를 저장하는 아바타 DB; 및
    사용자 얼굴에 대한 표정 및 동작 인식 테이블을 저장하는 표정 및 동작 DB로 구성된 데이터 저장부
    를 더 포함하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  6. 제 5 항에 있어서,
    상기 표정 및 동작 인식 테이블은 얼굴 특징점 입력 값, 저장 값, 벡터 데이터, URL 정보 및 코멘트를 포함하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  7. 제 1 항에 있어서,
    상기 전송부는 상기 제2 사용자 단말의 아바타 재생 엔진 구비 여부를 확인하여 상기 제2 사용자 단말이 아바타 재생 엔진을 구비한 경우 상기 생성된 아바타를 바로 전송하고, 상기 사용자 단말이 아바타 재생 엔진을 구비하지 않은 경우 상기 생성된 아바타를 재생 엔진에서 재생한 후 아바타 재생 영상을 스트리밍 전송하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 서버.
  8. 제1 사용자 단말로부터 전송된 사용자 영상에서 얼굴 영역을 검출하고 상기 검출된 얼굴 영역의 얼굴 특징점 정보를 검출하여 사용자 얼굴의 표정 및 동작 변화를 감지하는 표정 및 동작 인식 단계;
    상기 검출된 얼굴 특징점과 매핑 되는 아바타 정보를 모델링 하여 아바타를 생성하는 아바타 생성 단계;
    상기 감지된 얼굴 표정 및 동작 변화에 따라 상기 생성된 아바타를 변경시키는 아바타 변경 단계; 및
    상기 변경된 아바타를 제2 사용자 단말로 전송하는 전송 단계
    를 포함하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 방법.
  9. 제 8 항에 있어서,
    상기 표정 및 동작 인식 단계는 상기 검출된 얼굴 특징점 정보와 사용자의 표정 변화에 따라 미리 템플릿화된 평균 특징점 정보를 이용하여 사용자 얼굴의 표정을 인식하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 방법.
  10. 제 8 항에 있어서,
    상기 표정 및 동작 인식 단계는 사용자의 동작 변화에 따라 동작 변화 지수를 계산하고,
    상기 아바타 변경 단계는 상기 계산된 동작 변화 지수에 따라 상기 생성된 아바타를 변경하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 방법.
  11. 제 8 항에 있어서,
    상기 표정 및 동작 인식 단계는 얼굴 특징점 입력 값, 저장 값, 벡터 데이터, URL 정보 및 코멘트를 포함하는 표정 및 동작 인식 테이블을 이용하여 얼굴 표정 및 동작을 감지하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 방법.
  12. 제 8 항에 있어서,
    상기 전송 단계는 상기 제2 사용자 단말의 아바타 재생 엔진 구비 여부를 확인하여 상기 제2 사용자 단말이 아바타 재생 엔진을 구비한 경우 상기 생성된 아바타를 바로 전송하고, 상기 사용자 단말이 아바타 재생 엔진을 구비하지 않은 경우 상기 생성된 아바타를 재생 엔진에서 재생한 후 아바타 재생 영상을 스트리밍 전송하는 것을 특징으로 하는 표정 및 동작 인식을 이용한 아바타 제공 방법.
KR1020100081327A 2010-08-23 2010-08-23 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법 KR20120018479A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100081327A KR20120018479A (ko) 2010-08-23 2010-08-23 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100081327A KR20120018479A (ko) 2010-08-23 2010-08-23 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120018479A true KR20120018479A (ko) 2012-03-05

Family

ID=46127715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100081327A KR20120018479A (ko) 2010-08-23 2010-08-23 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법

Country Status (1)

Country Link
KR (1) KR20120018479A (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140004426A (ko) * 2012-07-02 2014-01-13 삼성전자주식회사 영상 통화 분석 서비스를 제공하기 위한 방법 및 그 전자 장치
WO2014010899A1 (ko) * 2012-07-11 2014-01-16 에스케이플래닛 주식회사 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치
KR20140010525A (ko) * 2012-07-12 2014-01-27 에스케이플래닛 주식회사 이모티콘 서비스 시스템 및 그의 이모티콘 서비스 제공 방법
WO2014022022A1 (en) * 2012-08-01 2014-02-06 Google Inc. Using an avatar in a videoconferencing system
KR20140031482A (ko) * 2012-09-03 2014-03-13 에스케이플래닛 주식회사 캐릭터 연동 방법, 이를 위한 장치, 이를 위한 단말기 및 이를 위한 시스템
KR20140043174A (ko) * 2012-09-28 2014-04-08 한국전자통신연구원 승마 시뮬레이터 및 승마 시뮬레이션 방법
WO2014139118A1 (en) * 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
KR20160146861A (ko) * 2014-04-29 2016-12-21 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 얼굴 표정 추적
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
KR20190072067A (ko) * 2017-12-15 2019-06-25 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버
KR102198844B1 (ko) * 2019-06-26 2021-01-05 서울대학교 산학협력단 얼굴인식 기반의 아바타 마스크 업로딩 서비스
KR20210078863A (ko) 2019-12-19 2021-06-29 주식회사 케이티 아바타 서비스를 제공하는 서버, 방법 및 컴퓨터 프로그램
WO2022031041A1 (ko) * 2020-08-07 2022-02-10 삼성전자 주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
KR20220126922A (ko) * 2021-03-10 2022-09-19 연세대학교 산학협력단 원격 현실 영상 송수신 장치 및 방법
CN115426467A (zh) * 2021-05-13 2022-12-02 海信集团控股股份有限公司 一种基于视频通话的观影陪伴方法、设备和介质
WO2023101103A1 (ko) * 2021-12-02 2023-06-08 주식회사 행파이브 관상 정보 기반 사용자 선택 컨텐츠 정보 제공방법, 그 서버 및 어플리케이션
US11765320B2 (en) 2021-08-11 2023-09-19 Google Llc Avatar animation in virtual conferencing

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140004426A (ko) * 2012-07-02 2014-01-13 삼성전자주식회사 영상 통화 분석 서비스를 제공하기 위한 방법 및 그 전자 장치
WO2014010899A1 (ko) * 2012-07-11 2014-01-16 에스케이플래닛 주식회사 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치
KR20140010525A (ko) * 2012-07-12 2014-01-27 에스케이플래닛 주식회사 이모티콘 서비스 시스템 및 그의 이모티콘 서비스 제공 방법
US9723265B2 (en) 2012-08-01 2017-08-01 Google Inc. Using an avatar in a videoconferencing system
US9191619B2 (en) 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
WO2014022022A1 (en) * 2012-08-01 2014-02-06 Google Inc. Using an avatar in a videoconferencing system
US10225519B2 (en) 2012-08-01 2019-03-05 Google Llc Using an avatar in a videoconferencing system
KR20140031482A (ko) * 2012-09-03 2014-03-13 에스케이플래닛 주식회사 캐릭터 연동 방법, 이를 위한 장치, 이를 위한 단말기 및 이를 위한 시스템
KR20140043174A (ko) * 2012-09-28 2014-04-08 한국전자통신연구원 승마 시뮬레이터 및 승마 시뮬레이션 방법
WO2014139118A1 (en) * 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
US9886622B2 (en) 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
KR20160146861A (ko) * 2014-04-29 2016-12-21 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 얼굴 표정 추적
US10949654B2 (en) 2017-12-15 2021-03-16 Hyperconnect, Inc. Terminal and server for providing video call service
KR20190072067A (ko) * 2017-12-15 2019-06-25 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
KR102198844B1 (ko) * 2019-06-26 2021-01-05 서울대학교 산학협력단 얼굴인식 기반의 아바타 마스크 업로딩 서비스
KR20210078863A (ko) 2019-12-19 2021-06-29 주식회사 케이티 아바타 서비스를 제공하는 서버, 방법 및 컴퓨터 프로그램
WO2022031041A1 (ko) * 2020-08-07 2022-02-10 삼성전자 주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
US11694383B2 (en) 2020-08-07 2023-07-04 Samsung Electronics Co., Ltd. Edge data network for providing three-dimensional character image to user equipment and method for operating the same
KR20220126922A (ko) * 2021-03-10 2022-09-19 연세대학교 산학협력단 원격 현실 영상 송수신 장치 및 방법
CN115426467A (zh) * 2021-05-13 2022-12-02 海信集团控股股份有限公司 一种基于视频通话的观影陪伴方法、设备和介质
US11765320B2 (en) 2021-08-11 2023-09-19 Google Llc Avatar animation in virtual conferencing
WO2023101103A1 (ko) * 2021-12-02 2023-06-08 주식회사 행파이브 관상 정보 기반 사용자 선택 컨텐츠 정보 제공방법, 그 서버 및 어플리케이션

Similar Documents

Publication Publication Date Title
KR20120018479A (ko) 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
KR102292537B1 (ko) 이미지 처리 방법 및 장치, 및 저장 매체
US11595617B2 (en) Communication using interactive avatars
JP6616288B2 (ja) 通信における情報交換のための方法、ユーザ端末、及びサーバ
JP6775557B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
KR20130022434A (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US9402057B2 (en) Interactive avatars for telecommunication systems
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
US20100156781A1 (en) Eye gaze control during avatar-based communication
JP2004289254A (ja) テレビ電話端末
CN107333086A (zh) 一种在虚拟场景中进行视频通信的方法及装置
TW202008143A (zh) 人機互動方法和裝置
US20230047858A1 (en) Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication
CN115396390B (zh) 基于视频聊天的互动方法、系统、装置及电子设备
JP2020202575A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
CN114880062A (zh) 聊天表情展示方法、设备、电子设备及存储介质
KR20230103665A (ko) 텍스트 기반 아바타 생성 기능을 제공하는 메타버스 공간 장치, 방법, 및 프로그램
CN109039851B (zh) 交互数据处理方法、装置、计算机设备和存储介质
WO2023082737A1 (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN113949891B (zh) 一种视频处理方法、装置、服务端及客户端
CN109525483A (zh) 移动终端及其互动动画的生成方法、计算机可读存储介质
CN112637692B (zh) 互动方法、装置、设备
CN112749357A (zh) 基于分享内容的交互方法、装置和计算机设备
WO2023071556A1 (zh) 基于虚拟形象的数据处理方法、装置、计算机设备及存储介质
TW201108151A (en) Instant communication control system and its control method

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application