KR20100094212A - 아바타 얼굴 표정 제어장치 - Google Patents

아바타 얼굴 표정 제어장치 Download PDF

Info

Publication number
KR20100094212A
KR20100094212A KR1020090013530A KR20090013530A KR20100094212A KR 20100094212 A KR20100094212 A KR 20100094212A KR 1020090013530 A KR1020090013530 A KR 1020090013530A KR 20090013530 A KR20090013530 A KR 20090013530A KR 20100094212 A KR20100094212 A KR 20100094212A
Authority
KR
South Korea
Prior art keywords
facial expression
information
change
avatar
user
Prior art date
Application number
KR1020090013530A
Other languages
English (en)
Other versions
KR101558553B1 (ko
Inventor
박치연
황영규
김정배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090013530A priority Critical patent/KR101558553B1/ko
Priority to US12/695,185 priority patent/US8396708B2/en
Publication of KR20100094212A publication Critical patent/KR20100094212A/ko
Application granted granted Critical
Publication of KR101558553B1 publication Critical patent/KR101558553B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

아바타 얼굴 표정 제어 기술을 제시한다. 이 기술은 음성의 발성정보로부터 사용자의 감정 변화 및 강조점을 추정하고, 음성의 발음정보로부터 사용자의 입모양 변화를 추정하고, 영상정보로부터 사용자의 얼굴 움직임과 표정 변화를 추적하여, 이들을 이용해 아바타의 얼굴 표정을 표현함으로써 아바타의 얼굴 표정을 사용자의 실제 얼굴 표정과 유사하게 표현할 수 있도록 한 것이다.
음성, 발성정보, 발음정보, 영상정보, 얼굴 표정, 아바타

Description

아바타 얼굴 표정 제어장치{Facial gesture cloning apparatus}
본 발명은 카메라 및 마이크를 통해 입력되는 사용자의 영상 및 음성 정보로부터 아바타의 얼굴 표정을 표현하는 아바타 얼굴 표정 제어 기술에 관한 것이다.
가상 공간에서 아바타를 제어하는 다양한 연구들이 진행되고 있다. 최근, 아바타의 몸 동작을 제어하는 것을 넘어서 아바타의 얼굴 표정을 제어하여 풍부한 표현이 가능하도록 하는 기술들에 대한 필요성이 대두되고 있다.
예를들어, 온라인 대화 시스템에서는 아바타의 몸 동작보다 아바타의 얼굴 표정과 입술 움직임을 제어하는 것이 더 효과적으로 사용자의 의도를 상대방에게 전달할 수 있을 것이다. 따라서, 본 발명자는 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있는 기술에 대한 연구를 하게 되었다.
카메라 및 마이크를 통해 입력되는 사용자의 영상과 음성에 동기화되어 아바타의 얼굴 표정을 실시간 표현함에 있어서, 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있는 아바타 얼굴 표정 제어 기술을 제공한다.
본 발명의 일 양상에 따르면, 음성의 발성정보로부터 사용자의 감정 변화 및 강조점을 추정하고, 음성의 발음정보로부터 사용자의 입모양 변화를 추정하고, 영상정보로부터 사용자의 얼굴 움직임과 표정 변화를 추적하여, 이들을 이용해 아바타의 얼굴 표정을 표현한다.
카메라 및 마이크를 통해 입력되는 사용자의 실제 영상과 음성에 동기화되어, 아바타의 얼굴 표정을 사용자의 실제 얼굴 표정과 유사하게 표현함으로써 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명 실시예들을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들을 정의한다. 이 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명에 따른 아바타 얼굴 표정 제어장치의 일 실시예에 따른 블럭도이다. 도면에 도시한 바와 같이, 이 실시예에 따른 아바타 얼굴 표정 제어장치(100)는 발성정보 처리부(110)와, 발음정보 처리부(120)와, 영상정보 처리부(130)와, 얼굴 표정 처리부(140)를 포함한다.
상기 발성정보 처리부(110)는 음성의 발성정보로부터 사용자의 감정 변화 및 강조점을 추정하여 제1정보를 출력한다. 마이크 등의 음성입력수단(도면 도시 생략)으로부터 사용자의 음성이 입력되면, 이로부터 상기 발성정보 처리부(110)가 즐거움, 슬픔, 화남, 두려움, 혐오, 놀람 등의 사용자의 감정 변화 및 큰 소리를 지르거나 하는 등의 음성이 과장된 강조점을 추정하여 그 결과를 제1정보로 출력한다. 상기 사용자의 감정 변화 및 강조점 추정에 관련해서는 추후 구체적으로 설명한다.
상기 발음정보 처리부(120)는 음성의 발음정보로부터 사용자의 입모양 변화를 추정하여 제2정보를 출력한다. 마이크 등의 음성입력수단(도면 도시 생략)으로부터 사용자의 음성이 입력되면, 이로부터 상기 발음정보 처리부(120)가 입술이 세 로 방향으로 벌어진 정도, 입술이 가로 방향으로 벌어진 정도, 입술을 앞으로 내민 정도 등과 같은 사용자의 입모양 변화를 추정하여 그 결과를 제2정보로 출력한다. 상기 사용자의 입모양 변화 추정에 관련해서는 추후 구체적으로 설명한다.
상기 영상정보 처리부(130)는 영상정보로부터 사용자의 얼굴 움직임과 표정 변화를 추적하여 제3정보를 출력한다. 카메라 등의 영상입력수단(도면 도시 생략)으로부터 사용자의 영상이 입력되면, 이로부터 상기 영상정보 처리부(130)가 사용자의 얼굴을 이루는 특징점들의 위치와 방향 등을 분석하여 사용자의 얼굴 움직임과 표정 변화를 추적하여 그 결과를 제3정보로 출력한다. 상기 사용자의 얼굴 움직임과 표정 변화 추적에 관련해서는 추후 구체적으로 설명한다.
상기 얼굴 표정 처리부(140)는 상기 발성정보 처리부(110)에 의해 출력되는 제1정보와, 상기 발음정보 처리부(120)에 의해 출력되는 제2정보 및 상기 영상정보 처리부(130)에 의해 출력되는 제3정보를 적용하여 아바타의 얼굴 표정을 표현한다.
즉, 상기 얼굴 표정 처리부(140)는 상기 사용자의 감정 변화 및 강조점에 관련한 제1정보와, 상기 사용자의 입모양 변화에 관련한 제2정보 및 사용자의 얼굴 움직임과 표정 변화에 관련한 제3정보를 이용해 사용자의 실제 얼굴 표정과 동기화된 아바타 얼굴 표정을 표현함으로써 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있게 된다.
도 2 는 본 발명에 따른 아바타 얼굴 표정 제어장치의 발성정보 처리부의 일 실시예를 도시한 블럭도이다. 도면에 도시한 바와 같이, 이 실시예에 따른 발성정 보 처리부(110)는 파라미터 추출부(111)와, 감정 변화 추정부(112)와, 강조점 추정부(113)와, 제1정보 출력부(114)를 포함한다.
상기 파라미터 추출부(111)는 음성의 발성정보로부터 감정 변화와 관련된 파라미터를 추출한다. 예컨대, 상기 감정 변화와 관련된 파라미터가 음성 신호의 강도, 음의 높낮이, 음질 정보를 포함할 수 있다.
상기 감정 변화 추정부(112)는 상기 파라미터 추출부(111)에 의해 추출된 파라미터의 장기적인 변화를 모니터링해 감정 변화를 추정한다. 예컨대, 상기 파라미터의 장기적인 변화는 설정된 제1기준값 동안의 파라미터 변화량 또는 변화속도를 검출함에 의해 얻어질 수 있다. 예를들어, 음성 신호의 강도의 1초 동안의 평균값이나, 음성 신호의 강도의 1초 동안의 변화량의 제곱 평균값을 구하여 감정변화를 추정할 수 있다.
예컨대, 상기 감정변화를 도 3 에 도시한 바와 같이 활동성/비활동성, 행복/불만족을 이용하여 감정을 원위에 표현하는 러셀(Russell)의 써컴플렉스 모델(Circumplex Model)을 사용하여 감정 상태를 추정할 수 있다. 도 3 에서 가로축은 만족도를 나타내고, 세로축은 활동성을 나타낸다.
이와는 달리 상기 감정변화를 MPEG4에서 규정한 즐거움, 슬픔, 화남, 두려움, 혐오, 놀람의 6가지 기본 감정의 조합으로 나타낼 수도 있다. 6가지 기본 감정 모델은 즐거움, 슬픔, 화남, 두려움, 혐오, 놀람의 6가지 감정에 관련한 파라미터의 확률분포를 가우시안 혼합(Gaussian Mixture) 등을 이용하여 모델링한 후, 입력되는 감정에 관련한 파라미터가 어느 모델에 가장 가까운지를 계산함으로써 감정상 태를 추정할 수 있다.
즉, 확률분포 모델을 통하여 각 감정 상태가 주어졌을 때, 입력되는 감정에 관련한 파라미터의 확률값을 계산하고, 각 감정 상태가 나타나는 빈도수를 알고 있다면, 입력되는 감정에 관련한 파라미터 F에 가장 적합한 감정 상태는 베이즈 규칙(Bayes Rule)을 이용해 다음 식과 같이 구할 수 있다.
Figure 112009010098427-PAT00001
위의 식에서 분모로 사용된 감정에 관련한 파라미터 모델별 확률값의 합은 0과 1 사이의 값을 가지며, 얼굴 표정이 특정 모델에 적합할 수록 큰 값을, 어떤 모델에도 적합하지 않은 경우에는 낮은 값을 가진다. 이는 추후 설명할 감정 변화에 대한 신뢰도 평가에 이용될 수도 있다.
상기 강조점 추정부(113)는 상기 파라미터 추출부(111)에 의해 추출된 파라미터의 단기적인 변화를 모니터링해 강조점을 추정한다. 예를들어, 상기 강조점 추정부(113)가 발성이 단기적으로 급격하게 변화한 위치를 강조점으로 추정할 수 있다. 예컨대, 상기 파라미터의 단기적인 변화는 상기 제1기준값 보다 작게 설정된 제2기준값 동안의 파라미터 변화량 또는 변화속도를 검출함에 의해 얻어질 수 있다.
예를들어, 파라미터의 단기적인 변화는 최근 200ms간의 평균이나 변화량의 제곱의 평균을 장기적인 변화로부터 구한 값과 비교함으로써 계산할 수 있다. 예컨 대, 음성신호 강도에서 단기적인 변화가 크게 나타나는 경우 갑자기 크게 소리를 냈다는 발성의 변화를 추정할 수 있고, 음높이 파라미터에서 단기적인 변화가 크게 나타난다면 갑자기 높은 음으로 노래를 불렀음을 추정할 수 있을 것이다.
또한, 단어나 문구를 강조하는 부분에서도 목소리의 크기와 높이가 높아지게 되므로, 강조 정보를 추출해 낼 수 있을 것이다. 반대로 속삭임과 같이 일반적인 발성에 비해 작은 발성도 과장에 해당하는 값을 정해진 기준치 이하로 낮춤으로써 추정할 수 있을 것이다.
상기 제1정보 출력부(114)는 상기 감정 변화 추정부(112)에 의해 추정된 감정 변화 및 상기 강조점 추정부(113)에 의해 추정된 강조점을 바탕으로 제1정보를 생성하고, 생성된 제1정보를 출력한다. 상기 제1정보에는 사용자의 감정 변화 및 강조점 정보가 포함된다. 따라서, 이렇게 함에 의해 상기 발성정보 처리부(110)가 음성의 발성정보로부터 사용자의 감정 변화 및 강조점을 추정할 수 있게 된다.
도 4 는 본 발명에 따른 아바타 얼굴 표정 제어장치의 발음정보 처리부의 일 실시예를 도시한 블럭도이다. 도면에 도시한 바와 같이, 이 실시예에 따른 발음정보 처리부(120)는 파라미터 추출부(121)와, 입모양 추정부(122)와, 제2정보 출력부(123)를 포함한다.
상기 파라미터 추출부(121)는 음성의 발성정보로부터 입모양 변화와 관련된 파라미터를 추출한다. 예를들어, 상기 입모양 변화와 관련된 파라미터가 입술이 세로 방향으로 벌어진 정도, 입술이 가로 방향으로 벌어진 정도, 입술을 앞으로 내민 정도 정보를 포함할 수 있다.
예컨대, 발성정보를 분석하기 위하여 이와 관련된 파라미터로 입 속 공간의 모양을 추정하는 파라미터인 LPC(Linear Predic tive Coefficient), 음성의 스펙트럼을 분석하는 파라미터인 MFCC(Mel-Frequency Cepstral Coefficient) 등을 추출하여 사용할 수 있다.
상기 입모양 추정부(122)는 상기 파라미터 추출부(121)에 의해 추출된 파라미터를 바탕으로 사용자의 입모양 변화를 추정한다. 예컨대, 상기 입모양 추정부(122)가 각 음소를 비슷한 입술 모양을 가지는 발음군으로 분류하여 저장한 데이터베이스로부터 음성의 발성되는 소리가 어떠한 발음군에 속하는지 검색하고, 해당 검색된 발음군에 대응하는 파라미터를 추출하고, 이 추출된 파라미터로부터 사용자의 입모양 변화를 추정하도록 구현할 수 있다.
도 5 는 음소를 비슷한 입술 모양을 가지는 발음군으로 분류한 것을 예시한 표이다. 이러한 발음의 인식은 일반적인 음성인식에서와 같이 가장 확률이 높은 하나의 발음을 결정하는 대신에, 연속적인 입모양의 변화를 나타내기 위하여 도 6 에 도시한 바와 같이 각 발음군에 속할 확률을 계산하여 주는 방식을 사용할 수 있다. 이렇게 발음군별로 확률값이 결정되고 나면, 각 발음군에서 정해진 입모양을 이 확률값을 가중치로 평균을 내어 입모양을 결정할 수 있다. 도 6 은 현재 발음(진한 삼각형 부분)이 'ㄴ' 발음군에 속할 확률이 80%, 'ㅁ' 발음군에 속할 확률이 20%인 경우를 도시하고 있다.
이 때, 음소 인식의 신뢰도 등을 평가함에 의해 추후 설명할 입모양 변화에 대한 신뢰도 평가에 이용되도록 할 수도 있다. 예를 들어, 음성이 입력되지 않거나 잡음 등으로 인해 불확실한 발음이 입력되는 경우에는 신뢰도가 낮고, 정확한 발음이 입력되는 경우에는 신뢰도를 높게 책정할 수 있을 것이다.
상기 제2정보 출력부(123)는 상기 입모양 추정부(122)에 의해 추정된 입모양 변화를 바탕으로 제2정보를 생성하고, 생성된 제2정보를 출력한다. 상기 제2정보에는 사용자의 입모양 변화 정보가 포함된다. 따라서, 이렇게 함에 의해 상기 발음정보 처리부(120)가 음성의 발음정보로부터 사용자의 입모양 변화를 추정할 수 있게 된다.
도 7 은 본 발명에 따른 아바타 얼굴 표정 제어장치의 영상정보 처리부의 일 실시예를 도시한 블럭도이다. 도면에 도시한 바와 같이, 이 실시예에 따른 영상정보 처리부(130)는 영상정보 분석부(131)와, 표정 변화 추적부(132)와, 제3정보 출력부(133)를 포함한다.
상기 영상정보 분석부(131)는 영상정보로부터 사용자의 얼굴 표정을 나타내는 특징점 위치를 추출한다. 예컨대, 상기 영상정보 분석부(131)가 미리 정의된 통계적 얼굴 모델(Statistic Face Model)을 사용하여 통계적 얼굴 모델에서 정의된 특징점들이 입력되는 얼굴 이미지의 어느 위치에 해당하는지를 찾아 얼굴 표정을 나타내는 특징점 위치를 추출할 수 있다.
예를들어, 능동적 외형 모델(Active Appearance Model)이나 능동적 형상 모델(Active Shape Model) 등을 이용해 사용자의 얼굴 표정을 나타내는 특징점 위치 를 추출할 수 있다.
얼굴의 이미지는 다음과 같은 식을 통해서 제한된 개수의 파라미터로 표현이 가능하다.
Figure 112009010098427-PAT00002
위 식에서 u는 얼굴 메쉬(Mesh) 모델의 점들의 위치를 나타내는 좌표의 집합이고, A0는 특징점의 위치가 정해졌을 때 나타나는 얼굴 이미지들의 평균값을 나타내며, Ai는 얼굴 이미지의 특징을 결정지어주는 차이점들을 나타낸다. 이 식에서 λ값을 변화시킴으로써 서로 다른 특징이 반영된 얼굴 이미지를 나타낼 수 있다.
이렇게 구해지는 얼굴 이미지에서 특징점의 위치를 구하기 위해서는 다음의 값을 최소화하는 파라미터를 찾으면 된다.
Figure 112009010098427-PAT00003
위 식에서 p, q는 얼굴 모양, 회전, 이동, 크기 변화 등을 나타내는 파라미터로서, I(W(u;p;q))는 A(u)를 주어진 파라미터에 맞게 변환시킨 이미지를 나타낸다.
상기 표정 변화 추적부(132)는 상기 영상정보 분석부(131)에 의해 추출된 특징점 위치를 바탕으로 사용자의 얼굴 움직임과 표정 변화를 추적한다. 예컨대, 사용자의 얼굴 표정을 나타내는 특징점 위치를 찾은 후, 상기 표정 변화 추적부(132) 가 광학 플로우(Optical Flow)를 사용한 Lucas-Kanade-Tomasi Tracker나, 또는 Particle Filter Tracker나, 또는 Graphical Model Based Tracker 등을 이용하여 사용자의 얼굴 움직임과 표정 변화를 추적할 수 있다.
상기 제3정보 출력부(133)는 상기 표정 변화 추적부(132)에 의해 추적된 사용자의 얼굴 움직임과 표정 변화로부터 제3정보를 생성하고, 생성된 제3정보를 출력한다. 상기 제3정보에는 사용자의 얼굴 움직임과 표정 변화 정보가 포함된다. 따라서, 이렇게 함에 의해 상기 영상정보 처리부(130)가 영상정보로부터 사용자의 얼굴 움직임과 표정 변화를 추적할 수 있게 된다.
도 8 은 본 발명에 따른 아바타 얼굴 표정 제어장치의 얼굴 표정 처리부의 일 실시예를 도시한 블럭도이다. 도면에 도시한 바와 같이, 이 실시예에 따른 얼굴 표정 처리부(140)는 얼굴 표정 표현부(141)와, 제1보정부(142)와, 제2보정부(143)와, 제3보정부(144)를 포함한다.
상기 얼굴 표정 표현부(141)는 상기 발성정보 처리부(110)에 의해 출력되는 제1정보에 포함되는 사용자의 감정 변화에 따라 아바타의 전체적인 얼굴 표정을 표현한다. 예컨대, 얼굴 표정은 얼굴의 각 특징점들의 움직임을 나타내는 파라미터의 집합으로 표현할 수 있다.
예를들면, 감정 정보를 얼굴 표정 파라미터로 나타내는 것은 감정 정보를 나타내는 모델에 따라 달라질 수 있겠지만, 6가지 기본 감정의 강도를 이용하는 경우에는 각 감정을 나타내는 표정 변화 파라미터를 미리 학습을 통해 설정해놓고, 각 각의 강도에 맞춰서 표정 변화 파라미터를 더해서 나타내는 방법을 사용할 수 있다. 이를 식으로 표현하면 다음과 같다.
Pemotion = wsadPsad + wsurprisePsurprise + wangerPanger + wfearPfear + wdisgustPdisgust + wjoyPjoy
상기 제1보정부(142)는 상기 발음정보 처리부(120)에 의해 출력되는 제2정보에 포함되는 사용자의 입모양 변화에 따라 아바타의 얼굴 표정을 보정한다. 입술의 움직임은 같은 발음이라도 전체적인 감정 상태에 따라 다르게 나타날 수 있다. 예를들어 흥분한 경우는 입술의 움직임이 더 크지만, 지루한 경우는 작을 것이다. 큰 목소리로 노래를 부르는 경우에는 속삭이는 경우에 비해 입술의 움직임이 더 클 것이다.
따라서, 상기 제1보정부(142)를 통해 상기 얼굴 표정 표현부(141)에 의해 표현되는 아바타의 얼굴 표정을 사용자의 입모양 변화에 따라 보정함으로써 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있게 된다.
상기 제2보정부(143)는 상기 발성정보 처리부(110)에 의해 출력되는 제1정보에 포함되는 강조점에 따라 아바타의 얼굴 표정을 보정한다. 얼굴 표정은 발음의 강조 정도에 따라 다르게 나타날 수 있다. 예를들어 특정 단어를 강조하는 경우 눈을 더 크게 뜨거나, 눈썹을 올리거나, 고개를 끄떡이는 등의 행동을 하게 된다.
따라서, 상기 제2보정부(143)를 통해 상기 얼굴 표정 표현부(141)에 의해 표현되는 아바타의 얼굴 표정을 강조점에 따라 보정함으로써 보다 자연스럽고 섬세하 게 아바타의 얼굴 표정을 표현할 수 있게 된다.
예를들어 이전 입술모양이 L, 새로 추정한 입술모양이 L'이라고 했을 때, 입술모양 파라미터의 값은 다음의 식을 통해 보정해 줄 수 있다.
Lnew = L + wemotionwemphasis(L' - L)
위식에서, w는 1에 가까운 값이며, w의 값이 둘 다 정확히 1이 되는 경우에는 새로 보정된 입술의 모양은 추정한 값과 똑같이 나타나게 되지만, w가 커질수록 입술의 움직임이 더 과장되게 되고, 작아질수록 소극적인 움직임을 보이게 된다. 이를 통해 각 감정 상태에 따른 wemotion의 값과 강조 정보에 따른 wemphasis의 분포를 다르게 함으로써 흥분한 경우는 입술의 움직임이 더 크지만, 지루한 경우는 적어지고, 큰 목소리로 노래 부르는 경우에는 속삭이는 경우에 비해 입술의 움직임이 더 커지게 할 수 있다.
상기 제3보정부(144)는 상기 영상정보 처리부(130)에 의해 출력되는 제3정보에 포함되는 사용자의 얼굴 움직임과 표정 변화에 따라 아바타의 얼굴 방향과 표정을 보정한다. 사용자의 얼굴 표정을 나타내는 특징점 위치에 따라 사용자의 얼굴 움직임과 표정이 변하게 된다.
예컨대, 사용자의 얼굴 움직임과 표정 변화에 따라 아바타의 얼굴 방향과 표정을 다음과 같이 보정할 수 있다. 이전에 추적되었던 특징점의 좌표를 X(k-1)라고 하고, 현재 추적된 특징점의 좌표를 X(k)라고 했을 때, 둘 사이의 상관관계를 다음 식과 같이 나타낼 수 있다.
X(k) = AX(k-1) + b
위 식에서 A는 머리의 방향의 변화를 나타내는 파라미터이고, b는 위치의 변화를 나타내는 파라미터이다. 이 식의 좌변과 우변의 차이를 최소로 만드는 A, b의 값을 Least-Squared Estimation 등을 활용하여 구하게 되면 머리 위치와 방향의 변화를 추정할 수 있게 되고, 이를 이용해 보정하면 된다.
예컨대, 머리 위치의 변화를 제외한 얼굴 표정에 관련된 파라미터는 다음과 같이 추출할 수 있다. 위의 식을 통해 구한 머리의 위치와 방향 정보를 원래 특징점의 위치로부터 제외하고 나면 가운데 위치에서 정면을 바라보고 있는 상태에서의 특징점의 위치를 구할 수 있게 되고, 이를 이용해 보정하면 된다.
또한, 사용자의 얼굴이 카메라에 더 가깝거나 멀어지는 경우에는 얼굴의 전반적인 크기가 변하게 되므로, 이전 추정하였던 얼굴 크기와 현재의 얼굴 크기를 비교하여 전반적인 얼굴 크기 변화 비율을 나타내는 확대변수(Exaggerate variable) m을 추출하고, m을 각 특징점들의 움직인 정도에 곱하여 사용자와 카메라부터의 거리변화에 따른 특징점들의 움직임 정도를 정규화시킬 수 있고, 이를 이용해 보정하면 된다.
따라서, 제3보정부(144)를 통해 상기 얼굴 표정 표현부(141)에 의해 표현되는 아바타의 얼굴 표정을 사용자의 얼굴 움직임과 표정 변화에 따라 보정함으로써 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있게 된다.
이렇게 함에 의해, 카메라 및 마이크를 통해 입력되는 사용자의 실제 영상정보와 음성의 발성정보 및 발음정보를 통합 적용하여 사용자의 실제 얼굴과 동기화 된 아바타의 얼굴 표정을 표현할 수 있으므로, 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있게 된다.
한편, 부가적인 양상에 따르면, 상기 아바타 얼굴 표정 제어장치(100)가 신뢰도 평가부(150)를 더 포함할 수도 있다. 상기 신뢰도 평가부(150)는 상기 발성정보 처리부(110)에 의해 출력되는 제1정보에 대한 신뢰도와, 상기 발음정보 처리부(120)에 의해 출력되는 제2정보에 대한 신뢰도 및 상기 영상정보 처리부(130)에 의해 출력되는 제3정보에 대한 신뢰도를 평가한다.
예컨대, 상기 신뢰도 평가부(150)가 상기 제1정보에 포함되는 사용자의 감정 변화에 따른 얼굴 표정과 감정 모델에 따른 얼굴 표정과의 상관도에 따라 상기 제1정보에 대한 신뢰도를 평가할 수 있다.
예컨대, 상기 신뢰도 평가부(150)가 무음 또는 음성에 포함된 잡음 정도에 따라 상기 제2정보에 대한 신뢰도를 평가할 수 있다.
예컨대, 상기 신뢰도 평가부(150)가 사용자의 얼굴 표정을 나타내는 특징점의 위치와 변화량에 따라 상기 제3정보에 대한 신뢰도를 평가할 수도 있다.
즉, 이 실시예는 음성과 영상으로부터 얼굴 표정 표현에 관련한 파라미터 값이 동일하게 입력되는 경우에는 아무런 문제가 없지만, 입력되는 파라미터값이 서로 달라서 충돌이 있는 경우에도 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있도록 하기 위해 카메라 및 마이크를 통해 입력되는 사용자의 실제 영상정보와 음성의 발성정보 및 발음정보에 대한 신뢰도를 평가하도록 한 실시예이 다.
이렇게 평가된 신뢰도를 반영하여 아바타 얼굴을 표현함으로써 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있게 된다. 이에 대해서는 추후 설명한다.
한편, 부가적인 양상에 따르면, 상기 얼굴 표정 처리부(140)가 아바타의 얼굴 표정 표현시, 상기 신뢰도 평가부(150)에 의해 신뢰도가 낮다 판단된 정보는 배제하도록 구현할 수 있다.
예를들어, 음성의 입력이 없는 구간이나 잡음이 심해서 음성으로부터 충분한 발성정보 또는 발음정보 추출이 불가능한 경우, 제1정보 또는 제2정보에 대한 신뢰성이 상당히 낮으므로, 이를 배제하고 제3정보만을 이용하여 아바타의 얼굴 표정을 표현하도록 할 수 있다.
예를들어, 마이크나 다른 장애물로 인해 사용자의 영상정보로부터 정확한 표정 추정이 불가능한 경우, 제3정보에 대한 신뢰성이 상당히 낮으므로, 이를 배제하고 음성과 관련된 제1정보 및 제2정보를 이용하여 아바타의 얼굴 표정을 표현하도록 할 수 있다.
도 9 를 참조하여 상기한 구성을 갖는 본 발명에 따른 아바타 얼굴 표정 제어장치의 아바타 얼굴 표정 제어 동작을 간략하게 알아본다. 도 9 는 본 발명에 따른 아바타 얼굴 표정 제어장치의 아바타 얼굴 표정 제어 동작의 일 실시예에 따른 흐름도이다.
먼저, 단계 S110에서 아바타 얼굴 표정 제어장치가 음성의 발성정보로부터 사용자의 감정 변화 및 강조점을 추정하여 제1정보를 출력한다. 마이크 등의 음성입력수단으로부터 사용자의 음성이 입력되면, 이로부터 즐거움, 슬픔, 화남, 두려움, 혐오, 놀람 등의 사용자의 감정 변화 및 큰 소리를 지르거나 하는 등의 음성이 과장된 강조점을 추정하여 그 결과를 제1정보로 출력한다.
그 다음, 단계 S120에서 아바타 얼굴 표정 제어장치가 음성의 발음정보로부터 사용자의 입모양 변화를 추정하여 제2정보를 출력한다. 마이크 등의 음성입력수단으로부터 사용자의 음성이 입력되면, 이로부터 입술이 세로 방향으로 벌어진 정도, 입술이 가로 방향으로 벌어진 정도, 입술을 앞으로 내민 정도 등과 같은 사용자의 입모양 변화를 추정하여 그 결과를 제2정보로 출력한다.
그 다음, 단계 S130에서 아바타 얼굴 표정 제어장치가 영상정보로부터 사용자의 얼굴 움직임과 표정 변화를 추적하여 제3정보를 출력한다. 카메라 등의 영상입력수단으로부터 사용자의 영상이 입력되면, 이로부터 사용자의 얼굴을 이루는 특징점들의 위치와 방향 등을 분석하여 사용자의 얼굴 움직임과 표정 변화를 추적하여 그 결과를 제3정보로 출력한다.
마지막으로, 단계 S140에서 아바타 얼굴 표정 제어장치가 상기 단계 S110에 의해 출력되는 제1정보와, 상기 단계 S120에 의해 출력되는 제2정보와, 상기 단계 S130에 의해 출력되는 제3정보를 적용하여 아바타의 얼굴 표정을 표현한다. 상기 단계 S110, S120, S130은 순서가 바뀌어도 무방하다.
이렇게 함으로써 사용자의 발성정보와 발음정보 및 영상정보를 이용해 사용자의 실제 얼굴 표정과 동기화된 아바타 얼굴 표정을 표현할 수있어 보다 자연스럽고 섬세하게 아바타의 얼굴 표정을 표현할 수 있게 되므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있게 된다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위 내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
도 1 은 본 발명에 따른 아바타 얼굴 표정 제어장치의 일 실시예에 따른 블럭도
도 2 는 본 발명에 따른 아바타 얼굴 표정 제어장치의 발성정보 처리부의 일 실시예를 도시한 블럭도
도 3 은 러셀(Russell)의 써컴플렉스 모델(Circumplex Model)을 사용하여 감정 상태를 추정하는 일 예를 도시한 도면
도 4 는 본 발명에 따른 아바타 얼굴 표정 제어장치의 발음정보 처리부의 일 실시예를 도시한 블럭도
도 5 는 음소를 비슷한 입술 모양을 가지는 발음군으로 분류한 일 예를 도시한 도면
도 6 은 각 발음군에 속할 확률을 계산하여 입모양을 결정하는 일 예를 도시한 도면
도 7 은 본 발명에 따른 아바타 얼굴 표정 제어장치의 영상정보 처리부의 일 실시예를 도시한 블럭도
도 8 은 본 발명에 따른 아바타 얼굴 표정 제어장치의 얼굴 표정 처리부의 일 실시예를 도시한 블럭도
도 9 는 본 발명에 따른 아바타 얼굴 표정 제어장치의 아바타 얼굴 표정 제어 동작의 일 실시예에 따른 흐름도
<도면의 주요 부분에 대한 부호의 설명>
100 : 아바타 얼굴 표정 제어장치 110 : 발성정보 처리부
111 : 파라미터 추출부 112 : 감정 변화 추정부
113 : 강조점 추정부 114 : 제1정보 출력부
120 : 발음정보 처리부 121 : 파라미터 추출부
122 : 입모양 추정부 123 : 제2정보 출력부
130 : 영상정보 처리부 131 : 영상정보 분석부
132 : 표정 변화 추적부 133 : 제3정보 출력부
140 : 얼굴 표정 처리부 141 : 얼굴 표정 표현부
142 : 제1보정부 143 : 제2보정부
144 : 제3보정부 150 : 신뢰도 평가부

Claims (16)

  1. 음성의 발성정보로부터 사용자의 감정 변화 및 강조점을 추정하여 제1정보를 출력하는 발성정보 처리부와;
    음성의 발음정보로부터 사용자의 입모양 변화를 추정하여 제2정보를 출력하는 발음정보 처리부와;
    영상정보로부터 사용자의 얼굴 움직임과 표정 변화를 추적하여 제3정보를 출력하는 영상정보 처리부와;
    상기 발성정보 처리부에 의해 출력되는 제1정보와, 상기 발음정보 처리부에 의해 출력되는 제2정보 및 상기 영상정보 처리부에 의해 출력되는 제3정보중 적어도 하나를 적용하여 아바타의 얼굴 표정을 표현하는 얼굴 표정 처리부를;
    포함하는 아바타 얼굴 표정 제어장치.
  2. 제 1 항에 있어서,
    상기 발성정보 처리부가:
    음성의 발성정보로부터 감정 변화와 관련된 파라미터를 추출하는 파라미터 추출부와;
    상기 파라미터 추출부에 의해 추출된 파라미터의 장기적인 변화를 모니터링해 감정 변화를 추정하는 감정 변화 추정부와;
    상기 파라미터 추출부에 의해 추출된 파라미터의 단기적인 변화를 모니터링 해 강조점을 추정하는 강조점 추정부와;
    상기 감정 변화 추정부에 의해 추정된 감정 변화 및 상기 강조점 추정부에 의해 추정된 강조점을 바탕으로 제1정보를 생성하고, 생성된 제1정보를 출력하는 제1정보 출력부를;
    포함하는 아바타 얼굴 표정 제어장치.
  3. 제 2 항에 있어서,
    상기 감정 변화와 관련된 파라미터가:
    음성 신호의 강도, 음의 높낮이, 음질 정보를 포함하는 아바타 얼굴 표정 제어장치.
  4. 제 2 항에 있어서,
    상기 파라미터의 장기적인 변화는:
    설정된 제1기준값 동안의 파라미터 변화량 또는 변화속도를 검출함에 의해 얻어지는 아바타 얼굴 표정 제어장치.
  5. 제 4 항에 있어서,
    상기 파라미터의 단기적인 변화는:
    상기 제1기준값 보다 작게 설정된 제2기준값 동안의 파라미터 변화량 또는 변화속도를 검출함에 의해 얻어지는 아바타 얼굴 표정 제어장치.
  6. 제 5 항에 있어서,
    상기 강조점 추정부가:
    발성이 단기적으로 급격하게 변화한 위치를 강조점으로 추정하는 아바타 얼굴 표정 제어장치.
  7. 제 1 항에 있어서,
    상기 발음정보 처리부가:
    음성의 발성정보로부터 입모양 변화와 관련된 파라미터를 추출하는 파라미터 추출부와;
    상기 파라미터 추출부에 의해 추출된 파라미터를 바탕으로 사용자의 입모양 변화를 추정하는 입모양 추정부와;
    상기 입모양 추정부에 의해 추정된 입모양 변화를 바탕으로 제2정보를 생성하고, 생성된 제2정보를 출력하는 제2정보 출력부를;
    포함하는 아바타 얼굴 표정 제어장치.
  8. 제 7 항에 있어서,
    상기 입모양 변화와 관련된 파라미터가:
    입술이 세로 방향으로 벌어진 정도, 입술이 가로 방향으로 벌어진 정도, 입술을 앞으로 내민 정도 정보를 포함하는 아바타 얼굴 표정 제어장치.
  9. 제 7 항에 있어서,
    상기 입모양 추정부가:
    각 음소를 비슷한 입술 모양을 가지는 발음군으로 분류하여 저장한 데이터베이스로부터 음성의 발성되는 소리가 어떠한 발음군에 속하는지 검색하고, 해당 검색된 발음군에 대응하는 파라미터를 추출하고, 이 추출된 파라미터로부터 사용자의 입모양 변화를 추정하는 아바타 얼굴 표정 제어장치.
  10. 제 1 항에 있어서,
    상기 영상정보 처리부가:
    영상정보로부터 사용자의 얼굴 표정을 나타내는 특징점 위치를 추출하는 영상정보 분석부와;
    상기 영상정보 분석부에 의해 추출된 특징점 위치를 바탕으로 사용자의 얼굴 움직임과 표정 변화를 추적하는 표정 변화 추적부와;
    상기 표정 변화 추적부에 의해 추적된 사용자의 얼굴 움직임과 표정 변화로부터 제3정보를 생성하고, 생성된 제3정보를 출력하는 제3정보 출력부를;
    포함하는 아바타 얼굴 표정 제어장치.
  11. 제 1 항에 있어서,
    상기 얼굴 표정 처리부가:
    상기 발성정보 처리부에 의해 출력되는 제1정보에 포함되는 사용자의 감정 변화에 따라 아바타의 전체적인 얼굴 표정을 표현하는 얼굴 표정 표현부와;
    상기 발음정보 처리부에 의해 출력되는 제2정보에 포함되는 사용자의 입모양 변화에 따라 아바타의 얼굴 표정을 보정하는 제1보정부와;
    상기 발성정보 처리부에 의해 출력되는 제1정보에 포함되는 강조점에 따라 아바타의 얼굴 표정을 보정하는 제2보정부와;
    상기 영상정보 처리부에 의해 출력되는 제3정보에 포함되는 사용자의 얼굴 움직임과 표정 변화에 따라 아바타의 얼굴 방향과 표정을 보정하는 제3보정부를;
    포함하는 아바타 얼굴 표정 제어장치.
  12. 제 1 항에 있어서,
    상기 아바타 얼굴 표정 제어장치가:
    상기 발성정보 처리부에 의해 출력되는 제1정보에 대한 신뢰도와, 상기 발음정보 처리부에 의해 출력되는 제2정보에 대한 신뢰도 및 상기 영상정보 처리부에 의해 출력되는 제3정보에 대한 신뢰도를 평가하는 신뢰도 평가부를;
    더 포함하는 아바타 얼굴 표정 제어장치.
  13. 제 12 항에 있어서,
    상기 얼굴 표정 처리부가:
    아바타의 얼굴 표정 표현시, 상기 신뢰도 평가부에 의해 신뢰도가 낮다 판단 된 정보는 배제하는 아바타 얼굴 표정 제어장치.
  14. 제 12 항에 있어서,
    상기 신뢰도 평가부가:
    상기 제1정보에 포함되는 사용자의 감정 변화에 따른 얼굴 표정과 감정 모델에 따른 얼굴 표정과의 상관도에 따라 상기 제1정보에 대한 신뢰도를 평가하는 아바타 얼굴 표정 제어장치.
  15. 제 12 항에 있어서,
    상기 신뢰도 평가부가:
    무음 또는 음성에 포함된 잡음 정도에 따라 상기 제2정보에 대한 신뢰도를 평가하는 아바타 얼굴 표정 제어장치.
  16. 제 12 항에 있어서,
    상기 신뢰도 평가부가:
    사용자의 얼굴 표정을 나타내는 특징점의 위치와 변화량에 따라 상기 제3정보에 대한 신뢰도를 평가하는 아바타 얼굴 표정 제어장치.
KR1020090013530A 2009-02-18 2009-02-18 아바타 얼굴 표정 제어장치 KR101558553B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090013530A KR101558553B1 (ko) 2009-02-18 2009-02-18 아바타 얼굴 표정 제어장치
US12/695,185 US8396708B2 (en) 2009-02-18 2010-01-28 Facial expression representation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090013530A KR101558553B1 (ko) 2009-02-18 2009-02-18 아바타 얼굴 표정 제어장치

Publications (2)

Publication Number Publication Date
KR20100094212A true KR20100094212A (ko) 2010-08-26
KR101558553B1 KR101558553B1 (ko) 2015-10-08

Family

ID=42560700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090013530A KR101558553B1 (ko) 2009-02-18 2009-02-18 아바타 얼굴 표정 제어장치

Country Status (2)

Country Link
US (1) US8396708B2 (ko)
KR (1) KR101558553B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102376209B1 (ko) * 2021-06-16 2022-03-21 주식회사 엘젠아이씨티 Ai 아바타를 이용한 유실물 신고 및 안내 시스템

Families Citing this family (207)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009543611A (ja) * 2006-07-12 2009-12-10 メディカル サイバーワールド、インコーポレイテッド コンピュータ化医療訓練システム
US8126220B2 (en) * 2007-05-03 2012-02-28 Hewlett-Packard Development Company L.P. Annotating stimulus based on determined emotional response
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
US11393133B2 (en) * 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US20120058747A1 (en) * 2010-09-08 2012-03-08 James Yiannios Method For Communicating and Displaying Interactive Avatar
TW201220216A (en) * 2010-11-15 2012-05-16 Hon Hai Prec Ind Co Ltd System and method for detecting human emotion and appeasing human emotion
KR20120064563A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 이질적 정보를 이용하여 가상 휴먼의 표정을 제어하기 위한 장치 및 그 방법
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8368723B1 (en) * 2011-07-14 2013-02-05 Google Inc. User input combination of touch and user position
KR101801327B1 (ko) * 2011-07-29 2017-11-27 삼성전자주식회사 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치
US10013787B2 (en) 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US9299084B2 (en) 2012-11-28 2016-03-29 Wal-Mart Stores, Inc. Detecting customer dissatisfaction using biometric data
US20140242560A1 (en) * 2013-02-15 2014-08-28 Emotient Facial expression training using feedback from automatic facial expression recognition
EP2982421A1 (en) * 2013-04-02 2016-02-10 NEC Solution Innovators, Ltd. Facial-expression assessment device, dance assessment device, karaoke device, and game device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9251405B2 (en) * 2013-06-20 2016-02-02 Elwha Llc Systems and methods for enhancement of facial expressions
WO2014209262A1 (en) * 2013-06-24 2014-12-31 Intel Corporation Speech detection based upon facial movements
US9177410B2 (en) * 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
KR20150068609A (ko) * 2013-12-12 2015-06-22 삼성전자주식회사 이미지 정보 표시 방법 및 장치
WO2015116582A1 (en) * 2014-01-30 2015-08-06 Futurewei Technologies, Inc. Emotion modification for image and video content
US10438631B2 (en) 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
US9607609B2 (en) * 2014-09-25 2017-03-28 Intel Corporation Method and apparatus to synthesize voice based on facial structures
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
CN113140215A (zh) 2015-01-16 2021-07-20 三星电子株式会社 用于执行话音识别的方法和设备
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US9747573B2 (en) 2015-03-23 2017-08-29 Avatar Merger Sub II, LLC Emotion recognition for workforce analytics
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
JP6887102B2 (ja) * 2016-02-29 2021-06-16 パナソニックＩｐマネジメント株式会社 音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10642919B2 (en) 2016-08-18 2020-05-05 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10579940B2 (en) 2016-08-18 2020-03-03 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10657189B2 (en) 2016-08-18 2020-05-19 International Business Machines Corporation Joint embedding of corpus pairs for domain mapping
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
WO2018142228A2 (en) 2017-01-19 2018-08-09 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
EP3568804A2 (en) 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
GB2560031B (en) 2017-02-28 2020-05-27 PQ Solutions Ltd Binding data to a person's identity
EP3605439A1 (en) * 2017-03-31 2020-02-05 Sony Corporation Information processing device, information processing method, and program
US10740391B2 (en) 2017-04-03 2020-08-11 Wipro Limited System and method for generation of human like video response for user queries
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
CN110800018A (zh) 2017-04-27 2020-02-14 斯纳普公司 用于社交媒体平台的朋友位置共享机制
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US10489690B2 (en) 2017-10-24 2019-11-26 International Business Machines Corporation Emotion classification based on expression variations associated with same or similar emotions
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
KR20230049759A (ko) 2017-11-29 2023-04-13 스냅 인코포레이티드 전자 메시징 애플리케이션들을 위한 그래픽 렌더링
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
CN109949390B (zh) * 2017-12-21 2022-09-09 腾讯科技（深圳）有限公司 图像生成方法、动态表情图像生成方法及装置
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
US10719968B2 (en) 2018-04-18 2020-07-21 Snap Inc. Augmented expression system
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US10893236B2 (en) * 2018-11-01 2021-01-12 Honda Motor Co., Ltd. System and method for providing virtual interpersonal communication
US11120599B2 (en) * 2018-11-08 2021-09-14 International Business Machines Corporation Deriving avatar expressions in virtual reality environments
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
EP3664100A1 (en) * 2018-12-05 2020-06-10 Koninklijke Philips N.V. Associating non-verbal communication content with verbal communication content
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
CN109948569B (zh) * 2019-03-26 2022-04-22 重庆理工大学 一种利用粒子滤波框架的三维混合表情识别方法
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
SG11202111403VA (en) * 2019-03-29 2021-11-29 Guangzhou Huya Information Technology Co Ltd Live streaming control method and apparatus, live streaming device, and storage medium
JP7421869B2 (ja) 2019-04-26 2024-01-25 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置、情報処理方法及び学習済モデル生成方法
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
CN110390704B (zh) * 2019-07-11 2021-02-12 深圳追一科技有限公司 图像处理方法、装置、终端设备及存储介质
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
CN111210818B (zh) * 2019-12-31 2021-10-01 北京三快在线科技有限公司 匹配情感极性的词语采集方法、装置、电子设备
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
CN111274910B (zh) * 2020-01-16 2024-01-30 腾讯科技（深圳）有限公司 场景互动方法、装置及电子设备
KR20220133249A (ko) 2020-01-30 2022-10-04 스냅 인코포레이티드 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
CN115699130A (zh) 2020-03-31 2023-02-03 斯纳普公司 增强现实美容产品教程
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11652960B2 (en) * 2021-05-14 2023-05-16 Qualcomm Incorporated Presenting a facial expression in a virtual meeting
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
CN114882155A (zh) * 2022-04-13 2022-08-09 北京字跳网络技术有限公司 表情数据的生成方法、装置、可读介质和电子设备
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
KR102544262B1 (ko) * 2022-08-19 2023-06-16 (주)페르소나에이아이 사용자와 메타휴먼의 쌍방향 대화 응대 서비스를 스트리밍 기반으로 제공하는 전자 장치
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887069A (en) * 1992-03-10 1999-03-23 Hitachi, Ltd. Sign recognition apparatus and method and sign translation system using same
US5734923A (en) * 1993-09-22 1998-03-31 Hitachi, Ltd. Apparatus for interactively editing and outputting sign language information using graphical user interface
US5657426A (en) * 1994-06-10 1997-08-12 Digital Equipment Corporation Method and apparatus for producing audio-visual synthetic speech
US6232965B1 (en) * 1994-11-30 2001-05-15 California Institute Of Technology Method and apparatus for synthesizing realistic animations of a human speaking using a computer
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JP2967058B2 (ja) 1997-02-14 1999-10-25 株式会社エイ・ティ・アール知能映像通信研究所 階層的感情認識装置
JP3688879B2 (ja) * 1998-01-30 2005-08-31 株式会社東芝 画像認識装置、画像認識方法及びその記録媒体
US6735566B1 (en) * 1998-10-09 2004-05-11 Mitsubishi Electric Research Laboratories, Inc. Generating realistic facial animation from speech
JP3485508B2 (ja) 1999-10-26 2004-01-13 株式会社国際電気通信基礎技術研究所 顔画像伝送方法およびシステムならびに当該システムで用いられる顔画像送信装置および顔画像再生装置
KR20010025161A (ko) 2000-06-02 2001-04-06 조양일 감정 처리가 가능한 아바타 메이커 구현 방법
TWI221574B (en) * 2000-09-13 2004-10-01 Agi Inc Sentiment sensing method, perception generation method and device thereof and software
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US20030081834A1 (en) * 2001-10-31 2003-05-01 Vasanth Philomin Intelligent TV room
DE60224776T2 (de) * 2001-12-20 2009-01-22 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Virtuelles Bildtelefon
US20030126013A1 (en) * 2001-12-28 2003-07-03 Shand Mark Alexander Viewer-targeted display system and method
US7822611B2 (en) * 2002-11-12 2010-10-26 Bezar David B Speaker intent analysis system
JP2005202854A (ja) * 2004-01-19 2005-07-28 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2006065683A (ja) 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム
FR2884008A1 (fr) * 2005-03-31 2006-10-06 France Telecom Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones
US20070074114A1 (en) * 2005-09-29 2007-03-29 Conopco, Inc., D/B/A Unilever Automated dialogue interface
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US20080068397A1 (en) * 2006-09-14 2008-03-20 Carey James E Emotion-Based Digital Video Alteration
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
WO2008141125A1 (en) * 2007-05-10 2008-11-20 The Trustees Of Columbia University In The City Of New York Methods and systems for creating speech-enabled avatars
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102376209B1 (ko) * 2021-06-16 2022-03-21 주식회사 엘젠아이씨티 Ai 아바타를 이용한 유실물 신고 및 안내 시스템

Also Published As

Publication number Publication date
KR101558553B1 (ko) 2015-10-08
US8396708B2 (en) 2013-03-12
US20100211397A1 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
KR101558553B1 (ko) 아바타 얼굴 표정 제어장치
Akbari et al. Lip2audspec: Speech reconstruction from silent lip movements video
CN111145282B (zh) 虚拟形象合成方法、装置、电子设备和存储介质
US20200279553A1 (en) Linguistic style matching agent
JP3678421B2 (ja) 音声認識装置及び音声認識方法
CN110610534B (zh) 基于Actor-Critic算法的口型动画自动生成方法
US20040120554A1 (en) System and method for real time lip synchronization
JP4322785B2 (ja) 音声認識装置、音声認識方法および音声認識プログラム
JP2002091482A (ja) 感情検出方法及び感情検出装置ならびに記録媒体
JP6923827B2 (ja) コミュニケーションスキル評価システム、装置、方法、及びプログラム
Llorach et al. Web-based live speech-driven lip-sync
JP5040778B2 (ja) 音声合成装置、方法及びプログラム
JP2015038725A (ja) 発話アニメーション生成装置、方法、及びプログラム
Ben-Youssef et al. Speech driven talking head from estimated articulatory features
Tao et al. Improving Boundary Estimation in Audiovisual Speech Activity Detection Using Bayesian Information Criterion.
Eyben et al. Audiovisual vocal outburst classification in noisy acoustic conditions
Mannem et al. Acoustic and Articulatory Feature Based Speech Rate Estimation Using a Convolutional Dense Neural Network.
CN114494930B (zh) 语音与图像同步性衡量模型的训练方法及装置
JP5961530B2 (ja) 音響モデル生成装置とその方法とプログラム
JP7511374B2 (ja) 発話区間検知装置、音声認識装置、発話区間検知システム、発話区間検知方法及び発話区間検知プログラム
CN114466179A (zh) 语音与图像同步性的衡量方法及装置
JP4801251B2 (ja) 映像／音声ずれ補正方法及び装置
CN113362432A (zh) 一种面部动画生成方法及装置
CN112992120A (zh) 语音转换虚拟脸部图像的方法
Takacs Direct, modular and hybrid audio to visual speech conversion methods-a comparative study

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 5