KR20130138242A - 얼굴 움직임 단위들을 기반으로 사람의 감정을 인식하는 방법 및 장치 - Google Patents

얼굴 움직임 단위들을 기반으로 사람의 감정을 인식하는 방법 및 장치 Download PDF

Info

Publication number
KR20130138242A
KR20130138242A KR1020137010234A KR20137010234A KR20130138242A KR 20130138242 A KR20130138242 A KR 20130138242A KR 1020137010234 A KR1020137010234 A KR 1020137010234A KR 20137010234 A KR20137010234 A KR 20137010234A KR 20130138242 A KR20130138242 A KR 20130138242A
Authority
KR
South Korea
Prior art keywords
string
aus
input
strings
emotion
Prior art date
Application number
KR1020137010234A
Other languages
English (en)
Other versions
KR101891317B1 (ko
Inventor
수다 벨루스에이미
하리프라사드 카난
발라수브라마니안 아난드
안술 샤르마
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130138242A publication Critical patent/KR20130138242A/ko
Application granted granted Critical
Publication of KR101891317B1 publication Critical patent/KR101891317B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 움직임 단위를 기반으로 사람의 감정을 인식하는 장치 및 방법에 관한 것으로, 움직임 단위(AU) 검출 모듈로부터 사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하며, 상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하며, 상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하고, 상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 것을 특징으로 한다.

Description

얼굴 움직임 단위들을 기반으로 사람의 감정을 인식하는 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING AN EMOTION OF AN INDIVIDUAL BASED ON FACIAL ACTION UNITS}
본 발명은 얼굴 표정 인식의 분야에 관한 것으로, 더욱 상세하게는 얼굴 움직임 단위를 기반으로 사람의 감정을 인식하는 방법 및 장치에 관한 것이다.
살아가는 동안, 사람들은 흔히 얼굴 표정들을 통해 감정들을 표현한다. 얼굴 표정들은 사람들이 자신의 감정과 의사를 전달하는 가장 강력하면서 자연스럽고 즉각적인 방법들 중의 하나이다. 얼굴은 사람들이 말로 나타내거나 심지어 자신의 기분을 실감하는 것보다도 더 빨리 감정을 표현할 수 있다. 예를 들어, 다양한 얼굴 부위들, 주로 입과 눈과 눈썹을 사용하여 상이한 감정들이 표현된다.
더욱 자세하게는, 화가 났을 때에 입술을 조이는 것 또는 슬플 때에 입술 양끝이 비스듬히 벌어지는 것과 같은 하나의 얼굴 특징 또는 몇몇 분리된 얼굴 특징들의 미묘한 변화에 의해 감정 표현이 전달된다. 많은 컴퓨터 시스템들이 이러한 기본적인 감정 표현들의 소규모 집합, 예를 들면 기쁨, 놀람, 화남, 슬픔, 무서움, 및 싫음을 인식하도록 구성되어 있다.
얼굴 표정들을 움직임 단위(Action Unit, 이하 'AU'라 한다)들로 나타내기 위한 얼굴 움직임 코딩 시스템(Facial Action Coding System, 이하 'FACS'라 한다)이 개발되어 있다. FACS에서 정의된 44개의 FACS AU들 중에서, 30개의 AU들은 해부학적으로 특정 부위의 얼굴 근육들, 예를 들면 상부 얼굴에 대한 12개와 하부 얼굴에 대한 18개의 얼굴 근육들의 수축과 관련된 것들이다. AU들은 단독으로 또는 조합되어 발생될 수 있다. AU들이 조합되어 발생되는 경우, AU들은 조합을 형성하는 AU들의 모습을 바꾸지 않는 부가적(additive)인 것들이거나, 조합을 형성하는 AU들의 모습을 바꾸는 비부가적(non-additive)인 것들 일 수 있다.
비부가적 효과의 일례로, AU 4는 그것이 단독으로 일어나는지 조합되어(AU 1+4에서와 같이) 일어나는지 여부에 의존하여 다르게 보인다. AU 4가 단독으로 일어나는 경우, 눈썹이 모이고 내려간다. AU 1+4에서는, 눈썹이 모이기는 하지만 AU 1의 움직임으로 인해 올라간다. AU 1+2는 비부가적 조합의 다른 일례이다. AU 2가 단독으로 일어나는 경우, 그것은 바깥쪽 눈썹을 올릴 뿐만 아니라, 흔히 안쪽 눈썹도 끌어올리고, 그 결과 AU 1+2와 매우 유사한 모습을 보인다. 비부가적 AU 조합들의 그러한 효과들이 AU 인식의 어려움을 증대시킨다.
얼굴 움직임 코딩 시스템은 일반적으로 AU들을 사용하여 얼굴 표정을 인식하기 위해 단일 단계 방법(single phase method) 또는 2 단계 방법(two phase method)을 채용하고 있다. 감정을 분석함에 있어서는 단일 단계 방법보다는 2 단계 방법이 더 실용적이다. 2 단계 방법에서는, 이미지 또는 비디오 프레임에서 사람의 얼굴 표정을 나타내는 움직임 단위들의 집합을 검출한다. 이어서, 움직임 단위들의 집합을 하나 이상의 타깃 감정들에 맵핑하여 사람의 실제 감정을 인식한다. 전형적으로, 2 단계 방법은 정형화된 맵핑 룰(mapping rules)을 사용하여 움직임 단위들의 집합을 타깃 감정들에 맵핑한다. 정형화된 맵핑 룰은 감정 얼굴 움직임 코딩 시스템(Emotional Facial Action Coding System)을 기반으로 하고, 입력되는 잡음에 민감하다. 그러나 2 단계 방법은 이러한 AU 검출 방법의 약점을 보상하지 못한다.
일반적인 AU 검출 방법들은 정확하게 얼굴 표정을 추적하여 그 얼굴 표정으로부터 특징들을 추출함에 있어서의 불확실성으로 인한 오류들을 겪고 있다. 그러한 잘못된 움직임 단위들이 2 단계 방법을 사용하여 타깃 감정들을 맵핑하는데 제공될 경우, 잘못된 움직임 단위들을 기반으로 인식된 최종 감정의 정확도가 저하되었다.
따라서, 본 발명은 얼굴 움직임 단위들을 기반으로 사람의 감정을 정확하게 인식하는 방법 및 장치를 제안한다.
상기한 과제를 해결하기 위한 본 발명의 방법은, 움직임 단위를 기반으로 사람의 감정을 인식하는 방법에 있어서, 움직임 단위(AU) 검출 모듈로부터 사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하며, 상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하며, 상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하고, 상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 것을 특징으로 한다.
상기한 과제를 해결하기 위한 본 발명의 장치는, 움직임 단위를 기반으로 사람의 감정을 인식하는 장치에 있어서, 얼굴 인식 프로그램을 저장하는 메모리와, 사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하며, 상기 얼굴 인식 프로그램을 이용하여 상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하며, 상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하고, 상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 프로세서를 포함하는 것을 특징으로 한다.
상기한 과제를 해결하기 위한 본 발명의 저장 매체는, 움직임 단위를 기반으로 사람의 감정을 인식하는 방법이 수행되게 하는 명령어들이 저장되는 컴퓨터 판독 가능 저장 매체에 있어서, 상기 방법은, 움직임 단위(AU) 검출 모듈로부터 사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하며,상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하며, 상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하고, 상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 것을 특징으로 한다.
본 발명은 얼굴 움직임 단위들을 기반으로 사람의 감정을 정확하게 인식할 수 있다.
도 1은 본 발명의 일 실시 예에 따라 AU들의 집합과 감정 사이의 통계적 관계를 지시하는 관계 행렬(relation matrix)을 형성하는 방법을 나타낸 흐름도,
도 2는 본 발명의 일 실시 예에 따라 입력 AU 스트링을 각각의 탬플릿 AU 스트링에 맵핑하여 감정을 인식하는 방법을 나타낸 흐름도,
도 3은 본 발명의 일 실시 예에 따라 6개 감정들에 대한 움직임 단위들의 변별력을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따라 얼굴 AU들을 사용하여 사람의 감정을 인식하는 감정 인식 장치의 블록도이다.
이제부터, 본 발명의 여러 실시 예들을 첨부 도면들을 참조하여 상세히 설명하기로 한다. 이후 설명에서, 세부적인 구성 및 구성 요소들과 같은 특정의 상세는 단지 본 발명의 그러한 실시 예들에 대한 전반적인 이해를 돕기 위한 것에 지나지 않는다. 따라서 본 발명의 범위 및 사상을 벗어남이 없이 본 명세서에서 기술되는 실시 예들의 다양한 변경들 및 수정들이 이뤄질 수 있다는 것이 당업자에게는 자명한 사실일 것이다. 또한, 간단 명료하게 하기 위해, 주지의 기능들 및 구성들의 설명은 생략될 것이다.
본 명세서에서, '얼굴 AU들'과 'AU들'이란 용어들은 서로 바꿔 쓸 수 있게 사용된다.
사람의 얼굴로부터 검출된 AU들을 타깃 감정들에 맵핑하기 위해, 각각의 타깃 감정에 대한 AU들의 변별력을 기반으로 관계 행렬을 형성한다. 여기서, 변별력은 각각의 움직임 단위와 하나 이상의 감정들 사이의 통계적 관계를 결정하는데 도움을 주는 값이다. 예를 들면, 높은 변별력은 해당 움직임 단위가 낮은 변별력을 갖는 움직임 단위보다는 더 많이 해당 감정에 속한다는 것을 나타낸다. 그리고 관계 행렬은 본 발명의 실시 예에 따라 입력 AU 스트링을 관계 행렬로부터 선택된 다수의 탬플릿 AU 스트링들에 맵핑하여 사람의 감정을 인식하는데 사용된다.
도 1은 본 발명의 일 실시 예에 따라 AU들의 집합과 감정 사이의 통계적 관계를 지시하는 관계 행렬을 형성하는 방법을 나타낸 흐름도이다.
도 1을 참조하면, 102 단계에서, 감정 인식 장치는 얼굴 표정과 관련된 각각의 AU에 대해 변별력(H)을 계산한다. 여기서, 변별력(H)은 그 크기가 감정에 대한 얼굴 움직임들과 관련된 AU들의 변별력을 정량화한 값이다. 따라서, 변별력은 통계적 데이터를 사용하여 다양한 감정들에 대한 고도의 변별적 얼굴 움직임들을 식별할 수 있게 한다. 그리고 통계적 데이터는 다양한 감정들과 얼굴 표정들의 대규모 집합으로부터 도출된 AU들 사이의 상관성들의 확률/통계에 관한 것이다. 본 발명의 일 실시 예에 따르면, 각각의 AU에 대한 변별력(H)은 수학식 1을 기반으로 계산된다.
Figure pct00001
여기서,
Figure pct00002
는 감정 Xi가 일어났다는 가정 하에서의 움직임 단위 Yj의 확률이고,
Figure pct00003
는 감정 Xi가 일어나지 않았다는 가정 하에서의 움직임 단위 Yj의 확률이다.
AU들에 대한 H 값들을 사용하여, 감정 인식 장치는 도 3에 도시된 바와 같은 각각의 AU와 6개 감정들 사이의 통계적 관계를 나타내는 관계 행렬을 형성한다. 이어서, 감정 인식 장치는 관계 행렬 [H]의 값들을 정규화하여 각각의 감정에 대한 학습 샘플 크기(learning sample size)를 줄인다. 여기서, 감정 인식 장치는 얼굴 움직임 코딩 시스템을 기반으로 하는 움직임 단위들에 대해 변별력을 계산한다.
그리고 104 단계에서, 감정 인식 장치는 각각의 AU에 대해 계산된 변별력을 기반으로 관계 행렬로부터 각각의 타깃 감정에 속하는 AU들의 집합을 식별한다. 예를 들면, 특정의 감정에 속할 확률이 높은 고도의 변별적 AU들은 관계 행렬로부터 식별된다. 즉, 고도의 변별적 AU들은 다른 AU들에 비해 높은 변별력을 가지므로, 특정의 감정을 나타내는 것으로 간주된다.
도 3은 본 발명의 일 실시 예에 따라 6개 감정들에 대한 움직임 단위들의 변별력을 도시한 도면이다.
도 3을 참조하면, 포지티브 강도(positive intensity)(더 밝은 색)는 움직임 단위가 특정의 감정에 속할 높은 확률을 나타내는 반면에, 네거티브 강도(negative intensity)(더 어두운 색)는 움직임 단위가 특정의 감정에 속하지 않을 높은 확률을 나타낸다. 예를 들면, '즐거움' 이란 감정은 포지티브의 변별적 AU들인 AU 12, AU 6, 및 AU 26과 네거티브의 변별적 AU들인 AU 1, AU 2, 및 AU 5를 갖는다.
그리고 106 단계에서, 감정 인식 장치는 각각의 타깃 감정에 대한 고도의 변별적 움직임 단위들의 식별된 집합을 기반으로 관계 행렬로부터 행렬을 도출한다. 6개 감정들, 즉 화남, 무서움, 슬픔, 즐거움, 놀람, 및 싫음에 대해 선택된 5개의 고도의 변별적 움직임 단위들을 포함하는 행렬의 일례가 표 1에 제시되어 있다.
감정 라벨 움직임 단위들
화남 23 7 17 4 10
무서움 20 4 1 7 5
슬픔 17 15 4 1 10
즐거움 12 6 26 10 23
놀람 27 2 1 5 26
싫음 9 7 4 17 6
표 1에서, 예를 들면 '화남'이란 감정은 고도의 변별적 AU들로서 AU 23, AU 7, AU 17, AU 4, 및 AU 10을 가진다. 반면에, '즐거움'이란 감정은 고도의 변별적 AU 들로서 AU 12, AU 6, AU 26, AU 10, 및 AU 23을 가진다. 표 1의 행렬은 도 2를 참조하여 더욱 상세히 후술할 바와 같이, 검출된 얼굴 표정을 기반으로 사람의 감정을 인식하기 위해 입력 AU 스트링을 6개 감정들과 대응된 하나 이상의 AU 스트링들에 맵핑하는데 도움을 준다.
그리고 108 단계에서, 감정 인식 장치는 행렬의 여러 감정들과 대응된 AU들의 집합을 탬플릿 AU 스트링으로서 데이터베이스에 저장한다. 예를 들면, {12 6 26 10 23}은 '즐거움'에 대한 탬플릿 AU 스트링을 형성하고, {23 7 14 4 10}은 '화남'에 대한 탬플릿 AU 스트링을 형성할 수 있다.
도 2는 본 발명의 일 실시 예에 따라 입력 AU 스트링을 각각의 저장된 탬플릿 AU 스트링에 맵핑하여 감정을 인식하는 방법을 나타내는 흐름도이다.
도 2를 참조하면, 202 단계에서, 감정 인식 장치의 프로세서는 자동 AU 검출 모듈로부터 사람의 얼굴 표정(이미지 또는 비디오 프레임으로부터 도출된)을 나타내는 AU들의 집합을 갖는 입력 AU 스트링을 수신한다. 전술한 바와 같이, 입력 AU 스트링은 흔히 사람 얼굴로부터 얼굴 표정들을 추적하고 특징들을 추출함에 있어서의 불확실성으로 인한 오류를 갖기 쉽다. 예를 들면, 얼굴 표정을 나타내는 일부 AU들이 입력 AU 스트링에서 빠져 있을 수 있는 반면에, 자동 AU 검출 모듈의 결함으로 인해 일부 AU들이 입력 AU 스트링에 잘못 삽입될 수 있다.
이제부터, 204 단계 내지 208 단계를 이용하여 잘못된 입력 AU 스트링을 처리하여 사람의 감정을 정확하게 인식할 수 있는 방법을 설명하고자 한다.
204 단계에서, 프로세서는 입력 AU 스트링을 106 단계에서 형성된 행렬의 탬플릿 AU 스트링들에 매칭한다. 그리고 206 단계에서, 프로세서는 최장 공통 부분 수열 기법(longest common subsequence technique)을 이용하여 탬플릿 AU 스트링들로부터 입력 AU 스트링과 가장 잘 매칭되는 탬플릿 AU 스트링을 결정한다. 여기서, 최장 공통 부분 수열 기법은 입력 AU 스트링과 탬플릿 AU 스트링들 중의 하나 간의 유사성의 최대량을 나타내는 근사 스트링 매칭 기법이다. 따라서, 최장 공통 부분 수열 기법은 나머지 탬플릿 AU 스트링들에 비해 입력 AU 스트링에 대한 최소의 매칭 비용(matching cost)을 갖는 탬플릿 AU 스트링을 결정하는데 도움을 준다.
예를 들면, 프로세서는 입력 AU 스트링을 각각의 탬플릿 AU 스트링과 매칭함으로써 공통 부분 수열을 결정한다. 여기서, 공통 부분 수열은 입력 AU 스트링과 탬플릿 AU 스트링들 간의 유사성의 양의 거리 측정(distance measure)를 지시한다. 프로세서는 공통 부분 수열을 기반으로, 입력 AU 스트링과 가장 잘 매칭되는 AU 스트링과 관련된 최장 공통 부분 수열을 식별한다. 최장 공통 부분 수열에서, 부분 수열은 AU들이 반드시 연속된 것은 아니지만 동일한 상대 순서로 나오는 수열이다. 부가적으로, 최장 공통 부분 수열 기법은 입력 AU 스트링에서의 AU들의 삽입 및 삭제를 허용하지만, AU들의 치환을 허용하지는 않는다.
그리고 208 단계에서, 프로세서는 결정된 AU 스트링과 대응된 감정 라벨을 사람과 관련된 감정으로서 출력한다. 예를 들면, 입력 AU 스트링이 {4 6 12 17 26}이면, 입력 AU 스트링은 표 1에 나타낸 바와 같이 감정 라벨 '즐거움'과 대응된 탬플릿 AU 스트링 {12 6 26 10 23}과 가장 잘 매칭된다. 여기서, 입력 AU 스트링은 4와 17과 같은 잘못된 AU들을 포함하고 있다. 그러나 최장 공통 부분 수열 기법은 입력 AU 스트링에 잘못된 AU 들이 삽입된 것을 감안하기 때문에, 잘못된 입력 AU 스트링이 탬플릿 AU 스트링 {6, 10, 12, 23, 26}에 정확하게 맵핑되어 사람이 즐거움이라는 감정이라는 것을 인식할 수 있게 된다. 마찬가지로, {12}, {6, 12, {6, 12, 26}과 같은 입력 AU 스트링들을 즐거움에 맵핑하기 위해서는 삭제도 중요한데, 왜냐하면 이러한 AU들이 모두 즐거움을 나타내기 때문이다.
유사하게, 치환을 허용하지 않는 것은 입력 AU 스트링을 1개보다 많은 탬플릿 AU 스트링과 매칭하는데 도움을 준다. 예를 들면, 입력 AU 스트링 {4, 6, 12, 17, 26}은 3의 동일한 치환 값을 갖는 감정 라벨 '슬픔'과 대응된 탬플릿 AU 스트링 {1, 4, 10, 15, 17} 및 감정 라벨 '싫음'과 대응된 탬플릿 AU 스트링 {4, 6, 7, 9, 17}과 매칭될 수 있다.
도 4는 본 발명의 일 실시 예에 따라 얼굴 AU들을 사용하여 사람의 감정을 인식하는 감정 인식 장치의 블록 구성도이다. 예를 들면, 감정 인식 장치는 개인용 컴퓨터(PC), 태블릿 PC, 휴대폰 등을 포함한다.
도 4를 참조하면, 감정 인식 장치는 프로세서(402), 메모리(404), 버스(미도시) 및 통신 인터페이스(412)를 포함한다. 추가적으로, 감정 인식 장치는 하나 이상의 사용자 입력 장치(414)와 하나 이상의 출력 장치(416)와 네트워크 인터페이스 카드 또는 USB(Universal Serial Bus) 접속부와 같은 하나 이상의 통신 연결부(미도시)와 연결되거나 포함한다. 예를 들면, 사용자 입력 장치(414)는 키보드, 마우스 등이 될 수 있고, 출력 장치(416)는 디스플레이, 프린터 등이 될 수 있다. 그리고 통신 연결부(미도시)는 무선 로컬 영역 네트워크, 로컬 영역 네트워크와 같은 무선 통신 네트워크와 접속하는 기능을 수행한다.
도 4에서는 사용자 입력 장치(414)와 출력 장치(416)가 장치의 다른 구성 요소들로부터 물리적으로 분리된 것으로, 즉 통신 인터페이스(412)를 통해 통신하는 것으로 도시하고 있지만, 사용자 입력 장치(414)와 출력 장치(416)는 물리적으로 다른 구성 요소들과 함께 포함될 수도 있는데, 예를 들면 태블릿 PC 또는 휴대폰에서 사용자 입력 장치(414)와 출력 장치(416) 모두로서의 역할을 하는 터치 스크린 디스플레이가 그러하다.
그리고 메모리(404)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 다양한 컴퓨터 판독 가능 저장 매체들이 저장되어 본 장치의 메모리 요소들로부터 액세스될 수 있다. 컴퓨터 메모리 요소들은 데이터 및 기계 판독 가능 명령어들을 저장하는 임의의 적절한 메모리 소자들, 예를 들면 읽기 전용 메모리, 랜덤 액세스 메모리, 소거식 프로그램 가능 읽기 전용 메모리, 전기 소거식 프로그램 가능 읽기 전용 메모리, 하드 드라이브, 콤팩트 디스크 처리용 삭제 가능 미디어 드라이브, 디지털 비디오 디스크, 디스켓, 자기 테이프 카트리지, 메모리 카드, 메모리 스틱TM 등을 포함할 수 있다.
그리고 프로세서(402)는 그에 한정되는 것은 아니지만 마이크로 프로세서, 마이크로 컨트롤러, 복잡한 명령어 집합 컴퓨팅 마이크로 프로세서, 매우 긴 명령어 마이크로 프로세서, 명시적 병렬 명령어 컴퓨팅 마이크로 프로세서, 그래픽스 프로세서, 디지털 신호 프로세서와 같은 임의의 타입의 계산 회로 또는 임의의 다른 타입의 프로세싱 회로이다. 또한, 프로세서(402)는 범용 또는 프로그램 가능 논리 소자 또는 어레이, 애플리케이션 특정 집적 회로, 단일 칩 컴퓨터, 스마트 카드 등과 같은 임베디드 컨트롤러들을 포함할 수 있다.
좀 더 자세히 설명하면, 프로세서(402)는 자동 AU 검출 모듈로부터 사람의 얼굴 표정(이미지 또는 비디오 프레임으로부터 도출된)을 나타내는 AU들의 집합을 갖는 입력 AU 스트링을 수신한다. 전술한 바와 같이, 입력 AU 스트링은 흔히 사람 얼굴로부터 얼굴 표정들을 추적하고 특징들을 추출함에 있어서의 불확실성으로 인한 오류를 갖기 쉽다. 예를 들면, 얼굴 표정을 나타내는 일부 AU들이 입력 AU 스트링에서 빠져 있을 수 있는 반면에, 자동 AU 검출 모듈의 결함으로 인해 일부 AU들이 입력 AU 스트링에 잘못 삽입될 수 있다.
그리고 프로세서(402)는 입력 AU 스트링을 행렬의 탬플릿 AU 스트링들에 매칭한다. 그리고 프로세서(402)는 최장 공통 부분 수열 기법(longest common subsequence technique)을 이용하여 탬플릿 AU 스트링들로부터 입력 AU 스트링과 가장 잘 매칭되는 탬플릿 AU 스트링을 결정한다. 여기서, 최장 공통 부분 수열 기법은 입력 AU 스트링과 탬플릿 AU 스트링들 중의 하나 간의 유사성의 최대량을 나타내는 근사 스트링 매칭 기법이다. 따라서, 최장 공통 부분 수열 기법은 나머지 탬플릿 AU 스트링들에 비해 입력 AU 스트링에 대한 최소의 매칭 비용(matching cost)을 갖는 탬플릿 AU 스트링을 결정하는데 도움을 준다.
예를 들면, 프로세서(402)는 입력 AU 스트링을 각각의 탬플릿 AU 스트링과 매칭함으로써 공통 부분 수열을 결정한다. 여기서, 공통 부분 수열은 입력 AU 스트링과 탬플릿 AU 스트링들 간의 유사성의 양의 거리 측정(distance measure)를 지시한다. 그리고 프로세서(402)는 공통 부분 수열을 기반으로, 입력 AU 스트링과 가장 잘 매칭되는 AU 스트링과 관련된 최장 공통 부분 수열을 식별한다. 최장 공통 부분 수열에서, 부분 수열은 AU들이 반드시 연속된 것은 아니지만 동일한 상대 순서로 나오는 수열이다. 부가적으로, 최장 공통 부분 수열 기법은 입력 AU 스트링에서의 AU들의 삽입 및 삭제를 허용하지만, AU들의 치환을 허용하지는 않는다.
그리고 프로세서(402)는 결정된 AU 스트링과 대응된 감정 라벨을 사람과 관련된 감정으로서 출력한다. 예를 들면, 입력 AU 스트링이 {4 6 12 17 26}이면, 입력 AU 스트링은 표 1에 나타낸 바와 같이 감정 라벨 '즐거움'과 대응된 탬플릿 AU 스트링 {12 6 26 10 23}과 가장 잘 매칭된다. 여기서, 입력 AU 스트링은 4와 17과 같은 잘못된 AU들을 포함하고 있다. 그러나 최장 공통 부분 수열 기법은 입력 AU 스트링에 잘못된 AU 들이 삽입된 것을 감안하기 때문에, 잘못된 입력 AU 스트링이 탬플릿 AU 스트링 {6, 10, 12, 23, 26}에 정확하게 맵핑되어 사람이 즐거움이라는 감정이라는 것을 인식할 수 있게 된다. 마찬가지로, {12}, {6, 12, {6, 12, 26}과 같은 입력 AU 스트링들을 즐거움에 맵핑하기 위해서는 삭제도 중요한데, 왜냐하면 이러한 AU들이 모두 즐거움을 나타내기 때문이다.
유사하게, 치환을 허용하지 않는 것은 입력 AU 스트링을 1개보다 많은 탬플릿 AU 스트링과 매칭하는데 도움을 준다. 예를 들면, 입력 AU 스트링 {4, 6, 12, 17, 26}은 3의 동일한 치환 값을 갖는 감정 라벨 '슬픔'과 대응된 탬플릿 AU 스트링 {1, 4, 10, 15, 17} 및 감정 라벨 '싫음'과 대응된 탬플릿 AU 스트링 {4, 6, 7, 9, 17}과 매칭될 수 있다.
전술한 본 발명의 실시 예들은 태스크들을 수행하거나 추상 데이터 타입들 또는 로우 레벨 하드웨어 콘텍스트들을 정의하는 펑크션들, 프로시저들, 데이터 구조들, 및 애플리케이션 프로그램들을 비롯한 프로그램 모듈들과 연계하여 구현될 수 있다.
전술한 저장 매체들 중의 임의의 것에 저장된 기계 판독 가능 명령어들은 본 장치의 프로세서(402)에 의해 실행될 수 있다. 예를 들면, 얼굴 인식 프로그램(420)은 전술한 바와 같이 얼굴 AU들을 기반으로 감정들을 인식할 수 있는 기계 판독 가능 명령어들을 포함한다.
본 발명의 일 실시 예에 따르면, 얼굴 인식 프로그램(420)은 도 1 및 도 2와 관련하여 전술한 바와 같이 얼굴 AU들을 기반으로 사람의 감정을 인식하는 감정 인식 모듈(422)을 포함한다. 예를 들면, 얼굴 인식 프로그램(420)은 콤팩트 디스크 읽기 전용 메모리(CD-ROM)에 포함되고/포함되거나 CD-ROM으로부터 메모리(404)의 하드 드라이브로 로딩될 수 있다. 기계 판독 가능 명령어들은 본 장치로 하여금 본 발명의 여러 실시 예들에 따라 인코딩을 하게 한다.
또한, 본 명세서에 기술된 다양한 장치들, 모듈들, 분석기들, 발생기들 등은 하드웨어 회로, 예를 들면 상보 금속 산화물 반도체 기반 논리 회로, 펌웨어, 소프트웨어, 및/또는 하드웨어, 펌웨어, 및/또는 기계 판독 가능 매체에 구현된 소프트웨어의 임의의 조합을 사용하여 인에이블 및 동작될 수 있다. 예를 들면, 트랜지스터들, 논리 게이트들, 및 애플리케이션 특정 집적 회로와 같은 전기 회로들을 사용하여 다양한 전기 구조들 및 방법들이 구현될 수 있다.
본 발명을 그 특정의 실시 예들을 참조하여 설명하였으나, 당업자라면 첨부된 특허 청구 범위 및 그 균등물들에 의해 정의되는 바와 같은 본 발명의 사상 및 범위를 벗어남이 없이 형태 및 상세의 다양한 변경들이 이뤄질 수 있음을 이해할 것이다.
402: 프로세서　　　　　　　　　　　　　　　　　　　404: 메모리
412: 통신 인터페이스　　　　　　　　　　　　414: 입력 장치
416: 출력 장치　　　　　　　　　　　　　　　　　　420: 얼굴 인식 프로그램
422: 감정 인식 모듈

Claims (18)

  1. 움직임 단위를 기반으로 사람의 감정을 인식하는 방법에 있어서,
    움직임 단위(AU) 검출 모듈로부터 사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하는 과정과,
    상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하는 과정과,
    상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하는 과정과,
    상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 과정을 포함하는 감정 인식 방법.
  2. 제 1 항에 있어서,
    상기 AU 스트링을 결정하는 과정은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 각각의 AU 스트링 간의 공통 부분 수열을 결정하는 과정과,
    상기 결정된 공통 부분 수열로부터 최장 공통 부분 수열을 결정하는 과정을 포함하며,
    상기 최장 공통 부분 수열은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 중의 하나 간의 유사성의 최대량을 나타내는 것을 특징으로 하는 감정 인식 방법.
  3. 제 2 항에 있어서,
    상기 공통 부분 수열은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 각각 간의 유사성의 양의 거리 측정을 나타내는 것을 특징으로 하는 감정 인식 방법.
  4. 제 1 항에 있어서,
    통계적 데이터를 기반으로 상기 복수의 AU들 각각에 대한 변별력을 결정하는 과정과,
    상기 복수의 AU들 각각에 대한 변별력을 기반으로 복수의 감정 라벨들 각각을 나타내는 AU들의 집합을 선택하는 과정과,
    상기 선택된 AU들의 집합을 AU 스트링들로 저장하는 과정을 더 포함하는 감정 인식 방법.
  5. 제 4 항에 있어서,
    상기 선택된 AU들의 집합은, 행렬로 상기 AU 스트링들로서 저장되는 것을 특징으로 하는 감정 인식 방법.
  6. 제 4 항에 있어서,
    상기 복수의 AU들 각각에 대한 변별력은, 각각의 AU가 상기 복수의 감정 라벨들 중의 하나에 속할 확률을 나타내는 것을 특징으로 하는 감정 인식 방법.
  7. 움직임 단위를 기반으로 사람의 감정을 인식하는 장치에 있어서,
    얼굴 인식 프로그램을 저장하는 메모리와,
    사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하며, 상기 얼굴 인식 프로그램을 이용하여 상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하며, 상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하고, 상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 프로세서를 포함하는 감정 인식 장치.
  8. 제 7 항에 있어서,
    상기 프로세서는, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 각각의 AU 스트링 간의 공통 부분 수열을 결정하며, 상기 결정된 공통 부분 수열로부터 최장 공통 부분 수열을 결정하고,
    상기 최장 공통 부분 수열은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 중의 하나 간의 유사성의 최대량을 나타내는 것을 특징으로 하는 감정 인식 장치.
  9. 제 8 항에 있어서,
    상기 공통 부분 수열은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 각각 간의 유사성의 양의 거리 측정을 나타내는 것을 특징으로 하는 감정 인식 장치.
  10. 제 7 항에 있어서,
    상기 프로세서는, 통계적 데이터를 기반으로 상기 복수의 AU들 각각에 대한 변별력을 결정하며, 상기 복수의 AU들 각각에 대한 변별력을 기반으로 복수의 감정 라벨들 각각을 나타내는 AU들의 집합을 선택하고, 상기 선택된 AU들의 집합을 행렬에서의 AU 스트링들로 저장하는 것을 특징으로 하는 감정 인식 장치.
  11. 제 10 항에 있어서,
    상기 선택된 AU들의 집합은, 행렬로 상기 AU 스트링들로서 저장되는 것을 특징으로 하는 감정 인식 장치.
  12. 제 10 항에 있어서,
    상기 복수의 AU들 각각에 대한 변별력은, 각각의 AU가 상기 복수의 감정 라벨들 중의 하나에 속할 확률을 나타내는 것을 특징으로 하는 감정 인식 장치.
  13. 움직임 단위를 기반으로 사람의 감정을 인식하는 방법이 수행되게 하는 명령어들이 저장되는 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 방법은,
    움직임 단위(AU) 검출 모듈로부터 사람의 얼굴 표정을 나타내는 하나 이상의 AU들을 포함한 입력 AU 스트링을 수신하는 과정과,
    상기 입력 AU 스트링을 감정들을 나타내는 고도의 변별적 AU들의 집합을 포함하는 복수의 AU 스트링들 각각과 매칭하는 과정과,
    상기 복수의 AU 스트링들 중에서 상기 입력 AU 스트링과 가장 유사한 AU 스트링을 결정하는 과정과,
    상기 결정된 AU 스트링에 대응되는 감정 라벨을 출력하는 과정을 포함하는 저장 매체.
  14. 제 13 항에 있어서,
    상기 AU 스트링을 결정하는 과정은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 각각의 AU 스트링 간의 공통 부분 수열을 결정하는 과정과,
    상기 결정된 공통 부분 수열로부터 최장 공통 부분 수열을 결정하는 과정을 포함하며,
    상기 최장 공통 부분 수열은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 중의 하나 간의 유사성의 최대량을 나타내는 것을 특징으로 하는 저장 매체.
  15. 제 14 항에 있어서,
    상기 공통 부분 수열은, 상기 입력 AU 스트링과 상기 복수의 AU 스트링들 각각 간의 유사성의 양의 거리 측정을 나타내는 것을 특징으로 하는 저장 매체.
  16. 제 13 항에 있어서,
    통계적 데이터를 기반으로 상기 복수의 AU들 각각에 대한 변별력을 결정하는 과정과,
    상기 복수의 AU들 각각에 대한 변별력을 기반으로 복수의 감정 라벨들 각각을 나타내는 AU들의 집합을 선택하는 과정과,
    상기 선택된 AU들의 집합을 AU 스트링들로 저장하는 과정을 더 포함하는 저장 매체.
  17. 제 16 항에 있어서,
    상기 선택된 AU들의 집합은, 행렬로 상기 AU 스트링들로서 저장되는 것을 특징으로 하는 저장 매체.
  18. 제 16 항에 있어서,
    상기 복수의 AU들 각각에 대한 변별력은, 각각의 AU가 상기 복수의 감정 라벨들 중의 하나에 속할 확률을 나타내는 것을 특징으로 하는 저장 매체.
KR1020137010234A 2010-10-21 2011-10-21 얼굴 움직임 단위들을 기반으로 사람의 감정을 인식하는 방법 및 장치 KR101891317B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN3108CH2010 2010-10-21
IN3108/CHE/2010 2010-10-21
PCT/KR2011/007904 WO2012053867A1 (en) 2010-10-21 2011-10-21 Method and apparatus for recognizing an emotion of an individual based on facial action units

Publications (2)

Publication Number Publication Date
KR20130138242A true KR20130138242A (ko) 2013-12-18
KR101891317B1 KR101891317B1 (ko) 2018-08-24

Family

ID=45973680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137010234A KR101891317B1 (ko) 2010-10-21 2011-10-21 얼굴 움직임 단위들을 기반으로 사람의 감정을 인식하는 방법 및 장치

Country Status (6)

Country Link
US (1) US8879854B2 (ko)
EP (1) EP2630635B1 (ko)
KR (1) KR101891317B1 (ko)
CN (1) CN103168314B (ko)
AU (1) AU2011318719B2 (ko)
WO (1) WO2012053867A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220238112A1 (en) * 2017-03-14 2022-07-28 Google Llc Query endpointing based on lip detection
KR20230051941A (ko) * 2021-10-12 2023-04-19 한국 한의학 연구원 얼굴 근육 움직임 기반 우울증 예측 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094723B1 (ko) 2012-07-17 2020-04-14 삼성전자주식회사 견고한 얼굴 표정 인식을 위한 특징 기술자
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN103544468B (zh) * 2013-07-05 2016-12-28 北京航空航天大学 3d人脸表情识别方法和装置
US10013601B2 (en) * 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
WO2016123635A1 (en) 2015-01-31 2016-08-04 Brian Lee Moffat Control of a computer via distortions of facial geometry
CN105701459B (zh) * 2016-01-06 2019-04-16 Oppo广东移动通信有限公司 一种图片显示方法及终端设备
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
US10885915B2 (en) 2016-07-12 2021-01-05 Apple Inc. Intelligent software agent
CN107862292B (zh) * 2017-11-15 2019-04-12 平安科技（深圳）有限公司 人物情绪分析方法、装置及存储介质
CN108509418A (zh) * 2018-03-20 2018-09-07 合肥工业大学 基于对话内容的用户异常情绪检测方法
CN109508660A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于视频的au检测方法
CN109784179A (zh) * 2018-12-15 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的智能监护方法、装置、设备及介质
CN109840513B (zh) * 2019-02-28 2020-12-01 北京科技大学 一种人脸微表情识别方法及识别装置
CN110147729A (zh) * 2019-04-16 2019-08-20 深圳壹账通智能科技有限公司 用户情绪识别方法、装置、计算机设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US7663628B2 (en) 2002-01-22 2010-02-16 Gizmoz Israel 2002 Ltd. Apparatus and method for efficient animation of believable speaking 3D characters in real time
KR20040007921A (ko) 2002-07-12 2004-01-28 (주)아이엠에이테크놀로지 얼굴표정 자동인식을 통한 애니메이션 방법
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7930199B1 (en) * 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
KR100896065B1 (ko) * 2007-12-17 2009-05-07 한국전자통신연구원 ３차원 얼굴 표정 애니메이션 생성 방법
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
KR101527408B1 (ko) * 2008-11-04 2015-06-17 삼성전자주식회사 얼굴 표정 검출 방법 및 시스템
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220238112A1 (en) * 2017-03-14 2022-07-28 Google Llc Query endpointing based on lip detection
KR20230051941A (ko) * 2021-10-12 2023-04-19 한국 한의학 연구원 얼굴 근육 움직임 기반 우울증 예측 방법 및 장치

Also Published As

Publication number Publication date
AU2011318719A1 (en) 2013-04-11
EP2630635B1 (en) 2021-04-21
WO2012053867A1 (en) 2012-04-26
US20120101735A1 (en) 2012-04-26
EP2630635A4 (en) 2017-12-13
EP2630635A1 (en) 2013-08-28
CN103168314B (zh) 2016-03-16
US8879854B2 (en) 2014-11-04
KR101891317B1 (ko) 2018-08-24
AU2011318719B2 (en) 2015-07-02
CN103168314A (zh) 2013-06-19

Similar Documents

Publication Publication Date Title
KR101891317B1 (ko) 얼굴 움직임 단위들을 기반으로 사람의 감정을 인식하는 방법 및 장치
US20190392587A1 (en) System for predicting articulated object feature location
CN111758116B (zh) 脸部图像识别系统、识别器生成装置、识别装置与系统
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN109344793A (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
CN107784678B (zh) 卡通人脸图像的生成方法、装置和终端
JP7107598B2 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
CN112507701A (zh) 待纠错医疗数据的识别方法、装置、设备和存储介质
US10445564B2 (en) Method and device for recognizing facial expressions
Duan et al. Face verification with local sparse representation
CN114268747A (zh) 基于虚拟数字人的访谈业务处理方法及相关装置
CN112489129A (zh) 位姿识别模型训练方法、装置、位姿识别方法和终端设备
CN108268863B (zh) 一种图像处理方法、装置和计算机存储介质
Xu et al. Two-stage temporal modelling framework for video-based depression recognition using graph representation
Ku et al. A virtual sign language translator on smartphones
CN109858379A (zh) 笑容真诚度检测方法、装置、存储介质和电子设备
CN111476775B (zh) Dr征象识别装置和方法
US11270155B2 (en) Duplicate image detection based on image content
CN112287723A (zh) 基于深度学习的活体检测方法、装置及存储介质
CN112417925A (zh) 基于深度学习的活体检测方法、装置及存储介质
CN117390140B (zh) 基于机器阅读理解的中文方面级情感分析方法及系统
JP6947460B1 (ja) プログラム、情報処理装置、及び方法
CN116189252A (zh) 人脸表情识别方法及装置、计算机可读存储介质、终端设备
Liang et al. MultiViz: Towards User-Centric Visualizations and Interpretations of Multimodal Models
CN112287722A (zh) 基于深度学习的活体检测方法、装置及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right