KR20210032550A - 비디오 회의에서의 감정 인식 - Google Patents

비디오 회의에서의 감정 인식 Download PDF

Info

Publication number
KR20210032550A
KR20210032550A KR1020217007806A KR20217007806A KR20210032550A KR 20210032550 A KR20210032550 A KR 20210032550A KR 1020217007806 A KR1020217007806 A KR 1020217007806A KR 20217007806 A KR20217007806 A KR 20217007806A KR 20210032550 A KR20210032550 A KR 20210032550A
Authority
KR
South Korea
Prior art keywords
emotion
user
facial
communication
video
Prior art date
Application number
KR1020217007806A
Other languages
English (en)
Other versions
KR102380222B1 (ko
Inventor
빅터 샤부로프
유리 모나스티르신
Original Assignee
아바타 머저 서브 Ii, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아바타 머저 서브 Ii, 엘엘씨 filed Critical 아바타 머저 서브 Ii, 엘엘씨
Priority to KR1020227009954A priority Critical patent/KR102509398B1/ko
Publication of KR20210032550A publication Critical patent/KR20210032550A/ko
Application granted granted Critical
Publication of KR102380222B1 publication Critical patent/KR102380222B1/ko

Links

Images

Classifications

    • G06K9/00315—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G06K9/00248—
    • G06K9/00261—
    • G06K9/6209—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

비디오 회의 방법들 및 시스템들은 고객과 같은 한 명의 비디오 회의 참가자에 관련된 감정들의 인식을 포함한다. 이것은 궁극적으로, 서비스 제공자 또는 감독관과 같은, 다른 비디오 회의 참가자가 분노하거나, 짜증내거나, 고민하는 고객들에 대처할 수 있게 한다. 하나의 예시적인 방법은 영상들의 시퀀스를 포함하는 비디오를 수신하는 단계, 적어도 하나의 관심 객체(예컨대, 얼굴)를 검출하는 단계, 상기 적어도 하나의 관심 객체의 특징 참조점들을 찾아내는 단계, 특징 참조점들에 기초하여 가상 얼굴 메시를 적어도 하나의 관심 객체에 정렬시키는 단계, 영상들의 시퀀스에 걸쳐 얼굴 흉내들을 반영하는 가상 얼굴 메시의 적어도 하나의 변형을 발견하는 단계, 적어도 하나의 변형이 복수의 참조 얼굴 감정들 중에서 선택된 얼굴 감정을 나타낸다고 결정하는 단계, 및 얼굴 감정과 연관된 데이터를 담고 있는 통신을 생성하는 단계를 포함한다.

Description

비디오 회의에서의 감정 인식 {EMOTION RECOGNITION IN VIDEO CONFERENCING}
우선권 주장
본 출원은 2015년 3월 18일자로 출원된 미국 출원 제14/661,539호 - 이로써 참조에 의해 그 전체가 원용됨 - 를 우선권 주장한다.
본 개시내용은 일반적으로 비디오 회의(video conferencing)에 관한 것이고, 보다 구체적으로는, 비디오 회의의 참가자들의 감정들을 인식하는 시스템들 및 방법들에 관한 것이다.
오늘날, 비디오 회의 및 비디오 통화(videophone call)는 원거리에 걸쳐 양방향 비디오 및 오디오 통신을 수행하기 위한 보편화된 도구들이다. 이 기술은 고속 네트워킹 솔루션들의 출현, 저렴한 하드웨어 컴포넌트들, 및 셀룰러 네트워크들의 설치로 인해 급속도로 발전해 왔다. 전형적으로, 비디오 회의는 두 명 이상의 개인들이, 참가자들이 말하고 있는 동안 서로를 볼 수 있는 비디오 채팅 애플리케이션들과 같은, 각종의 소프트웨어 애플리케이션들을 사용하여 서로 통신할 수 있게 한다. 비디오 채팅은 범용 컴퓨터들, 모바일 디바이스들, 및 텔레비전 시스템들 상에서 다운로드가능 소프트웨어 애플리케이션들 또는 웹 서비스들로서 이용가능할 수 있다. 비디오 회의를 위한 전통적인 하드웨어 요구사항들은, 양측에서, 입력 오디오 모듈(예컨대, 마이크로폰), 입력 비디오 모듈(예컨대, 비디오 카메라), 출력 오디오 모듈(예컨대, 스피커들), 출력 비디오 모듈(예컨대, 디스플레이 또는 프로젝터), 그리고 입력 및 출력 모듈들을 서로 연관시키고, 오디오 및 비디오 스트림들을 압축 및 압축 해제하며, 통신 네트워크를 통해 데이터 링크(data linkage)를 개시 및 유지하는 컴퓨팅 디바이스를 포함한다.
비디오 회의(videoconferencing)는 고객들의 위치에 관계없이 고객들과의 직접적인 통신을 제공함으로써 고객 서비스 및 지원 산업에서 널리 보급되어 있다. 예를 들어, 비디오 채팅은 고객 서비스 담당자들과 고객들 간의 직접 대면 상호작용(face-to-face interaction)을 가능하게 할 수 있다. 전형적으로, 채팅 세션들은 키오스크들, 모바일 디바이스들, 그리고 웹 및 소셜 미디어 채널들로부터 개시될 수 있다. 이것은 회사들이 개인화된 관심(personalized attention)을 각각의 고객에게 제공하고 비디오 인터뷰(video interview), 판매, 판촉, 서비스, 지원, 및 다른 비디오 협업(video collaboration)을 수행할 수 있게 한다.
비디오 회의가 서비스들을 고객들에게 제공하는 데 유용한 채널을 생성하지만, 하나의 어려운 문제는 격분하고 짜증내며 고민하는 고객들을 다루는 것이다. 고객 분노는 전문 서비스 제공자들 또는 판매 담당자들에게조차도 항상 쉽게 알아볼 수 있는 것이 아니다. 판매 및 고객 서비스에서의 중요한 전략들 중 하나는 고객이 분노해 있거나 짜증을 낼 때를 검출하고 어려운 상황들을 아주 초기 단계에서 방지하는 것이다. 안타깝게도, 이는 경험이 많은 전문가들에게조차도 매우 어려운 일이다.
본 개시내용은 일반적으로 참여하는 개인들의 감정 상태가 인식될 수 있는 비디오 회의 기술에 관한 것이다. 비디오 회의는, 예를 들어, 고객 및 고객 서비스 담당자를 비롯한, 두 명 이상의 참가자들을 포함할 수 있다. 인식된 감정 상태가, 분노, 스트레스, 격분, 및 짜증과 같은, 부정적 감정에 관련된 경우, 감정 상태가 비디오 회의 참가자들 중 하나 및/또는, 감독관(supervisor), 관리자(administrator), 또는 매니저(manager)와 같은, 제3자에게 보고될 수 있다. 임의로, 제3자가 임의의 문제들을 해결하기 위해 개인들 간의 비디오 회의에 참여할 수 있다. 본 기술은 얼굴 감정(facial emotion)들을 검출하기 위해 비디오 채널을 그리고/또는 음성 감정(speech emotion)들을 검출하기 위해 오디오 채널을 분석함으로써 감정 상태를 결정할 수 있게 한다. 본 기술은 비디오에서 특징 참조점(feature reference point)들(예컨대, 얼굴 랜드마크들)을 찾아내는 것, 가상 얼굴 메시(virtual face mesh)를 특징 참조점들에 정렬시키는 것, 및 얼굴 흉내(face mimic)들을 반영하는 메시 변형(mesh deformation)들을 발견하는 것에 의해 얼굴 감정들을 인식할 수 있다. 음성 특징(voice feature)들을 추출하고 그의 변화들을 결정하는 것에 의해 음성 감정들이 인식될 수 있다.
본 기술의 일 양태에 따르면, 비디오 회의를 위한 컴퓨터 구현 방법이 제공된다. 본 방법은 영상들의 시퀀스를 포함하는 비디오를 수신하는 단계; 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체(object of interest)(예컨대, 얼굴)를 검출하는 단계; 적어도 하나의 관심 객체의 특징 참조점들을 찾아내는 단계; 특징 참조점들에 기초하여 가상 얼굴 메시(virtual face mesh)(간단함을 위해 본원에서 "메시"라고도 지칭됨)를 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체에 정렬시키는 단계; 영상들의 시퀀스에 걸쳐 적어도 하나의 관심 객체의 적어도 하나의 얼굴 흉내와 연관되어 있고 그를 반영하는 메시의 적어도 하나의 변형을 발견하는 단계; 적어도 하나의 변형이 복수의 참조 얼굴 감정(reference facial emotion)들 중에서 선택된 얼굴 감정을 나타낸다고 결정하는 단계; 및 얼굴 감정과 연관된 데이터를 담고 있는 정보를 생성하는 단계를 포함한다.
일부 실시예들에서, 적어도 하나의 변형이 복수의 참조 얼굴 감정들 중에서 선택된 얼굴 감정을 나타낸다고 결정하는 단계는: 메시의 적어도 하나의 변형을 복수의 참조 얼굴 감정들의 참조 얼굴 파라미터(reference facial parameter)들과 비교하는 단계; 및 메시의 적어도 하나의 변형과 복수의 참조 얼굴 감정들의 참조 얼굴 파라미터들의 비교에 기초하여 얼굴 감정을 선택하는 단계를 포함한다. 특정 실시예들에서, 메시의 적어도 하나의 변형을 참조 얼굴 파라미터들과 비교하는 단계는 컨볼루션 신경망(convolution neural network)을 적용하는 단계를 포함할 수 있다. 특정 실시예들에서, 메시의 적어도 하나의 변형을 참조 얼굴 파라미터들과 비교하는 단계는 상태 벡터 머신(state vector machine)을 적용하는 단계를 포함할 수 있다.
다양한 실시예들에서, 본 방법은 서비스 제공자와 고객 사이의 단방향 또는 양방향 비디오 회의를 구축하는 단계를 추가로 포함할 수 있고, 여기서 비디오는 고객측에서 캡처된다. 본 방법은 통신을 통신 네트워크를 통해 제3자에게 전송하는 단계를 추가로 포함할 수 있다. 본 방법은, 메시의 적어도 하나의 변형과 연관된 얼굴 감정이 부정적 얼굴 감정에 관련된 경우, 제3자가 고객과 서비스 제공자 사이의 비디오 회의에 참여할 수 있게 하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 본 방법은 통신을 고객 서비스 담당자 또는 서비스 제공자에게 전송하고 제시하는 단계를 추가로 포함할 수 있다.
특정 실시예들에서, 적어도 하나의 관심 객체는 개인의 얼굴을 포함한다. 특정 실시예들에서, 특징 참조점들은 얼굴 랜드마크(facial landmark)들을 포함할 수 있다. 특정 실시예들에서, 특징 참조점들은 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감(nose pointing up), 입의 수직 위치, 입의 폭, 턱의 폭, 윗입술 올라감(upper lip raiser), 턱 처짐(jaw drop), 입술 오무림(lip stretcher), 왼쪽 눈썹 내려감(left brow lowerer), 오른쪽 눈썹 내려감(right brow lowerer), 입 꼬리 처짐(lip corner depressor), 및 바깥쪽 눈썹 올라감(outer brow raiser) 중 적어도 하나를 나타내는 하나 이상의 얼굴 랜드마크들을 포함할 수 있다.
다양한 실시예들에서, 본 방법은 비디오 회의 참가자의 얼굴 감정들을 결정하라는 요청을 수신하는 단계를 추가로 포함할 수 있다. 일부 실시예들에서, 적어도 하나의 관심 객체를 검출하는 단계는 영상들에 Viola-Jones 알고리즘을 적용하는 단계를 포함할 수 있다. 다양한 실시예들에서, 특징 참조점들을 찾아내는 단계는 적어도 하나의 관심 객체와 연관된 영상들의 구역들에 능동적 형상 모델(Active Shape Model) 알고리즘을 적용하는 단계를 포함할 수 있다.
특정 실시예들에서, 메시를 정렬시키는 단계는 적어도 하나의 관심 객체의 얼굴 형상과 연관된 형상 단위(shape unit)(SU)들에 기초할 수 있다. 하나의 예시적인 실시예에서, 메시를 정렬시키는 단계는 얼굴 형상과 연관된 SU들의 강도들을 추정하는 단계, 적어도 하나의 얼굴 흉내(face mimic)와 연관된 동작 단위(action unit)(AU)들의 강도들을 추정하는 단계, 및 3개의 직교 축들을 중심으로 한 가상 얼굴 메시의 회전들 및 그 축들을 따른 가상 얼굴 메시의 평행이동들을 추정하는 단계를 포함할 수 있다. 특정 실시예들에서, 적어도 하나의 관심 객체를 검출하는 단계는 사용자 입력에 기초할 수 있다. 일부 실시예들에서, 복수의 얼굴 감정들은 적어도 중립적 얼굴 감정(neutral facial emotion), 긍정적 얼굴 감정(positive facial emotion), 및 부정적 얼굴 감정(negative facial emotion)을 포함할 수 있다. 부정적 얼굴 감정은 분노, 스트레스, 좌절, 당혹, 격분, 및 짜증 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 본 방법은 비디오와 연관된 오디오 스트림을 수신하는 단계 및 오디오 스트림에서 적어도 하나의 관심 객체의 음성 감정을 인식하는 단계를 추가로 포함할 수 있다. 음성 감정을 인식하는 단계는 오디오 스트림으로부터 적어도 하나의 음성 특징을 추출하는 단계, 추출된 적어도 하나의 음성 특징을 복수의 참조 음성 특징들과 비교하는 단계, 및 추출된 적어도 하나의 음성 특징과 복수의 참조 음성 특징들의 비교에 기초하여 음성 감정을 선택하는 단계를 포함할 수 있다. 일부 실시예들에서, 음성 감정을 인식하는 단계는 오디오 스트림에서 음성을 인식하는 단계를 포함할 수 있다. 일부 실시예들에서, 통신은 음성 감정과 연관된 데이터를 추가로 포함할 수 있다. 다른 추가의 실시예들에서, 본 방법은 적어도 하나의 관심 객체와 연관된 개인의 감정 상태를 생성하기 위해 얼굴 감정과 음성 감정을 결합시키는 단계를 추가로 포함할 수 있다. 다른 추가의 실시예들에서, 본 방법은 하나 이상의 제스처들을 검출하는 단계, 하나 이상의 제스처들이 미리 결정된 감정을 나타낸다고 결정하는 단계, 및 얼굴 감정 및 하나 이상의 제스처들이 미리 결정된 감정을 나타낸다는 결정에 기초하여 개인의 감정 상태를 생성하는 단계를 추가로 포함할 수 있다.
본 기술의 다른 양태에 따르면, 컴퓨팅 시스템이 제공된다. 예시적인 시스템은 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 의해 구현될 때, 컴퓨팅 디바이스로 하여금 앞서 기술된 방법 단계들을 수행하게 하는 프로세서 실행가능 코드들을 저장하는 메모리를 포함하는 컴퓨팅 디바이스를 포함한다.
본 기술의 또 다른 양태에 따르면, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 앞서 기술된 방법 단계들을 구현하게 하는 명령어들을 저장하고 있는 비일시적 프로세서 판독가능 매체가 제공된다.
부가의 목적들, 장점들, 및 신규 특징들이 일부는 이하의 상세한 설명에 기재될 것이고, 일부는 이하의 상세한 설명 및 첨부 도면들을 살펴볼 때 본 기술분야의 통상의 기술자에게 명백하게 될 것이며, 또는 예시적인 실시예들의 제조 또는 작동에 의해 알게 될 수 있다. 개념들의 목적들 및 장점들은 첨부된 청구항들에 특별히 언급된 방법들, 수단들, 및 조합들에 의해 실현되고 달성될 수 있다.
유사한 참조들이 유사한 요소들을 가리키고 있는 첨부 도면들의 도면들에, 실시예들이 제한이 아닌 예로서 예시되어 있다.
도 1a는 제1 예시적인 시스템 환경의 상위 레벨 블록도.
도 1b는 제2 예시적인 시스템 환경의 상위 레벨 블록도.
도 2는 제3 예시적인 시스템 환경의 상위 레벨 블록도.
도 3은 제4 예시적인 시스템 환경의 상위 레벨 블록도.
도 4는 본원에 기술되는 비디오 회의 방법들을 구현하기에 적당한 예시적인 시스템을 예시한 상위 레벨 블록도.
도 5는 다수의 특징 참조점들을 갖는 얼굴의 예시적인 영상을 나타낸 도면.
도 6은 CANDIDE-3 모델에 대응하는 예시적인 메시를 나타낸 도면.
도 7a는 예시적인 평균 얼굴(mean face)을 나타낸 도면.
도 7b는 도 8에 예시된 메시의 현재 상태 하에서의 예시적인 관측을 나타낸 도면.
도 8은 얼굴 및 얼굴에 정렬된 메시를 갖는 예시적인 영상을 나타낸 도면.
도 9는 감정 인식을 포함하는 예시적인 비디오 회의 방법을 도시하는 프로세스 흐름도.
도 10a는 얼굴 구역(face area)에 정렬된 메시를 갖는 예시적인 긍정적 얼굴 감정을 나타낸 도면.
도 10b는 얼굴 구역에 정렬된 메시를 갖는 예시적인 부정적 얼굴 감정을 나타낸 도면.
도 11은 도 9의 방법에서 사용될 수 있는 예시적인 오디오 감정 인식 프로세스를 나타낸 프로세스 흐름도.
이하의 상세한 설명은 상세한 설명의 일부를 형성하는 첨부 도면들에 대한 참조들을 포함한다. 도면들은 예시적인 실시예들에 따른 예시들을 나타내고 있다. 본원에서 "예들"이라고도 지칭되는 이 예시적인 실시예들이 본 기술분야의 통상의 기술자가 본 발명 요지를 실시할 수 있게 하기 위해 충분히 상세하게 기술된다.
실시예들이 결합될 수 있거나, 다른 실시예들이 이용될 수 있거나, 청구된 것의 범주를 벗어나지 않고 구조적, 논리적 및 동작적 변경들이 이루어질 수 있다. 따라서, 이하의 상세한 설명은 제한적인 의미로 해석되어서는 안되며, 범주는 첨부된 청구항들 및 그 등가물들에 의해 한정된다.
본 교시내용은 각종의 기술들을 사용하여 구현될 수 있다. 예를 들어, 본원에 기술되는 방법들은 컴퓨터 시스템 상에서 실행되는 소프트웨어로 또는 마이크로프로세서들 또는 다른 특수 설계된 ASIC(application-specific integrated circuit)들, 프로그램가능 로직 디바이스들, 또는 이들의 다양한 조합들의 조합을 이용하는 하드웨어로 구현될 수 있다. 상세하게는, 본원에 기술되는 방법들은 디스크 드라이브 또는 컴퓨터 판독가능 매체와 같은 일시적 또는 비일시적 저장 매체 상에 존재하는 일련의 컴퓨터 실행가능 명령어들에 의해 구현될 수 있다. 본원에 개시되는 방법들이 서버, 네트워크 디바이스, 범용 컴퓨터(예컨대, 데스크톱 컴퓨터, 태블릿 컴퓨터, 랩톱 컴퓨터), 모바일 디바이스(예컨대, 셀룰러폰, 스마트폰), 게임 콘솔, 핸드헬드 게임 디바이스, 텔레비전 시스템, 셋톱 박스, 차량용 컴퓨팅 디바이스(in-vehicle computing device), 키오스크 등에 의해 구현될 수 있다는 것에 유의해야 한다.
1. 서론
본 기술은 적어도 하나의 비디오 회의 참가자의 감정 상태를, 비디오 회의 참가자와 연관된 비디오 영상들 및/또는 오디오를 분석하는 것에 의해, 결정할 수 있게 하는 비디오 회의 방법들 및 시스템들을 제공한다. 비디오 회의는, 예를 들어, 고객 및 고객 서비스 담당자를 비롯한, 두 명 이상의 참가자들을 포함할 수 있다. 감정 상태는 얼굴 감정들 및/또는 음성 감정들을 식별하는 것에 의해 결정될 수 있다. 이 목적들을 위해, 본 기술은 시간이 지남에 따라 얼굴 표정들 및/또는 음성 특징들의 변화들을 추적하는 것을 가능하게 한다. 다양한 실시예들에서, 얼굴 감정들은 비디오 회의 참가자의 특징 참조점들을 찾아내는 것, 특징 참조점들에 기초하여 가상 얼굴 메시(간단함을 위해 "메시"라고도 지칭됨)를 정렬시키는 것, 하나 이상의 얼굴 흉내들을 반영하는 메시 변화들을 발견하거나 결정하는 것, 및 메시 변화들을 데이터베이스에 저장된 복수의 참조 감정(reference emotion)들의 참조 얼굴 파라미터들과 비교하는 것에 의해 식별될 수 있다. 음성 감정들은 음성 특징들을 검출 및 분석하는 것 및 음성 특징들을 데이터베이스에 저장된 복수의 참조 음성 특징들과 비교하는 것에 의해 식별될 수 있다. 감정 상태가 식별되면, 감정 상태가 비디오 회의 참가자들 중 하나 및/또는, 감독관, 매니저, 사회자(moderator), 또는 관리자와 같은, 제3자에게 보고될 수 있다. 예를 들어, 분노, 스트레스, 격분, 및 짜증과 같은, 부정적 감정에 관련된, 하나의 비디오 회의 참가자의 감정 상태가 식별되어 보고될 때, 다른 비디오 회의 참가자는 그의 음성을 조절하기 시작하고, 고객 분노를 관리하는 것 등을 개시할 수 있다. 그에 부가하여, 감독자가 이 참가자들 사이의 통신 프로세스를 관찰하기 시작하고, 임의로 부정적 감정 문제들을 해결하기 위해 비디오 회의에 참여할 수 있다.
"비디오 회의"라는 용어는, 본원에서 사용되는 바와 같이, 두 명 이상의 사람들이 동시적인 양방향 비디오 및 오디오 전송들에 의해 통신할 수 있게 하는 원격통신 기술(telecommunication technology)을 지칭한다. 비디오 전송들은 복수의 비디오 영상들을 전달하는 것을 포함한다. 본 개시내용에서, "비디오 회의"라는 용어는, 그 중에서도 특히, "비디오 통화(videophone calling)", "비디오 전화(videotelephony)", "비디오 원격회의(video teleconferencing)" 및 "비디오 채팅"을 비롯한 유사한 용어들을 포함한다.
이하에서 상세히 논의되는 바와 같이, 이 기술의 핵심 요소는 비디오 영상들에서 개인들을 찾아내어 추적하는 것, 및 감정 상태를 결정하기 위해 얼굴 표정들 그리고 임의로 개개의 제스처들을 추가로 검출하는 것이다. 다양한 실시예들에 따르면, 얼굴 표정들은 각종의 비디오 처리 알고리즘들을 사용하여 검출되고 추적될 수 있다. 예를 들어, 비디오 영상들에서 얼굴을 검출하는 것을 목표로 하는 Viola-Jones 알고리즘과 얼굴과 연관된 특징 참조점들을 찾아내도록 설계된 능동적 형상 모델(Active Shape Model)(ASM) 알고리즘의 조합을 사용하여 개개의 얼굴들이 식별될 수 있다. 얼굴들이 검출되면, 특징 참조점들에 기초한 메시가 비디오 영상들에서의 개인들에 정렬될 수 있다. 게다가, 메시의 변화들 및 변형들이 발견되고 분석될 수 있다. 일부 실시예들에서, 얼굴 흉내들을 반영하고 그들과 연관된 메시의 변화들 및 변형들이 참조 얼굴 파라미터들과 비교될 수 있고, 비교에 기초하여, 메시 변형이 복수의 참조 얼굴 감정들 중에서 선택된 얼굴 감정을 나타낸다고 결정될 수 있다. 개인의 감정 상태는 얼굴 감정에 적어도 부분적으로 기초할 수 있다. 일부 실시예들에서, 감정 상태는 하나 이상의 비디오 회의 참가자들 또는 제3자들에게 전송된다.
비디오 처리 알고리즘은, 본원에 기술되는 바와 같이, 비디오 스트림에 실시간으로 적용될 수 있거나, 저장된 비디오 파일에 적용될 수 있다(프로그레시브 다운로드(progressive download) 솔루션들을 포함함). 더욱이, 일부 실시예들에서는, 비디오 처리가 각각의 비디오 영상에 개별적으로 적용되는 반면, 다른 실시예에서는, 비디오 처리가 비디오 전체에 적용될 수 있다. 또한 비디오 처리 단계들이, 특정의 시스템의 아키텍처에 따라, 클라이언트측, 서버측 중 어느 하나에서 또는 둘 다에서 구현될 수 있다는 것에 유의해야 한다.
2. 컴퓨팅 환경
일반적으로, 비디오 회의는 클라이언트측, 서버측, 또는 둘 다에서 실행되는 하나 이상의 소프트웨어 애플리케이션들을 사용하여 구현될 수 있다. 일부 실시예들에서, 비디오 회의는 웹 서비스로서 또는 "클라우드" 솔루션으로서 구현될 수 있으며, 이는 비디오 회의가 웹사이트 또는 웹 인터페이스를 통해 비디오 회의 참가자들에게 이용가능하다는 것을 의미한다.
도 1a는 본 기술을 실시하는 데 적당한 제1 예시적인 피어-투-피어(peer-to-peer)(P2P) 시스템 환경(100A)의 상위 레벨 블록도를 도시하고 있다. 이 도면에 도시된 바와 같이, 각각이 상이한 위치들에 있는 개별 개인들에 속하는, 적어도 2개의 클라이언트 디바이스들(110)이 있다. 일 예에서, 하나의 사용자는 고객을 지칭할 수 있는 반면, 다른 사용자는 고객 서비스 담당자를 지칭할 수 있다. 또 다른 실시예에서, 예를 들어, 고객 서비스 담당자, 고객, 및 고객 서비스 담당자의 감독관 또는 매니저를 비롯한, 적어도 세 명의 비디오 회의 참가자들이 있을 수 있다.
클라이언트 디바이스들(110)은 사용자 디바이스, 단말, 컴퓨팅 디바이스(예컨대, 랩톱 컴퓨터, 태블릿 컴퓨터, 데스크톱 컴퓨터), 셀룰러폰, 스마트폰, PDA(personal digital assistant), 게임 콘솔, 리모콘, 멀티미디어 시스템, 텔레비전 시스템, 셋톱 박스, 인포테인먼트 시스템, 차량용 컴퓨팅 디바이스, 정보 키오스크 등을 지칭하지만, 이들로 제한되지는 않는다. 클라이언트 디바이스들(110) 각각은 비디오 채팅 애플리케이션(120)을 갖는다. 비디오 채팅 애플리케이션들(120)은 일반적으로 두 명 이상의 사용자들 간의 비디오 회의를 가능하게 하도록 구성된다. 비디오 채팅 애플리케이션들(120)은 소프트웨어, 미들웨어, 또는 펌웨어로서 구현될 수 있고, 개별 애플리케이션이거나 보다 큰 소프트웨어 애플리케이션들의 일부를 구성할 수 있다.
클라이언트 디바이스들(110) 중 적어도 하나는 적어도 하나의 사용자(예컨대, 고객)의 특정의 감정 상태를 검출하고 이를 적어도 하나의 다른 사용자(예컨대, 고객 서비스 담당자 및/또는 감독관)에게 보고하도록 구성되는 감정 인식 모듈(130)을 추가로 포함한다. 일부 실시예들에서, 감정 인식 모듈(130)은 별도의 소프트웨어 애플리케이션인 반면, 다른 실시예들에서, 감정 인식 모듈(130)은, 비디오 채팅 애플리케이션(120), 웹 서비스 등과 같은, 다른 소프트웨어 애플리케이션의 일부이다.
도 1a에 도시된 바와 같이, 클라이언트 디바이스들(110)이 P2P(peer-to-peer) 네트워크에 연결되어, 그들이 서로 직접 비디오 원격회의를 할 수 있게 한다. 노드들 간의 데이터는, 예를 들어, TCP/IP(Transmission Control Protocol/Internet Protocol) 네트워크 통신 표준들을 사용하여 직접 교환될 수 있다. 일부 실시예들에서, P2P 네트워크는 3개 초과의 클라이언트 디바이스들(110)을 포함할 수 있다.
도 1b는 본 기술을 실시하는 데 적당한 제2 예시적인 시스템 환경(100B)의 상위 레벨 블록도를 도시하고 있다. 이 도면에 도시된 바와 같이, 클라이언트 디바이스들(110) 간의 통신은 통신 네트워크(140)를 통해 수행된다. 다양한 실시예들에서, 통신 네트워크(140)는 인터넷, 인트라넷, 셀룰러 네트워크, 근거리 네트워크, 원거리 네트워크, IEEE(Institute of Electrical and Electronics Engineers) 802.11 기반 네트워크, 블루투스 무선, 기타 중 하나 이상을 포함할 수 있다. 상기와 유사하게, 클라이언트 디바이스들(110) 간의 비디오 원격회의는, 예를 들어, TCP/IP 네트워크 통신 표준들을 사용하여 구현될 수 있다.
도 2는 본 기술을 실시하는 데 적당한 제3 예시적인 시스템 환경(200)의 상위 레벨 블록도를 도시하고 있다. 이 실시예에서, 감정 인식 모듈(130)을 포함하는 서버(210)가 제공되는 반면, 클라이언트 디바이스들(110)은 감정 인식 프로세스들을 구현하지 않는다. 그에 따라, 감정 인식은 물론, 본원에 기술되는 바와 같은 다른 오디오 및 비디오 처리 프로세스들이 서버(210) 상에 구현된다. 비디오 채팅 애플리케이션들(120)과 감정 인식 모듈(130) 사이의 통신은 API(application programming interface) 코드들의 사용을 포함할 수 있다.
일부 실시예들에서, 클라이언트 디바이스들(110)이 오디오 및 비디오 캡처, 오디오 및 비디오 전달, 그리고 데이터 전송을 담당하도록, 클라이언트 디바이스들(110) 사이의 비디오 스트리밍은 서버(210)를 통해 이루어질 수 있다. 다른 실시예들에서, 서버(210)는 감정 인식 프로세스들만을 제공하는 반면, 클라이언트 디바이스들(110)은 나머지 통신 작업들을 구현한다.
도 3은 본 기술을 실시하는 데 적당한 제4 예시적인 시스템 환경(300)의 상위 레벨 블록도를 도시하고 있다. 이 예에서, 클라이언트 디바이스들(110)은 웹 브라우저들을 포함하여, 사용자들이 웹 호스팅 서버(310)에 의해 호스팅되는 미리 결정된 웹사이트 또는 웹 서비스에 액세스할 수 있게 한다. 비디오 채팅 애플리케이션(120)은, 이 실시예에서, 서버(210)에 위치되고, 웹 호스팅 서버(310)에 의해 호스팅되는 웹사이트와 연관된 웹 서비스로서 구현된다. 따라서, 비디오 처리 및 감정 인식 프로세스들은, 본원에 기술되는 바와 같이, 완전히 서버측에서 수행된다.
3. 시스템 아키텍처 및 프로세스 개요
도 4는 본원에 기술되는 비디오 회의 방법들을 구현하기에 적당한 예시적인 시스템(400)을 예시한 상위 레벨 블록도이다. 시스템(400)의 모든 컴포넌트들이 로직 요소(logic element)들, 하드웨어 컴포넌트들, 소프트웨어(펌웨어) 컴포넌트들, 가상 컴포넌트들, 또는 이들의 조합을 포함할 수 있다는 것에 유의해야 한다. 시스템(400)은, 범용 컴퓨터, 네트워크 디바이스, 서버, 웹 서비스, 아파치 서버, 클라우드 컴퓨팅 서비스 등과 같은, 다양한 유형들의 디바이스들 및 시스템들 중 하나 이상의 통합된 부분(integral part)을 포함하거나, 그에 관련되어 있을 수 있다. 일 예에서, 시스템(400)은 예시적인 클라이언트 디바이스(110)를 지칭한다. 게다가, 도 4에 도시된 모든 모듈들은 임의의 적당한 유선(wired), 와이어리스(wireless), 무선(radio), 전기, 또는 광학 표준들을 사용하여 동작가능하게 결합될 수 있다.
이 도면에 도시된 바와 같이, 시스템(400)은 다음과 같은 하드웨어 컴포넌트들: 적어도 하나의 프로세서(402), 적어도 하나의 메모리(404), 적어도 하나의 저장 디바이스(406), 적어도 하나의 입력 모듈(408), 적어도 하나의 출력 모듈(410), 및 적어도 하나의 네트워크 인터페이스(412)를 포함한다. 시스템(400)은 또한 임의적인 운영 체제(414), 비디오 채팅 애플리케이션(416) 및 임의적인 감정 인식 모듈(418)을 포함한다.
다양한 실시예들에서, 프로세서(402)는 기능을 구현하고 그리고/또는 시스템(400) 내에서 실행하기 위한 명령어들을 처리한다. 예를 들어, 프로세서(402)는 메모리(404)에 저장된 명령어들 및/또는 저장 디바이스들(406)에 저장된 명령어들을 처리할 수 있다. 이러한 명령어들은 운영 체제(414) 및 비디오 채팅 애플리케이션(416)의 컴포넌트들을 포함할 수 있다. 시스템(400)은, 연산 작업(operational task)들을 서로 공유할 수 있는, 중앙 처리 유닛(CPU) 및 그래픽 처리 유닛(GPU)과 같은, 다수의 프로세서들(402)을 포함할 수 있다.
메모리(404)는 정보를 동작 중에 시스템(400) 내에 저장하도록 구성된다. 메모리(404)는, 일부 예시적인 실시예들에서, 비일시적 컴퓨터 판독가능 저장 매체 또는 컴퓨터 판독가능 저장 디바이스를 지칭한다. 일부 예들에서, 메모리(404)는 임시 메모리(temporary memory)이며, 이는 메모리(404)의 주요 목적이 장기 저장(long-term storage)이 아닐 수 있다는 것을 의미한다. 메모리(404)는 또한 휘발성 메모리를 지칭할 수 있으며, 이는 메모리(404)가 전력을 받지 않을 때 메모리(404)가 저장된 내용을 유지하지 않는다는 것을 의미한다. 휘발성 메모리들의 예들은 RAM(random access memory)들, DRAM(dynamic random access memory)들, SRAM(static random access memory)들, 및 본 기술분야에 공지된 다른 형태들의 휘발성 메모리들을 포함한다. 일부 예들에서, 메모리(404)는 프로세서(402)에 의해 실행하기 위한 프로그램 명령어들을 저장하는 데 사용된다. 메모리(404)는 또한 프로그램 실행 동안 정보를 일시적으로 저장하는 데 사용될 수 있다.
저장 디바이스(406)는 하나 이상의 일시적 또는 비일시적 컴퓨터 판독가능 저장 매체들 및/또는 컴퓨터 판독가능 저장 디바이스들을 포함할 수 있다. 일부 실시예들에서, 저장 디바이스(406)는 메모리(404)보다 더 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 디바이스(406)는 정보의 장기 저장을 위해 추가로 구성될 수 있다. 일부 예들에서, 저장 디바이스(406)는 비휘발성 저장 요소들을 포함한다. 이러한 비휘발성 저장 요소들의 예들은 자기 하드 디스크들, 광학 디스크들, 솔리드 스테이트 디스크(solid-state disc)들, 플래시 메모리들, 여러 형태들의 EPROM(electrically programmable memory)들 또는 EEPROM(electrically erasable and programmable memoy)들, 및 본 기술분야에 공지된 다른 형태들의 비휘발성 메모리들을 포함한다.
도 4를 여전히 참조하면, 시스템(400)은 사용자 입력들을 수신하기 위한 하나 이상의 입력 모듈들(408) 및 데이터를 사용자에게 전달하기 위한 하나 이상의 출력 모듈들(410)을 포함한다. 입력 모듈들(408)은 키보드, 트랙볼, 터치스크린, 마이크로폰, 비디오 카메라 또는 웹 카메라 등을 포함할 수 있다. 출력 모듈들(410)은, 디스플레이들, 모니터들, 프린터들, 터치스크린들, 스피커들 등을 비롯한, 비주얼(visual) 또는 오디오(audio) 채널들을 통해 데이터를 전달하기 위한 임의의 적절한 디바이스를 포함할 수 있다.
시스템(400)은 하나 이상의 통신 네트워크들(140)을 통해 외부 디바이스들, 서버들, 및 네트워크 시스템들과 통신하도록 구성된 네트워크 인터페이스(412)를 추가로 포함한다. 네트워크 인터페이스(412)는, 이더넷 카드, 광학 송수신기, 무선 주파수 송수신기, 또는 정보를 송신 및 수신할 수 있는 임의의 다른 디바이스와 같은, 네트워크 인터페이스 카드일 수 있다. 이러한 네트워크 인터페이스들의 다른 예들은 Bluetooth®, 3G(Third Generation), 4G(Fourth Generation), LTE(Long-Term Evolution), 및 WiFi® 무선들을 포함할 수 있다.
운영 체제(414)는 시스템(400) 또는 그의 컴포넌트들의 하나 이상의 기능들을 제어할 수 있다. 예를 들어, 운영 체제 (414)는 비디오 채팅 애플리케이션(416)과 상호작용할 수 있고, 비디오 채팅 애플리케이션(416)과 프로세서(402), 메모리(404), 저장 디바이스(406), 입력 모듈들(408), 출력 모듈들(410), 및/또는 네트워크 인터페이스(412) 사이의 상호작용들을 추가로 용이하게 할 수 있다. 비디오 채팅 애플리케이션(416)은 다른 시스템과의 양방향 오디오 및 비디오 통신을 구현하는 것에 의해 비디오 회의 서비스들을 제공하도록 구성된다. 시스템 (400)은 또한 비디오 회의 참가자들의 감정 상태들을 인식하고, 특정의 인식된 감정 상태들과 연관된 보고들 또는 통지들을 생성하며, 제3자들이 비디오 회의 프로세스에 참여(비디오 회의 프로세스를 호출)할 수 있게 하는 감정 인식 모듈(418)을 포함할 수 있다. 이하에서 기술되는 바와 같이, 감정 인식 모듈(418)은 비디오 및/또는 오디오 스트림들에서의 특정의 특징들을 분석함으로써 감정 상태들을 결정할 수 있다. 일부 실시예들에서, 시스템(400)은, 예를 들어, 웹 브라우저들, 인코더들, 코덱들, 암호화 애플리케이션 등을 비롯한 부가의 소프트웨어 애플리케이션들을 포함할 수 있다.
시스템(400)의 전형적인 동작은 다음과 같다. 비디오 채팅 애플리케이션(416)은 그래픽 사용자 인터페이스를 비롯한 인터페이스를 제공하여, 두 명 이상의 개인들 간의 비디오 회의를 개시하고 수행할 수 있게 한다. 카메라(즉, 입력 모듈(408) 내에 있음)는 제1 개인(예컨대, 고객 서비스 담당자)을 포함할 수 있는 제1 비디오 스트림을 캡처한다. 마이크로폰(즉, 동일한 입력 모듈(408))은 제1 개인의 음성을 포함할 수 있는 제1 오디오 스트림을 캡처한다. 제1 오디오 및 비디오 스트림들은 이어서 네트워크 인터페이스(412)를 통해 다른 비디오 처리 시스템, 클라이언트 디바이스 또는 서버에게 전송된다. 일부 실시예들에서, 제1 오디오 스트림 및/또는 제1 비디오 스트림은 시각적 또는 음향적 조정들, 압축, 암호화 등을 행하는 것 등에 의해 시스템(400)에 의해 수정될 수 있다. 시스템(400)은 또한 다른 비디오 회의 시스템, 클라이언트 디바이스 또는 서버로부터 비디오 회의 통신을 수신할 수 있으며, 이 통신은 제2 오디오 스트림 및/또는 제2 비디오 스트림을 포함할 수 있다. 이 스트림들은 제2 개인(예컨대, 고객)과 연관된 비디오 및 오디오 컨텐츠를 포함한다. 제2 오디오 및/또는 비디오 스트림들은, 예를 들어, 시각적 또는 음향적 조정들, 압축 해제, 복호화 등을 행하는 것에 의해 임의로 수정될 수 있다. 제2 오디오 스트림은 스피커들(출력 모듈(410))을 통해 제1 개인에게 제시될 수 있다. 제2 비디오 스트림은 디스플레이(동일한 출력 모듈(410)) 상에 재생될 수 있다. 제2 오디오 및/또는 비디오 스트림들을 수신할 시에, 감정 인식 모듈(418)은 제2 개인(즉, 고객)의 감정 상태를 결정할 수 있다. 감정 상태가 고객의 분노, 스트레스, 격분, 또는 짜증을 나타낸다고 결정되면, 감정 인식 모듈(418)은 경보 또는 임의의 다른 적당한 통신을 생성하고, 이를 제1 개인(고객 서비스 담당자)을 수신자로 하여 그리고/또는 임의로, 매니저, 감독관, 관리자, 또는 사회자와 같은 제3 개인을 수신자로 하여 원격 디바이스에게 송신한다. 제2 개인의 감정 상태에 관한 경보 또는 통신은 비디오 채팅 애플리케이션(416)의 그래픽 사용자 인터페이스를 통해 디스플레이될 수 있다. 감정 인식 모듈(418)은 또한 제3 개인이 제1 개인과 제2 개인 사이의 비디오 회의에 참여할 수 있게 할 수 있다. 특정 실시예들에서, 제2 개인과 제1 개인 간의 비디오 회의가 제2 개인(즉, 고객)과 제3 개인(예컨대, 감독관) 간의 비디오 회의로 전환될 수 있다.
4. 얼굴 검출
본 기술은 비디오 회의 참가자들의 감정 상태들을 인식하는 것을 가능하게 한다. 이 목적들을 위해, 이 기술은 개인들, 그리고, 보다 구체적으로는, 비디오 스트림에 제시되는 개개의 얼굴들을 검출하고, 시간이 지남에 따라 얼굴 감정들을 추적한다. 이 섹션은 본 기술에서 사용될 수 있는 바와 같은 얼굴 검출을 위한 예시적인 프로세스들에 초점을 두고 있다.
다양한 실시예들에 따르면, 영상에서의 얼굴은 Viola-Jones 알고리즘 및 ASM 알고리즘을 적용하여 검출될 수 있다. 상세하게는, Viola-Jones 알고리즘은 영상에서 얼굴 영역을 검출하기 위한 빠르고 매우 정확한 방법이다. 얼굴과 연관된 특징 참조점들을 찾아내기 위해 ASM 알고리즘이 얼굴 영역에 적용된다. 이 특징 참조점들은, 콧방울(ala), 인중(philtrum), 홍순(vermilion zone), 홍순 경계(vermilion border), 비순구(nasolabial sulcus), 구순 교차(labial commissure), 입술 결절(lip tubercle), 나지온(nasion), 눈의 외안각(outer canthus), 눈의 내안각(inner canthus), 및 귀의 이주(tragus)와 같은, 하나 이상의 얼굴 랜드마크들을 포함할 수 있다. 더욱이, 특징 참조점들은 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코를 치켜 듦, 입의 수직 위치, 입의 폭, 턱의 폭, 윗입술 올라감, 턱 처짐, 입술 오무림, 왼쪽 눈썹 내려감, 오른쪽 눈썹 내려감, 입 꼬리 처짐, 및 바깥쪽 눈썹 올라감을 나타내는 얼굴점들 중 하나 이상을 포함할 수 있다. 도 5는 특징 참조점들의 일부가 예시되어 있는 얼굴의 예시적인 영상을 나타내고 있다.
게다가, ASM 알고리즘은 입력 비디오 영상에 제시된 얼굴의 위치 및 크기에 정렬되는 평균 얼굴 형상의 특징 참조점들을 탐색하기 시작한다. ASM 알고리즘은 이어서 수렴(convergence)될 때까지 다음과 같은 2개의 단계들을 반복한다: (i) 각각의 점 주변의 영상 텍스처의 템플릿 매칭(template matching)에 의해 형상점(shape point)들의 위치들을 조정하는 것에 의해 임시 형상(tentative shape)을 제안하는 것, 및 (ii) 임시 형상을 전체 형상 모델에 정합(conform)시키는 것. 형상 모델은 보다 강한 전체 분류기(overall classifier)를 형성하기 위해 약한 템플릿 매처(template matcher)들의 결과들을 풀링(pool)한다. 조악한 해상도로부터 미세한 해상도까지, 영상 피라미드에서의 각각의 레벨에서 탐색 전체가 반복된다. 따라서, 2개의 서브-모델 유형(sub-model type)들: 프로파일 모델 및 형상 모델이 ASM을 구성한다.
프로파일 모델들(각각의 피라미드 레벨에서 각각의 랜드마크에 대해 하나씩)은 템플릿 매칭에 의해 각각의 특징 참조점의 대략적인 위치를 찾아내는 데 사용된다. 임의의 템플릿 매처가 사용될 수 있지만, 고전적인 ASM은 랜드마크에서 형상 경계(shape boundary)에 직교인 선(위스커(whisker)라고도 함)을 따라 영상을 샘플링하는 것에 의해 고정 길이 정규화된 그레이디언트 벡터(fixed-length normalized gradient vector)(프로파일이라고도 함)를 형성한다. 수동으로 랜드마크된 얼굴(manually landmarked face)들에 대해 훈련하는 동안, 각각의 랜드마크(특징 참조점)에서, 평균 프로파일 벡터(mean profile vector)
Figure pat00001
및 프로파일 공분산 행렬(profile covariance matrix) Sg가 계산된다. 탐색하는 동안, 위스커를 따라 있는 랜드마크(특징 참조점)는 프로파일 g가 평균 프로파일
Figure pat00002
로부터 가장 낮은 마할라노비스 거리(Mahalanobis distance)를 갖는 픽셀로 옮겨지고, 여기서
Figure pat00003
이다.
게다가, 형상 모델은 랜드마크들의 허용가능 성상도(constellation)들을 규정한다. 개인의 형상은 그의 형상 벡터
Figure pat00004
에 의해 주어질 수 있고, 여기서 xi는 i번째 얼굴 랜드마크이다. 형상 모델은 형상
Figure pat00005
을 생성하고, 여기서
Figure pat00006
이며, 여기서,
Figure pat00007
는 평균 형상(mean shape)이고, b는 파라미터 벡터이며, Φ는 정렬된 훈련 형상들의 점들의 프로파일 공분산 행렬 Sg의 선택된 고유벡터(eigenvector)들의 행렬이다. 표준의 주성분(principal component) 접근법을 사용하여, 모델은 고유값(eigenvalue)들 λi를 순서화하고 적절한 수의 대응하는 고유벡터들을 Φ에 유지하는 것에 의해 원하는 만큼의 변동(variation)들을 갖는다. 이 프로세스에서, ASM 전체에 대한 단일 형상 모델이 사용되지만, 이 모델이 각각의 피라미드 레벨에 대해 스케일링될 수 있다.
게다가, 수학식 2는 벡터 파라미터 b를 변화시킴으로써 다양한 형상들을 생성하는 데 사용된다. b의 요소들을 (모델 구축(model building) 동안 결정된) 한계들 내에 유지하는 것에 의해, 생성된 얼굴 형상들이 실물과 같도록 보장하는 것이 가능하다.
이와 달리, 제안된 형상 x가 주어지면, 본 방법은 수학식 2가 모델 형상
Figure pat00008
를 사용해 x를 보다 잘 근사화할 수 있게 하는 파라미터 b를 계산할 수 있다. 이 방법은
Figure pat00009
을 최소화하기 위해 반복 알고리즘을 추가로 사용할 수 있고, 여기서 T는 모델 공간을 영상 공간에 매핑하는 유사 변환(similarity transform)이다.
하나 이상의 실시예들에서, CANDIDE-3 정점들의 ASM에 의해 찾아낸 특징 참조점들의 가중 결합(weighted combination)들에의 매핑에 기초하여 CANDIDE-3 형상 및 초기 상태가 추정될 수 있다. CANDIDE-3은 사람 얼굴들의 모델 기반 코딩(model-based coding)을 위해 특별히 개발된 파라미터화된 3차원 얼굴 메시(parameterized three-dimensional face mesh)이다. 이는 적은 수의 폴리곤들(약 100개)을 포함하고 빠른 재구성을 가능하게 한다. CANDIDE-3은 SU들, AU들, 및 위치 벡터(position vector)에 의해 제어된다. SU들은 상이한 얼굴 형상들이 획득될 수 있도록 메시 형상(mesh shape)을 제어한다. AU들은 상이한 표정들이 획득될 수 있도록 얼굴 흉내(facial mimic)들을 제어한다. 위치 벡터는 3개의 (직교) 축들을 중심으로 한 회전(rotation)들 및 그 축들을 따라가는 평행이동(translation)들에 대응한다.
관측된 얼굴이 영상에서 정면으로 보이는(frontal viewed) 것으로 가정하면, 3개의 회전 파라미터들 중에서 요(yaw) 추정만이 필요하다. 이는 x-축의 양의 방향으로부터 우안 중심 특징점(right eye center feature point)과 좌안 중심 특징점(left eye center feature point)을 연결하는 벡터까지의 각도로서 구해질 수 있다. 관측된 얼굴이 중립적(neutral)이고 영상에서 정면으로 보이며 메시점(mesh point)들이 스케일링된 정사 투영(scaled orthographic projection)에 의해 영상 평면에 투영된다고 가정하면, 하기의 방정식 체계(equation system)가 생성될 수 있고:
Figure pat00010
여기서
Figure pat00011
은, 구해진 요 θ에 대응하는, 회전 행렬이고, bj는 j번째 SU 강도이며; x, y, z는 메시 평행이동 좌표(mesh translational coordinate)들이고; xi 및 yi는 i번째 메시 정점 모델 좌표(mesh vertex model coordinate)들이며; xi 및 yi는 특징 참조점들의 가중 결합들로서 획득되는 i번째 메시 정점 영상 좌표(mesh vertex image coordinate)들이고; Xij, Yij는 i번째 메시 정점 모델이 j번째 SU에 의해 어떻게 변화되는지를 나타내는 계수들이다. 전술한 바에 기초하여, 하기의 최소화가 이루어질 수 있다:
Figure pat00012
이 선형 방정식 체계(linear equation system)의 해는
Figure pat00013
이고, 여기서
Figure pat00014
이다.
일부 실시예들에서, 추적 품질을 개선시키기 위해 Viola-Jones 알고리즘과 ASM 알고리즘이 사용될 수 있다. 얼굴 추적 프로세스들은, 빠른 움직임들 및/또는 조명 변동들과 같은, 일부 상황들 하에서 얼굴 위치를 상실할 수 있다. 추적 알고리즘을 재초기화하기 위해, 이 경우에 Viola-Jones 알고리즘 및 ASM 알고리즘이 적용된다.
5. 얼굴 추적
이 섹션은 본 기술에서 사용될 수 있는 얼굴 추적을 위한 예시적인 프로세스들에 중점을 두고 있다. 얼굴 추적은 얼굴 표정들을 검출하기 위해서 뿐만 아니라 카메라의 시야(field of view) 내에서의 얼굴의 배치를 모니터링하는 데에도 필요하다. 개인들이 각각의 비디오 영상(프레임)에서 움직이고, 제스처들을 행하며, 그들의 머리들을 회전시키거나 움직일 수 있기 때문에, 얼굴 표정들을 정확하게 결정하기 위해 얼굴 추적이 필요하다.
CANDIDE-3 모델은 얼굴 추적을 위해 사용될 수 있다. Jorgen Ahlberg, Candide-3 - an updated parameterized face, Technical report, Linkoping University, Sweden (2001)을 참조한다. 도 6은 도 5에 도시된 얼굴에 정렬된 CANDIDE-3 모델에 대응하는 예시적인 메시를 도시하고 있다.
하나 이상의 실시예들에서, CANDIDE-3 모델의 상태는 SU들의 강도 벡터, AU들의 강도 벡터 및 위치 벡터에 의해 기술될 수 있다. SU들은 머리와 얼굴의 다양한 파라미터들을 지칭한다. 예를 들어, 하기의 SU들: 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감, 입의 수직 위치, 입의 폭, 및 턱의 폭이 사용될 수 있다. AU들은 다양한 얼굴 흉내들에 대응하는 얼굴 파라미터들을 지칭한다. 예를 들어, 하기의 AU들: 윗입술 올라감, 턱 처짐, 입술 오무림, 왼쪽 눈썹 내려감, 오른쪽 눈썹 내려감, 입 꼬리 처짐, 및 바깥쪽 눈썹 올라감이 사용될 수 있다.
도 6에 도시된 것과 같은, 메시의 위치는 6개의 좌표들: 요(yaw), 피치(pitch), 롤(roll), x, y 및 z(스케일)를 사용하여 기술될 수 있다. Dornaika 등의 접근법에 따라, 얼굴일 가능성이 가장 많은 영역을 관측하는 것에 의해 메시 상태가 결정될 수 있다. Dornaika F. & Davoine F., On appearance based face and facial action tracking. IEEE Trans. Circuits Syst. Video Technol. 16(9):1107-1124 (2006)를 참조한다. 각각의 메시 상태에 대해, 관측 오차(observation error)들이 계산될 수 있다. 관측 오차들은 현재 메시 상태 하에서의 영상과 평균 얼굴 사이의 차이를 나타내는 값을 지칭한다. 도 7a는 예시적인 평균 얼굴을 도시하고 있다. 도 7b는 도 8에 예시된 메시의 현재 상태 하에서의 초기 CANDIDE-3 상태 관측 쪽으로 워핑된 예를 도시하고 있다. 보다 구체적으로는, 도 8은 얼굴 및 얼굴에 정렬된 메시(810)를 갖는 예시적인 영상(800)을 도시하고 있다.
하나 이상의 실시예들에서, 고정된 크기(예컨대, 폭 = 40px, 높이 = 46px)를 갖는 사진으로서 모델링된 얼굴은 평균 얼굴이라고 지칭된다. 하나 이상의 실시예들에서, 관측 프로세스는 현재 CANDIDE-3 상태로부터 그의 초기 상태(initial state) 쪽으로의 워핑 프로세스로서 구현될 수 있고, 수학식 8에 의해 표기되며
Figure pat00015
여기서 x는 평균 얼굴과 동일한 크기를 갖는 관측된 영상을 나타내고, y는 입력 영상을 나타내며, b는 CANDIDE-3 AU의 강도들 및 위치 파라미터들을 나타낸다. 원래의 알고리즘들에서 제안된 가우시안 분포는 정적 영상과 비교하여 보다 나쁜 결과들을 보여주었다. 따라서, 현재 관측과 평균 얼굴 사이의 차이는 다음과 같이 계산될 수 있고:
Figure pat00016
여기서 Im은 평균 얼굴 영상의 픽셀들을 나타내고 Ii는 관측 픽셀들을 나타낸다.
로그 함수(logarithm function)는 추적을 보다 안정적이고 신뢰성 있게 만들 수 있다. 하나 이상의 실시예들에서, 오차를 최소화하기 위해 테일러 급수(Taylor series)가 사용될 수 있다. 그레이디언트 행렬(gradient matrix)은 수학식 10에 의해 주어진다.
Figure pat00017
도함수들은 다음과 같이 계산될 수 있으며:
Figure pat00018
여기서 qj는 1인 j번째 요소를 제외한 모든 요소들이 0인 벡터이다.
여기서, gij는 행렬 G의 요소이다. 이 행렬은 m*n 크기를 가지며, 여기서 m은 n보다 크다(예컨대, m은 약 1600이고, n은 약 14이다). 간단한 계산의 경우에, n*m개의 나눗셈 연산들이 완료될 필요가 있다. 나눗셈의 횟수를 줄이기 위해, 이 행렬이 2개의 행렬들의 곱: G = A * B로서 다시 쓰여질 수 있다. 여기서, 행렬 A는 G와 동일한 크기를 갖는다. 행렬 A의 각각의 요소는 수학식 12로서 표현될 수 있다:
Figure pat00019
행렬 B는 n*n 크기를 갖는 대각 행렬이고, 그의 요소들은 다음과 같이 표현될 수 있다:
Figure pat00020
행렬 G+는 다음과 같이 계산될 수 있고, 이는 궁극적으로 나눗셈들의 횟수를 감소시킨다:
Figure pat00021
이 변환은 m*n + n3 대신에 n3개의 나눗셈들을 하는 것을 가능하게 한다.
이 방법에서 또 다른 최적화가 사용될 수 있다. 행렬 G+가 생성되고 이어서 Δb와 곱해지면, 이는 n2m개의 연산들을 가져오지만, 첫번째 AT와 Δb가 곱해지고 이어서 B-1(ATA)-1와 곱해지면, m*n + n3개의 연산들만이 있을 것이고, 이는, n<<m이기 때문에, 훨씬 더 낫다.
따라서, 비디오에서의 얼굴 추적은 특정의 얼굴과 연관된 찾아낸 특징 참조점들에 기초하는 CANDIDE-3 형상 및 초기 상태 추정 그리고 메시를 각각의 비디오 영상에서의 얼굴에 정렬시키는 것을 포함한다. 주목할 만한 점은, 이 프로세스가 얼굴뿐만 아니라 다른 개개의 부위들에도 적용될 수 있다. 환언하면, 비디오 회의 참가자의 위치확인(localization) 및 추적의 이 프로세스는 참가자의 얼굴, 및 그의 신체, 팔다리, 및/또는 다른 부위들 중 하나 이상을 위치확인 및 추적하는 것을 포함할 수 있다. 일부 실시예들에서, 제스처 검출 및 추적 프로세스들이 또한 적용될 수 있다. 그 경우에, 본 방법은 가상 골격(virtual skeleton) 및 이 신체 부위들에 정렬된 메시를 생성할 수 있다.
또한 ARM advanced SIMD(Single Instruction Multiple Data) extension(ARM Limited에 의해 제공되는 "NEON"이라고도 함)이 추적 성능을 향상시키기 위해 행렬들의 곱셈을 위해 사용될 수 있다는 것에 유의해야 한다. 또한, GPU(Graphics Processing Unit)가, 가능할 때마다, CPU(Central Processing Unit)에 부가하여 또는 그 대신에 사용될 수 있다. 동작들이 GPU의 높은 성능을 얻기 위해 특별한 방식으로 배열될 수 있다.
본 개시내용의 일부 실시예들에 따르면, 얼굴 추적 프로세스는 하기의 특징들을 포함할 수 있다. 첫째, 각각의 픽셀을 추적하기 위해 각각의 픽셀의 값을 그레이스케일로 변환(grayscale)하기 위해 로그가 적용될 수 있다. 이 변환은 추적 성능에 큰 영향을 미친다. 둘째, 그레이디언트 행렬 생성의 절차에서, 각각의 파라미터의 단차(step)는 메시 스케일(mesh scale)에 기초할 수 있다.
실패의 경우에 추적 알고리즘을 자동으로 재초기화하기 위해, 하기의 실패 기준이 사용될 수 있고:
Figure pat00022
여기서
Figure pat00023
는 유클리드 노름(Euclidean norm)이며, yt, bt는 영상 번호 t에 의해 인덱싱된다.
6. 비디오 회의에서의 감정 인식
앞서 개략적으로 기술된 바와 같이, 비디오 회의 참가자들의 얼굴들 또는 다른 부위들이 검출될 때, 본 기술은 비디오 회의 참가자들의 감정 상태를 결정한다. 이것은 얼굴 표정들의 식별 또는 시간이 지남에 따른 얼굴 표정들의 변화들을 포함할 수 있다. 감정 상태는 또한 음성 인식(speech recognition) 또는 음성 분석(voice analysis)에 부분적으로 기초할 수 있다. 감정 상태가 부정적이라고 결정되면, 경보 통신이 생성되고 비디오 회의 참가자 또는 제3자 중 하나에게 전송될 수 있다. 비디오 회의에서의 감정 인식을 위한 이들 및 다른 실시예들은 예시적인 플로차트들을 참조하여 이하에서 기술된다.
도 9는 감정 인식을 포함하는 예시적인 비디오 회의 방법(900)을 도시하는 프로세스 흐름도이다. 본 방법은 하드웨어(예컨대, 의사 결정 로직, 전용 로직, 프로그램가능 로직, 및 마이크로코드), 소프트웨어(범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는 소프트웨어 등), 또는 이 둘의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 하나의 예시적인 실시예에서, 처리 로직은 시스템(400)의 하나 이상의 컴포넌트들을 지칭한다. 방법(900)의 이하에서 언급되는 단계들이 도 9에 기술되고 도시된 것과 상이한 순서로 구현될 수 있다는 것에 유의해야 한다. 더욱이, 방법(900)은, 여기에 도시되어 있지는 않지만 본 개시내용으로부터 본 기술분야의 통상의 기술자에게는 명백할 수 있는, 부가의 단계들을 가질 수 있다. 방법(900)은 또한 이하에서 개략적으로 기술되고 도 9에 도시된 것보다 더 적은 수의 단계들을 가질 수 있다.
비디오 회의 방법(900)은 단계(905)에서, 고객 서비스 담당자 또는 서비스 제공자와 같은, 제1 개인과, 고객과 같은, 제2 개인 사이에 비디오 회의를 구축하는 것으로 시작한다. 이 목적들을 위해, 일 실시예에서, 비디오 채팅 애플리케이션들(120)이 각각의 측에서 사용될 수 있다. 비디오 회의의 구축은 비디오 및 오디오 스트림들이 각각의 측에서 캡처되고 다른 측에게 전송되고, 그 반대도 마찬가지라는 것을 의미한다.
그에 따라, 단계(910)에서, 컴퓨팅 디바이스는 제2 개인의 비디오를 수신한다. 일반적으로, 비디오는 비디오 영상들(비디오 프레임들이라고도 함)의 시퀀스를 포함하고 비디오는 비디오 스트림 - (예컨대, 프로그레시브 다운로드로서) 컴퓨팅 디바이스에 계속하여 공급될 수 있다는 것을 의미함 - 으로서 수신될 수 있거나, 컴퓨팅 디바이스의 메모리에 저장될 수 있다. 비디오가 비디오 회의를 위해 캡처될 수 있지만, 꼭 그렇지는 않다.
임의적인 단계(915)에서, 컴퓨팅 디바이스는 적어도 하나의 비디오 회의 참가자(예컨대, 제2 개인)의 감정 상태(예컨대, 얼굴 감정)를 결정하라는 요청을 수신한다. 일 예에서, 요청은 고객 서비스 담당자 또는 서비스 제공자와 같은 제1 개인에 의해 수동으로 생성될 수 있다. 요청은 임의로 비디오 회의 관심 참가자와 연관된 메타데이터를 포함할 수 있다. 예를 들어, 메타데이터는 이 개인이 나타나는 비디오의 일부분을 포함할 수 있다.
단계(920)에서, 컴퓨팅 디바이스는 하나 이상의 비디오 영상들에서 적어도 하나의 관심 객체를 검출(위치확인)한다. 앞서 논의된 바와 같이, 관심 객체는 사람 얼굴 또는, 팔다리, 목, 팔, 가슴 등을 비롯한, 신체의 다른 부위들 - 모두가 제2 개인(즉, 고객)에 관련됨 - 을 지칭할 수 있다. 검출은 Viola-Jones 알고리즘에 기초할 수 있지만, 다른 알고리즘들이 또한 사용될 수 있다. 일부 다른 실시예들에서, 비디오 영상들의 하나 이상의 비디오 영상들에서의 적어도 하나의 관심 객체의 검출은 사용자 입력에 기초할 수 있다. 예를 들어, 사용자 입력은 적어도 하나의 관심 객체에 관련된 영상 구역과 연관된 데이터를 포함할 수 있다.
단계(925)에서, 컴퓨팅 디바이스는 적어도 하나의 관심 객체(예컨대, 얼굴)의 복수의 특징 참조점들을 찾아낸다. 이 특징 참조점들은, 콧방울, 인중, 홍순, 홍순 경계, 비순구, 구순 교차, 입술 결절, 나지온, 눈의 외안각, 눈의 내안각, 및 귀의 이주와 같은, 하나 이상의 얼굴 랜드마크들을 포함할 수 있다. 더욱이, 특징 참조점들은 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감, 입의 수직 위치, 입의 폭, 턱의 폭, 윗입술 올라감, 턱 처짐, 입술 오무림, 왼쪽 눈썹 내려감, 오른쪽 눈썹 내려감, 입 꼬리 처짐, 및 바깥쪽 눈썹 올라감을 나타내는 얼굴점들 중 하나 이상을 포함할 수 있다. 특징 참조점들은 앞서 설명된 바와 같은 ASM 또는 확장 ASM 알고리즘들을 사용하여 찾아내어질 수 있다. 그렇지만, EGM(exemplar-based graph matching) 알고리즘, CoE(consensus-of-exemplars) 알고리즘 등(이들로 제한되지 않음)을 비롯한, 얼굴 랜드마크 위치확인의 다른 절차들이 또한 사용될 수 있다.
단계(930)에서, 컴퓨팅 디바이스는 특징 참조점들에 기초하여 가상 얼굴 메시를 적어도 하나의 관심 객체에 정렬시킨다(예컨대, 메시를 고객 얼굴의 영상에 정렬시킨다). 이 절차는 비디오 영상들의 일부만 또는 모든 비디오 영상들에 대해 수행될 수 있다. 앞서 논의된 바와 같이, CANDIDE-3 모델과 같은 파라미터화된 얼굴 메시가 관심 객체에 정렬될 수 있다. CANDIDE-3은 SU들의 강도들의 계산에 기초하여 개개의 얼굴 형상에 정렬될 수 있는 파라미터화된 3차원 얼굴 메시이다. 일부 실시예들에서, 가상 얼굴 메시의 정렬은 얼굴 형상과 연관된 SU들의 강도들, AU들의 강도들, 및 3개의 직교 축들을 중심으로 한 가상 얼굴 메시의 회전들 및 그 축들을 따른 그의 평행이동들을 추정하는 것에 추가로 기초할 수 있다.
단계(935)에서, 컴퓨팅 디바이스는, 비디오 영상들의 시퀀스에 거쳐, 적어도 하나의 얼굴 흉내와 연관되어 있고 그를 반영하는 메시의 적어도 하나의 변형을 발견한다. 메시 변형은 제2 개인에 의한 감정 표현의 변화로 인해 하나 이상의 메시 정점들의 상대 배치(relative disposition)를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 구순 교차 랜드마크들을 움직이는 것은 물론 눈썹의 움직임을 복제하는 메시의 수정을 발견할 수 있다. 다른 예에서, 컴퓨팅 디바이스는 눈의 외안각 및 내안각을 움직이는 것은 물론, 입 랜드마크들을 움직이는 것을 복제하는 메시의 수정을 발견할 수 있다. 메시가 각종의 상이한 방식들로 변형될 수 있다는 것을 잘 알 것이다. 어느 경우든지, 컴퓨팅 디바이스는, 얼굴 감정들의 변화들을 결정하기 위해, 각각의 메시점의 위치는 물론 메시점들 각각 사이의 거리의 변화들을 추적할 수 있다.
단계(940)에서, 컴퓨팅 디바이스는 메시의 결정된 변형을 복수의 참조 얼굴 감정들의 참조 얼굴 파라미터들과 비교한다. 참조 얼굴 파라미터들 및 참조 얼굴 감정들은, 예를 들어, 컴퓨팅 디바이스의 메모리에 위치된 하나 이상의 데이터베이스들에 저장될 수 있다. 참조 얼굴 감정들은, 예를 들어, 중립적 얼굴 감정들, 긍정적 얼굴 감정들, 및 부정적 얼굴 감정들을 포함할 수 있다. 특정 실시예들에서, 부정적 얼굴 감정들은 분노, 분개, 불만, 신경질, 좌절, 당혹, 격분, 스트레스, 및 짜증을 포함할 수 있다.
비교 단계(940)는 컨볼루션 신경망(CNN) 및/또는 상태 벡터 머신(SVM)과 같은 적어도 하나의 머신 러닝 알고리즘을 적용하는 단계를 포함할 수 있다. 일반적으로, CNN은 개개의 뉴런들이 시야(visual field)에서의 중첩 영역(overlapping region)들에 응답하는 방식으로 타일링(tile)되는 피드포워드 인공 신경망(feed-forward artificial neural network)의 한 유형이다. CNN들은 입력 영상의 작은 부분들을 쳐다보는, 작은 뉴런 집합체(neuron collection)들의 다수의 계층들 - 수용 영역(receptive field)들이라고 불림 - 로 이루어져 있다. 원본 영상의 보다 나은 표현을 획득하기 위해 이 집합체들의 결과들이 이어서 중첩되도록 타일링되고; 이것이 이러한 계층마다 반복된다. 컨볼루션 네트워크들은 뉴런 클러스터(neuron cluster)들의 출력들을 결합시키는 로컬 또는 전역 풀링 계층(local or global pooling layer)들을 포함할 수 있다. 컨볼루션 네트워크들은 또한, 각각의 계층의 끝에서 또는 각각의 계층 이후에 점별 비선형성(pointwise nonlinearity)이 적용되는, 컨볼루션 계층(convolutional layer)들과 완전 연결 계층(fully connected layer)들의 다양한 조합들로 이루어져 있다. 모든 계층들이 완전 연결(fully connected)되면 수십억 개의 파라미터들이 존재하는 상황을 피하기 위해, 작은 영역들에 대해 컨볼루션 연산(convolution operation)을 사용하는 착상이 도입되었다. 컨볼루션 네트워크들의 하나의 주요 장점은 컨볼루션 계층들에서 공유 가중치를 사용한다는 것이고, 이는 동일한 필터(가중치 뱅크(weights bank))가 계층에서의 각각의 픽셀에 대해 사용된다는 것을 의미하고; 이것은 필요한 메모리 크기를 줄이기도 하고 성능을 개선시키기도 한다.
SVM들은 패턴들을 인식하도록 구성되는 연관된 학습 알고리즘들을 갖는 지도 학습 모델(supervised learning model)들이다. 각각이 2개의 카테고리들 중 하나에 속하는 것으로 표시되는, 한 세트의 훈련 예제(training example)들이 주어지면, SVM 훈련 알고리즘은 새로운 예제들을 하나의 카테고리 또는 다른 카테고리에 할당하는 모델을 구축하여, 그 모델을 비확률적 이진 선형 분류기(non-probabilistic binary linear classifier)로 만든다. SVM 모델은 예제들을, 개별 카테고리들의 예제들이 가능한 한 넓은 명확한 갭만큼 분리되도록 매핑되는, 공간에서의 점들로 표현한 것이다. 새로운 예제들이 이어서 그 동일한 공간에 매핑되고, 그 예제들이 갭의 어느 쪽에 있는지에 기초하여, 하나의 카테고리에 속하는 것으로 예측된다.
단계(945)에서, 단계(940)에서 행해진 비교의 결과에 기초하여, 컴퓨팅 디바이스는 복수의 참조 얼굴 감정들 중에서 얼굴 감정을 선택한다. 환언하면, 단계들(940 및 945)에서, 컴퓨팅 디바이스는 메시의 적어도 하나의 변형이 특정의 얼굴 감정을 나타낸다고 결정한다. 도 10a 및 도 10b는, 각각, 이 방법(900)에 의해 식별될 수 있는 예시적인 얼굴 감정들을 예시하는 2개의 비디오 영상들(1000A 및 1000B)을 도시하고 있다. 상세하게는, 도 10a는 얼굴 구역에 정렬된 메시(1000)를 갖는 예시적인 긍정적 얼굴 감정을 도시하는 반면, 도 10b는 대응하는 얼굴 구역에 정렬된 메시(1000)를 갖는 예시적인 부정적 얼굴 감정(예컨대, 분노)을 도시하고 있다.
단계(950)에서, 컴퓨팅 디바이스는 특정의 얼굴 감정과 연관된 데이터를 포함하는 정보를 생성한다. 특정 실시예들에서, 결정된 특정의 얼굴 감정이, 분노, 스트레스, 짜증, 격분 등과 같은, 부정적 감정을 나타내는 경우에만 정보가 생성된다. 정보는 통지, 경보, 표시, 또는 메시지라고도 지칭될 수 있다. 그에 따라, 정보는 디스플레이가능 메시지 또는 오디오 메시지로서 제1 개인(고객 서비스 담당자 또는 서비스 제공자)에게 제시될 수 있다.
동일한 단계(950)에서, 컴퓨팅 디바이스는 얼굴 감정에 관련된 데이터를 포함하는 통신을 통신 네트워크를 통해, 감독관, 매니저, 관리자, 또는 사회자와 같은, 제3자에게 임의로 전송할 수 있다.
임의적인 단계(955)에서, 컴퓨팅 디바이스는 제3자가 제1 개인(고객 서비스 담당자 또는 서비스 제공자)와 제2 개인(고객) 간의 비디오 회의를 검토 또는 관찰할 수 있게 할 수 있고 그리고/또는 제1 개인과 제2 개인 사이의 비디오 회의에 참여할 수 있게 할 수 있다. 이 경우에, 제3자는 어려운 상황에 대처하고 제1 개인에 의해 해결될 수 없는 그 분노한 고객 문제들을 해결하려고 시도할 수 있다. 제1 개인과 제2 개인 간의 비디오 회의에 참여한다는 것은 임의로 제1 개인이 비디오 회의를 계속하지 못하게 된다는 것을 의미할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스는 결정된 얼굴 감정에 관련된 데이터를 다른 데이터와 결합시키는 것에 의해 제2 개인(고객)의 감정 상태를 결정할 수 있다. 일 예에서, 감정 상태는 고객의 얼굴 감정들 및 제스처들에 기초하여 결정될 수 있다. 이 목적들을 위해, 컴퓨팅 디바이스는 비디오에서 개개의 움직임들을 추적하고, 하나 이상의 제스처들을 식별하며, 제스처들 중 적어도 하나가, 부정적 감정과 같은, 미리 결정된 감정에 관련되어 있다고 결정할 수 있다. 게다가, 컴퓨팅 디바이스는 결정된 얼굴 감정과 연관된 데이터와 식별된 제스처와 연관된 데이터를 결합시켜, 제2 개인의 감정 상태를 생성할 수 있다. 이상과 유사하게, 감정 상태가 제1 개인 및/또는 제3자에게 전송되어 제시될 수 있다.
도 11은 도 9에 도시된 비디오 회의 방법(900)에서 사용될 수 있는 예시적인 오디오 감정 인식 프로세스(1100)를 나타낸 프로세스 흐름도이다. 프로세스(1100)는 하드웨어(예컨대, 의사 결정 로직, 전용 로직, 프로그램가능 로직, 및 마이크로코드), 소프트웨어(범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는 소프트웨어 등), 또는 이 둘의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 하나의 예시적인 실시예에서, 처리 로직은 시스템(400)의 하나 이상의 컴포넌트들을 지칭한다. 프로세스(1100)의 이하에서 언급되는 단계들이 도 11에 기술되고 도시된 것과 상이한 순서로 구현될 수 있다는 것에 유의해야 한다. 더욱이, 프로세스(1100)는, 여기에 도시되어 있지는 않지만 본 개시내용으로부터 본 기술분야의 통상의 기술자에게는 명백할 수 있는, 부가의 단계들을 가질 수 있다. 프로세스(1100)는 또한 이하에서 개략적으로 기술되고 도 11에 도시된 것보다 더 적은 수의 단계들을 가질 수 있다.
단계(1105)에서, 컴퓨팅 디바이스는 단계(910)에서 수신된 비디오와 연관된 오디오 스트림을 수신한다. 환언하면, 단계(1105)에서, 컴퓨팅 디바이스는, 고객 서비스 담당자 또는 서비스 제공자와 같은, 제1 개인과, 고객과 같은, 제2 개인 사이의 비디오 회의 세션의 오디오 스트림을 수신한다.
단계(1110)에서, 컴퓨팅 디바이스는 오디오 스트림으로부터 적어도 하나의 음성 특징을 추출한다. 음성 특징들 중에는, 기본 주파수의 최댓값, 기본 주파수의 표준 편차, 기본 주파수의 범위, 기본 주파수의 평균값(mean value), 제1 포먼트(formant)의 대역폭의 평균(mean), 제2 포먼트의 대역폭의 평균, 에너지의 표준 편차, 발화 속도(speaking rate), 기본 주파수의 기울기(slope), 제1 포먼트의 최댓값, 제2 포먼트의 최댓값, 에너지의 최댓값, 에너지의 범위, 제2 포먼트의 범위, 및 제1 포먼트의 범위 중 하나 이상이 있을 수 있다.
단계(1115)에서, 컴퓨팅 디바이스는 추출된 적어도 하나의 음성 특징을 복수의 참조 음성 특징들과 비교한다. 방법(900)과 유사하게, 이 단계는 SVM, CNN, 및 통계 또는 휴리스틱 알고리즘과 같은, 머신 러닝 알고리즘의 도움을 받아 수행될 수 있다.
단계(1120)에서, 컴퓨팅 디바이스는 추출된 적어도 하나의 음성 특징과 복수의 참조 음성 특징들의 비교에 기초하여 음성 감정을 선택한다.
일부 실시예들에서, 단계들(1110 및 1115)에 부가하여, 또는 단계들(1110 및 1115) 대신에, 임의적인 단계(1125)에서, 컴퓨팅 디바이스는 제2 개인의 음성을 식별하고 인식할 수 있다(즉, 추가 처리를 위해 음성 입력을 텍스트 입력으로 변환함). 예를 들어, 음성을 검출하고 이를 텍스트로 변환하기 위해 단계(1125)에서 하나 이상의 자연어 처리 프로세스들이 적용될 수 있다.
인식된 음성의 분석에 기초하여, 단계(1120)에서, 컴퓨팅 디바이스는 특정 키워드들 또는 문구들이 인식된 음성에 존재한 결과로서 특정의 음성 감정을 선택하거나 그의 선택을 용이하게 할 수 있다. 예를 들어, 인식된 음성이 저속한, 모욕적인, 또는 불쾌한 속어들을 포함할 때, 부정적 감정이 선택되고 오디오 스트림에 기인할 수 있다.
단계(1130)에서, 컴퓨팅 디바이스는 임의로 방법(900)에서 결정된 바와 같은 음성 감정 및 얼굴 감정을 제2 개인(고객)의 단일 정서 상태로 결합시킨다. 게다가, 감정 상태는 앞서 논의된 바와 같은 추가 조치를 위해 제1 개인(서비스 제공자) 및/또는 제3자(감독관)에게 전송되어 제시될 수 있다.
7. 결론
따라서, 감정 인식을 수반하는 비디오 회의 방법들 및 시스템들이 기술되었다. 실시예들이 특정 예시적인 실시예들을 참조하여 기술되었지만, 본 출원의 보다 광의의 범주를 벗어남이 없이 이 예시적인 실시예들에 대해 다양한 수정들 및 변경들이 행해질 수 있다는 것이 명백할 것이다. 그에 따라, 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

Claims (20)

  1. 하나 이상의 프로세서에 의해, 제1 사용자 및 제2 사용자를 포함하는, 복수의 참가자들 사이의 통신과 관련된 통신 데이터를 수신하는 단계 - 상기 통신 데이터는 비디오 데이터 및 오디오 데이터를 포함함 -;
    상기 비디오 데이터로부터 결정되는, 상기 제1 사용자의 하나 이상의 얼굴 특징과, 상기 오디오 데이터로부터 결정되는, 상기 제1 사용자의 음성 감정의 조합에 기초하여 상기 제1 사용자의 감정을 결정하는 단계; 및
    상기 제1 사용자의 상기 하나 이상의 얼굴 특징과 상기 제1 사용자의 상기 음성 감정의 상기 조합과 연관된 데이터를 포함하는 통신을 생성하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 사용자의 상기 감정이 부정적인 감정이라고 결정하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 감정이 상기 부정적인 감정이라는 결정에 응답하여, 상기 복수의 참가자들 사이의 회의의 비참가자에게 전송하기 위한 통신을 생성하는 단계 - 상기 통신은 상기 부정적인 감정과 연관된 데이터를 포함함 - 를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 수신된 통신 데이터는 비디오회의에 상응하는 영상들의 시퀀스를 포함하고, 상기 방법은:
    상기 영상들 중 하나 이상의 영상들에서의 적어도 하나의 관심 객체(object of interest)를 검출하는 단계;
    상기 적어도 하나의 관심 객체의 특징 참조점(feature reference point)들을 찾아내는 단계; 및
    상기 특징 참조점들 중에서 둘 이상의 특징 참조점들 사이의 적어도 하나의 변형이 복수의 참조 얼굴 감정(reference facial emotion)들 중에서 선택된 얼굴 감정을 나타낸다고 결정하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 변형이 얼굴 감정을 나타낸다고 결정하는 상기 단계는:
    둘 이상의 특징 참조점들 사이의 상기 변형을 상기 복수의 얼굴 감정들의 참조 얼굴 파라미터(reference facial parameter)들과 비교하는 단계; 및
    둘 이상의 특징 참조점들 사이의 상기 변형과 상기 참조 얼굴 파라미터들의 상기 비교에 기초하여 상기 얼굴 감정을 선택하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 제1 사용자는 서비스 제공자이고, 상기 방법은:
    상기 서비스 제공자와 상기 제2 사용자 사이의 비디오 회의를 구축하는 단계; 및
    통신 네트워크를 통해 제3자에게 상기 통신을 전송하는 단계를 더 포함하는, 방법.
  7. 제1항에 있어서,
    하나 이상의 제스처들을 검출하는 단계; 및
    상기 하나 이상의 제스처들이 부정적인 감정과 연관된다고 결정하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 통신 데이터는 오디오 스트림을 포함하는, 방법.
  9. 제8항에 있어서,
    상기 오디오 스트림으로부터 적어도 하나의 음성 특징을 추출하는 단계;
    상기 추출된 적어도 하나의 음성 특징을 복수의 참조 음성 특징들과 비교하는 단계; 및
    상기 비교에 기초하여 상기 제1 사용자의 상기 감정이 부정적인 감정이라고 검출하는 단계를 더 포함하는, 방법.
  10. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 연결된 비-일시적 프로세서-판독가능 매체를 포함하고, 상기 비-일시적 프로세서-판독가능 매체는 머신의 하나 이상의 프로세서에 의해 실행될 때,
    제1 사용자 및 제2 사용자를 포함하는, 복수의 참가자들 사이의 통신과 관련된 통신 데이터를 수신하는 동작 - 상기 통신 데이터는 비디오 데이터 및 오디오 데이터를 포함함 -;
    상기 비디오 데이터로부터 결정되는, 상기 제1 사용자의 하나 이상의 얼굴 특징과, 상기 오디오 데이터로부터 결정되는, 상기 제1 사용자의 음성 감정의 조합에 기초하여 상기 제1 사용자의 감정을 결정하는 동작; 및
    상기 제1 사용자의 상기 하나 이상의 얼굴 특징과 상기 제1 사용자의 상기 음성 감정의 상기 조합과 연관된 데이터를 포함하는 통신을 생성하는 동작
    을 포함하는 동작들을 상기 머신으로 하여금 수행하도록 하는 프로세서-실행가능 명령어들을 포함하는, 시스템.
  11. 제10항에 있어서,
    상기 동작들은, 상기 제1 사용자의 상기 감정이 부정적인 감정이라고 결정하는 동작을 더 포함하는, 시스템.
  12. 제11항에 있어서,
    상기 동작들은, 상기 감정이 상기 부정적인 감정이라는 결정에 응답하여, 상기 복수의 참가자들 사이의 회의의 비참가자에게 전송하기 위한 통신을 생성하는 동작 - 상기 통신은 상기 부정적인 감정과 연관된 데이터를 포함함 - 을 더 포함하는, 시스템.
  13. 제10항에 있어서,
    상기 수신된 통신 데이터는 비디오회의에 상응하는 영상들의 시퀀스를 포함하고, 상기 동작들은:
    상기 영상들 중 하나 이상의 영상들에서의 적어도 하나의 관심 객체를 검출하는 동작;
    상기 적어도 하나의 관심 객체의 특징 참조점들을 찾아내는 동작; 및
    상기 특징 참조점들 중에서 둘 이상의 특징 참조점들 사이의 적어도 하나의 변형이 복수의 참조 얼굴 감정들 중에서 선택된 얼굴 감정을 나타낸다고 결정하는 동작을 더 포함하는, 시스템.
  14. 제13항에 있어서,
    상기 적어도 하나의 변형이 얼굴 감정을 나타낸다고 결정하는 상기 동작은:
    둘 이상의 특징 참조점들 사이의 상기 변형을 상기 복수의 얼굴 감정들의 참조 얼굴 파라미터들과 비교하는 동작; 및
    둘 이상의 특징 참조점들 사이의 상기 변형과 상기 참조 얼굴 파라미터들의 상기 비교에 기초하여 상기 얼굴 감정을 선택하는 동작을 더 포함하는, 시스템.
  15. 제10항에 있어서,
    상기 제1 사용자는 서비스 제공자이고, 상기 동작들은:
    상기 서비스 제공자와 상기 제2 사용자 사이의 비디오 회의를 구축하는 동작; 및
    통신 네트워크를 통해 제3자에게 상기 통신을 전송하는 동작을 더 포함하는, 시스템.
  16. 제10항에 있어서,
    상기 동작들은, 하나 이상의 제스처들을 검출하는 동작; 및
    상기 하나 이상의 제스처들이 부정적인 감정과 연관된다고 결정하는 동작을 더 포함하는, 시스템.
  17. 제10항에 있어서,
    상기 통신 데이터는 오디오 스트림을 포함하는, 시스템.
  18. 제17항에 있어서,
    상기 동작들은,
    상기 오디오 스트림으로부터 적어도 하나의 음성 특징을 추출하는 동작;
    상기 추출된 적어도 하나의 음성 특징을 복수의 참조 음성 특징들과 비교하는 동작; 및
    상기 비교에 기초하여 상기 제1 사용자의 상기 감정이 부정적인 감정이라고 검출하는 동작을 더 포함하는, 시스템.
  19. 비-일시적 프로세서-판독가능 매체로서, 머신의 하나 이상의 프로세서에 의해 실행될 때,
    제1 사용자 및 제2 사용자를 포함하는, 복수의 참가자들 사이의 통신과 관련된 통신 데이터를 수신하는 동작 - 상기 통신 데이터는 비디오 데이터 및 오디오 데이터를 포함함 -;
    상기 비디오 데이터로부터 결정되는, 상기 제1 사용자의 하나 이상의 얼굴 특징과, 상기 오디오 데이터로부터 결정되는, 상기 제1 사용자의 음성 감정의 조합에 기초하여 상기 제1 사용자의 감정을 결정하는 동작; 및
    상기 제1 사용자의 상기 하나 이상의 얼굴 특징과 상기 제1 사용자의 상기 음성 감정의 상기 조합과 연관된 데이터를 포함하는 통신을 생성하는 동작
    을 포함하는 동작들을 상기 머신으로 하여금 수행하도록 하는 프로세서-실행가능 명령어들을 포함하는, 비-일시적 프로세서-판독가능 매체.
  20. 제19항에 있어서, 상기 동작들은:
    상기 제1 사용자의 상기 감정이 부정적인 감정이라고 결정하는 동작을 더 포함하는, 비-일시적 프로세서-판독가능 매체.
KR1020217007806A 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식 KR102380222B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227009954A KR102509398B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/661,539 2015-03-18
US14/661,539 US9576190B2 (en) 2015-03-18 2015-03-18 Emotion recognition in video conferencing
KR1020207002738A KR102230473B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식
PCT/US2016/023063 WO2016149579A1 (en) 2015-03-18 2016-03-18 Emotion recognition in video conferencing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002738A Division KR102230473B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227009954A Division KR102509398B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식

Publications (2)

Publication Number Publication Date
KR20210032550A true KR20210032550A (ko) 2021-03-24
KR102380222B1 KR102380222B1 (ko) 2022-03-30

Family

ID=54210027

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217007806A KR102380222B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식
KR1020207002738A KR102230473B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식
KR1020227009954A KR102509398B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식
KR1020177030003A KR102073168B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020207002738A KR102230473B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식
KR1020227009954A KR102509398B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식
KR1020177030003A KR102073168B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 감정 인식

Country Status (5)

Country Link
US (8) US9576190B2 (ko)
EP (2) EP3399467B1 (ko)
KR (4) KR102380222B1 (ko)
CN (1) CN107636684A (ko)
WO (1) WO2016149579A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482924B1 (ko) * 2021-08-26 2022-12-29 주식회사 모노랩스 리펄시브 포스를 통한 얼굴 중심 비대면 커뮤니케이션 시스템
KR20230083468A (ko) * 2021-12-03 2023-06-12 한예은 메타버스 기반 화상 채팅 서비스 시스템 및 방법
KR102640762B1 (ko) * 2023-05-15 2024-02-28 주식회사 상화 화자 기반 영상 오토 스위칭 방법
KR102648226B1 (ko) * 2023-06-08 2024-03-15 주식회사 메디마인드 상대방의 부정적 감정을 예측하여 줄이도록 하기 위한 특정 컨텐츠를 제공하는 방법 및 이를 이용한 컴퓨팅 장치

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
US9747573B2 (en) * 2015-03-23 2017-08-29 Avatar Merger Sub II, LLC Emotion recognition for workforce analytics
US10061977B1 (en) 2015-04-20 2018-08-28 Snap Inc. Determining a mood for a group
WO2017004241A1 (en) * 2015-07-02 2017-01-05 Krush Technologies, Llc Facial gesture recognition and video analysis tool
WO2017015949A1 (en) * 2015-07-30 2017-02-02 Intel Corporation Emotion augmented avatar animation
KR20170027589A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 기능 제어 방법 및 그 방법을 처리하는 전자 장치
WO2017083875A1 (en) * 2015-11-13 2017-05-18 Reaction Stream Llc A system and method for recording and displaying a reaction to a focus
US20170169008A1 (en) * 2015-12-15 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic device for sentiment classification
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US10223581B2 (en) 2015-12-27 2019-03-05 Interactive Intelligence Group, Inc. System and method for video analysis
JP2017151517A (ja) 2016-02-22 2017-08-31 富士ゼロックス株式会社 ロボット制御システム
US11404170B2 (en) * 2016-04-18 2022-08-02 Soap, Inc. Method and system for patients data collection and analysis
US10062216B2 (en) * 2016-09-13 2018-08-28 Aleksey Konoplev Applying facial masks to faces in live video
JP6855737B2 (ja) * 2016-10-05 2021-04-07 富士ゼロックス株式会社 情報処理装置、評価システムおよびプログラム
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR20180039402A (ko) * 2016-10-10 2018-04-18 주식회사 하이퍼커넥트 영상 표시 장치 및 영상 표시 방법
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
US10148910B2 (en) * 2016-12-30 2018-12-04 Facebook, Inc. Group video session
WO2018168427A1 (ja) * 2017-03-13 2018-09-20 ソニー株式会社 学習装置、学習方法、音声合成装置、音声合成方法
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
CN107463488B (zh) * 2017-08-09 2020-12-08 合肥联宝信息技术有限公司 一种数据处理方法及电子设备
CN107633207B (zh) * 2017-08-17 2018-10-12 平安科技（深圳）有限公司 Au特征识别方法、装置及存储介质
WO2019040524A1 (en) * 2017-08-21 2019-02-28 Muvik Labs, Llc METHOD AND SYSTEM FOR MUSIC COMMUNICATION
US11185254B2 (en) * 2017-08-21 2021-11-30 Muvik Labs, Llc Entrainment sonification techniques
GB201713829D0 (en) * 2017-08-29 2017-10-11 We Are Human Ltd Image data processing system and method
WO2019050508A1 (en) * 2017-09-06 2019-03-14 Hitachi Data Systems Corporation EMOTION DETECTION ACTIVATED VIDEO CUSHIONING
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US11785180B2 (en) 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
US10382722B1 (en) 2017-09-11 2019-08-13 Michael H. Peters Enhanced video conference management
US11122240B2 (en) 2017-09-11 2021-09-14 Michael H Peters Enhanced video conference management
US20190110736A1 (en) * 2017-10-17 2019-04-18 Beneufit, Inc. Measuring body movement in movement disorder disease
CN107704921A (zh) * 2017-10-19 2018-02-16 北京智芯原动科技有限公司 基于Neon指令的卷积神经网络的算法优化方法及装置
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10956831B2 (en) * 2017-11-13 2021-03-23 International Business Machines Corporation Detecting interaction during meetings
US10250851B1 (en) 2017-11-16 2019-04-02 International Business Machines Corporation Video feeds in collaboration environments
CN108052889B (zh) * 2017-12-08 2020-07-24 深圳壹账通智能科技有限公司 情绪识别方法、装置及存储介质
CN108491764B (zh) * 2018-03-05 2020-03-17 竹间智能科技（上海）有限公司 一种视频人脸情绪识别方法、介质及设备
US11106898B2 (en) * 2018-03-19 2021-08-31 Buglife, Inc. Lossy facial expression training data pipeline
KR102128158B1 (ko) * 2018-05-09 2020-06-29 연세대학교 산학협력단 시공간 주의 기반 감정 인식 장치 및 방법
CN110555346A (zh) * 2018-06-01 2019-12-10 杭州海康威视数字技术股份有限公司 驾驶员情绪检测方法、装置、电子设备及存储介质
CN109002778A (zh) * 2018-06-29 2018-12-14 上海小蚁科技有限公司 关注量确定方法及装置、存储介质、终端
US10897647B1 (en) * 2018-07-25 2021-01-19 Imdb.Com, Inc. Ascertaining audience reactions for a media item
CN109087670B (zh) * 2018-08-30 2021-04-20 西安闻泰电子科技有限公司 情绪分析方法、系统、服务器及存储介质
JP7225631B2 (ja) * 2018-09-21 2023-02-21 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
CN109360130A (zh) * 2018-10-29 2019-02-19 四川文轩教育科技有限公司 一种基于人工智能的学生情绪监测方法
USD896254S1 (en) * 2018-10-30 2020-09-15 Perfect Mobile Corp. Display screen with graphical user interface
US11222199B2 (en) * 2018-12-05 2022-01-11 International Business Machines Corporation Automatically suggesting behavioral adjustments during video conferences
CN109829364A (zh) * 2018-12-18 2019-05-31 深圳云天励飞技术有限公司 一种表情识别方法、装置和推荐方法、装置
US20200252585A1 (en) * 2019-02-05 2020-08-06 Shijian Tech (Hangzhou) Ltd. Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras
CN109886223B (zh) * 2019-02-26 2022-05-17 北京旷视科技有限公司 人脸识别方法、底库录入方法、装置及电子设备
US11568645B2 (en) * 2019-03-21 2023-01-31 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
US10834456B2 (en) 2019-03-28 2020-11-10 International Business Machines Corporation Intelligent masking of non-verbal cues during a video communication
CN113646838B (zh) * 2019-04-05 2022-10-11 华为技术有限公司 在视频聊天过程中提供情绪修改的方法和系统
WO2020222785A1 (en) * 2019-04-30 2020-11-05 Hewlett-Packard Development Company, L.P. Facial action unit detection
US11102353B2 (en) * 2019-05-07 2021-08-24 Avaya Inc. Video call routing and management based on artificial intelligence determined facial emotion
KR102282963B1 (ko) * 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US11038933B1 (en) 2019-06-25 2021-06-15 Amazon Technologies, Inc. Hybrid videoconferencing architecture for telemedicine
US11194995B1 (en) * 2019-06-25 2021-12-07 Amazon Technologies, Inc. Video composition management system
US11348368B2 (en) 2019-06-27 2022-05-31 Nextiva, Inc. Measuring and transmitting emotional feedback in group teleconferences
CN110650306B (zh) * 2019-09-03 2022-04-15 平安科技（深圳）有限公司 视频聊天中添加表情的方法、装置、计算机设备及存储介质
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102375447B1 (ko) * 2019-10-16 2022-03-17 임대열 머신 러닝을 이용한 사람의 감정 및 신체 상태 정보 획득 방법 및 장치
US11113890B2 (en) * 2019-11-04 2021-09-07 Cognizant Technology Solutions India Pvt. Ltd. Artificial intelligence enabled mixed reality system and method
USD954076S1 (en) * 2019-11-25 2022-06-07 LINE Plus Corporation Display panel with a graphical user interface
US11249883B2 (en) * 2020-01-02 2022-02-15 Bank Of America Corporation Error repair tool using sentiment analysis
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
USD949200S1 (en) * 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD948574S1 (en) * 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
US11663851B2 (en) * 2020-02-13 2023-05-30 International Business Machines Corporation Detecting and notifying for potential biases in artificial intelligence applications
CN111325161B (zh) * 2020-02-25 2023-04-18 四川翼飞视科技有限公司 一种基于注意力机制的人脸检测神经网络的构建方法
WO2021182982A1 (ru) * 2020-03-13 2021-09-16 Ооо "Нв-Эмоции" Систем социально-психологического мониторинга человека
JP7248615B2 (ja) * 2020-03-19 2023-03-29 ヤフー株式会社 出力装置、出力方法及び出力プログラム
US20210327423A1 (en) * 2020-04-15 2021-10-21 Centurylink Intellectual Property Llc Method and system for monitoring content of a communication session over a network
CN111641798A (zh) * 2020-06-15 2020-09-08 黑龙江科技大学 一种视频通信方法及装置
CN111818290B (zh) * 2020-06-29 2021-07-09 广州快决测信息科技有限公司 一种在线访谈的方法及系统
CN111885343B (zh) * 2020-07-31 2022-06-14 中国工商银行股份有限公司 特征处理方法及装置、电子设备和可读存储介质
US11570307B2 (en) * 2020-08-03 2023-01-31 Microsoft Technology Licensing, Llc Automatic reaction-triggering for live presentations
CN111986703B (zh) * 2020-08-20 2023-05-26 随锐科技集团股份有限公司 视频会议方法及系统、计算机可读存储介质
CN112312203B (zh) * 2020-08-25 2023-04-07 北京沃东天骏信息技术有限公司 视频播放方法、装置和存储介质
GB202017750D0 (en) 2020-11-10 2020-12-23 Mead Johnson Nutrition Co Systems and methods for recognising children suffering cows' milk allergy
CN112465935A (zh) * 2020-11-19 2021-03-09 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
CN112437247B (zh) * 2020-11-24 2022-10-14 随锐科技集团股份有限公司 视频会议方法及系统、计算机可读存储介质
KR102275741B1 (ko) * 2020-11-27 2021-07-09 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
CN112364828B (zh) * 2020-11-30 2022-01-04 天津金城银行股份有限公司 人脸识别方法及金融系统
CN112669876A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 情绪识别方法、装置、计算机设备及存储介质
US11240469B1 (en) * 2020-12-18 2022-02-01 Frqncy, Inc. Systems and methods for audience interactions in real-time multimedia applications
CN112560756A (zh) * 2020-12-24 2021-03-26 北京嘀嘀无限科技发展有限公司 识别人脸的方法、装置、电子设备和存储介质
US11366583B1 (en) 2021-02-02 2022-06-21 Bank Of America Corporation Computer-to-computer users# edit and event transfer and synchronization
USD962290S1 (en) * 2021-03-03 2022-08-30 Johnson & Johnson Consumer Inc. Display screen or portion thereof with icon
US11652960B2 (en) 2021-05-14 2023-05-16 Qualcomm Incorporated Presenting a facial expression in a virtual meeting
WO2021226607A1 (en) * 2021-06-09 2021-11-11 Innopeak Technology, Inc. Systems and methods for video recognition
WO2023052187A1 (en) 2021-10-01 2023-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatuses for teleconferencing systems
CN114419694A (zh) * 2021-12-21 2022-04-29 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
US11916688B2 (en) 2022-06-29 2024-02-27 Zoom Video Communications, Inc. Custom conference recording
WO2024010484A1 (en) * 2022-07-07 2024-01-11 Nvidia Corporation Audio-driven facial animation with emotion support using machine learning
CN117235306A (zh) * 2023-11-13 2023-12-15 北京师范大学 基于人工智能的人机交互式教育视频精准推送方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035934A1 (en) * 2011-04-11 2014-02-06 Yangzhou Du Avatar Facial Expression Techniques

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US6850872B1 (en) * 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US20020107820A1 (en) 2000-12-01 2002-08-08 Stephen Huxter Single courier model for the delivery of goods ordered by the internet
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
WO2003092577A1 (en) 2002-05-03 2003-11-13 Munchkin, Inc. Variable flow infant feeding assembly
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
WO2005046195A1 (en) * 2003-11-05 2005-05-19 Nice Systems Ltd. Apparatus and method for event-driven content analysis
US20050131744A1 (en) 2003-12-10 2005-06-16 International Business Machines Corporation Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
US8965762B2 (en) * 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
JP4838351B2 (ja) * 2007-03-29 2011-12-14 パナソニック株式会社 キーワード抽出装置
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
BRPI0809759A2 (pt) * 2007-04-26 2014-10-07 Ford Global Tech Llc "sistema informativo emotivo, sistemas de informações emotivas, métodos de condução emotiva de informações, sistemas informativos emotivos para um veículo de passageiro e método implementado por computador"
JP5099488B2 (ja) * 2007-08-31 2012-12-19 カシオ計算機株式会社 撮像装置、顔認識方法およびそのプログラム
JP4914398B2 (ja) * 2008-04-09 2012-04-11 キヤノン株式会社 表情認識装置、撮像装置、方法及びプログラム
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
CN101777116B (zh) * 2009-12-23 2012-07-25 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
US9443227B2 (en) 2010-02-16 2016-09-13 Tigertext, Inc. Messaging system apparatuses circuits and methods of operation thereof
US8412530B2 (en) * 2010-02-21 2013-04-02 Nice Systems Ltd. Method and apparatus for detection of sentiment in automated transcriptions
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
TWI430185B (zh) * 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品
US8698872B2 (en) 2011-03-02 2014-04-15 At&T Intellectual Property I, Lp System and method for notification of events of interest during a video conference
US20130166274A1 (en) * 2011-12-21 2013-06-27 Avaya Inc. System and method for managing avatars
CN103177269B (zh) * 2011-12-23 2017-12-15 北京三星通信技术研究有限公司 用于估计对象姿态的设备和方法
CN102930298B (zh) * 2012-09-02 2015-04-29 北京理工大学 基于多层增强hmm的语音-视觉融合的情感识别方法
US9105042B2 (en) * 2013-02-07 2015-08-11 Verizon Patent And Licensing Inc. Customer sentiment analysis using recorded conversation
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035934A1 (en) * 2011-04-11 2014-02-06 Yangzhou Du Avatar Facial Expression Techniques

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482924B1 (ko) * 2021-08-26 2022-12-29 주식회사 모노랩스 리펄시브 포스를 통한 얼굴 중심 비대면 커뮤니케이션 시스템
KR20230083468A (ko) * 2021-12-03 2023-06-12 한예은 메타버스 기반 화상 채팅 서비스 시스템 및 방법
KR102640762B1 (ko) * 2023-05-15 2024-02-28 주식회사 상화 화자 기반 영상 오토 스위칭 방법
KR102648226B1 (ko) * 2023-06-08 2024-03-15 주식회사 메디마인드 상대방의 부정적 감정을 예측하여 줄이도록 하기 위한 특정 컨텐츠를 제공하는 방법 및 이를 이용한 컴퓨팅 장치

Also Published As

Publication number Publication date
CN107636684A (zh) 2018-01-26
US20180075292A1 (en) 2018-03-15
US10949655B2 (en) 2021-03-16
WO2016149579A1 (en) 2016-09-22
EP3399467B1 (en) 2023-06-21
US20150286858A1 (en) 2015-10-08
KR20220044610A (ko) 2022-04-08
KR102230473B1 (ko) 2021-03-23
EP3271870B1 (en) 2023-06-28
KR20170136538A (ko) 2017-12-11
US9852328B2 (en) 2017-12-26
US20170154211A1 (en) 2017-06-01
US10599917B1 (en) 2020-03-24
US10963679B1 (en) 2021-03-30
US11652956B2 (en) 2023-05-16
US10235562B2 (en) 2019-03-19
KR102380222B1 (ko) 2022-03-30
US20210192193A1 (en) 2021-06-24
US20190156112A1 (en) 2019-05-23
EP3399467A1 (en) 2018-11-07
KR102509398B1 (ko) 2023-03-15
US10255488B1 (en) 2019-04-09
KR20200013267A (ko) 2020-02-06
US9576190B2 (en) 2017-02-21
EP3271870A1 (en) 2018-01-24
KR102073168B1 (ko) 2020-02-05

Similar Documents

Publication Publication Date Title
KR102230473B1 (ko) 비디오 회의에서의 감정 인식
US11922356B1 (en) Emotion recognition for workforce analytics
US11290682B1 (en) Background modification in video conferencing
US9232189B2 (en) Background modification in video conferencing
US20230123005A1 (en) Real-time video dimensional transformations of video for presentation in mixed reality-based virtual spaces
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
US20230036338A1 (en) Method and apparatus for generating image restoration model, medium and program product
US20160071287A1 (en) System and method of tracking an object

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right