WO2022010149A1 - 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
WO2022010149A1
WO2022010149A1 PCT/KR2021/008070 KR2021008070W WO2022010149A1 WO 2022010149 A1 WO2022010149 A1 WO 2022010149A1 KR 2021008070 W KR2021008070 W KR 2021008070W WO 2022010149 A1 WO2022010149 A1 WO 2022010149A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
psychological test
facial expression
labeling
Prior art date
Application number
PCT/KR2021/008070
Other languages
English (en)
French (fr)
Inventor
안민영
박준영
이정헌
서유민
Original Assignee
주식회사 유엑스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유엑스팩토리 filed Critical 주식회사 유엑스팩토리
Publication of WO2022010149A1 publication Critical patent/WO2022010149A1/ko
Priority to US18/077,442 priority Critical patent/US20230098296A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the present invention relates to a method, system and non-transitory computer-readable storage medium for generating a data set relating to facial expressions.
  • Facial expressions are one of the communication methods for conveying human emotions and opinions, and various studies on facial expression recognition are being conducted to understand human emotions. In particular, in recent years, many technologies have been developed that can accurately recognize changes in facial expressions and classify emotions.
  • the present inventors propose a novel and advanced technology capable of generating an accurate data set related to facial expressions by linking the psychological examination results and facial expression data.
  • Patent Document Korean Patent Publication No. 2012-64541 (2012.06.19)
  • An object of the present invention is to solve all of the problems of the prior art described above.
  • an object of the present invention is to enable accurate labeling by linking information on facial expressions obtained during psychological examination and information on analysis results of psychological examinations with each other.
  • Another object of the present invention is to generate an accurate and highly useful data set related to facial expressions.
  • a representative configuration of the present invention for achieving the above object is as follows.
  • a method for generating a data set relating to facial expressions wherein information relating to facial expressions of a user and information relating to facial expressions of the user specified while the user is performing a psychological examination are associated with each other. obtaining information on the analysis result of the psychological test, performing labeling on the information on the user's facial expression with reference to the information on the analysis result of the psychological test, and on the user's facial expression
  • a method comprising generating a data set comprising information about the labeling and information about the labeling.
  • a system for generating a data set related to facial expressions, information about the facial expression of the user and information about the facial expression of the user specified while the user performs a psychological examination An information acquisition unit for acquiring information on the analysis result of the psychological test associated with the information acquisition unit, a labeling management unit for performing labeling on the information on the facial expression of the user with reference to the information on the analysis result of the psychological examination, and the There is provided a system including a data set management unit for generating a data set including information on a user's facial expression and information on the labeling.
  • FIG. 1 is a diagram schematically showing the configuration of an overall system for generating a data set related to facial expressions according to an embodiment of the present invention.
  • FIG. 2 is a diagram exemplarily showing an internal configuration of a management system according to an embodiment of the present invention.
  • 3 and 4 are diagrams exemplarily illustrating a process in which a data set related to facial expressions is generated and learning is performed based on the data set according to an embodiment of the present invention.
  • control unit 260 control unit
  • FIG. 1 is a diagram schematically showing the configuration of an entire system for collecting facial expression data according to an embodiment of the present invention.
  • the entire system may include a communication network 100 and a management system 200 .
  • the communication network 100 may be configured regardless of communication aspects such as wired communication or wireless communication, and includes a local area network (LAN), a metropolitan area network (MAN). Network) and a wide area network (WAN) may be configured as various communication networks.
  • the communication network 100 as used herein may be a well-known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 is not necessarily limited thereto, and may include a known wired/wireless data communication network, a known telephone network, or a known wired/wireless television communication network in at least a part thereof.
  • the communication network 100 is a wireless data communication network, including Wi-Fi communication, WiFi-Direct communication, Long Term Evolution (LTE) communication, and Bluetooth communication (more specifically, low-power Bluetooth communication). (BLE; Bluetooth Low Energy)), infrared communication, and a conventional communication method such as ultrasonic communication may be implemented in at least a part thereof.
  • the communication network 100 may be an optical communication network that implements at least a part of a conventional communication method such as LiFi (Light Fidelity).
  • the management system 200 provides information on the user's facial expression specified while the user performs the psychological test and the psychological test associated with the information on the user's facial expression.
  • Data including information about an analysis result, labeling information about a user's facial expression with reference to information about an analysis result of a psychological test, and information about a user's facial expression and labeling information A function to create a set can be performed.
  • management system 200 The function of the management system 200 will be described in more detail below. On the other hand, although described above with respect to the management system 200, these descriptions are exemplary, and at least some of the functions or components required for the management system 200 are realized in another management system 200 as needed, or It will be apparent to those skilled in the art that it may be included in an external system (not shown).
  • FIG. 2 is a diagram exemplarily showing the internal configuration of the management system 200 according to an embodiment of the present invention.
  • the management system 200 includes an information acquisition unit 210 , a labeling management unit 220 , a data set management unit 230 , an analysis management unit 240 , and a communication unit 250 . and a control unit 260 .
  • the information acquisition unit 210, the labeling management unit 220, the data set management unit 230, the analysis management unit 240, the communication unit 250 and the control unit 260 at least some of them They may be program modules that communicate with an external system (not shown). These program modules may be included in the management system 200 in the form of an operating system, an application program module, and other program modules, and may be physically stored in various known storage devices.
  • these program modules may be stored in a remote storage device capable of communicating with the management system 200 .
  • these program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
  • the information obtaining unit 210 analyzes the result of the psychological test associated with information on the user's facial expression and information on the user's facial expression, which are specified while the user performs the psychological test. It is possible to perform a function to obtain information about
  • the psychological test may include at least one item related to the user's emotion (or disposition), and more specifically, based on each item or a plurality of items, the user's emotion ( or propensity) can be classified or specified.
  • information about a user's facial expression includes movement, change, pattern, and metric specified based on a predetermined area or landmark of the face in order to recognize the facial expression.
  • a feature or information about a movement, change, pattern, metric, or feature specified based on a predetermined action unit of a facial body part (eg, muscle).
  • a predetermined action unit of a facial body part eg, muscle.
  • information on the emotion (or tendency) or the type specified with reference to at least one question answered by the user while performing the psychological test may be included, and for example, an emotion (or disposition) or its Information about the type may be included.
  • the information acquisition unit 210 may acquire information about the user's facial expressions in time series while the user performs a psychological test, and more specifically, the information acquisition unit 210 may determine whether the user is psychologically tested.
  • information on the facial expression of the user may be specified time-series and representatively obtained in units of predetermined blocks.
  • the block unit is a predetermined expression unit (for example, when a smiling expression and an angry expression are consecutively displayed, each of the smiling expression and the angry expression may mean) or a predetermined item unit (ie, related to a specific emotion) It may mean at least one item unit, for example, if three items are related to a specific emotion, it may mean a unit specified based on the three items).
  • the information acquisition unit 210 may specify information about the analysis result of the psychological test with reference to at least one of at least one expert comment related to the psychological test and at least one of the user's biometric information specified during the psychological test.
  • the user's biometric information may include information on at least one of brain waves, pulse waves, heartbeat, body temperature, blood sugar, pupil changes, blood pressure, and dissolved oxygen amount in blood.
  • the information acquisition unit 210 may include at least one expert's emotion analysis result (or disposition analysis result) obtained based on at least one question of the psychological test or a user's response provided to the at least one question. (ie, expert comments) and the biometric information obtained in the process of responding to the psychological test questions can be used to supplement or verify the analysis results derived from the responses to the psychological test questions.
  • the information acquisition unit 210 derives that the user's emotion is "happy” from the result of the response to the questions of the psychological test, but based on the user's biometric information, the user's emotion is "annoyed”.
  • the result of emotional analysis of the expert is contrary to "happiness”
  • the result of the response to the question of the psychological test is excluded, or the result of the response to the question of the psychological test, the user's biometric information and the result of the expert's emotional analysis, respectively
  • By calculating, comparing, and analyzing a score based on the weight given to it is possible to specify information about the analysis result of the psychological test.
  • the labeling management unit 220 may perform a function of labeling information on the user's facial expression with reference to information on the analysis result of the psychological test.
  • the labeling manager 220 may perform labeling on the information about the user's facial expression with reference to the emotion associated with at least one item of the psychological test. More specifically, the labeling management unit 220 may match the emotion specified in at least one question of the psychological test with information about the user's facial expression obtained while responding to the question. For example, when the emotion of "happiness" is specified in at least one question of the psychological test, while responding to the at least one question, information about the user's facial expression is information about "happiness" can be matched with
  • the data set generation management unit 230 may perform a function of generating a data set including information on the user's facial expression and information on the above labeling.
  • the data set generation management unit 230 sets the information on the user's facial expression and the information on the emotion labeled for it (that is, the information on the above labeling) as a bundle (or as a unit set) ) can be created as a data set containing multiple bundles.
  • the analysis management unit 240 may perform learning related to facial expression analysis based on the data set generated by the data set generation management unit 230 .
  • the learning related to facial expression analysis may include various learning related to face recognition, emotion recognition, etc. that can be performed based on facial expression analysis. It should be noted that the types of learning according to the present invention are not necessarily limited to those listed above, and can be variously changed within a range that can achieve the object of the present invention.
  • the analysis management unit 240 obtains information about a feature, pattern or metric of a facial expression corresponding to each of a plurality of emotions from a data set, and By training a learning model using the learning data, a learning model related to facial expression analysis (eg, a learning model capable of estimating the emotion of the person from the facial image of the person) may be generated.
  • a learning model may include various machine learning models such as an artificial neural network or a deep learning model.
  • a learning model includes a support vector machine model, a hidden map A Hidden Markov model, a k-nearest neighbor model, a random forest model, and the like may be included.
  • the communication unit 250 transmits/receives data to/from the information acquisition unit 210 , the labeling management unit 220 , the data set generation management unit 230 and the analysis management unit 240 . function that makes it possible.
  • the control unit 260 includes the data between the information acquisition unit 210 and the labeling management unit 220 , the data set generation management unit 230 , the analysis management unit 240 , and the communication unit 250 . It can control the flow of That is, the control unit 260 according to the present invention by controlling the data flow to/from the outside of the management system 200 or the data flow between each component of the management system 200, the information acquisition unit 210 and the labeling management unit 220 , the analysis management unit 240 , and the communication unit 250 may be controlled to perform their own functions, respectively.
  • 3 and 4 are diagrams exemplarily illustrating a process of collecting facial expression data and learning based on the data according to an embodiment of the present invention.
  • the user wears the wearable device 300 and performs a psychological examination.
  • the wearable device 300 is a digital device including a function to communicate after accessing the management system 200, and is portable such as a smart watch, smart glasses, etc., and includes a memory means. It may be a digital device equipped with a microprocessor and equipped with an arithmetic capability.
  • At least one function of the information acquisition unit 210 of the management system 200 , the labeling management unit 220 , and the analysis management unit 240 may be performed in the wearable device 300 .
  • the wearable device 300 according to an embodiment of the present invention may provide a user with a user interface necessary to perform the above functions.
  • information on a user's facial expression may be acquired in time series through the wearable device 300 while the user performs a psychological test.
  • information on emotion corresponding to the at least one question is obtained with reference to the result of the user's response to the at least one question of the psychological test, and the above information is obtained for the at least one question of the psychological test
  • An expert's emotional analysis result may be provided as an expert comment with respect to the result answered by the user.
  • information on the analysis result of the psychological test may be obtained with reference to the emotion information corresponding to the at least one question and the emotion analysis result of the expert.
  • user biometric information obtained through the wearable device 300 while the user performs the psychological test may be further referenced.
  • labeling may be performed on the information on the facial expression of the user based on the information on the analysis result of the psychological test.
  • a data set can then be generated that includes information about the user's facial expressions and information about labeling.
  • At least one learning model for recognizing emotion based on facial expression analysis may be generated.
  • the emotional state may be specified by analyzing the facial expression based on the at least one learning model above.
  • the embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and used by those skilled in the computer software field.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • a hardware device may be converted into at least one software module to perform the processing according to the present invention, and vice versa.

Abstract

본 발명의 일 태양에 따르면, 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법으로서, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 단계, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 단계, 및 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 단계를 포함하는 방법이 제공된다.

Description

얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
본 발명은 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
얼굴 표정은 사람의 감정과 의사를 전달하기 위한 의사 소통 방법 중 하나로서, 사람의 감정을 이해하기 위해 표정 인식에 관한 다양한 연구가 진행되고 있다. 특히, 근래에 들어, 사람의 얼굴에 나타나는 표정 변화를 정확히 인지하고 감정을 분류할 수 있는 많은 기술들이 개발되고 있다.
하지만, 지금까지 소개된 기술에 의하면, 얼굴 표정 및 감정의 분류 정확도를 높이기 위하여 수집 관리자의 지시에 의해 사용자가 특정 표정을 의도적으로 지은 상태에서 얼굴 표정에 관한 데이터를 수집하였기 때문에 데이터가 의도성 및 편향성을 띌 수밖에 없었고, 이러한 데이터를 활용하게 되면 얼굴 표정을 분석하는 정확도에 좋지 않은 영향을 미칠 수밖에 없었다. 미국 과학자인 폴 에크만(Paul Ekman)에 의해 제안된 얼굴 표정 데이터셋을 활용하는 방안도 고려해볼 수 있으나 주로 백인 남성 위주의 자료였기 때문에 다른 인종 또는 다른 성별에 대하여는 확장하기가 어려운 점이 있다.
자연스러운 얼굴 표정 및 그 때의 감정에 관한 데이터를 얻기 위하여 많은 시도가 있었으나, 자연스러운 얼굴 표정을 획득하더라도 그 얼굴 표정을 분류하기 애매하거나 그 때의 감정을 분류하기 애매한 경우가 많아 정확한 라벨링 작업을 수행하기 어려운 문제가 있었다.
이에 본 발명자는, 심리 검사 결과와 얼굴 표정 데이터를 연동하여 얼굴 표정에 관한 정확한 데이터 세트를 생성할 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
<선행기술문헌>
(특허문헌) 한국공개특허공보 제2012-64541호(2012.06.19)
본 발명은 상술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 심리 검사를 수행하는 동안에 획득되는 얼굴 표정에 관한 정보와 심리 검사의 분석 결과에 관한 정보를 서로 연동하여 정확하게 라벨링이 수행될 수 있도록 하는 것을 그 목적으로 한다.
또한, 본 발명은 얼굴 표정에 관한 정확하고 활용도 높은 데이터 세트를 생성하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법으로서, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 단계, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 단계, 및 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 단계를 포함하는 방법이 제공된다.
또한, 본 발명의 일 태양에 따르면, 얼굴 표정에 관한 데이터 세트를 생성하기 위한 시스템으로서, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 정보 획득부, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 라벨링 관리부, 및 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 데이터 세트 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 비일시성의 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 심리 검사를 수행하는 동안에 획득되는 얼굴 표정에 관한 정보와 심리 검사의 분석 결과에 관한 정보를 서로 연동하여 정확한 라벨링을 수행할 수 있게 된다.
또한, 본 발명에 의하면, 얼굴 표정에 관한 정확하고 활용도 높은 데이터 세트를 생성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터 세트를 생성하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 관리 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터 세트를 생성하고 이를 기반으로 학습이 수행되는 과정을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 통신망
200: 관리 시스템
210: 정보 획득부
220: 라벨링 관리부
230: 데이터 세트 관리부
240: 분석 관리부
250: 통신부
260: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터를 수집하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100) 및 관리 시스템(200)을 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따르면, 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE, Long Term Evolution) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi, Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 관리 시스템(200)은 사용자가 심리 검사를 수행하는 동안에 특정되는 사용자의 얼굴 표정에 관한 정보 및 위의 사용자의 얼굴 표정에 관한 정보와 연관되는 심리 검사의 분석 결과에 관한 정보를 획득하고, 심리 검사의 분석 결과에 관한 정보를 참조하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하고, 사용자의 얼굴 표정에 관한 정보 및 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 기능을 수행할 수 있다.
관리 시스템(200)의 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 관리 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 관리 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 다른 관리 시스템(200) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
관리 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 관리 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 관리 시스템(200)의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 관리 시스템(200)은 정보 획득부(210), 라벨링 관리부(220), 데이터 세트 관리부(230), 분석 관리부(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 라벨링 관리부(220), 데이터 세트 관리부(230), 분석 관리부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 관리 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 관리 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는 사용자가 심리 검사를 수행하는 동안에 특정되는 사용자의 얼굴 표정에 관한 정보 및 사용자의 얼굴 표정에 관한 정보와 연관되는 심리 검사의 분석 결과에 관한 정보를 획득하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 심리 검사는 사용자의 감정(또는 성향)과 연관되는 적어도 하나의 문항을 포함할 수 있으며, 보다 구체적으로, 각각의 문항 또는 복수의 문항에 기초하여 해당 사용자의 감정(또는 성향)이 분류 또는 특정될 수 있는 검사일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자의 얼굴 표정에 관한 정보는, 얼굴 표정을 인식하기 위하여 얼굴의 소정 영역 또는 랜드마크(landmark)에 기초하여 특정되는 움직임, 변화, 패턴, 메트릭(metric) 또는 특징(feature)이나, 얼굴 신체 부위(예를 들어, 근육)의 소정 액션 단위를 기준으로 특정되는 움직임, 변화, 패턴, 메트릭(metric) 또는 특징(feature)에 관한 정보를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 심리 검사의 분석 결과에 관한 정보에는 심리 검사를 수행하는 동안 사용자에 의해 응답되는 적어도 하나의 문항을 참조하여 특정되는 감정(또는 성향) 또는 그 종류에 관한 정보가 포함될 수 있고, 예를 들어, 심리 검사를 수행하는 동안 사용자에 의해 응답되는 복수의 문항(또는 그 복수의 문항에 대한 응답) 사이의 상호 연관 관계에 기초하여 특정되는 감정(또는 성향) 또는 그 종류에 관한 정보가 포함될 수 있다.
예를 들어, 정보 획득부(210)는 사용자가 심리 검사를 수행하는 동안에 해당 사용자의 얼굴 표정에 관한 정보를 시계열적으로 획득할 수 있으며, 보다 구체적으로, 정보 획득부(210)는 사용자가 심리 검사를 수행하는 동안에 해당 사용자의 얼굴 표정에 관한 정보를 시계열적으로 특정하고 소정의 블록 단위로 이를 대표화하여 획득할 수 있다. 여기서의, 블록 단위는, 소정 표정 단위(예를 들어, 웃는 표정 및 화난 표정이 연속하여 나타난 경우에 그 웃는 표정 및 화난 표정 각각을 의미할 수 있음) 또는 소정 문항 단위(즉, 특정 감정과 연관된 적어도 하나의 문항 단위를 의미할 수 있으며, 예를 들어, 세 개의 문항이 특정 감정과 연관된 것이라면 그 세 개의 문항을 의미할 수 있음)에 기초하여 특정되는 단위를 의미할 수 있다.
또한, 정보 획득부(210)는 심리 검사와 연관되는 적어도 하나의 전문가 코멘트 및 심리 검사를 수행하는 동안에 특정되는 사용자의 생체 정보 중 적어도 하나를 참조하여 심리 검사의 분석 결과에 관한 정보를 특정할 수 있다. 예를 들어, 사용자의 생체 정보에는 뇌파, 맥파, 심장 박동, 체온, 혈당, 동공 변화, 혈압 및 혈중 용존 산소량 중 적어도 하나에 관한 정보가 포함될 수 있다.
예를 들어, 정보 획득부(210)는 심리 검사의 적어도 하나의 문항 또는 그 적어도 하나의 문항에 대하여 제공되는 사용자의 응답에 기초하여 획득되는 적어도 하나의 전문가의 감정 분석 결과(또는 성향 분석 결과)(즉, 전문가 코멘트)와 심리 검사의 문항에 대하여 응답하는 과정에서 획득되는 생체 정보를 이용하여 심리 검사의 문항에 대하여 응답된 결과로부터 도출되는 분석 결과를 보완하거나 검증할 수 있다.
보다 구체적으로, 정보 획득부(210)는 심리 검사의 문항에 대하여 응답된 결과로부터 해당 사용자의 감정이 "행복"이라고 도출되었지만, 사용자의 생체 정보에 기초하여 해당 사용자의 감정이 "짜증"이 특정되거나 전문가의 감정 분석 결과가 "행복"과 배치되는 경우에 해당 심리 검사의 문항에 대하여 응답된 결과를 제외하거나, 심리 검사의 문항에 대하여 응답된 결과, 사용자의 생체 정보 및 전문가의 감정 분석 결과 각각에 대하여 부여되는 가중치를 기준으로 스코어를 산출 및 비교 분석함으로써, 심리 검사의 분석 결과에 관한 정보를 특정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 라벨링 관리부(220)는 심리 검사의 분석 결과에 관한 정보를 참조하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 기능을 수행할 수 있다.
예를 들어, 라벨링 관리부(220)는 심리 검사의 적어도 하나의 문항과 연관되는 감정을 참조하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행할 수 있다. 보다 구체적으로, 라벨링 관리부(220)는 심리 검사의 적어도 하나의 문항에서 특정되는 감정을, 그 문항을 응답하고 있는 동안에 획득되는 해당 사용자의 얼굴 표정에 관한 정보에 대하여 매칭시킬 수 있다. 예를 들어, 심리 검사의 적어도 하나의 문항에서 "행복"이라는 감정이 특정되는 경우에 그 적어도 하나의 문항에 대하여 응답을 하고 있는 동안에 해당 사용자의 얼굴 표정에 관한 정보를 "행복"에 관한 정보인 것으로 매칭시킬 수 있게 된다.
다음으로, 본 발명의 일 실시예에 따른 데이터 세트 생성 관리부(230)는 사용자의 얼굴 표정에 관한 정보 및 위의 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 기능을 수행할 수 있다.
예를 들어, 데이터 세트 생성 관리부(230)는 사용자의 얼굴 표정에 관한 정보 및 그에 대하여 라벨링된 감정에 관한 정보(즉, 위의 라벨링에 관한 정보)를 하나의 묶음으로 하여(또는 단위 세트로 하여) 복수의 묶음을 포함하는 데이터 세트로 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 분석 관리부(240)는 데이터 세트 생성 관리부(230)에 의해 생성된 데이터 세트에 기초하여 얼굴 표정 분석과 연관되는 학습을 수행할 수 있다. 본 발명의 일 실시예에 따르면, 얼굴 표정 분석과 연관되는 학습에는 얼굴 표정 분석을 기반으로 수행할 수 있는 얼굴 인식, 감정 인식 등에 관한 다양한 학습이 포함될 수 있다. 본 발명에 따른 학습의 종류는 반드시 위의 열거된 것에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.
예를 들어, 본 발명의 일 실시예에 따른 분석 관리부(240)는 데이터 세트로부터 복수의 감정 각각에 대응되는 얼굴 표정의 특징(feature), 패턴 또는 메트릭(metric)에 관한 정보를 획득하고, 이를 학습 데이터로 이용하여 학습 모델(learning model)을 훈련시킴으로써, 얼굴 표정 분석과 연관된 학습 모델(예를 들어, 인물의 얼굴 이미지로부터 해당 인물의 감정을 추정할 수 있는 학습 모델)을 생성할 수 있다. 이러한 학습 모델에는 인공 신경망(Artificial Neural Network) 또는 딥러닝(deep learning) 모델 등 다양한 기계 학습 모델이 포함될 수 있으며, 예를 들어, 이러한 학습 모델에는, 서포트 벡터 머신(Support Vector Machine) 모델, 히든 마코브(Hidden Markov) 모델, k-최근접 이웃(K-Nearest Neighbor) 모델, 랜덤 포레스트(Random Forest) 모델 등이 포함될 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 통신부(250)는 정보 획득부(210), 라벨링 관리부(220), 데이터 세트 생성 관리부(230) 및 분석 관리부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따르면, 제어부(260)는 정보 획득부(210) 및 라벨링 관리부(220), 데이터 세트 생성 관리부(230), 분석 관리부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 관리 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 관리 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210) 및 라벨링 관리부(220), 분석 관리부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터를 수집하고 이를 기반으로 학습이 수행되는 과정을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 사용자가 웨어러블 디바이스(300)를 착용하고 심리 검사를 수행하는 상황을 가정해 볼 수 있다.
본 발명의 일 실시예에 따른 웨어러블 디바이스(300)는 관리 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트 워치, 스마트 글래스 등 등과 같이 휴대 가능하며, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 관리 시스템(200)의 정보 획득부(210) 및 라벨링 관리부(220) 및 분석 관리부(240) 중 적어도 하나의 기능이 웨어러블 디바이스(300)에서 수행될 수 있으며, 본 발명의 일 실시예에 따른 웨어러블 디바이스(300)에는 위의 기능들이 수행되도록 하기 위해 필요한 사용자 인터페이스를 사용자에게 제공할 수 있다.
먼저, 본 발명의 일 실시예에 따라 사용자가 심리 검사를 수행하는 동안에 웨어러블 디바이스(300)를 통해 시계열적으로 사용자의 얼굴 표정에 관한 정보가 획득될 수 있다.
그 다음에, 심리 검사의 적어도 하나의 문항에 대하여 위의 사용자에 의해 응답된 결과를 참조하여 적어도 하나의 문항에 대응되는 감정에 관한 정보가 획득되고, 심리 검사의 적어도 하나의 문항에 대하여 위의 사용자에 의해 응답된 결과에 대하여 전문가의 감정 분석 결과가 전문가 코멘트로서 제공될 수 있다.
그 다음에, 위의 적어도 하나의 문항에 대응되는 감정에 관한 정보 및 위의 전문가의 감정 분석 결과를 참조하여 심리 검사의 분석 결과에 관한 정보가 획득될 수 있다. 한편, 위의 심리 검사의 분석 결과에 관한 정보를 획득하는 과정에서 위의 사용자가 심리 검사를 수행하는 동안에 웨어러블 디바이스(300)를 통해 획득되는 사용자 생체 정보가 더 참조될 수 있다.
그 다음에, 심리 검사의 분석 결과에 관한 정보에 기초하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링이 수행될 수 있다.
그 다음에, 사용자의 얼굴 표정에 관한 정보 및 라벨링에 관한 정보를 포함하는 데이터 세트가 생성될 수 있다.
그 다음에, 위의 생성된 데이터 세트에 기초하여 얼굴 표정 분석을 기반으로 감정을 인식하기 위한 적어도 하나의 학습 모델이 생성될 수 있다.
그 다음에, 위의 적어도 하나의 학습 모델에 기초하여 얼굴 표정을 분석함으로써 어떠한 감정 상태인지가 특정될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 적어도 하나의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법으로서,
    사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 단계,
    상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 단계, 및
    상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 획득 단계에서, 상기 심리 검사를 수행하는 동안에 상기 사용자의 얼굴 표정에 관한 정보가 시계열적으로 특정되는
    방법.
  3. 제2항에 있어서,
    상기 사용자의 얼굴 표정에 관한 정보가 소정 블록 단위로 대표화되는
    방법.
  4. 제1항에 있어서,
    상기 라벨링 수행 단계에서, 상기 심리 검사의 적어도 하나의 문항과 연관되는 감정을 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는
    방법.
  5. 제1항에 있어서,
    상기 심리 검사의 분석 결과에 관한 정보는, 상기 심리 검사와 연관되는 적어도 하나의 전문가 코멘트를 참조하여 특정되는
    방법.
  6. 제5항에 있어서,
    상기 심리 검사의 분석 결과에 관한 정보는, 상기 사용자가 상기 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 생체 정보를 참조하여 특정되는
    방법.
  7. 제1항에 있어서,
    상기 생성되는 데이터 세트에 기초하여 얼굴 표정 분석과 연관되는 학습을 수행하는 단계를 더 포함하는
    방법.
  8. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능 기록 매체.
  9. 얼굴 표정에 관한 데이터 세트를 생성하기 위한 시스템으로서,
    사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 정보 획득부,
    상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 라벨링 관리부, 및
    상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 데이터 세트 관리부를 포함하는
    시스템.
  10. 제9항에 있어서,
    상기 정보 획득부는, 상기 심리 검사를 수행하는 동안에 상기 사용자의 얼굴 표정에 관한 정보를 시계열적으로 특정하는
    시스템.
  11. 제10항에 있어서,
    상기 사용자의 얼굴 표정에 관한 정보가 소정 블록 단위로 대표화되는
    시스템.
  12. 제9항에 있어서,
    상기 라벨링 관리부는, 상기 심리 검사의 적어도 하나의 문항과 연관되는 감정을 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는
    시스템.
  13. 제9항에 있어서,
    상기 심리 검사의 분석 결과에 관한 정보는, 상기 심리 검사와 연관되는 적어도 하나의 전문가 코멘트를 참조하여 특정되는
    시스템.
  14. 제13항에 있어서,
    상기 심리 검사의 분석 결과에 관한 정보는, 상기 사용자가 상기 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 생체 정보를 참조하여 특정되는
    시스템.
  15. 제9항에 있어서,
    상기 생성되는 데이터 세트에 기초하여 얼굴 표정 분석과 연관되는 학습을 수행하는 분석 관리부를 더 포함하는
    시스템.
PCT/KR2021/008070 2020-07-07 2021-06-28 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 WO2022010149A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/077,442 US20230098296A1 (en) 2020-07-07 2022-12-08 Method and system for generating data set relating to facial expressions, and non-transitory computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0083755 2020-07-07
KR1020200083755A KR102548970B1 (ko) 2020-07-07 2020-07-07 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/077,442 Continuation US20230098296A1 (en) 2020-07-07 2022-12-08 Method and system for generating data set relating to facial expressions, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2022010149A1 true WO2022010149A1 (ko) 2022-01-13

Family

ID=79343125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008070 WO2022010149A1 (ko) 2020-07-07 2021-06-28 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (3)

Country Link
US (1) US20230098296A1 (ko)
KR (1) KR102548970B1 (ko)
WO (1) WO2022010149A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630803B1 (ko) 2022-01-24 2024-01-29 주식회사 허니엠앤비 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
KR20180011664A (ko) * 2016-07-25 2018-02-02 한양대학교 에리카산학협력단 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
KR20190025564A (ko) * 2016-06-01 2019-03-11 오하이오 스테이트 이노베이션 파운데이션 얼굴 표정 인식 및 주석처리를 위한 시스템 및 방법
KR20190054501A (ko) * 2017-11-13 2019-05-22 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200010680A (ko) * 2018-07-11 2020-01-31 한국과학기술원 기계학습 모델을 이용하여 n개의 프레임에 기초하여 대상의 감정인식을 수행하는 감정인식 시스템, 방법, 및 컴퓨터-판독가능매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064541A (ko) 2010-12-09 2012-06-19 한국전자통신연구원 미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법
JP2014081913A (ja) * 2012-09-27 2014-05-08 Dainippon Printing Co Ltd アンケート分析装置、アンケート分析システム、アンケート分析方法、及びプログラム
KR102044786B1 (ko) * 2017-08-30 2019-11-14 (주)휴머노이드시스템 사용자 감성 인식 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
KR20190025564A (ko) * 2016-06-01 2019-03-11 오하이오 스테이트 이노베이션 파운데이션 얼굴 표정 인식 및 주석처리를 위한 시스템 및 방법
KR20180011664A (ko) * 2016-07-25 2018-02-02 한양대학교 에리카산학협력단 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
KR20190054501A (ko) * 2017-11-13 2019-05-22 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200010680A (ko) * 2018-07-11 2020-01-31 한국과학기술원 기계학습 모델을 이용하여 n개의 프레임에 기초하여 대상의 감정인식을 수행하는 감정인식 시스템, 방법, 및 컴퓨터-판독가능매체

Also Published As

Publication number Publication date
KR102548970B1 (ko) 2023-06-28
US20230098296A1 (en) 2023-03-30
KR20220005945A (ko) 2022-01-14

Similar Documents

Publication Publication Date Title
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2019216504A1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112120716A (zh) 一种可穿戴式多模态情绪状态监测装置
Pollreisz et al. A simple algorithm for emotion recognition, using physiological signals of a smart watch
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN113662545B (zh) 一种基于情绪脑电信号和多任务学习的人格评估方法
CN109508755B (zh) 一种基于图像认知的心理测评方法
CN109445578A (zh) 一种认知能力评估系统及方法
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
WO2022010149A1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN107193378A (zh) 基于脑电波机器学习的情感判定装置及方法
CN112307975A (zh) 融合语音与微表情的多模态情感识别方法及系统
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN110192860B (zh) 一种面向网络信息认知的脑成像智能测试分析方法及系统
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
CN113408397B (zh) 领域自适应的跨受试者运动想象脑电信号识别系统及方法
Okada et al. Dementia scale classification based on ubiquitous daily activity and interaction sensing
Marcos et al. Emotional AI in Healthcare: a pilot architecture proposal to merge emotion recognition tools
CN115553779A (zh) 一种情绪识别方法、装置、电子设备及存储介质
CN114983434A (zh) 一种基于多模态脑功能信号识别的系统及方法
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
WO2023234758A1 (ko) 인공지능 모델을 이용하여 손톱을 분석하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN111325139B (zh) 一种唇语识别方法及装置
Cowen et al. Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837490

Country of ref document: EP

Kind code of ref document: A1